Назад
3 дня назад

Дата инженер (Data Engineering)

Формат работы
remote (только Russia)/hybrid
Тип работы
fulltime
Грейд
middle
Страна
Russia
hhВакансия с HeadHunter. Контакт ведёт на hh.ru

Мэтч & Сопровод

Покажет вашу совместимость и напишет письмо

Описание вакансии

Текст:
/
TL;DR
Дата инженер (Data Engineering): Разработка и сопровождение ETL- и data-пайплайнов, CI/CD, проверок качества данных и инфраструктурных компонентов с акцентом на Apache Airflow, Kafka, Greenplum, MS SQL и управление надёжностью. Focus on автоматизации развёртывания и восстановления, мониторинге, контроле схем и целостности данных, резервном копировании, диагностике инцидентов и поддержании RTO/RPO.

Локация: Москва; гибридный режим с возможностью работать удалённо частично или полностью

Компания

БКС — компания, развивающая инвестиционные и корпоративные data-проекты, включая систему управления критическими данными и базу знаний о данных.

Что делать

  • Разрабатывать и поддерживать CI/CD-пайплайны для ETL-процессов, проверок качества данных и инфраструктурных компонентов.
  • Автоматизировать развёртывание, пересборку и восстановление data-пайплайнов, включая резервное копирование и соблюдение RTO/RPO.
  • Настраивать мониторинг, алертинг, централизованное логирование и контроль состояния процессов и качества данных.
  • Внедрять проверки схем, целостности и полноты данных на этапах загрузки и обработки.
  • Обеспечивать управление секретами, доступами и безопасностью данных и инфраструктуры, поддерживать среды разработки, тестирования и эксплуатации.
  • Участвовать в диагностике инцидентов, пост-инцидентном анализе и документировании архитектуры, пайплайнов, деплоя и восстановления.

Требования

  • От 3 лет опыта работы Data Engineer.
  • Уверенное владение SQL: сложные запросы, анализ планов выполнения и оптимизация; практический опыт с Greenplum и MS SQL.
  • Опыт разработки и сопровождения ETL-процессов в Apache Airflow, включая проектирование DAG, работу с операторами и сенсорами.
  • Опыт построения CI/CD для data-пайплайнов с GitLab CI, настройки Runners, Docker и Bash.
  • Опыт работы с Apache Kafka: producers/consumers, настройка брокеров и топиков, администрирование кластера.
  • Опыт работы с S3-совместимыми хранилищами, dbt и Trino.
  • Понимание Data Vault и опыт построения хранилищ на этой основе.
  • Опыт миграции legacy-витрин со сверкой данных до и после миграции, внедрения автоматизированных DQ-проверок, настройки мониторинга, алертинга и централизованного логирования.
  • Опыт работы с data catalog, включая описание метаданных и lineage; навыки диагностики инцидентов и ведения технической документации.

Хорошо, если есть

  • Опыт работы в банковской сфере и понимание банковских данных.

Культура и преимущества

  • Доступ к современным AI-инструментам и современному стеку технологий.
  • Стабильная и развивающаяся компания — лидер инвестиционного рынка, амбициозные проекты и возможности профессионального развития.
  • Гибридный режим с возможностью работать удалённо частично или полностью.
  • Работа в аккредитованной Минцифры России ИТ-компании, резиденте Сколково.
  • ДМС с первого месяца работы.

Будьте осторожны

Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →