Хорошо структурированная вакансия для Data Engineer с четким фокусом на инфраструктуру, CI/CD и качество данных в крупной финансовой организации.
Современный стек
Четкие задачи
Стабильность
Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Создать профиль и узнать мэтч
Описание вакансии
Текст:
Hirify AI/Оригинал
TL;DR
Дата инженер (Data Engineering): Разработка и сопровождение ETL- и data-пайплайнов, CI/CD, проверок качества данных и инфраструктурных компонентов с акцентом на Apache Airflow, Kafka, Greenplum, MS SQL и управление надёжностью. Focus on автоматизации развёртывания и восстановления, мониторинге, контроле схем и целостности данных, резервном копировании, диагностике инцидентов и поддержании RTO/RPO.
Локация: Москва; гибридный режим с возможностью работать удалённо частично или полностью
Компания
БКС — компания, развивающая инвестиционные и корпоративные data-проекты, включая систему управления критическими данными и базу знаний о данных.
Что делать
Разрабатывать и поддерживать CI/CD-пайплайны для ETL-процессов, проверок качества данных и инфраструктурных компонентов.
Автоматизировать развёртывание, пересборку и восстановление data-пайплайнов, включая резервное копирование и соблюдение RTO/RPO.
Настраивать мониторинг, алертинг, централизованное логирование и контроль состояния процессов и качества данных.
Внедрять проверки схем, целостности и полноты данных на этапах загрузки и обработки.
Обеспечивать управление секретами, доступами и безопасностью данных и инфраструктуры, поддерживать среды разработки, тестирования и эксплуатации.
Участвовать в диагностике инцидентов, пост-инцидентном анализе и документировании архитектуры, пайплайнов, деплоя и восстановления.
Требования
От 3 лет опыта работы Data Engineer.
Уверенное владение SQL: сложные запросы, анализ планов выполнения и оптимизация; практический опыт с Greenplum и MS SQL.
Опыт разработки и сопровождения ETL-процессов в Apache Airflow, включая проектирование DAG, работу с операторами и сенсорами.
Опыт построения CI/CD для data-пайплайнов с GitLab CI, настройки Runners, Docker и Bash.
Опыт работы с Apache Kafka: producers/consumers, настройка брокеров и топиков, администрирование кластера.
Опыт работы с S3-совместимыми хранилищами, dbt и Trino.
Понимание Data Vault и опыт построения хранилищ на этой основе.
Опыт миграции legacy-витрин со сверкой данных до и после миграции, внедрения автоматизированных DQ-проверок, настройки мониторинга, алертинга и централизованного логирования.
Опыт работы с data catalog, включая описание метаданных и lineage; навыки диагностики инцидентов и ведения технической документации.
Хорошо, если есть
Опыт работы в банковской сфере и понимание банковских данных.
Культура и преимущества
Доступ к современным AI-инструментам и современному стеку технологий.
Стабильная и развивающаяся компания — лидер инвестиционного рынка, амбициозные проекты и возможности профессионального развития.
Гибридный режим с возможностью работать удалённо частично или полностью.
Работа в аккредитованной Минцифры России ИТ-компании, резиденте Сколково.
ДМС с первого месяца работы.
Будьте осторожны
Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →