Senior Data Engineer

#вакансий #DataEngineer #Senior #удаленно

Роль: Data Engineer
Компания: IT People
Грейд: Senior
Ставка: рассмотрим вашу
Локация: РФ и СНГ
Гражданство: РФ и РБ
Формат работы: удаленный
Срок привлечения: 6 месяцев с возможностью продления

Описание проекта:
Масштабный проект цифровой трансформации, влияющий на ключевые производственные процессы.

Обязанности:
— Проектирование архитектуры данных: разработка и описание целевой архитектуры хранилищ (OLAP/OLTP), определение моделей данных, выбор форматов хранения и стратегий партиционирования.
— Разработка Data Pipelines: проектирование и реализация ETL/ELT-пайплайнов: построение DAG в Apache Airflow, написание кастомных операторов и сенсоров на Python, настройка ретраев, алертинга и зависимостей.
— Стриминг и батч-обработка: разработка стриминговых джоб на Apache Flink и батч-процессинга на Apache Spark.
— Оптимизация производительности: практический опыт поиска и устранения узких мест, оптимизация медленных SQL-запросов (анализ execution plans, индексы, партиционирование), тюнинг конфигурации движков обработки (Flink, Spark) и баз данных для минимизации потребления ресурсов (CPU, RAM, I/O).
— Обеспечение качества данных: организация тестирования трансформаций данных, внедрение механизмов проверки целостности и актуальности данных, реализация процессов нормализации и дедупликации.
— Интеграции: разработка и поддержка интеграций между системами: REST/gRPC API, базы данных, message brokers (Kafka, MQTT), файловые хранилища (S3), Timeseries DB.
Работа с Jira: ведение задач, управление статусами и связями между задачами.
— Поддержка технической и бизнес-команд: обработка заявок на поддержку существующих потоков данных или разработку новых, заведение и контроль исполнения заявок внутренних команд.
— Поддержка команды в систематизации и автоматизации процессов.
— Взаимодействие с разработчиками и тестировщиками для уточнения технических ограничений и требований.
— Обеспечение прозрачности статуса технических задач и процессов для всей команды.

Требования:
— Опыт работы на позиции Data Engineer от 4 лет в сфере разработки ПО.
— Опыт работы с ключевыми компонентами нашего стека:
DBMS & Warehouses: уверенная работа с Postgres и MSSQL; опыт настройки и оптимизации OLAP-движков (Trino, StarRocks) и современных хранилищ (Cassandra, Redis).
— Data Flow Tools: практический опыт работы с Apache Airflow (написание DAG, кастомные операторы); опыт использования Apache Kafka (producer/consumer) и Apache Flink (разработка стриминговых джоб, состояние, чекпоинты).
— Data Lake / Lakehouse: опыт работы с Apache Iceberg, понимание архитектуры lakehouse, использование Lakekeeper для управления метаданными, работа с объектным хранилищем S3.
— CDC: опыт реализации Change Data Capture паттернов для синхронизации данных между системами.
— Глубокие знания в области архитектуры данных и баз данных: понимание принципов нормализации и денормализации, проектирование relational и columnar моделей, стратегии управления данными (lifecycle, retention, versioning).
— Уверенное владение Python: написание скриптов, модулей, работа с асинхронностью при необходимости; опыт написания DAG в Apache Airflow, включая кастомные операторы, hooks, sensors.
— Навыки оптимизации: умение профилировать процессы, находить bottlenecks, оптимизировать SQL-запросы и настраивать ресурсы кластеров под нагрузку.
— Владение Jira и Confluence на уровне confident user (структура страниц, шаблоны, макросы, связки задач и документации).
— Опыт организации хранения данных для последующих задач OLAP / OLTP с учетом требований (consistency / integrity).
— Опыт организации обработки данных в рамках задач OLAP / OLTP с применением различных паттернов (batch processing, CDC).
— Понимание ключевых особенностей и сценариев применения различных паттернов организации интеграционных потоков (batch processing, CDC) с учетом их характеристик (3V+).
— Опыт заведения и сопровождения заявок в сервис-деске.

Будет плюсом:
—  Опыт работы с Timeseries базами данных (InfluxDB, TimescaleDB, TDengine и др.).
— Глубокий опыт эксплуатации кластеров (Hadoop, YARN, Kubernetes) в production-среде.
— Знание SQL на продвинутом уровне (оптимизация сложных запросов, window functions, CTE).
— Опыт работы с CI/CD для data-пайплайнов.
— Понимание принципов DDD, event-driven архитектуры.
— Опыт работы с Apache NiFi.

Опыт работы со стеком:
Postgres, MSSQL Stack, Redis, Cassandra, Trino, StarRocks, Apache Kafka, Apache Flink, Apache Airflow, Apache NiFi, Apache Spark, Apache Iceberg, Apache Paimon, Lakekeeper, S3, MQTT, REST, gRPC, Python, SQL, Bash / shell-скрипты, Git

Для резюме Показать контакты