Data Engineer (Python/Airflow)

#Вакансия #vacancy #DataEngineer #Postgres #Trino #Cassandra #Redis #Airflow

Вакансия Data Engineer

🌍 Локация: РФ или РБ
📍 Формат работы: удаленно.
📄 Оформление: ИП/СМЗ
💵 ЗП: от 262.000 рублей до 328.000 рублей

‼️О проекте:
Ищем инженера данных с сильными компетенциями архитектора данных и баз данных, который сможет взять на себя планирование и проведение внедрения инструментов хранения и обработки данных. Важно иметь иметь подтвержденный опыт работы технологическим стеком проекта (Postgres, MSSQL, Kafka, Flink, Airflow, Iceberg, Trino/StarRocks), уметь проектировать целевую архитектуру хранилищ, анализировать потоки данных и выбирать релевантный инструментарий. Критичны навыки работы с современными data-инструментами, опыт проектирования пайплайнов, обеспечения качества данных и уверенное владение Python для написания DAG, кастомных операторов и интеграций.
✅Задачи:
- Разработка Data Pipelines: проектирование и реализация ETL/ELT-пайплайнов: построение DAG в Apache Airflow, написание кастомных операторов и сенсоров на Python, настройка ретраев, алертинга и зависимостей.
- Стриминг и батч-обработка: разработка стриминговых джоб на Apache Flink и батч-процессинга на Apache Spark.
- Оптимизация производительности: практический опыт поиска и устранения узких мест, оптимизация медленных SQL-запросов (анализ execution plans, индексы, партиционирование), тюнинг конфигурации движков обработки (Flink, Spark) и баз данных для минимизации потребления ресурсов (CPU, RAM, I/O).
- Обеспечение качества данных: организация тестирования трансформаций данных, внедрение механизмов проверки целостности и актуальности данных, реализация процессов нормализации и дедупликации.
- Интеграции: разработка и поддержка интеграций между системами: REST/gRPC API, базы данных, message brokers (Kafka, MQTT), файловые хранилища (S3), Timeseries DB.
- Взаимодействие с разработчиками и тестировщиками для уточнения технических ограничений и требований.

📋Требования:
- Опыт работы на позиции Data Engineer от 4 лет в сфере разработки ПО.
- Опыт работа с Postgres и MSSQL; опыт настройки и оптимизации OLAP-движков (Trino, StarRocks) и современных хранилищ (Cassandra, Redis).
- Практический опыт работы с Apache Airflow (написание DAG, кастомные операторы); опыт использования Apache Kafka (producer/consumer) и Apache Flink (разработка стриминговых джоб, состояние, чекпоинты).
- Опыт работы с Apache Iceberg, понимание архитектуры lakehouse, использование Lakekeeper для управления метаданными, работа с объектным хранилищем S3.
- Опыт реализации Change Data Capture паттернов для синхронизации данных между системами.
- Знания в области архитектуры данных и баз данных: понимание принципов нормализации и денормализации, проектирование relational и columnar моделей, стратегии управления данными (lifecycle, retention, versioning).
- Владение Python: написание скриптов, модулей, работа с асинхронностью при необходимости; опыт написания DAG в Apache Airflow, включая кастомные операторы, hooks, sensors.
- Умение профилировать процессы, находить bottlenecks, оптимизировать SQL-запросы и настраивать ресурсы кластеров под нагрузку.
- Опыт организации хранения данных для последующих задач OLAP / OLTP с учетом требований (consistency / integrity).
- Опыт организации обработки данных в рамках задач OLAP / OLTP с применением различных паттернов (batch processing, CDC).
- Понимание ключевых особенностей и сценариев применения различных паттернов организации интеграционных потоков (batch processing, CDC) с учетом их характеристик (3V+).
- Умение структурировать информацию, работать с требованиями, документировать технические решения.
📋Будет плюсом:
- Опыт работы с Timeseries базами данных (InfluxDB, TimescaleDB, TDengine и др.).
- Глубокий опыт эксплуатации кластеров (Hadoop, YARN, Kubernetes) в production-среде.
- Знание SQL на продвинутом уровне (оптимизация сложных запросов, window functions, CTE).
- Опыт работы с CI/CD для data-пайплайнов.
- Понимание принципов DDD, event-driven архитектуры.
- Опыт работы с Apache NiFi.

📩 Отклик: Показать контакты.