Senior Data Engineer

Локация: удалённо из России; указана Пенза

Компания

Джетлин развивает решения, связанные с инженерией данных и корпоративными хранилищами.

Что делать

• Проектировать архитектуру хранилищ, модели данных и стратегии партиционирования.
• Разрабатывать DAG, кастомные операторы и интеграции на Python с использованием Apache Airflow.
• Реализовывать потоковую обработку на Apache Flink и пакетную обработку на Apache Spark.
• Оптимизировать SQL-запросы, базы данных и производительность пайплайнов.
• Обеспечивать качество данных, реализовывать CDC и интеграции между системами.
• Вести техническую документацию, задачи и обращения в Jira, Confluence и сервис-деске; взаимодействовать с разработчиками, тестировщиками и смежными командами.

Требования

• От 4 лет опыта работы Data Engineer.
• Опыт разработки ETL/ELT-пайплайнов, CDC, оптимизации SQL и настройки производительности.
• PostgreSQL, MSSQL, Redis и Cassandra.
• Trino или StarRocks, Apache Kafka, Apache Flink и Apache Airflow.
• Apache Iceberg, Lakekeeper, S3 и понимание архитектуры Lakehouse.
• Python, SQL, Bash и Git.
• Знание архитектуры данных, моделей OLAP/OLTP, принципов целостности и согласованности данных.
• Уверенное владение Jira и Confluence, опыт работы с сервис-деском.
• Свободный русский язык; английский для чтения и написания технической документации.

Хорошо, если есть

• InfluxDB, TimescaleDB или TDengine.
• Hadoop, YARN или Kubernetes.
• Продвинутый SQL и CI/CD для data-пайплайнов.
• DDD, event-driven архитектура или Apache NiFi.

Культура и преимущества

• Удалённый формат работы.
• Взаимодействие с разработчиками, тестировщиками и смежными командами.