4 дня назад
Senior Data Engineer
1 660$
inВакансия из LinkedIn
Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
TL;DR
Senior Data Engineer: Разработка и поддержка высоконагруженных систем обработки данных с акцентом на оптимизацию OLAP-движков и стриминговых процессов. Фокус на проектировании архитектуры Lakehouse, реализации CDC-паттернов и обеспечении производительности данных с использованием Python, Airflow и Kafka.
Anna Gorbacheva 3.+
Recruiter | Talent Sourcer | IT Recruitment Specialist | iGaming
6 Std.
DataEngineer
Гражданство: РФ/РБ
Локация: РФ/РБ
Грейд: Senior
Срок проекта: 6+ месяцев
Ставка: 1660
Обязательные требования
• Опыт работы на позиции Data Engineer от 4 лет в сфере разработки ПО.
• Опыт работы с ключевыми компонентами нашего стека:
o DBMS & Warehouses: уверенная работа с Postgres и MSSQL; опыт настройки и оптимизации OLAP-движков (Trino, StarRocks) и современных хранилищ (Cassandra, Redis).
o Data Flow Tools: практический опыт работы с Apache Airflow (написание DAG, кастомные операторы); опыт использования Apache Kafka (producer/consumer) и Apache Flink (разработка стриминговых джоб, состояние, чекпоинты).
o Data Lake / Lakehouse: опыт работы с Apache Iceberg, понимание архитектуры lakehouse, использование Lakekeeper для управления метаданными, работа с объектным хранилищем S3.
o CDC: опыт реализации Change Data Capture паттернов для синхронизации данных между системами.
• Глубокие знания в области архитектуры данных и баз данных: понимание принципов нормализации и денормализации, проектирование relational и columnar моделей, стратегии управления данными (lifecycle, retention, versioning).
• Уверенное владение Python: написание скриптов, модулей, работа с асинхронностью при необходимости; опыт написания DAG в Apache Airflow, включая кастомные операторы, hooks, sensors.
• Навыки оптимизации: умение профилировать процессы, находить bottlenecks, оптимизировать SQL-з
Recruiter | Talent Sourcer | IT Recruitment Specialist | iGaming
6 Std.
DataEngineer
Гражданство: РФ/РБ
Локация: РФ/РБ
Грейд: Senior
Срок проекта: 6+ месяцев
Ставка: 1660
Обязательные требования
• Опыт работы на позиции Data Engineer от 4 лет в сфере разработки ПО.
• Опыт работы с ключевыми компонентами нашего стека:
o DBMS & Warehouses: уверенная работа с Postgres и MSSQL; опыт настройки и оптимизации OLAP-движков (Trino, StarRocks) и современных хранилищ (Cassandra, Redis).
o Data Flow Tools: практический опыт работы с Apache Airflow (написание DAG, кастомные операторы); опыт использования Apache Kafka (producer/consumer) и Apache Flink (разработка стриминговых джоб, состояние, чекпоинты).
o Data Lake / Lakehouse: опыт работы с Apache Iceberg, понимание архитектуры lakehouse, использование Lakekeeper для управления метаданными, работа с объектным хранилищем S3.
o CDC: опыт реализации Change Data Capture паттернов для синхронизации данных между системами.
• Глубокие знания в области архитектуры данных и баз данных: понимание принципов нормализации и денормализации, проектирование relational и columnar моделей, стратегии управления данными (lifecycle, retention, versioning).
• Уверенное владение Python: написание скриптов, модулей, работа с асинхронностью при необходимости; опыт написания DAG в Apache Airflow, включая кастомные операторы, hooks, sensors.
• Навыки оптимизации: умение профилировать процессы, находить bottlenecks, оптимизировать SQL-з
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →
Текст вакансии взят из поста без изменений
Источник - пост в LinkedIn