TL;DR

Technical Lead Data Engineer (Data): Разработка надёжных ETL-пайплайнов, повышение стабильности и качества данных, влияние на архитектуру данных и помощь бизнесу в получении ценной аналитики. Фокус на внедрении стандартов, лучших практик в области обработки и хранения данных, оптимизации рабочих процессов и устранении «узких мест» в архитектуре и процессах обработки данных.

Компания

%hirify_global% — это сервис для людей и бизнеса: предпринимателей, ритейлеров и маркетплейсов.

Что делать

Проектировать и поддерживать ETL-пайплайны для обработки данных, обеспечивать стабильность и производительность витрин и дашбордов, разрабатывать механизмы контроля качества данных и оптимизировать существующие процессы обработки.
Поддерживать работу ключевых компонентов платформы (ClickHouse, Greenplum, YTsaurus, ETL-сервисы), взаимодействуя с инфраструктурными командами.
Быть основным контактным лицом для аналитиков по техническим вопросам работы с данными и инструментами платформы.
Распределять задачи, контролировать их выполнение, участвовать в планировании и определении стратегических направлений развития платформы.
Внедрять стандарты и лучшие практики в области обработки и хранения данных, оптимизировать рабочие процессы и устранять «узкие места» в архитектуре и процессах обработки данных.
Взаимодействовать с другими командами и стейкхолдерами для согласования технических решений и интеграции данных, а также помогать сотрудникам расти профессионально, организовывать обучение и обмен знаниями, проводить код-ревью и способствовать повышению качества кода.

Требования

Отличное знание Python
Работа с Greenplum, Vertica, ClickHouse или любыми другими MPP СУБД
Работа с большими объёмами данных в экосистемах Hadoop (HDFS, Spark, Hive), YTsaurus или аналогичных
Понимание принципов проектирования хранилищ данных, ETL-фреймворков, а также систем мониторинга за состоянием хранилища
Умение оптимизировать запросы и оценивать вычислительную нагрузку
Опыт руководства небольшой командой (2–3 человека)

Хорошо, если есть

Создание сложных высоконагруженных ETL- и ELT-пайплайнов (плюсом будет знание code-driven ETL Luigi, Airflow)
Разработка процессов обработки сложных событий (CEP) почти в реальном времени (Kafka Streams, Spark, Flink и пр.)
Работа с инструментами стека Python для Data Science (Jupyter, pandas, SciPy, Matplotlib, Bokeh и пр.)
Разработка проверок качества данных, мониторинга стабильности и использования данных
Понимание ценности данных для принятия решений бизнесом
Коммиты в публичные репозитории или написание статей с примерами работ

Культура и преимущества

Расширенная медицинская страховка с первого месяца работы, включающая стоматологию, ежегодные чекапы и психотерапию.
Возможности для развития и обучения на внутренней образовательной платформе, а также оплата участия в профильных конференциях.
Спортзалы в офисах и скидки в фитнес-клубах и студиях.
Гибкий график работы.
Льготная ставка на покупку жилья и улучшение жилищных условий для сотрудников, работающих в российских офисах.
Страхование и подарки для детей сотрудников.