Назад
17 часов назад

ETL Developer (Python/SQL)

180 000 - 300 000₽
Формат работы
remote (только Russia)
Тип работы
fulltime
Грейд
middle
Английский
b2
Страна
Russia
hhВакансия с HeadHunter. Контакт ведёт на hh.ru

Мэтч & Сопровод

Покажет вашу совместимость и напишет письмо

Описание вакансии

Текст:
/
TL;DR
ETL-разработчик (Python/SQL): Разработка и оптимизация ETL/ELT-пайплайнов для извлечения, преобразования и загрузки данных из БД, API, файлов и систем обмена сообщениями с акцентом на качество данных, производительность и стабильность загрузок. Фокус на построении DAG в Apache Airflow, инкрементальных загрузках, обработке сбоев, оптимизации SQL и работе с архитектурой DWH/Data Lake.

Локация: Москва, удалённо

Зарплата: 180000–300000 RUR на руки в месяц

Компания

TS Dev развивает решения и инфраструктуру для обработки данных.

Что делать

  • Разрабатывать, поддерживать и оптимизировать ETL/ELT-процессы для загрузки данных из БД, API, файлов и очередей.
  • Создавать пайплайны на SQL, Python и Apache Airflow, включая DAG, зависимости, расписания, retries, сенсоры и мониторинг.
  • Реализовывать инкрементальные загрузки, CDC, повторные запуски, обработку ошибок и восстановление процессов.
  • Обеспечивать дедупликацию, полноту, целостность и корректность данных.
  • Работать с архитектурой DWH и Data Lake, распределённой обработкой и большими объёмами данных.
  • Анализировать логи и сбои, оптимизировать SQL, процедуры загрузки, индексы и производительность баз данных.

Требования

  • От 3 до 6 лет коммерческого опыта разработки и сопровождения data-процессов и ETL/ELT.
  • Уверенное владение SQL: сложные JOIN, CTE, подзапросы, оконные функции и агрегация; опыт анализа планов выполнения и оптимизации запросов.
  • Понимание индексов, партиционирования, блокировок, OLTP/OLAP и принципов эффективной работы с БД; коммерческий опыт с PostgreSQL, Oracle, Greenplum или другими промышленными СУБД.
  • Опыт работы с PL/SQL или процедурным SQL.
  • Уверенное владение Python для ETL и автоматизации, включая работу с API, файлами, логированием, исключениями и библиотеками обработки данных.
  • Практический опыт Apache Airflow и понимание архитектуры DWH/Data Lake, слоёв ODS, DDS, Data Mart и аналогичных.
  • Знакомство с Apache Spark, Hadoop, Hive или Impala и принципами распределённой обработки данных.
  • Опыт работы с Git, Linux, Docker, CI/CD, Kafka или RabbitMQ, S3 или MinIO, Jira или Confluence.
  • Умение читать техническую документацию на английском языке.

Хорошо, если есть

  • Опыт работы с dbt, Apache Spark/PySpark, Kafka и потоковой обработкой данных.
  • Знание ClickHouse, Greenplum, Vertica или других аналитических СУБД.
  • Знакомство с Apache Iceberg, Delta Lake, Data Quality, MPP-архитектурой и распределёнными вычислениями.
  • Опыт миграции DWH и ETL-процессов, модернизации инфраструктуры, работы с банковскими, финансовыми или высоконагруженными системами.

Культура и преимущества

  • Полностью удалённый формат работы.
  • Работа над развитием надёжных пайплайнов и производительных решений в области Data Engineering.

Процесс найма

  • Короткое знакомство и обсуждение опыта с рекрутером.
  • Техническое интервью или TechCertify-скрининг.
  • Передача профиля на подходящие проекты клиентам.

Будьте осторожны

Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →