Роль четко определена, стек технологий современный и стандартный для Data Engineering, однако процесс найма указывает на проектную модель работы через аутстаффинг.
?Проектная работа
Современный стек
Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Создать профиль и узнать мэтч
Описание вакансии
Текст:
Hirify AI/Оригинал
TL;DR
ETL-разработчик (Python/SQL): Разработка и оптимизация ETL/ELT-пайплайнов для извлечения, преобразования и загрузки данных из БД, API, файлов и систем обмена сообщениями с акцентом на качество данных, производительность и стабильность загрузок. Фокус на построении DAG в Apache Airflow, инкрементальных загрузках, обработке сбоев, оптимизации SQL и работе с архитектурой DWH/Data Lake.
Локация: Москва, удалённо
Зарплата: 180000–300000 RUR на руки в месяц
Компания
TS Dev развивает решения и инфраструктуру для обработки данных.
Что делать
Разрабатывать, поддерживать и оптимизировать ETL/ELT-процессы для загрузки данных из БД, API, файлов и очередей.
Создавать пайплайны на SQL, Python и Apache Airflow, включая DAG, зависимости, расписания, retries, сенсоры и мониторинг.
Реализовывать инкрементальные загрузки, CDC, повторные запуски, обработку ошибок и восстановление процессов.
Обеспечивать дедупликацию, полноту, целостность и корректность данных.
Работать с архитектурой DWH и Data Lake, распределённой обработкой и большими объёмами данных.
Анализировать логи и сбои, оптимизировать SQL, процедуры загрузки, индексы и производительность баз данных.
Требования
От 3 до 6 лет коммерческого опыта разработки и сопровождения data-процессов и ETL/ELT.
Уверенное владение SQL: сложные JOIN, CTE, подзапросы, оконные функции и агрегация; опыт анализа планов выполнения и оптимизации запросов.
Понимание индексов, партиционирования, блокировок, OLTP/OLAP и принципов эффективной работы с БД; коммерческий опыт с PostgreSQL, Oracle, Greenplum или другими промышленными СУБД.
Опыт работы с PL/SQL или процедурным SQL.
Уверенное владение Python для ETL и автоматизации, включая работу с API, файлами, логированием, исключениями и библиотеками обработки данных.
Практический опыт Apache Airflow и понимание архитектуры DWH/Data Lake, слоёв ODS, DDS, Data Mart и аналогичных.
Знакомство с Apache Spark, Hadoop, Hive или Impala и принципами распределённой обработки данных.
Опыт работы с Git, Linux, Docker, CI/CD, Kafka или RabbitMQ, S3 или MinIO, Jira или Confluence.
Умение читать техническую документацию на английском языке.
Хорошо, если есть
Опыт работы с dbt, Apache Spark/PySpark, Kafka и потоковой обработкой данных.
Знание ClickHouse, Greenplum, Vertica или других аналитических СУБД.
Знакомство с Apache Iceberg, Delta Lake, Data Quality, MPP-архитектурой и распределёнными вычислениями.
Опыт миграции DWH и ETL-процессов, модернизации инфраструктуры, работы с банковскими, финансовыми или высоконагруженными системами.
Культура и преимущества
Полностью удалённый формат работы.
Работа над развитием надёжных пайплайнов и производительных решений в области Data Engineering.
Процесс найма
Короткое знакомство и обсуждение опыта с рекрутером.
Техническое интервью или TechCertify-скрининг.
Передача профиля на подходящие проекты клиентам.
Будьте осторожны
Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →