Инженер данных

Инженер данных
#удаленка #middle
Компания: Utair IT
🔹Обязанности
-разработка, поддержка и оптимизация ETL/ELT-пайплайнов на Python и Airflow;
-работа с ClickHouse - проектирование таблиц, оптимизация запросов, контроль производительности;
-интеграция данных из разных источников (БД, API, файловые хранилища и др., в том числе с помощью Apache Kafka/Yandex Data Transfer);
-мониторинг и отладка DAG’ов в Apache Airflow;
-настройка и использование GitLab CI/CD для автоматизации развертывания и тестирования пайплайнов;
-работа с большими объёмами данных и обеспечение целостности информации;
-участие в проектировании архитектуры данных и документации процессов;
-взаимодействие с аналитиками и разработчиками для согласования требований к данным.

🔹Нам важно
- опыт работы инженером данных или аналитиком данных от 2-х лет (если был опыт с ETL/ELT, Airflow, Clickhouse или курсы по инженерии);
-Python уровень уверенный: разработка production-скриптов и сервисов на Python (не только Jupyter-ноутбуки), чистый код, функции/ООП, обработка ошибок, логирование, pandas, sqlalchemy/asyncpg или другие драйверы DB, requests/aiohttp для API
Airflow уровень уверенный: создание и поддержка DAG’ов в Airflow в продакшне, операторы/сенсоры (PythonOperator, Sensor, CustomOperator), XCom, task dependencies, понимание архитектуры Airflow (scheduler, executor — Local/Celery/Kubernetes)
-Git: уверенная работа с ветками, коммитами, rebase и merge, умение создавать merge requests, решать конфликты, понимание принципов code review и ведения истории изменений
-SQL уровень продвинутый: джоины, агрегаты, вложенные запросы, оконные функции, CTE, чтение планов выполнения, индексирование/партиционирование в реляционных БД (общая идея), оценка стоимости запросов
-GitLab: понимание принципов CI/CD, опыт настройки пайплайнов для тестирования и деплоя, базовое представление о GitLab runners, environments, variables
-будет плюсом опыт работы с системами хранения данных (Postgres, Oracle, MongoDB, файловые хранилища)

🔹Мы готовы предложить
-работу в аккредитованной IT- компании, получающей налоговые льготы, подходим под условия IT-ипотеки;
-льготы на авиаперелёты для вас и членов вашей семьи
-официальное трудоустройство, «белую» заработную плату;
-удаленный формат работы, 5/2 (сб, вск – выходные), работаем с 09.00 до 18.00;
-обучение необходимым навыкам за счет компании, участие в конференциях;
-ДМС со стоматологией;
- профсоюз (компенсация спортзала, бассейна, мероприятий);
-оборудование для работы
Контакты: Показать контакты

🔥 Подписаться на наши каналы / @best_itjob / @it_rab