Вакансия из Telegram канала - Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Data Engineer в MAX, Москва
#гибрид #middle #senior
Компания: VK
🔹Задачи
- Проектировать, реализовывать и оптимизировать сложные ETL-процессы (в том числе разработка DAG-ов для автоматизации)
- Участвовать в проработке и пилотировании нового: Data Quality, развитие собственного ETL-фреймворка, тесные интеграции с аналитическими инструментами
- Работать с данными на каждом этапе их трансформации: от появления информации в конкретном источнике до принятия решений на данных
- Извлекать из исходных данных ценную информацию и скрупулёзно обрабатывать её для последующего анализа
- Реализовывать стабильный расчёт бизнес-метрик вместе с командой аналитиков
- Поддерживать и модифицировать созданные решения, обеспечивать доступность сервиса и корректность данных для принятия решений
🔹Требования
- Уверенно знаете Python на уровне написания собственного фреймворка и SQL на уровне оптимизации запросов
- Умеете проектировать DWH: слои, модели хранения данных, процессы ETL
- Хорошо понимаете принципы работы распределённых систем Hadoop или YTsaurus, ClickHouse
- Использовали Airflow, Luigi или другой оркестратор
- Умеете выбирать технологии для решения конкретных задач
- Понимаете принципы работы инструментов мониторинга и способны настраивать алерты для отслеживания состояния ETL-процессов
- Знаете основные алгоритмы и структуры данных, особенно используемые в работе с большими данными
- Эффективно общаетесь с людьми, найдёте общий язык с разными специалистами
Контакты:
🔥 Подписаться на наши каналы / @best_itjob / @it_rab
#гибрид #middle #senior
Компания: VK
🔹Задачи
- Проектировать, реализовывать и оптимизировать сложные ETL-процессы (в том числе разработка DAG-ов для автоматизации)
- Участвовать в проработке и пилотировании нового: Data Quality, развитие собственного ETL-фреймворка, тесные интеграции с аналитическими инструментами
- Работать с данными на каждом этапе их трансформации: от появления информации в конкретном источнике до принятия решений на данных
- Извлекать из исходных данных ценную информацию и скрупулёзно обрабатывать её для последующего анализа
- Реализовывать стабильный расчёт бизнес-метрик вместе с командой аналитиков
- Поддерживать и модифицировать созданные решения, обеспечивать доступность сервиса и корректность данных для принятия решений
🔹Требования
- Уверенно знаете Python на уровне написания собственного фреймворка и SQL на уровне оптимизации запросов
- Умеете проектировать DWH: слои, модели хранения данных, процессы ETL
- Хорошо понимаете принципы работы распределённых систем Hadoop или YTsaurus, ClickHouse
- Использовали Airflow, Luigi или другой оркестратор
- Умеете выбирать технологии для решения конкретных задач
- Понимаете принципы работы инструментов мониторинга и способны настраивать алерты для отслеживания состояния ETL-процессов
- Знаете основные алгоритмы и структуры данных, особенно используемые в работе с большими данными
- Эффективно общаетесь с людьми, найдёте общий язык с разными специалистами
Контакты:
🔥 Подписаться на наши каналы / @best_itjob / @it_rab
Будьте осторожны: если вас просят войти в iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →
Текст вакансии взят без изменений
Источник -