Вакансия из Telegram канала - Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Data Engineer
Компания
SM Lab 4.17
Условия
Требования
Инженер по данным Middle SQL Python Apache Spark Apache Hadoop Apache Airflow ETL Можно удалённо Москва Мы находимся в поиске Data Engineera в платформенную команду BI.
Команда занимается развитием корпоративного хранилища данных (DataLake).
Исследует и внедряет новые инструменты (RnD), пишет библиотеки для использования другими командами, разрабатывает нестандартные ETL потоки и
помогает коллегам в оптимизации сложных потоков.**
** Обязанности:
- Реализация ETL в Hadoop (с помощью Airflow);
- Работа с различными источниками данных: Oracle MS SQL API личных кабинетов, микросервисы;
- Батч и стримы с помощью PySpark и Kafka;
- Подготовка витрин для анализа (Hive + Spark+ SQL).
Требования:
- Уверенное владение Python;
- Опыт использования эко-системы Hadoop: HDFS, Apache AirFlow, Hive, Kafka,Spark;
- Знание SQL;
- Опыт работы с реляционными базами данных (Oracle).
Наш стек: Kafka, Spark, Airflow, Jira, Confluence, GitLab. Условия:
- Формат работы на выбор: офис/гибрид/удаленка;
- Гибкий график (с 8 до 17, с 9 до 18 или с 10 до 19);
- Участие в проекте кафетерия льгот (ДМС, спорт, мобильная связь, обучение);
- Полугодовые премии;
- Корпоративные скидки до 30% на товары Спортмастер, Ostin, Funday, Demix;
- Внутреннее и внешнее обучение, конференции;
- BestBenefits – сервис персонализированных скидок и привилегий;
- Технику предоставляем.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →
Текст вакансии взят без изменений