Не получаете ответ?
Вакансия опубликована 79 дн. назад - шансы на ответ снижаются.
Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Текст:
TL;DR
Data Engineer (Big Data): Разработка и оптимизация ETL/ELT-процессов и дата-продуктов с акцентом на работу с большими данными и оптимизацию SQL-кода. Фокус на построении масштабируемых витрин данных, обеспечении качества данных и интеграции с ML-моделями.
Локация: Россия
Компания
Centicore — компания, специализирующаяся на системной интеграции и разработке высокотехнологичных ИТ-решений.
Что делать
- Создавать и сопровождать ETL/ELT-процессы на базе SQL, Python, Spark и Airflow.
- Разрабатывать и оптимизировать скрипты, витрины данных и дата-продукты.
- Проектировать архитектурные решения для эффективного хранения и доступа к большим массивам данных.
- Анализировать качество данных, внедрять автоматические проверки и осуществлять мониторинг витрин.
- Подготавливать техническую документацию и детально описывать логику расчетов.
- Развивать практики Data Quality и оптимизировать общие процессы работы с данными.
Требования
- Высшее образование.
- Опыт работы в данной области от 3 лет.
- Углубленные знания SQL (Oracle, Postgres) и экосистемы Hadoop (HDFS, Hive, Impala, Sqoop, Spark) с умением оптимизировать код.
- Практический опыт работы с Apache Airflow и Python для анализа и обработки данных.
- Понимание теории баз данных и навык структурирования сложной информации.
- Знание принципов работы моделей машинного обучения (ML/DS).
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →