Роль чётко описана и предлагает работу над инженерией данных в продуктовой компании, но высокий порог по опыту и удалёнка только из России сужают возможности.
Актуальные технологии
Понятные задачи
Удалёнка только по России
?Высокий порог опыта
Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Создать профиль и узнать мэтч
Описание вакансии
Текст:
Hirify AI/Оригинал
TL;DR
Senior Data Engineer (Big Data): Разработка архитектуры хранилища данных и высоконагруженных ETL-процессов с акцентом на Big Data, Hadoop и потоковую обработку. Focus on проектирование real-time и near real-time pipeline’ов, оптимизацию SQL-запросов и интеграцию данных из различных источников.
Локация: Москва; удалённый формат работы
Компания
Островок.
Что делать
Разрабатывать и оптимизировать архитектуру хранилища данных и проектировать слои данных.
Создавать, поддерживать и оптимизировать высоконагруженные ETL-процессы.
Интегрировать данные из внутренних и внешних источников, включая API, файловые хранилища и базы данных.
Работать с Big Data и потоковой обработкой данных.
Формализовывать требования совместно с бизнес-аналитиками, дата-инженерами и архитекторами.
Проводить код-ревью, митапы и технические консультации для коллег.
Требования
Более 6 лет общего опыта; из них от 5 лет в разработке и поддержке хранилищ данных.
Отличное знание SQL, опыт оптимизации сложных запросов и работы с большими объёмами данных.
Опыт проектирования и разработки ETL-процессов.
Опыт разработки real-time и near real-time pipeline’ов обработки и загрузки данных.
Глубокие знания и практический опыт работы с Hadoop, включая HDFS, Hive и Spark.
Опыт работы с Airflow, Docker и Git.
Уверенное знание Python.
Культура и преимущества
Полная занятость и удалённый формат работы.
Будьте осторожны
Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →