Senior Data Engineer (Big Data)

#9415
Data инженер Senior
Локация: любая
Доступность специалиста: по мск с 9 до 18, часовой пояс +-3 часа
Длительность проекта: до 30.07.2026 (с пролонгацией)

Обязательные требования:
- От 3 лет коммерческой разработки;
- От 2 лет - разработка систем, которые вышли в промышленную эксплуатацию;
- От 2 лет - BigData;
- Глубокие теоретические знания стека технологий и практический опыт;
- Умение давать и принимать обратную связь;
- Опыт работы с бизнес требованиями (сбор, формирование требований, анализ), опыт работы в условиях постоянно меняющихся требований;
- Опыт написания программ распределенных вычислений (Spark) и ETL процессов;
- Опыт проведения Code Review;
- Опыт/понимание разработки и проектирования архитектуры БД, создание и манипуляции с БД;
- Опыт оптимизации запросов;
- Понимание процессов CI/CD;
- Опыт написания unit тестов;
- Знание стека: Python 3.5+, Spark 2.2+, Hadoop, Hive, Airflow, Kubernetes (K8S), SQLAlchemy, PostgresQL, Greenplum, PyTest / Unittest, Flake8 / PyLint, Black, Docker, Git, GitLab, CI / CD, разрешение конфликтов, Shell, Linux.

Задачи на проекте:
- Разработка низкоуровневой архитектуры систем больших данных;
- Разработка документа, описывающего низкоуровневую архитектуру;
- Разработка программного кода систем больших данных;
- Подготовка документации, описывающей алгоритмы;
- Разработка Unit тестов;
- Подготовка и сборка установочных пакетов;
- Проведение плановых работ по оптимизации программного кода;
- Исправление дефектов;
- Подготовка и выпуск пакетов обновлений.

Этапы отбора:
1. Техническое интервью
2. Интервью с ПО

Описание проекта и команды: крупная ритейл компания

Писать Показать контакты
Канал Аутстаф запросов @outstaff_requests_phpdev