Senior Data Engineer (Big Data)

Data инженер Senior

Локация: любая
Доступность специалиста: по мск с 9 до 18, часовой пояс +-3 часа
Длительность проекта: до 30.07.2026 (с пролонгацией)
Ставка: до 2000, с НДС

Обязательные требования
- От 3 лет коммерческой разработки;
- От 2 лет - разработка систем, которые вышли в промышленную эксплуатацию;
- От 2 лет - BigData;
- Глубокие теоретические знания стека технологий и практический опыт;
- Умение давать и принимать обратную связь;
- Опыт работы с бизнес требованиями (сбор, формирование требований, анализ), опыт работы в условиях постоянно меняющихся требований;
- Опыт написания программ распределенных вычислений (Spark) и ETL процессов;
- Опыт проведения Code Review;
- Опыт/понимание разработки и проектирования архитектуры БД, создание и манипуляции с БД;
- Опыт оптимизации запросов;
- Понимание процессов CI/CD;
- Опыт оптимизации запросов;
- Опыт написания unit тестов;
- Знание стека: Python 3.5+ Spark 2.2+ Hadoop Hive Airflow Kubernetes (K8S) SQLAlchemy, PostgresQL, Greenplum PyTest / Unittest Flake8 / PyLint Black Docker Git, GitLab, CI / CD, разрешение конфликтов Shell, Linux.

Задачи на проекте
- Разработка низкоуровневой архитектуры систем больших данных, на основании информации полученной от аналитиков и архитекторов;
- Разработка документа, описывающего низкоуровневую архитектуру разрабатываемых систем больших данных;
- Разработка программного кода систем больших данных;
- Подготовка документации, описывающей алгоритмы разработанных систем больших данных;
- Разработка Unit тестов для программного кода систем больших данных;
- Подготовка и сборка установочных пакетов, для установки разработанных решений на промышленную среду;
- Проведение плановых работ по оптимизации программного кода разработанных систем больших данных;
- Исправление дефектов в разработанных приложениях;
- Подготовка и выпуск пакетов обновлений, включающих в себя исправление дефектов и оптимизацию программного кода систем больших данных.

Этапы отбора
1. Техническое интервью
2. Интервью с ПО

Описание проекта и команды
Крупная ритейл компания

Откликнуться на запрос: Показать контакты
По вопросам партнерского сотрудничества: @ju_vetta