Senior Data Engineer (Retail)

Data инженер Senior

Ставка: 1900, с НДС
Локация: РФ
Длительность проекта: 2 мес. (с продлением)

Обязательные требования:
Очень важен уверенный опыт с Python (сейчас в команде версия 3.7 но скоро переезжают на более новую версию). Больше ориентируемся не на опыт с хранилищами данных, а на опыт по направлениям:
- Логистика
- Система планирования
- Промышленные системы планирования

Преимущественно опыт в ритейле.
- Опыт от 4-х лет коммерческой разработки и от 2-х лет - разработка систем, которые вышли в промышленную эксплуатацию;
- Опыт от 2-х лет с BigData;
- Опыт и знание стека Python 3.5+, Spark 2.2+, Hadoop, Hive, Airflow, Kubernetes (K8S), SQLAlchemy, PostgreSQL, Greenplum, PyTest, Unittest, Flake8, PyLint, Black, Docker, Git, GitLab, CI/CD, Shell, Linux.
- Глубокие теоретические знания стека технологий и практический опыт;
- Умение давать и принимать обратную связь;
- Опыт работы с бизнес требованиями (сбор, формирование требований, анализ), опыт работы в условиях постоянно меняющихся требований;
- Опыт написания программ распределенных вычислений (Spark) и ETL процессов;
- Опыт проведения Code Review;
- Опыт/понимание разработки и проектирования архитектуры БД, создание и манипуляции с БД;
- Опыт оптимизации запросов;
- Понимание процессов CI/CD;
- Опыт оптимизации запросов;
- Опыт написания unit тестов.

Задачи на проекте:
- Разработка низкоуровневой архитектуры систем больших данных, на основании информации полученной от аналитиков и архитекторов;
- Разработка документа, описывающего низкоуровневую архитектуру разрабатываемых систем больших данных;
- Разработка программного кода систем больших данных;
-Подготовка документации, описывающих алгоритмы разработанных систем больших данных;
- Разработка Unit Тестов для программного кода систем больших данных;
- Подготовка и сборка установочных пакетов, для установки разработанных решений на промышленную среду;
- Проведение плановых работ по оптимизации программного кода разработанных систем больших данных;
- Исправление дефектов в разработанных приложениях;
- Подготовка и выпуск пакетов обновлений, включающих в себя исправление дефектов и оптимизацию программного кода систем больших данных.

Этапы отбора:
2 этапа: 1 ТИ и интервью с ПО

Описание проекта и команды:
Команда интегрированного бизнес-планирования.
Строит продукты которые помогают бизнесу эффективнее заниматься поставками товаров на РЦ.
Сейчас есть 6 команд внутри проекта ИБП. Они разделены по категориям товаров. Конкретно наша команда занимается категорией фруктов и овощей.

Сейчас команда на довольно старом стеке – Python 3.7, Spark 2.4.5 и всё запускается во 2 Hadoop.
Аркестрация с помощью AirFlow версия 2.0.2.
Сейчас переезжаем на новую Дата платформу и там будет новый стек (более свежий Air Flow, Spark 4.0.2.
Запускается всё в Kubernetes, хранение на S3.
И будет более свежая версия питона.
Есть ClickHouse.

❗️Важно
При отправке кандидата приложите информацию:
ФИО
Дата рождения
Локация
Грейд
Рейт (ставка/час)
Возможная дата старта на новый проект
Планы на отпуск в ближайшие 6 мес
Штатный/партнерский/рынок
Скрининг по заявленным требованиям к вакансии (проставить +-)

Откликнуться на запрос: Показать контакты
По вопросам партнерского сотрудничества: Показать контакты