Data инженер

🧠😘😀😘😘🥰😀🫢
Data инженер
Грейд: Senior
Локация специалиста: РФ
Загрузка специалиста Full-time
• Гражданство: РФ
• Формат работы: удалённо


Описание проекта:
Разработка и развитие систем больших данных с использованием Python, Spark, Hadoop и современных инструментов обработки и хранения данных. Проект включает разработку низкоуровневой архитектуры, программного кода, ETL-процессов, оптимизацию и выпуск решений в промышленную эксплуатацию.

Задачи на проекте:
● Разработка низкоуровневой архитектуры систем больших данных на основании требований аналитиков и архитекторов.
● Подготовка документации по низкоуровневой архитектуре.
● Разработка программного кода систем больших данных.
● Разработка программ распределённых вычислений на Spark.
● Разработка и сопровождение ETL-процессов.
● Подготовка документации по алгоритмам разработанных систем.
● Разработка Unit-тестов.
● Подготовка и сборка установочных пакетов для промышленной среды.
● Проведение плановых работ по оптимизации программного кода.
● Исправление дефектов в разработанных приложениях.
● Подготовка и выпуск пакетов обновлений, включающих исправления и оптимизацию кода.
● Проведение Code Review.

Требования:
● От 3 лет коммерческой разработки.
● От 2 лет разработки систем, вышедших в промышленную эксплуатацию.
● От 2 лет опыта работы с Big Data.
● Глубокие теоретические знания и практический опыт работы со стеком технологий.
● Опыт работы с бизнес-требованиями: сбор, формирование и анализ.
● Опыт работы в условиях постоянно меняющихся требований.
● Умение давать и принимать обратную связь.
● Опыт написания программ распределённых вычислений на Spark.
● Опыт разработки ETL-процессов.
● Опыт проведения Code Review.
● Опыт или понимание разработки и проектирования архитектуры БД.
● Опыт создания и работы с БД.
● Опыт оптимизации SQL-запросов.
● Понимание процессов CI/CD.
● Опыт написания Unit-тестов.
● Python 3.5+.
● Spark 2.2+.
● Hadoop, Hive.
● Airflow.
● Kubernetes (K8S).
● SQLAlchemy.
● PostgreSQL, Greenplum.
● PyTest / Unittest.
● Flake8 / PyLint, Black.
● Docker.
● Git, GitLab, CI/CD.
● Умение разрешать конфликты в Git.
● Shell, Linux.