Data Engineer (Big Data)

#de #dataengineer #remote #vacancy #вакансия #работа #удаленно

✅ Data Engineer

Компания - SPBDev
Формат - удаленно
Занятость - полная
Оплата - 200-300тр/мес

*Требования:*
- от 3 лет коммерческой разработки - от 2 лет разработка систем, которые вышли в промышленную эксплуатацию
- от 2 лет - BigData;
- Глубокие теоретические знания стека технологий и практический опыт. Уменее давать и принимать обратную связь;
- Опыт работы с бизнес требованиям (сбор, формирование требований, анализ), опыт работы в условиях постоянно меняющихся требований;
- Опыт написания программ распределенных вычислений (Spark) и ETL процессов;
- Опыт проведения Code Review Опыт/понимание разработки и проектирования архитектуры БД, создание и манипуляции с БД;
- Опыт оптимизации запросов;
- Понимание процессов CI/CD;
- Опыт оптимизации запросов;
- Опыт написания unit тестов Python 3.5+ Spark 2.2+ Hadoop Hive Airflow Kubernetes (K8S) SQLAlchemy, PostgresQL, Greenplum PyTest / Unittest Flake8 / PyLint Black Docker Git, GitLab, CI / CD, разрешение конфликтов Shell, Linux

*Обязанности*
- Разработка низкоуровневой архитектуры систем больших данных, на основании информации полученной от аналитиков и архитекторов;
- Разработка документа, описывающего низкоуровневую архитектуру разрабатываемых систем больших данных;
- Разработка, программного кода систем больших данных;
- Подготовка документации, описывающей алгоритмы разработанных систем больших данных;
- Разработка Unit Тестов для программного кода систем больших данных;
- Подготовка и сборка установочных пакетов, для установки разработанных решений на промышленную среду;
- Проведение плановых работ по оптимизации программного кода разработанных систем больших данных;
- Исправление дефектов в разработанных приложениях;
- Подготовка и выпуск пакетов обновлений, включающих в себя исправление дефектов и оптимизацию программного кода систем больших данных.
.
Рекрутер
Показать контакты