Data Engineer

#вакансия #DE #удаленка #fulltime #SQL #Python #Hadoop

Data Engineer

🏢 Компания: Luna Capital - аккредитованная ИТ-компания;
🌟 Грейд: Middle+, Senior
🌍 Локация: РФ (МСК часовой пояс)
🔻 Тип работы: удалённая работа
💰 Вилка: 250 000 - 300 000 ₽ на руки

————————————————
О ПРОЕКТЕ:

Масштабная миграция с Hadoop на современный стек Big Data.
Работа с крупными объёмами данных в банковской сфере, пересборка процессов с учётом новых технологий, оптимизация хранилищ и пайплайнов.

————————————————
ЧТО НУЖНО ДЕЛАТЬ:

• Анализировать существующие решения в Hadoop-экосистеме;
• Перерабатывать решения с использованием кодогенераторов;
• Разрабатывать пайплайны с нуля по шаблонам (ETL, ELT);
• Участвовать в миграции на современный Big Data стек;
• Документировать реализованные решения (Confluence, Swagger и др.).

————————————————
ТРЕБОВАНИЯ:

1. Опыт работы от 3 лет;

2. Знание SQL и Python;

3. Знание Apache Spark, Hadoop, S3 или S3-совместимых хранилищ;

4. Опыт работы с Apache Airflow и форматом Parquet;

5. Навыки системного анализа и тестирования;

6. Знание Git, CI CD, JSON, XML, Jira, Confluence;

7. Базовые знания Kafka и работы с РСУБД (PostgreSQL, Oracle и др.).

————————————————
БУДЕТ ПЛЮСОМ:

8. Опыт работы с Apache Iceberg;
9. Опыт миграции или модернизации дата-решений;
10. Понимание архитектуры распределённых хранилищ и обработки данных.

————————————————
📨 Резюме направлять: Показать контакты