Data Engineer (AI)

Data Engineer
#удаленка
Компания: Билайн
🔹Итак, вам предстоит:
-Проектирование, разработка и поддержка ETL/ELT-пайплайнов.
-Интеграция с различными источниками данных (API, базы данных, файлы, очереди).
-Оптимизация процессов обработки больших данных (10ТБ+).
-Работа с распределёнными системами хранения и вычислений (Hadoop, Spark).
-Настройка оркестрации и мониторинга пайплайнов в Airflow.
-Поддержка и развитие хранилища (ClickHouse, HDFS, Postgresql)
-Подготовка витрин данных для аналитиков и ML-команды.
-Документация пайплайнов, best practices в команде.
-Разработка инструментов для интеграции LLM в продукты (API, библиотеки и пр.)
-Разработки агентов и агентных систем
-Разработка баз знаний для RAG
-Fine-tuning/адаптация LLM для специфичных задач/домен (PeFT, SFT).

🔹Мы будем рады рассмотреть вашу кандидатуру, если у вас есть:
-Опыт работы Data Engineer от 2 лет.
-Опыт коммерческой разработки на Python (3.6+).
-Опыт работы с PySpark и экосистемой Hadoop (HDFS, Yarn).
-Понимание принципов работы распределённых вычислений и оптимизации Spark-джоб.
-Практический опыт работы с Airflow (DAG’и, сенсоры, операторы, оптимизация).
-Знания основ Machine Learning / Deep Learning
-Глубокое понимание архитектуры Transformer.
-Умение работать с большими объёмами данных (10ТБ+).
-Знание SQL (в т.ч. оптимизации сложных запросов)
-Опыт работы с системами контроля версий (у нас Git + Gitlab).
Контакты: Показать контакты

🔥