Назад
обновлено 15 часов назад

Senior Data Engineer

Формат работы
hybrid
Тип работы
fulltime
Грейд
senior
Страна
Russia
vacancy_detail.hirify_telegram_tooltipВакансия из Telegram канала -

Мэтч & Сопровод

Покажет вашу совместимость и напишет письмо

Описание вакансии

Senior Data Engineer
#гибрид #senior
Локация: Москва
Компания: Сбер
🔹Обязанности
-разрабатывать и настраивать механизмы для автоматизированного сбора данных, обеспечивать корректность и полноту сбора, оптимизировать процессы таким образом, чтобы все работало быстрее и без ручного вмешательства
-разрабатывать пайплайны для предобработки данных и преобразовывать их в формат, оптимальный для дальнейшего хранения, обработки и использования для RAG
-проектировать и реализовывать хранилища, которые позволили бы эффективно решать задачи, связанные с RAG
-применять машинное обучение и искусственный интеллект для улучшения результатов работы, поддерживать корректную работу системы – мониторинг, диагностика и устранение неполадок, исправление старых багов и создание новых

🔹Требования
-умение проектировать DWH, Data Lake, Data Management Platform
-опыт построения и развития высоконагруженных систем
-опыт разработки и оптимизации пайплайнов (batch, streaming) для обработки больших объемов данных (100TB - 1PB+)
-продвинутый уровень владения Python и SQL
-опыт работы с движками для распределенной обработки данных (Spark, Trino)
-опыт работы с очередями сообщений (Kafka, RabbitMQ)
-опыт работы с MPP базами данных и понимание их внутреннего устройства (ClickHouse, Greenplum, Vertica)
-базовые навыки DevOps (Docker, Kubernetes, Ansible, Terraform, CI/CD
-навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом
-опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки создания и использования AI-агентов
инструментальное владение AI для анализа, генерации и автоматизации
-навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе будет преимуществом
-опыт использования GigaChat, Kandinsky и аналогов в продуктах, навыки создания и использования AI-агентов
-инструментальное владение AI для анализа, генерации и автоматизации
Контакты:

🔥 Подписаться на наши каналы / @best_itjob / @it_rab

Будьте осторожны: если вас просят войти в iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →

Текст вакансии взят без изменений

Источник -