TL;DR
Senior Data Engineer (Big Data): Разработка и оптимизация высокомасштабируемых решений для обработки данных и миграции на новую инфраструктуру с акцентом на проектирование Lakehouse-архитектур и ETL-пайплайнов. Фокус на анализ и решение проблем производительности в распределенных системах, внедрение лучших практик и стандартов управления данными.
Локация: Москва (м. Технопарк). Офис или гибрид.
Salary: ≈ 300 000 — 450 000 ₽/мес на руки
Компания
MTS Web Services — бигтех-компания, предоставляющая облачные, AI-сервисы и платформенные решения.
Что делать
- Участвовать в проектировании и построении инновационных и амбициозных решений для обработки данных в масштабе компании.
- Разрабатывать технические рекомендации и внедрять лучшие практики в команде дата-инженеров.
- Проектировать и реализовывать миграции существующих решений на новую инфраструктуру (например, с Hadoop/Hive/HDFS на Lakehouse/S3/Iceberg).
- Анализировать и оптимизировать ETL/SQL/Spark-приложения для повышения производительности на различной инфраструктуре.
Требования
- Apache Spark: углубленное понимание внутренней архитектуры и оптимизация производительности, практический опыт интеграции Spark с нативными движками.
- SQL: продвинутые навыки работы с запросами и оптимизацией.
- Python и/или Java: уверенное владение одним из языков.
- Hadoop/HDFS: опыт работы с распределенными файловыми системами.
- Apache Kafka/Spark streaming/Flink: построение стриминговых решений и интеграций.
- Airflow: разработка и управление ETL-пайплайнами.
- СУБД: опыт работы как с реляционными БД, так и с MPP-системами (Greenplum, ClickHouse), понимание их внутреннего устройства, возможностей, особенностей и отличий.
- Lakehouse: опыт разработки ETL-процессов для S3 и Apache Iceberg.
- Архитектурная экспертиза: понимание различных принципов проектирования хранилищ данных, знание современных подходов к построению Data Lakehouse-архитектуры, опыт выбора оптимальных систем хранения и обработки, опыт построения эффективных ETL/ELT-архитектур.
- Диагностика и оптимизация: сильные навыки в выявлении и устранении узких мест производительности в дата-пайплайнах, умение анализировать планы выполнения, настраивать СУБД и движки для улучшения производительности, диагностика проблем с распределенными системами (Spark, Hadoop) и их эффективное решение.
Хорошо, если есть
- Опыт выстраивания CI/CD для дата-пайплайнов.
- Знание технологий контейнеризации (Docker, Kubernetes) на уровне "как оно там заводится и крутится".
- Понимание принципов Data Governance, а также задач Data Quality и Data Observability.
- Умение использовать LLM и AI-инструменты для повышения своей производительности.
Культура и преимущества
- Собственная платформа MTS Ocean для получения ИТ-ресурсов.
- Профессиональные гильдии инженеров, внутренняя площадка TechTalks для обмена опытом, участие во внешних IT-конференциях.
- Полезные курсы и вебинары в корпоративном университете и электронная библиотека.
- ДМС с первого месяца работы, включая стоматологию, страхование от несчастных случаев, материальная помощь в сложных жизненных ситуациях.
- Отпуск 28 календарных дней, прием врачей общей практики и массаж в офисе.
- Мобильная связь за счет компании, льготные тарифы для близких, подписка на онлайн-кинотеатр KION, сервис МТС Музыка, книжный сервис Строки от МТС, безлимитные мессенджеры и соцсети.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →