Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Текст:
TL;DR
Инженер по данным (Big Data) (Spark/Kafka/S3/ClickHouse): Разработка с нуля корпоративной дата-платформы и инфраструктуры ingest/transform с акцентом на миграцию пайплайнов с Hadoop/HDFS, высоконагруженную обработку и OLAP-витрины. Focus on проектирование отказоустойчивой архитектуры, масштабирование Kafka и обеспечение строгих SLA по доставке данных.
Локация: удалённо или в офисах в Москве, Санкт-Петербурге и Новосибирске.
Компания
2ГИС — аккредитованная IT-компания, развивающая корпоративную дата-платформу для стандартизации работы с данными.
Что делать
- Разрабатывать с нуля MVP дата-платформы и инфраструктуру для ingest/transform.
- Мигрировать существующие пайплайны с Hadoop/HDFS на архитектуру с S3, Kafka, Spark и ClickHouse.
- Работать с большими объёмами данных и высоконагруженными Kafka-топиками, включая десятки и сотни тысяч событий в секунду.
- Строить отказоустойчивые пайплайны обработки и доставки данных, участвовать в архитектурных решениях и внедрять практики хранения, мониторинга и контроля качества данных.
- Проектировать OLAP-витрины для продуктовой и управленческой аналитики.
- Сопровождать миграцию BI-отчётов на новую платформу, включая DataLens и Power BI.
Требования
- От 3 лет опыта на позиции Data Engineer или Big Data Engineer.
- Понимание работы Apache Spark и опыт его подготовки к работе.
- Опыт работы с ClickHouse и его оптимизацией.
- Опыт работы с высоконагруженной Kafka.
- Знание дата-архитектуры: DWH, Data Lake, OLAP, ETL/ELT и Data Governance.
- Умение проектировать отказоустойчивые пайплайны.
- Уверенное владение одним из языков программирования, например Python или Scala.
- Знание SQL и способность разбираться в логике отчётов.
Хорошо, если есть
- Опыт построения дата-платформ, включая Self-Service инструменты и процессы.
- Знание инструментов мониторинга и автоматического контроля качества данных, Data Quality и Data Contracts.
- Опыт построения Data Lineage и работы с Data Catalog.
- Инфраструктурный опыт с Docker, Kubernetes и CI/CD.
Культура и преимущества
- Осознанное избавление от легаси и оценка эффективности по бизнес-ценности.
- Возможность предлагать нестандартные обоснованные решения и влиять на технологический курс компании.
- Важность понятной human-friendly документации и умения договариваться с бизнесом и коллегами.
- Полностью официальная зарплата и ДМС, включая онлайн-консультации терапевта, невролога, психолога и медицинского агента.
- Учебный центр, курсы, тренинги и книги для профессионального развития; поддержка выступлений на конференциях и публикаций на Хабре.
- Удалённая работа или работа в офисах Москвы, Санкт-Петербурга и Новосибирска.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →
Музыка
Осень
Поддержка