обновлено 7 часов назад
Senior Data Engineer
Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Senior Data Engineer в лидер в персонализации пользовательского опыта в e-commerce.
Компания рассматривает кандидатов только из России.
З/п: обсуждается, соцпакет.
Формат работы: Офис, Удаленка, Гибрид(мск).
Cтек:
- Языки: Java 17, Python, Scala;
- Хранилища и работа с данными: PostgreSQL, ClickHouse, Redis, S3, Kafka, Spark, ElasticSearch, Airflow;
- Мониторинг и алертинг: Prometheus, Grafana, Micrometer, datadog tracing;
- Логирование: ELK;
- BI и аналитика: DataLens.
🔷Задачи:
- Проведение аудита существующих дата-пайплайнов, выявление узких мест и точек отказа;
- Проектирование и реализация целевой архитектуры загрузки, трансформации и хранения данных под высокую нагрузку;
- Разработка и внедрение единых стандартов и лучших практик, включая стандартизацию процессов ETL/ELT, управление схемами данных и ведение документации.
🔷Обязательные требования:
- Data Engineer более 5 лет;
- Отличное знание Spark и одного из языков Scala/Java;
- Способность проектировать архитектуру под высокую нагрузку и масштабировать решение;
- Глубокое понимание ETL/ELT-процессов и архитектуры дата-систем;
- Опыт профилирования и оптимизации производительности пайплайнов;
- Уверенные навыки SQL и работы с хранилищами данных (ClickHouse, PostgreSQL, S3 или аналоги).
- Опыт работы с Airflow или аналогами, и настройка мониторинга/алертов
Отклики ждем
Будьте осторожны: если вас просят войти в iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →