Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
TL;DR
Data-инженер (Fintech/Big Data): Разработка и оптимизация end-to-end процессов обработки данных, хранилищ и витрин для различных проектов, включая высоконагруженные финтех-системы, с акцентом на построение масштабируемых пайплайнов. Фокус на проектировании архитектуры DWH/Data Lake, оптимизации сложных SQL-запросов и обеспечении качества данных с помощью инструментов мониторинга и валидации.
Локация: Удаленно (РФ)
Компания
Лайв Тайпинг — компания с 15-летним опытом разработки мобильных приложений и веб-сервисов, входящая в топ-20 лучших мобильных разработчиков России.
Что делать
- Проектировать и разрабатывать end-to-end процессы в хранилищах данных и витринах.
- Реализовывать различные слои данных, используя подходы DWH, Data Lake и Data Vault.
- Писать чистый и поддерживаемый код для обработки данных и создания пайплайнов.
- Оптимизировать сложные SQL-запросы в PostgreSQL, Greenplum и других СУБД.
- Работать с Apache Spark и экосистемой Hadoop (HDFS, Hive, YARN, Parquet).
- Обеспечивать качество данных через настройку проверок, валидацию и мониторинг.
Требования
- Опыт работы Data-инженером от 5 лет.
- Опыт проектирования процессов в хранилищах и использования оркестраторов данных.
- Глубокие знания архитектур DWH, Data Lake и Data Vault.
- Владение одним из языков программирования для обработки данных.
- Практический опыт работы с Apache Spark и Hadoop.
- Навыки написания и оптимизации сложных SQL-запросов.
Хорошо, если есть
- Опыт с Docker, Kubernetes (Helm).
- Знание Kafka и Trino.
- Опыт интеграции с ML/LLM и использование MLOps-инструментов (MLFlow, DVC, LangChain).
- Опыт работы с Teradata, Oracle, ClickHouse, SAS, Apache NiFi.
- Навыки системного администрирования: Linux CLI, Bash, Grafana, Zabbix, Ansible.
Культура и преимущества
- Гибкий график и полностью удаленный формат работы.
- Полное сопровождение на всех этапах работы на проекте.
- Компания берет на себя поиск проектов, коммуникацию с заказчиком и организацию оплаты.
- Возможность профессионального роста через работу над разнообразными проектами.
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →
Похожие вакансии
