Ptolemay
Work format
remote
Work type
fulltime
Grade
senior
1 month ago
Senior Data Engineer
sql
python
java
scala
airflow
dbt
hadoop
apache spark
kafka
kubernetes
ci/cd
4 000-4 500
USD
#вакансия #vacancy #data_engineer #DE #Senior #remote #fulltime
Вакансия: Senior Data Engineer
Формат: Удалённый
Занятость: Полная
Локация: любая
Гражданство: РФ
Оплата: 4000 - 4500$ net.
Ptolemay - аутсорсинговая IT-компания полного цикла по разработке мобильных и веб-приложений для бизнеса и стартапов. Ищем Senior Data Engineer для аустафф-проекта в банковской сфере.
Задачи:
- Мигрировать процессы для отчетности и аналитики и настраивать их регламентную загрузку.
- Работать с общебанковской data-платформой (data lake, dwh).
- Разрабатывать end-to-end пайплайны по сбору и обработке данных: выбирать оптимальный формат, структуру хранения и архитектуру интеграционных решений.
- Анализировать и оптимизировать производительность пайплайнов, инструментов и дата-сервисов.
- Развивать архитектуру данных и внедрять новые технологические решения и сервисы.
- Управлять обновлениями, настройками, устранять выявленные уязвимости, восстанавливать сервисы после сбоев, обрабатывать инциденты.
Требования:
- Знание SQL на уровне оптимизации сложных запросов.
- Знание принципов работы классических и MPP-СУБД.
- Опыт разработки на Python и/или Java, Scala.
- Опыт оркестрации ETL-пайплайнов с помощью Airflow.
- Опыт работы с dbt.
- Опыт работы с продуктами экосистемы Hadoop (HDFS, YARN, HIVE, Sqoop).
- Опыт Apache Spark (Spark DataFrames, Spark SQL).
- Знание банковской предметной области.
Будет плюсом:
- Опыт работы с Kafka, Trino.
- Опыт работы с контейнерными технологиями и оркестрацией: kubernetes, helm.
- Знания и опыт CI/CD-практик и инструментов.
Условия:
- Удалённый формат работы.
- Полная занятость.
- Гибкий график.
- Оформление по ИП, СМЗ.
- Оплата 4000 - 4500$ net.
Буду рад ответить на вопросы и ознакомиться с резюме:
Вакансия: Senior Data Engineer
Формат: Удалённый
Занятость: Полная
Локация: любая
Гражданство: РФ
Оплата: 4000 - 4500$ net.
Ptolemay - аутсорсинговая IT-компания полного цикла по разработке мобильных и веб-приложений для бизнеса и стартапов. Ищем Senior Data Engineer для аустафф-проекта в банковской сфере.
Задачи:
- Мигрировать процессы для отчетности и аналитики и настраивать их регламентную загрузку.
- Работать с общебанковской data-платформой (data lake, dwh).
- Разрабатывать end-to-end пайплайны по сбору и обработке данных: выбирать оптимальный формат, структуру хранения и архитектуру интеграционных решений.
- Анализировать и оптимизировать производительность пайплайнов, инструментов и дата-сервисов.
- Развивать архитектуру данных и внедрять новые технологические решения и сервисы.
- Управлять обновлениями, настройками, устранять выявленные уязвимости, восстанавливать сервисы после сбоев, обрабатывать инциденты.
Требования:
- Знание SQL на уровне оптимизации сложных запросов.
- Знание принципов работы классических и MPP-СУБД.
- Опыт разработки на Python и/или Java, Scala.
- Опыт оркестрации ETL-пайплайнов с помощью Airflow.
- Опыт работы с dbt.
- Опыт работы с продуктами экосистемы Hadoop (HDFS, YARN, HIVE, Sqoop).
- Опыт Apache Spark (Spark DataFrames, Spark SQL).
- Знание банковской предметной области.
Будет плюсом:
- Опыт работы с Kafka, Trino.
- Опыт работы с контейнерными технологиями и оркестрацией: kubernetes, helm.
- Знания и опыт CI/CD-практик и инструментов.
Условия:
- Удалённый формат работы.
- Полная занятость.
- Гибкий график.
- Оформление по ИП, СМЗ.
- Оплата 4000 - 4500$ net.
Буду рад ответить на вопросы и ознакомиться с резюме: