Data Engineer (Spark)

Python
В проекте "Grapher" , ключевом драйвере монетизации внутренней платформы работы с данными "Profiles Platform" , открыта вакансия инженера по разработке высоконагруженных систем. Grapher - это масштабный граф клиентских связей (более 70 млрд рёбер) на базе Cassandra, обеспечивающий:

• Скоринг по окружению : оценка кредитных рисков на основе 2-hop сетей контактов


• BAF (Bring a Friend) : подбор наиболее релевантных рефералов


• Антифрод : выявление мошеннических схем и аномалий в связях


• Telesales : рекомендация целевых продуктов под каждого клиента по уго окружению

В рамках обновления платформы тебе предстоит:

1. Решать задачи заливки и обогащения больших объемов данных в кассандру.


2. Разрабатывать и интегрировать расчёт графовых метрик (Jaccard, Dice, PageRank и др.) с построением соответствующих пайплайнов


3. Реализовать выдачу 2-hop окружения для OLTP и OLAP запросов


4. Оптимизировать скорость и надёжность выполнения запросов

Требования:

• Опыт промышленной разработки на Apache Spark от 3 лет


• Хорошее знание одного из табличных форматов: Iceberg, DeltaLake, Hudi


• Практический опыт оптимизации задач на Spark


• Знание одного из языков программирования — Java ( в приоритете), Python, Scala


• Владение SQL на уровне написания аналитических запросов


• Хорошие навыки презентации и/или обучения

Условия:

• Работу в офисе или удаленно — по договоренности


• 
  
  
  
  • Возможность работы в аккредитованной ИТ-компании
  
  
  
  


• 
  
  
  
  • Платформу обучения и развития «Т‑Банк Апгрейд». Курсы, тренинги, вебинары и базы знаний. Поддержку менторов и наставников, помощь в поиске точек роста и карьерном развитии
  
  
  
  


• 
  
  
  
  • Заботу о здоровье. Оформим полис ДМС со стоматологией и страховку от несчастных случаев. Предложим льготное страхование вашим близким
  
  
  
  


• 
  
  
  
  • Бесплатный фитнес-зал или компенсацию затрат на спортивные занятия
  
  
  
  


• 
  
  
  
  • 3 дополнительных дня отпуска в год
  
  
  
  


• 
  
  
  
  • Уникальную well-being-программу, направленную на физическое и ментальное благополучие сотрудников
  
  
  
  


• 
  
  
  
  • Достойную зарплату — обсудим ее на собеседовании
  
  
  
  

Откликнуться

​
EditPublish