Senior Data Infrastructure Engineer

#вакансия #job #vacancy #remote #fulltime #AWS #Python #ClickHouse

Вакансия: Senior Data Infrastructure Engineer (Data Infrastructure Team)

Компания: Constructor.io (~300 человек)

Финансы: 90 000–120 000 $ в год + опционы

Локация: полная удалёнка

О компании
Мы делаем платформу, которая предоставляет API для поиска, навигации и рекомендаций для американского и европейского e-commerce. Наш движок, разработанный полностью внутри компании использует трансформеры, собственный обратный индекс и генеративные LLM. Он создан для экстремальных масштабов (более 1 миллиарда запросов в день) и показывает лучшие результаты на рынке, не проиграв ни одного A/B-теста конкурентам. Мы помогаем крупнейшим e-commerce компаниям мира, таким как Sephora, улучшать их выручку и конверсию.

О команде
Data Infrastructure Team — это одна из двух команд, разрабатывающих платформу данных и сфокусированная на низкоуровневых задачах. Платформа данных ежедневно принимает около терабайт сжатых событий и хранит несколько петабайт данных.
Мы отвечаем за оркестрацию пайплайнов, а также за инфраструктуру внутренней и внешней аналитики (ClickHouse, Lambda, BI, Cube.js). Также в нашу зону ответственности входят сбор и обработка логов в реальном времени (включая data compliance) и базовые сервисы, такие как Kubernetes, Ray и observability для всей компании.

Требования
Мы ищем Senior Data Infrastructure Engineer с опытом от 4 лет, который:
* Хорошо владеет письменным и устным английским (интервью будет проходить на нём).
* Любит работать над широким спектром задач: дата-инжиниринг, инфраструктура, оптимизация производительности, решение проблем пользователей.
* Любит дебажить проблемы и докапываться до сути
* Отлично умеет и любит программировать (желательно на Python).
* Отлично знает принципы обработки больших данных, системный дизайн и основы Computer Science, принципы работы OLTP и OLAP баз данных
* Любит и умеет быстро стать продуктивной в новой технологии
* Хорошо общается с людьми и умеет координировать работу (иногда мы делаем масштабные внутренние миграции)

Примеры проектов
* Реализовать обработку событий между регионами в реальном времени с записью в несколько хранилищ.
* Спроектировать таблицы в ClickHouse под OpenTelemetry для логов всех наших сервисов и придумать, как удобно визуализировать их в Grafana (или не в ней)
* Придумать CDC механизм для сохранения обновлений каталога в SCD2 Delta таблице
* Синтегрировать нашу инфраструктуру со сторонним GPU провайдером для оптимизации костов ML обучения
* Разобраться как запускать жирные Docker-образы в ECS или k8s с низкой latency

Податься и почитать более подробно тут: Показать контакты
По вопросам (не присылайте свои резюме в личку, пожалуйста!): Показать контакты