Эта вакансия старше 7 дней и может быть неактуальной.
Чтобы не пропустить новые вакансии и откликаться в числе первых, подпишитесь на уведомления в Telegram
Constructor.io
13 days ago
Senior Data Engineer
90 000 - 110 000$
Описание вакансии
#вакансия #job #vacancy #remote #fulltime #Spark #Python #ClickHouse
Вакансия: Senior Data Engineer (Data Infrastructure Team)
Компания: Constructor.io (~300 человек)
Финансы: 90 000–110 000 $ в год + опционы
Локация: полная удалёнка
О компании
Мы делаем платформу, которая предоставляет API для поиска, навигации и рекомендаций для американского и европейского e-commerce. Наш движок, разработанный полностью внутри компании использует трансформеры, собственный обратный индекс и генеративные LLM. Он создан для экстремальных масштабов (более 1 миллиарда запросов в день) и показывает лучшие результаты на рынке, не проиграв ни одного A/B-теста конкурентам. Мы помогаем крупнейшим e-commerce компаниям мира, таким как Sephora, улучшать их выручку и конверсию.
О команде
Data Infrastructure Team — это одна из двух команд, разрабатывающих платформу данных и сфокусированная на низкоуровневых задачах. Платформа данных ежедневно принимает около терабайт сжатых событий и хранит несколько петабайт данных.
Мы отвечаем за оркестрацию пайплайнов, а также за инфраструктуру внутренней и внешней аналитики (ClickHouse, Lambda, BI, Cube.js). Также в нашу зону ответственности входят сбор и обработка логов в реальном времени (включая data compliance) и базовые сервисы, такие как Kubernetes, Ray и observability для всей компании.
Требования
Мы ищем Senior Data Engineer с опытом от 4 лет, который:
* Хорошо владеет письменным и устным английским (интервью будет проходить на нём).
* Любит работать над широким спектром задач: дата-инжиниринг, инфраструктура, оптимизация производительности, решение проблем пользователей.
* Отлично умеет и любит программировать (желательно на Python).
* Разбирается в облачной инфраструктуре (мы используем AWS), любит заниматься инфраструктурными вопросами и знаком с подходом Infrastructure-as-Code (IaC).
* Отлично знает принципы обработки больших данных, системный дизайн и основы Computer Science.
* Имеет опыт работы с OLTP- и OLAP-базами данных.
* Проактивен, общителен и решителен.
Примеры проектов
* Реализовать обработку событий между регионами в реальном времени с записью в несколько хранилищ.
* Развернуть OpenMetadata в Kubernetes для наших пайплайнов.
* Спроектировать таблицы в ClickHouse под OpenTelemetry для логов всех наших сервисов и придумать, как удобно визуализировать их в Grafana.
* Разработать библиотеку с общими подходами к Infrastructure-as-Code для использования другими командами.
* Придумать CDC механизм для сохранения обновлений каталога в SCD2 Delta таблице
Податься и почитать более подробно тут:
По вопросам (не присылайте свои резюме, пожалуйста!):
Вакансия: Senior Data Engineer (Data Infrastructure Team)
Компания: Constructor.io (~300 человек)
Финансы: 90 000–110 000 $ в год + опционы
Локация: полная удалёнка
О компании
Мы делаем платформу, которая предоставляет API для поиска, навигации и рекомендаций для американского и европейского e-commerce. Наш движок, разработанный полностью внутри компании использует трансформеры, собственный обратный индекс и генеративные LLM. Он создан для экстремальных масштабов (более 1 миллиарда запросов в день) и показывает лучшие результаты на рынке, не проиграв ни одного A/B-теста конкурентам. Мы помогаем крупнейшим e-commerce компаниям мира, таким как Sephora, улучшать их выручку и конверсию.
О команде
Data Infrastructure Team — это одна из двух команд, разрабатывающих платформу данных и сфокусированная на низкоуровневых задачах. Платформа данных ежедневно принимает около терабайт сжатых событий и хранит несколько петабайт данных.
Мы отвечаем за оркестрацию пайплайнов, а также за инфраструктуру внутренней и внешней аналитики (ClickHouse, Lambda, BI, Cube.js). Также в нашу зону ответственности входят сбор и обработка логов в реальном времени (включая data compliance) и базовые сервисы, такие как Kubernetes, Ray и observability для всей компании.
Требования
Мы ищем Senior Data Engineer с опытом от 4 лет, который:
* Хорошо владеет письменным и устным английским (интервью будет проходить на нём).
* Любит работать над широким спектром задач: дата-инжиниринг, инфраструктура, оптимизация производительности, решение проблем пользователей.
* Отлично умеет и любит программировать (желательно на Python).
* Разбирается в облачной инфраструктуре (мы используем AWS), любит заниматься инфраструктурными вопросами и знаком с подходом Infrastructure-as-Code (IaC).
* Отлично знает принципы обработки больших данных, системный дизайн и основы Computer Science.
* Имеет опыт работы с OLTP- и OLAP-базами данных.
* Проактивен, общителен и решителен.
Примеры проектов
* Реализовать обработку событий между регионами в реальном времени с записью в несколько хранилищ.
* Развернуть OpenMetadata в Kubernetes для наших пайплайнов.
* Спроектировать таблицы в ClickHouse под OpenTelemetry для логов всех наших сервисов и придумать, как удобно визуализировать их в Grafana.
* Разработать библиотеку с общими подходами к Infrastructure-as-Code для использования другими командами.
* Придумать CDC механизм для сохранения обновлений каталога в SCD2 Delta таблице
Податься и почитать более подробно тут:
По вопросам (не присылайте свои резюме, пожалуйста!):
Источник - Data jobs feed