Вакансия из Telegram канала - Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
TL;DR
Data Scientist (Snowflake): Разработка и оптимизация масштабируемых конвейеров обработки данных и ETL-процессов с акцентом на Snowflake, Spark, моделирование данных и интеграцию потоковых источников. Фокус на настройке производительности запросов и алгоритмов, внедрении CI/CD и автоматизированного тестирования, а также наставничестве инженеров данных.
Вакансия Data Scientist
🟢 Удаленно🟢 Полная занятость
🟢 ЗП обсуждается на собеседовании
🟢 В компанию Xsolla
#ds_ml
🟦 Описание вакансии
Мы ищем специалиста по решению проблем на основе данных, который преуспевает на стыке инженерии и науки. Вы обладаете высокой ответственностью и работаете автономно в быстро меняющейся среде, балансируя скорость и надежность. Как наставник, вы повышаете планку качества и дисциплины команды, переводя сложные технические концепты в бизнес-ценность. Вы увлечены созданием масштабируемых решений и обладаете отличными навыками межфункциональной коммуникации, позволяющими налаживать связи между инженерными и бизнес-подразделениями.
🟦 Задачи
Архитектура и развитие
– Разрабатывайте, создавайте и оптимизируйте конвейеры обработки данных и рабочие процессы ETL в Snowflake, используя Snowpark, Streams/Tasks и Snowpipe.
– Разработка масштабируемых моделей данных, алгоритма, поддерживающего 360-градусный обзор пользователей, прогнозирование оттока клиентов и входные данные для системы рекомендаций.
– Обеспечение интеграции между различными источниками данных: MySQL, BigQuery, Redis, Kafka, GCP Storage и API Gateway.
– Внедрить CI/CD для конвейеров обработки данных с использованием Git, dbt и автоматизированного тестирования.
– Определите процедуры проверки качества данных и конвейеры аудита для уровней приема и преобразования данных.
Лидерство и сотрудничество
– Оказывайте наставническую помощь и консультируйте младших инженеров по данным в вопросах моделирования данных, оптимизации производительности и применения лучших практик Snowflake.
– В сотрудничестве с командами Data Science, ML и Backend-разработки вы сможете внедрить функции машинного обучения в Snowflake.
– Тесное сотрудничество с юридическим отделом, отделом безопасности и отделом инфраструктуры для обеспечения соответствия нормативным требованиям, конфиденциальности и управления данными пользователей (персональными данными).
– Взаимодействовать с директором по платформам данных и заинтересованными сторонами продукта для преобразования бизнес-требований в технические спецификации.
Производительность и масштабируемость
– Настройка производительности алгоритма.
– Настройте разделение данных, кластеризацию и материализованные представления для быстрого выполнения запросов.
– Создавайте панели мониторинга и средства отслеживания состояния конвейера обработки данных, успешности выполнения заданий и задержки данных (например, с помощью Looker, Tableau или Snowsight).
Управление и передовые практики
– Установить и обеспечить соблюдение правил именования, происхождения данных и стандартов метаданных во всех схемах.
– Проводить проверку кода, обеспечивать соблюдение стандартов документации и управлять версионированием схем.
– Внесите свой вклад в развитие концепции компании по созданию сетей передачи данных и архитектуры потоковой обработки данных.
🟦 Требования
– Более 5 лет опыта работы в области анализа данных, из них более 3 лет опыта работы с фреймворком Spark .
– Уверенные навыки работы с SQL и Python, подтвержденный опыт создания ETL/ELT-процессов в масштабах предприятия.
– Глубокое понимание оптимизации производительности алгоритмов , оптимизации запросов и оркестрации хранилища данных .
– Опыт работы с системами оркестрации конвейеров данных (Airflow, Prefect, dbt или аналогичные).
– Уверенное знание методов моделирования данных (Kimball, Data Vault или гибридные).
– Уверенное владение Kafka , GCP или AWS для обработки данных в режиме реального времени или пакетной обработки.
– Знание принципов интеграции данных на основе API и микросервисных архитектур.
🌐
#ds_ml
Мы ищем специалиста по решению проблем на основе данных, который преуспевает на стыке инженерии и науки. Вы обладаете высокой ответственностью и работаете автономно в быстро меняющейся среде, балансируя скорость и надежность. Как наставник, вы повышаете планку качества и дисциплины команды, переводя сложные технические концепты в бизнес-ценность. Вы увлечены созданием масштабируемых решений и обладаете отличными навыками межфункциональной коммуникации, позволяющими налаживать связи между инженерными и бизнес-подразделениями.
Архитектура и развитие
– Разрабатывайте, создавайте и оптимизируйте конвейеры обработки данных и рабочие процессы ETL в Snowflake, используя Snowpark, Streams/Tasks и Snowpipe.
– Разработка масштабируемых моделей данных, алгоритма, поддерживающего 360-градусный обзор пользователей, прогнозирование оттока клиентов и входные данные для системы рекомендаций.
– Обеспечение интеграции между различными источниками данных: MySQL, BigQuery, Redis, Kafka, GCP Storage и API Gateway.
– Внедрить CI/CD для конвейеров обработки данных с использованием Git, dbt и автоматизированного тестирования.
– Определите процедуры проверки качества данных и конвейеры аудита для уровней приема и преобразования данных.
Лидерство и сотрудничество
– Оказывайте наставническую помощь и консультируйте младших инженеров по данным в вопросах моделирования данных, оптимизации производительности и применения лучших практик Snowflake.
– В сотрудничестве с командами Data Science, ML и Backend-разработки вы сможете внедрить функции машинного обучения в Snowflake.
– Тесное сотрудничество с юридическим отделом, отделом безопасности и отделом инфраструктуры для обеспечения соответствия нормативным требованиям, конфиденциальности и управления данными пользователей (персональными данными).
– Взаимодействовать с директором по платформам данных и заинтересованными сторонами продукта для преобразования бизнес-требований в технические спецификации.
Производительность и масштабируемость
– Настройка производительности алгоритма.
– Настройте разделение данных, кластеризацию и материализованные представления для быстрого выполнения запросов.
– Создавайте панели мониторинга и средства отслеживания состояния конвейера обработки данных, успешности выполнения заданий и задержки данных (например, с помощью Looker, Tableau или Snowsight).
Управление и передовые практики
– Установить и обеспечить соблюдение правил именования, происхождения данных и стандартов метаданных во всех схемах.
– Проводить проверку кода, обеспечивать соблюдение стандартов документации и управлять версионированием схем.
– Внесите свой вклад в развитие концепции компании по созданию сетей передачи данных и архитектуры потоковой обработки данных.
– Более 5 лет опыта работы в области анализа данных, из них более 3 лет опыта работы с фреймворком Spark .
– Уверенные навыки работы с SQL и Python, подтвержденный опыт создания ETL/ELT-процессов в масштабах предприятия.
– Глубокое понимание оптимизации производительности алгоритмов , оптимизации запросов и оркестрации хранилища данных .
– Опыт работы с системами оркестрации конвейеров данных (Airflow, Prefect, dbt или аналогичные).
– Уверенное знание методов моделирования данных (Kimball, Data Vault или гибридные).
– Уверенное владение Kafka , GCP или AWS для обработки данных в режиме реального времени или пакетной обработки.
– Знание принципов интеграции данных на основе API и микросервисных архитектур.
🌐
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →
Текст вакансии взят без изменений
Источник -
