Middle Data Engineer

TL;DR

Middle Data Engineer: Developing ETL processes and infrastructure solutions for big data with an accent on data consistency and system reliability. Фокус на разработке алгоритмов преобразования данных и автоматизации задач бизнес-аналитиков.

Локация: Удаленно или в одном из офисов компании

Компания

hirify.global is a game development company.

Что делать

• Участие в развитии инфраструктурных решений для работы с big data, разработка ETL процессов.
• Участие в проработке и реализации интеграций с другими сервисами и командами.
• Разработка алгоритмов преобразования данных.
• Тестирование разработанного функционала, выявление проблемных участков и оптимизация.
• Совершенствование текущей системы хранения и управления данными.
• Разработка внутренних инструментов для автоматизации задач бизнес-аналитиков.

Требования

• Опыт работы с данными роли Data Engineer.
• Отличное знание Python, понимание особенностей реализации различных аспектов алгоритмов в коде.
• Опыт работы с ClickHouse или любой другой колоночной СУБД.
• Опыт работы с реляционными СУБД (MySQL/PostgreSQL).
• Умение оптимизировать SQL запросы.
• Опыт работы с Apache Airflow или с другими оркестраторами ETL процессов.
• Понимание принципов алгоритмов и структур данных, опыт обнаружения аномалий в данных.
• Умение пользоваться Docker, Docker Compose.
• Уверенное пользование git, умение писать информативные commit message.
• Продвинутые знания Linux/MacOS.

Хорошо, если есть

• Понимание принципов построения и работы распределенных баз данных.
• Опыт работы с библиотеками Pandas и Numpy.

Культура и преимущества

• Гибкий режим работы.
• Забота о здоровье.
• Комфортные условия.
• Профессиональное развитие.
• Бонусы и поощрения.
• Атмосфера.