обновлено 4 дня назад
Python Разработчик (Middle) (ClickHouse/Kafka)
Вакансия из Telegram канала - Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Python-разработчик (middle)
#офис #middle
Екатеринбург
Компания: Мегафон
☑️Какие задачи необходимо решать
• Проектировать, разрабатывать, оптимизировать и поддерживать ETL процессы для загрузки данных из различных источников• Управлять потоковой обработкой данных с использованием Apache Kafka • Разрабатывать и оптимизировать структуры данных, схемы и запросы в PostgreSQL для операционных и транзакционных задач• Строить, администрировать и настраивать ClickHouse кластеры для обеспечения высокой производительности аналитических запросов на больших объемах данных• Разрабатывать и поддерживать решения на базе ClickHouse (или связки PostgreSQL + ClickHouse)• Интегрировать данные между PostgreSQL, Kafka, ClickHouse и другими компонентами инфраструктуры (API, очереди, S3)• Осуществлять мониторинг производительности, отказоустойчивости и безопасности data pipeline и баз данных• Автоматизировать процессы обработки данных и развертывания (CI/CD)• Взаимодействовать с аналитиками, разработчиками и product owner'ами для понимания потребностей в данных и их реализации• Устранять неисправности в pipeline данных и базах данных
☑️Для решения этих задач требуется
• Опыт работы с одним из языков программирования от 2-3-х лет: Python (предпочтительно), Golang (будет плюсом)• Опыт разработки и администрирования ClickHouse (знание особенностей движков таблиц, оптимизация запросов, кластеризация, репликация, шардирование)• Глубокое понимание и практический опыт работы с Apache Kafka, настройка и обеспечение надежности потоков данных• Опыт работы с PostgreSQL (написание сложных SQL-запросов, оптимизация производительности, понимание механизмов транзакций, репликации)• Понимание принципов построения ETL процессов• Знание SQL на продвинутом уровне• Понимание принципов DevOps (Docker, Kubernetes, Linux, CI/CD) применительно к инфраструктуре данных
Python Job | |
#офис #middle
Екатеринбург
Компания: Мегафон
☑️Какие задачи необходимо решать
• Проектировать, разрабатывать, оптимизировать и поддерживать ETL процессы для загрузки данных из различных источников• Управлять потоковой обработкой данных с использованием Apache Kafka • Разрабатывать и оптимизировать структуры данных, схемы и запросы в PostgreSQL для операционных и транзакционных задач• Строить, администрировать и настраивать ClickHouse кластеры для обеспечения высокой производительности аналитических запросов на больших объемах данных• Разрабатывать и поддерживать решения на базе ClickHouse (или связки PostgreSQL + ClickHouse)• Интегрировать данные между PostgreSQL, Kafka, ClickHouse и другими компонентами инфраструктуры (API, очереди, S3)• Осуществлять мониторинг производительности, отказоустойчивости и безопасности data pipeline и баз данных• Автоматизировать процессы обработки данных и развертывания (CI/CD)• Взаимодействовать с аналитиками, разработчиками и product owner'ами для понимания потребностей в данных и их реализации• Устранять неисправности в pipeline данных и базах данных
☑️Для решения этих задач требуется
• Опыт работы с одним из языков программирования от 2-3-х лет: Python (предпочтительно), Golang (будет плюсом)• Опыт разработки и администрирования ClickHouse (знание особенностей движков таблиц, оптимизация запросов, кластеризация, репликация, шардирование)• Глубокое понимание и практический опыт работы с Apache Kafka, настройка и обеспечение надежности потоков данных• Опыт работы с PostgreSQL (написание сложных SQL-запросов, оптимизация производительности, понимание механизмов транзакций, репликации)• Понимание принципов построения ETL процессов• Знание SQL на продвинутом уровне• Понимание принципов DevOps (Docker, Kubernetes, Linux, CI/CD) применительно к инфраструктуре данных
Python Job | |
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →
Текст вакансии взят без изменений
Источник -