Вакансия из Telegram канала - Название доступно после авторизации
Пожаловаться
Зарплата и рынок
ЗП не указана
На похожих ролях по рынку
$3к$3.5кмедиана$4.3к
21 в выборке
На международном рынке: $167к/год ($125к - $195к)
Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Создать профиль и узнать мэтч
Описание вакансии
TL;DR
Data Engineer (Big Data): Самостоятельная разработка, внедрение и поддержка интеграционных решений для платформы больших данных с акцентом на Java, Groovy, Apache Nifi, Airflow и Hadoop. Focus on определении технологического стека, решении сложных инженерных задач, развитии CI/CD и инженерных практик.
Требования:
• Владение одним из языков программирования (Java, Groovy), знание принципов ООП, умение читать чужой код.
• Сборка проекта, компиляция и деплой в Rancher. (Docker).
• Опыт проектирования, реализации, развития и поддержки интеграционных решений на стеке технологий BigData.
• Знание SQL (индексы, функции, умение читать планы запросов, оптимизация запросов).
• Опыт работы с любой реляционной БД (Oracle, Postgres, MySQL, MsSQL, DB2 и т.п.).
• Умение работать с Git в консоли.
• Знание особенностей работы ETL-инструментов (Apache Nifi, Airflow, интеграционные шины SAP BW, Talend, Informatica, SAS и т.п.).
• Опыт работы с Hadoop.
• Понимание устройства HDFS, форматов данных.
• Опыт работы с Hive или любым другим хранилищем на основе Hadoop.
• Опыт использования систем ведения проектов и документации.
• Умение работать с архитектурными схемами.
• Понимание принципов построения и хранения данных — DWH и DataLake.
• Желателен опыт администрирования Unix/Linux или Hadoop (HDFS, Yarn, Ranger, Spark, Zookeeper), Zabbix, Ansible.
Обязанности:
• Самостоятельная разработка, реализация и поддержка интеграционных решений на стеке технологий, принятых в команде. (Java, Groovy, Apache Nifi, Airflow)
• Определение стека технологий для конкретных проектов и задач.
• Решает технически сложные задачи, которые не могут решить другие инженеры в команде.
• Оперативно реагирует на информацию о проблемах в зоне ответственности, выполняет задачи в установленные сроки.
• Разрабатывает и контролирует актуальность документации по взаимодействию конфигурационных единиц платформы больших данных.
• Предоставляет отчеты о своей деятельности начальнику отдела/руководителю в порядке, установленном руководством».
• Контроль качества интеграционных решений с последующим созданием задач\дефектов для рефакторинга.
• Определяет технологическую стратегию развития проекта или продукта, работает на перспективу.
• Выстраивает процессы (например, CI/CD, код-ревью), внедряет и развивает инженерные практики.
Контакты: Показать контакты
Будьте осторожны: если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого - это мошенники. Обязательно жмите "Пожаловаться" или пишите в поддержку. Подробнее в гайде →
Текст вакансии взят без изменений
Источник - Telegram канал. Название доступно после авторизации