Senior Software Architect (Apache Hadoop)

Software Architect

Компания

Arenadata

Условия

Требования

Архитектор программного обеспечения Senior Apache Hadoop Можно удалённо Ищем Архитектора для проектирования и развития архитектуры продуктов Arenadata Hyperwave (ADH) и Arenadata Hyperwave Cloud (ADHC).

Подробнее о продуктах тут - https://docs.arenadata.io/ru/landing-adh/index.html Что нужно делать:

• заниматься проектированием и развитием архитектуры Arenadata Hyperwave (ADH) - BigData-дистрибутива на базе экосистемы Apache: HDFS, YARN, Apache Ozone, Spark, Impala, Trino, Kyuubi, Flink;
• заниматься проектированием и развитием архитектуры Arenadata Hyperwave Cloud (ADHC) - k8s-native версии платформы с разделением storage и compute;
• проектировать интеграции compute-движков в k8s со stateful-слоем ADH;
• разрабатывать k8s-операторы для сервисов платформы (развёртывание, масштабирование, апгрейды, CRD, Helm-чарты, контроллеры);
• проектировать интеграции с Arenadata Streaming (Kafka, NiFi) и Arenadata Platform Security (Ranger, Kerberos, SSO) в гибридных конфигурациях ADH + K8s;
• проводить R&D-исследования и подготавливать PoC-решения по развитию продуктов;
• взаимодействовать с Technical Program Manager (TPM) и другими архитекторами для определения стратегии и плана действий по разработке единой платформы данных;
• помогать в оценке новых технологий и инструментов для работы с данными;
• составлять архитектурные документы и технические записки;
• защищать и обосновывать архитектурные решения;
• принимать непосредственное участие в процессах разработки и развития продуктов;
• участвовать в code review;
• проводить ревью пользовательской документации по продуктам.

Мы ждем, что вы:

• имеете 8 лет опыта в области инженерии данных, платформ данных и аналитики;
• умеете писать код на Java, Scala, Go, Python;
• имеете опыт практической работы с различными СУБД от 3-х лет;
• обладаете опытом проектирования распределенных, высоконагруженных систем;
• работали с экосистемой Apache и имеете опыт с компонентами хранения: HDFS, Apache Ozone;
• имеете опыт с распределёнными вычислениями на Apache Spark и понимаете его внутреннее устройство;
• работали с SQL-движками поверх Hadoop (Hive, Trino, Impala);
• имеете опыт работы с потоковой обработкой данных (Apache Kafka, Apache Flink);
• обладаете экспертизой в оркестрации пайплайнов (Apache Airflow);
• работали с табличными форматами Lakehouse (Apache Iceberg, Hudi, Delta Lake);
• имеете опыт с безопасностью Big Data-кластеров (Apache Ranger, Kerberos, TLS, интеграция с LDAP/AD);
• обладаете опытом работы с Kubernetes на уровне архитектуры и эксплуатации в проде;
• разрабатывали Kubernetes-операторы, CRD, Helm-чарты;
• запускали compute-движки в Kubernetes поверх внешнего stateful-слоя;
• знаете принципы распределённого хранения и вычислений;
• имеете опыт работы с Linux;
• обладаете опытом проведения декомпозиции задач разработки;
• настраивали CI/CD.

Будет плюсом:

• коммиты в open source;
• observability для Big Data (Prometheus, Grafana, OpenTelemetry, JMX exporters).

Условия:

• официальное трудоустройство по ТК РФ;
• возможность работать 100% удаленно или в офисе в Москве/Санкт-Петербурге;
• гибкое начало рабочего дня (09:00 - 10:00 по Москве);
• расширенный ДМС со стоматологией для сотрудника, компенсация 50% ДМС на детей;
• предоставляем оборудование для работы (ноутбук, монитор).

Показать контакты