Auto QA Python (Hadoop, Spark)

Локация: Москва; удалённая работа.

Компания

Аренадата Софтвер развивает платформы Arenadata Hyperwave и Arenadata Hyperwave Cloud для распределённых Big Data-систем.

Что делать

• Автоматизировать тестирование компонентов Arenadata Hyperwave и Arenadata Hyperwave Cloud: Spark, Impala, Trino, Kyuubi, Hive, HBase, Ozone, HDFS, YARN, Airflow и Flink.
• Тестировать развёртывание и эксплуатацию платформы на bare metal, виртуальных машинах и в Kubernetes.
• Разрабатывать и развивать тестовые фреймворки на Python для распределённых Big Data-систем.
• Писать интеграционные и end-to-end тесты на реальных кластерах, включая проверки функциональности, отказоустойчивости и производительности.
• Поддерживать CI/CD-пайплайны автотестов, проводить код-ревью тестового кода и взаимодействовать с разработчиками, архитекторами и QA.

Требования

• Коммерческая разработка на Python от 4 лет.
• Понимание и применение принципов SOLID, DRY и KISS при проектировании тестовых фреймворков.
• Знание паттернов Factory, Strategy, Builder и Resource Object для создания гибких и масштабируемых решений.
• Экспертное знание Pytest: сложные фикстуры, параметризация и плагины, включая pytest-xdist.
• Знание Linux, Core Utils и Bash, включая файловые системы, права доступа, процессы и сетевые утилиты.
• Опыт тестирования систем развёртывания и конфигураций распределённого ПО.
• Опыт настройки и поддержки CI/CD-пайплайнов с Jenkins, GitLab CI, TeamCity или GitHub Actions.
• Опыт эксплуатации и отладки Docker и Kubernetes, включая развёртывание stateful и stateless Big Data-сервисов.
• Опыт тестирования Kubernetes-операторов и работы с kubectl, Helm, kind или minikube.

Хорошо, если есть

• Опыт работы с Ansible, Terraform или Puppet.
• Опыт работы с дистрибутивами Hadoop: Arenadata, Cloudera CDP/CDH, Hortonworks HDP или MapR.
• Практический опыт с Apache Spark, Trino, Impala и Kafka, включая запросы, джобы и разбор инцидентов.
• Опыт работы с аутентификацией и авторизацией в распределённых системах: Kerberos, LDAP, Ranger и TLS/mTLS.

Культура и преимущества

• Удалённый формат работы.
• Полная занятость.
• Взаимодействие с разработчиками, архитекторами и QA для повышения качества релизов.