Data Ops (DevOps + Data Engineer)

tldr: dataops (py, aws, airflow), 2500-4500$/m net, полная удаленка, можно из рф

Ищем Data Ops (devops + data engineer)
- компания - Luminaria, контакт: Показать контакты
- полная удаленка, гибкий график, можно из рф
- $2500-4500 net
- бонусы до 6 окладов и пересмотр условий по результатам работы

Мы небольшой стартап, разрабатываем систему прогнозирования цен на сельхоз продукцию, строим полный пайплайн обработки данных (GEFS, CFS, спутниковые снимки, отчеты USDA), предскываем урожайность и рыночную стоимость для торгов на бирже. Используем классический ML (CatBoost, регрессии). Инфраструктура на AWS, процессы обработки данных на Python.
Сейчас в команде 8 человек, есть интерес инвесторов и крупный объем капитала в управлении.

Обязанности:
- Поддержка и мониторинг продакшн DAG'ов в Airflow;
- Обеспечение стабильности и масштабируемости инфраструктуры Airflow (MWAA, ECS, EC2, Fargate);
- Разработка, развёртывание и масштабирование конвейеров обработки данных на Python в облачной среде;
- Сотрудничество в оптимизации рабочих процессов для параллельного выполнения и эффективного использования ресурсов.

Требования:
- Python: уверенные навыки в разработке программного обеспечения и инженерии данных, управление зависимостями, настройка окружения, pandas, numpy; плюсом xarray, polars, pyspark + spark streaming / flink;
- Docker: упаковка и развёртывание ETL-процессов на Python;
- Airflow: опыт и понимание DAG'ов, TaskFlow API, операторов; желательно знание альтернативных исполнительных механизмов;
- AWS: практический опыт работы с ECS, EC2, IAM; плюсом опыт с MWAA, Fargate;
- DevOps: опыт CI/CD (GitHub); приветствуется знание Infrastructure as Code (IaC);

Для связи: Показать контакты