Senior Data Engineer (Retail)

#вакансия #работа #Senior #Data #инженер #BigData/#Lakehouse #Java #Python #Spark

❤️Senior Data инженер зп: 280к - 300к руб. на руки Формат: Удаленная работа из РФ, РБ.
Компания: Omega Solutions Проект: Ритейл

☀️Требования: - Общее представление о стеке технологий Lakehouse;
- Понимание различия работы между BigData/Lakehouse и с данными обычного размера;
- Знание SQL (индексы, функции, оптимизация, профилирование производительности);
- Знание языков программирования (JAVA, Python);
- Опыт работы c реляционными БД (Oracle, Postgres, MySQL, MsSQL,т.п.);
- Умение работать с Git (знание команд git pull/commit/push);
- Опыт работы с DBT, Cosmos, Ni-Fi;
- Опыт разработки на Spark;
- Навыки использования компонентов экосистемы Hadoop: Yarn, Ranger, Zookeeper, Hive metastore;
- Понимание особенностей Trino;
- Понимание форматов данных Iceberg, Parquet, Avro;
- Понимание работы с minio или любого другого хранилища на основе S3;
- Опыт использования системами ведения проектов и документации;
- Опыт разработки нетиповых интеграций (включая SAP-системы);
- Опыт разработки near-realtime потоков (Flink, Debezium);
- Опыт оптимизации высоконагруженных потоков (миллиарды записей инкремента) с использованием инструментов Observability (grafana, victoria metrics, zabbix).

👁Задачи:
- Разработка, реализация и поддержка интеграционных потоков, а также потоков сборки витрин-данных на стеке технологий, принятых в команде: Trino, Iceberg, S3, Spark, Apache Airflow, Kafka, Cosmos, Flink;
- Разработка нетиповых интеграций (в тч SAP);
- Системная разработка инструментов (переиспользуемых шаблонов) обработки данных;
- Разработка системного дизайна сложных решений (C2/DD);
- Оперативное реагирование на информацию о проблемах в зоне ответственности, выполнение типовых задач в установленный срок;
- Поддержание в актуальном состоянии документации типовых интеграционных решений платформы больших данных;
- Предоставление отчетности о своей деятельности руководителю.

🤩Условия Оформление по ИП
Дружелюбная атмосфера внутри компании
Развитие через реальные задачи, а не формальные курсы
Возможность предлагать идеи и видеть, как они внедряются
Гибкий график работы и возможность удаленной работы
Оплата за фактически отработанное время
Участие в интересных проектах  без лишнего микроменеджмента

❤️Контракт: Показать контакты
Ловлю твои сигналы!