Data Engineer в банк (PySpark/Airflow)

#vacancy #remote #Вакансия #Удаленка #DataEngineer #Банк #PySpark #Airflow #Hadoop #Kafka #Kubernetes #SQL #Вакансия #IT

🚀 Data Engineer в Банк|компания TopSelection
📌 Проект: Развитие Единого интеграционного слоя и витрины DMDC.

🏦 Заказчик: Банк.
— Ставка: 280–320К руб/мес
— Занятость: Full time
— Длительность: долгосрочно
— Локация: РФ , гражданство РФ
— Оформление: договор с ИП

🛠 Ключевые задачи:
• Разработка потоков подключения метаданных к интеграционному слою.
• Автоматизация и шаблонизация подключения СУБД (PostgreSQL, Oracle, MS-SQL, ClickHouse, DB2, Elasticsearch, Tarantool).
• Написание Python-скриптов для генерации DDL/DML и Airflow DAG для загрузки/обслуживания данных.
• Оптимизация Airflow DAG для таблиц Iceberg (кастомные операторы, чтение при большом количестве delete-файлов).
• Доработка витрины DMDC и ведение проектной документации.
✅ Требования:
• Глубокая экспертиза в PySpark и Airflow.
• Опыт с нагруженными распределёнными системами (Hadoop).
• Настройка и оптимизация Spark-приложений, управление ресурсами.
• Стек Streaming/Storage/Messaging: Spark Streaming, Iceberg, Kafka, S3.
• Kubernetes (K8s), нагрузочное тестирование.
• Экспертный SQL + оптимизация сложных запросов.
• Знание матстатистики, анализа данных, основ ML (PyTorch/TensorFlow).
• Опыт работы в распределённых системах и обеспечение консистентности данных.
💻 Стек: PostgreSQL, MS-SQL, Oracle, ClickHouse, DB2, Tarantool, Elasticsearch, Hadoop (Impala, Hive), Spark, Iceberg, Kafka, S3, Python (Pandas, NumPy, Matplotlib), C#, SQL, Git, Jira, Kubernetes.

📩 Отклик: (все требования и стек, если с ними был опыт, должны быть отражены в резюме!)✅