Мэтч & Сопровод
Покажет вашу совместимость и напишет письмо
Описание вакансии
Текст:
TL;DR
Инженер данных (Python/SQL): Настройка потоковой и batch-поставки данных, оркестрация задач и развитие архитектуры хранения с акцентом на интеграцию различных источников, Data Lake и аналитические базы данных. Фокус на разработке ETL-пайплайнов, создании тестовых стендов и бенчмарков для оценки производительности решений.
Локация: офис в Санкт-Петербурге, работа на месте работодателя
Компания
ИнфоТеКС — российская компания в сфере защиты информации, входящая в ТОП-5 рынка и разрабатывающая средства информационной безопасности.
Что делать
- Настраивать потоковую и batch-поставку данных и организовывать оркестрацию задач, включая Airflow.
- Автоматизировать сбор данных из баз данных, API, файлов и очередей сообщений.
- Развивать архитектуру хранения, включая долгосрочное хранение в Data Lake / Parquet и интеграцию с аналитическими базами.
- Поднимать и поддерживать тестовые стенды с Docker Compose и генераторами тестовых данных.
- Разрабатывать бенчмарки для оценки функциональных и нефункциональных характеристик решений.
Требования
- От 3 до 6 лет опыта работы.
- Опыт разработки на Python и уверенное владение SQL.
- Уверенное владение командной строкой Linux.
- Опыт работы с реляционными БД, включая PostgreSQL, аналитическими БД, включая ClickHouse, а также FTP/NFS/S3.
- Навыки контейнеризации с Docker или LXD и умение поднимать локальные тестовые стенды для пайплайнов.
- Опыт написания ETL-скриптов на Python с использованием pandas, polars или PyArrow для трансформации и перемещения данных.
- Умение писать простые бенчмарки с замером времени, памяти и CPU.
Культура и преимущества
- Полная занятость и работа в офисе в Санкт-Петербурге.
- Официальное соблюдение трудового законодательства РФ, оплачиваемые отпуска и больничные, белая заработная плата.
- Оплачиваемое работодателем питание в офисе или кафе.
- ДМС и страховка от несчастных случаев.
- Корпоративные мероприятия и спортивные инициативы.
- Профессиональные сертификаты и курсы повышения квалификации за счёт компании.
Будьте осторожны
Если работодатель просит войти в их систему, используя iCloud/Google, прислать код/пароль, запустить код/ПО, не делайте этого. Это мошенники. Обязательно жмите «Пожаловаться» или пишите в поддержку. Подробнее в гайде →
Музыка
Осень
Поддержка