ID 3238. Data engineer

Требования:

• Опыт работы инженером данных от 1 года и опыт разработчика ПО от 1 года, суммарно не меньше 2 лет опыт работы с SQL как с OLTP, так и OLAP нагрузкой
• Опыт работы с реляционными СУБД (Oracle, Postgres), аналитическими SQL (Trino, Spark, ClickHouse), объектными хранилищами данных (желательно, S3 совместимые), а также фреймворками для трансформации данных (желательно, DBT)
• Понимание принципов взаимодействия с открытыми табличными форматами (Iceberg, Deltalake)
• Знание Python (Java будет хорошим плюсом)
• Опыт работы с технологиями контейнеризации (Docker, Kubernetes)
• Опыт работы с системами версионного контроля исходного кода (Git)
• Опыт работы с Linux на уровне пользователя: WSL и как средой для развертывания приложений в окружении разработка

Будет плюсом:

• Опыт работы с системами обмена сообщениями (Kafka)
• Опыт работы с оркестраторами для построения процессов обработки данных (Airflow)

Краткое описание задач:

• Разработка скриптов миграций DDL объектов БД на SparkSQL и Trino, в основном это создание и изменение Iceberg таблиц, топиков Kafka
• Разработка трансформаций данных с использованием DBT и адаптера к Trino
• Разработка DAG’ов в Airflow
• Подключение источников данных как каталоги в Trino
• Изменение некоторых настроек Trino и Airflow и переразвертывание этих технологий в кластерах Kubernetes с использованием готовых Helm Chart’ов (при необходимости дорабатываются нашими DevOps инженерами)
• Загрузки данных подготовленных вручную
• При необходимости помощь другим членам команды по SQL

Контакты:

https://t.me/alexispiple

a.ivanov@agima.ru