Data Engineer (Senior)
✅Позиция:Data Engineer (Senior) 💻
✅Вилка: 340.000 - 360.000 руб. гросс💰
✅Занятость: Полная
✅Локация и гражданство:РФ 📌
✅Оформление: Как ИП
👋Привет! Меня зовут Ирина. Я представляю группу компаний Top Selection.
🔥В данный момент мы в поисках Data Engineer (Senior) 🔥
🛠Требования:
●Опыт работы инженером данных от 1 года и опыт разработчика ПО от 1 года, суммарно не меньше 2 лет опыт работы с SQL как с OLTP, так и OLAP нагрузкой
●опыт работы с реляционными СУБД (Oracle, Postgres), аналитическими SQL (Trino, Spark, ClickHouse), объектными хранилищами данных (желательно, S3 совместимые), а также фреймворками для трансформации данных (желательно, DBT)
●понимание принципов взаимодействия с открытыми табличными форматами (Iceberg, Deltalake)
●знание Python (Java будет хорошим плюсом)
●опыт работы с технологиями контейнеризации (Docker, Kubernetes)
●опыт работы с системами версионного контроля исходного кода (Git)
●опыт работы с Linux на уровне пользователя: WSL и как средой для развертывания приложений в окружении разработки
●желателен опыт работы с системами обмена сообщениями (Kafka)
●желателен опыт работы с оркестраторами для построения процессов обработки данных (Airflow)
●по софт скиллам, если коротко: адекватность, умение взаимодействовать с другими членами команды, учиться новому как самостоятельно, так и перенимая знания от других
📌Обязанности:
● Разработка скриптов миграций DDL объектов БД на SparkSQL и Trino, в основном это создание и изменение Iceberg таблиц, топиков Kafka
● Разработка трансформаций данных с использованием DBT и адаптера к Trino
● Разработка DAG’ов в Airflow
● Подключение источников данных как каталоги в Trino
● Изменение некоторых настроек Trino и Airflow и переразвертывание этих технологий в кластерах Kubernetes с использованием готовых Helm Chart’ов (при необходимости дорабатываются нашими DevOps инженерами)
● Загрузки данных подготовленных вручную
● При необходимости помощь другим членам команды по SQ
📲Контакт для связи: @Iryn_pnz
