Data инженер (Senior, банк)

• Грейд: Senior
• Локация: РФ
• Гражданство:
• Длительность проекта: до середины 2026 года, возможна пролонгация до конца 2027 года
• Краткое описание: Ищем Senior Data инженера для участия в проекте в банковской сфере. Работа с современным стеком, включая Python, Trino, dbt, Spark, Hadoop и др.

• Владение SQL на уровне оптимизированных сложных запросов
• Понимание принципов функционирования традиционных СУБД и баз данных класса MPP
• Опыт программирования на языках Python и/или Java, Scala
• Опыт оркестрации ETL-пайплайнов с помощью Airflow
• Наличие опыта взаимодействия с инструментом dbt
• Умение работать с технологиями экосистемы Hadoop (HDFS, YARN, HIVE, Sqoop)
• Владение технологией Apache Spark (Spark DataFrames, Spark SQL)
• Опыт работы с банковской предметной областью

➕ Дополнительные требования:

• Опыт работы с Kafka, Trino
• Опыт работы с контейнерными технологиями и оркестрацией: Kubernetes, Helm
• Знания и опыт CI/CD-практик и инструментов

Текущий основной стек: Python, Trino, dbt, Airflow, Spark, Hadoop, Hive, Postgres, Greenplum, Kubernetes, GitLab

О проекте:
Долгосрочный проект в банковской сфере. Участие в построении и поддержке масштабируемой data-инфраструктуры, развитие ETL-процессов и взаимодействие с аналитиками и командами разработки.

Описание задач:
Data-инженер будет проектировать и реализовывать пайплайны, оптимизировать работу с данными и внедрять инструменты обработки данных в рамках MPP-систем.

Основные задачи:

• Разработка и поддержка ETL-процессов
• Работа с Hadoop, Spark, dbt, Airflow
• Внедрение CI/CD и автоматизация пайплайнов
• Работа с банковскими данными и предметной областью

Вопросы и предложения ➡️ @Pro_test_Studi. Указать 🆔 запроса.