Data Engineer (Middle / Senior)
Мы развиваем ИТ-продукт, который включает в себя масштабную WEB-платформу и интерактивного Telegram-бота / Mini App.
Наш стек: Python, Airflow 2+, dbt Core, ClickHouse, PostgreSQL, Docker, GitLab.
Продукт быстро растет, и сейчас мы ищем Data Engineer, который поможет нам масштабировать аналитическую инфраструктуру и сделать работу с данными быстрой и надежной.
Ваша главная задача — разрабатывать и поддерживать ETL/ELT-процессы, интегрировать новые источники данных, развивать хранилище на ClickHouse и обеспечивать аналитиков качественными данными для принятия решений.
Чем предстоит заниматься:
- Разрабатывать и поддерживать ETL/ELT-процессы на базе Airflow и dbt Core
- Интегрировать новые источники данных: PostgreSQL, внешние API и сервисы
- Развивать существующее хранилище данных на ClickHouse и поддерживать аналитические витрины
- Оптимизировать SQL-запросы и производительность пайплайнов
- Поддерживать и развивать инфраструктуру аналитической платформы (Docker, Airflow, dbt)
- Взаимодействовать с аналитиками для реализации новых витрин, метрик и источников данных
- Участвовать в расследовании инцидентов, связанных с качеством данных и работой пайплайнов
- Поддерживать техническую документацию и участвовать в передаче знаний внутри команды
Наши требования:
- Опыт на позиции инженера данных от трёх лет
- Уверенное знание SQL и опыт работы с аналитическими СУБД
- Практический опыт работы с ClickHouse: проектирование таблиц, выбор движков, партиционирование, оптимизация запросов
- Опыт разработки и поддержки ETL/ELT-процессов: способность самостоятельно выбирать способ интеграции источника данных, проектировать структуру загрузки, хранение и обновление данных с учетом требований бизнеса и технических ограничений
- Опыт работы с Apache Airflow 2+: разработка, поддержка и отладка DAG'ов, понимание механизмов планирования, зависимостей и мониторинга пайплайнов
- Опыт работы с dbt Core
- Хорошее знание Python: умение разбираться в существующем коде, дорабатывать и разрабатывать новые компоненты интеграций и пайплайнов
- Опыт работы с PostgreSQL и понимание особенностей инкрементальных выгрузок данных
- Опыт интеграции внешних REST API
- Понимание принципов контейнеризации и опыт работы с Docker / Docker Compose
- Умение самостоятельно декомпозировать задачи и доводить их до результата
Будет плюсом:
- Опыт работы с Airflow 3+
- Опыт работы с BigQuery
- Опыт работы с Google Analytics / GA4
- Опыт работы с облачными платформами (GCP, Yandex Cloud, AWS)
- Понимание базовых принципов работы блокчейн-сетей и транзакционных данных
- Опыт использования AI-инструментов для разработки и сопровождения кода
Формат работы: удаленно
Часовой пояс: MSK
Присылайте резюме
https://t.me/katyacheresh
