Senior Data Engineer
Senior Data Engineer в Платформу
☑️Обязанности:
-Работа над платформенным решением по обработке данных для внутренних проектов:
-Data injection. загружаем данные из kafka во внутреннее хранилище для пользователей
-Airflow интеграция. своя библиотека для унификации работы с airflow
-Feature store. развиваем свой для улучшения метрики ttm проектных команд (ds)
-Другие активности: data catalog, миграция в k8s, разработка streaming pipeline для продуктовых команд
☑️Требования:
— Опыт проектирования и поддержки масштабных пайплайнов на Spark и Airflow.
— Владение Python, плюс будет знание Scala
— Уверенное понимание принципов DWH, опыт с Hive, PostgreSQL или Cassandra.
— Опыт работы в облаке (Yandex Cloud, AWS, GCP), в том числе с S3, ClickHouse, Greenplum, K8s
— Сильные SQL-навыки и умение проектировать архитектуру данных под задачи аналитики и ML
Контакты: https://www.cian.ru/vacancies/1340/
