Data Engineer

Проект:
Банк

Описание проекта:
Банковский проект

Условия:
Опыт: от 5 лет
Локация: Россия
Ставка: рассматривается ваш рейт
Формат оплаты: месяц

Позиция:
Роль: Data Engineer
Уровень: Senior
Количество: 1

• Отличное владение SQL
• Опыт работы с:
• PostgreSQL
• PL/SQL
• Глубокое понимание теории баз данных
• Уверенное владение Python
• Опыт работы с библиотеками для данных:
• pandas
• polars
• PySpark
• pyarrow
• Опыт работы с Airflow
• Опыт работы с DVC
• Практический опыт работы с распределёнными системами данных:
• Greenplum
• Hadoop
• Hive
• Impala
• HDFS
• Знание архитектур:
• DWH
• Data Lake
• Data Mart
• Навыки работы с:
• Jupyter Notebook / Lab / Hub
• Git
• CI/CD
• Опыт оптимизации SQL
• Опыт профилирования

Будет плюсом:

• Опыт работы с Docker
• Опыт работы с Kubernetes
• Опыт взаимодействия с ML / DS-командами
• Опыт построения data-пайплайнов под модели
• Опыт работы с инструментами проверки качества данных:
• Great Expectations
• OpenMetadata
• и др.

Задачи на проекте:

• Проектирование и разработка ETL / ELT-пайплайнов
• Разработка витрин данных для аналитики и ML-моделей
• Очистка, валидация и стандартизация данных
• Настройка автоматических проверок качества данных
• Организация сбора и переливки данных в Data Lake
• Контроль обновления и актуальности данных
• Оптимизация SQL-запросов и пайплайнов
• Поддержка Airflow DAG-ов
• Поддержка CI/CD
• Поддержка документации
• Внедрение современных инженерных практик и автоматизации
• Взаимодействие с DS и аналитиками
• Помощь в оптимизации SQL- и Python-кода

Важно по резюме:

• Все требования должны быть отражены в CV
• Необходимо направлять чек-ап по требованиям в общие чаты

Резюме должно отражать:

• чем кандидат занимался на каждом проекте
• какие навыки, технологии и программы использовал
• опыт работы с SQL / PostgreSQL / PL/SQL / Python / pandas / polars / PySpark / pyarrow
• опыт работы с Airflow / DVC / Jupyter / Git / CI/CD
• опыт работы с Greenplum / Hadoop / Hive / Impala / HDFS
• опыт проектирования ETL / ELT / DWH / Data Lake / Data Mart
• опыт оптимизации SQL и профилирования
• опыт взаимодействия с DS / ML-командами, если он есть
• опыт работы с Great Expectations / OpenMetadata, если он есть

Вопросы и предложения ➡️ @Pro_test_Studi. Указать 🆔 запроса.