Data Engineer (Spark / Hadoop)

Проект:
Разработка ETL-процессов и пайплайнов для Data Lake / DWH

Условия:
Клиент: РСХБ
Локация: РФ
Ставка: до 1200 (вкл. НДС)

Позиция:
Роль: Data Engineer
Количество: 1

• Опыт разработки ETL-процессов
• Опыт работы со Spark
• Опыт работы с Hadoop
• Опыт работы с Hive
• Уверенное знание SQL
• Опыт работы с Git
• Уверенное владение Excel

Будет плюсом:

• Опыт работы с архитектурой DWH

Задачи на проекте:

• Разработка ETL-процессов
• Построение пайплайнов на Spark DataFrame API в Data Lake / DWH
• Оптимизация SQL- и Spark-запросов
• Работа с различными диалектами SQL:
• Oracle
• Postgres
• MySQL
• MariaDB
• MS SQL
• Участие в CI/CD
• Постановка задач для сопровождения
• Написание инструкций для сопровождения
• Взаимодействие со смежными командами

Важно по резюме:
Резюме кандидата должно отражать:

• чем кандидат занимался на каждом проекте
• какие навыки, технологии и программы использовал
• опыт работы со Spark / Hadoop / Hive / SQL / Git
• опыт разработки ETL-процессов
• опыт построения пайплайнов в Data Lake / DWH
• опыт оптимизации запросов
• опыт работы с разными диалектами SQL
• опыт работы с архитектурой DWH, если он заявлен

Вопросы и предложения ➡️ @Pro_test_Studi. Указать 🆔 запроса.