Инженер данных / Московский центр инновационных технологий в здравоохранении

Требуется Инженер данных (Data Engineer) в АНО «Московский центр инновационных технологий в здравоохранении»

Инженер данных (Data Engineer)

Требования:

Опыт работы с кластером Hadoop (Hdfs, Yarn, Hive/Impala);
Навык работы с Dataframe API Spark на глубоком уровне;
Базовые навыки оптимизации задач;
Уверенное знание SQL (зачастую ТЗ от аналитиков приходит в SQL коде);

Что надо делать?

Разрабатывать и обслуживать регламентные процессы на кластере: Hadoop,

Pyspark, Greenplum, Airflow, NiFI, Dagster, dbt;

Настраивать и автоматизировать процессы сбора, обработки, очистки

информации из различных источников;

Ведение wiki.

Опыт программирования на Python

Опыт работы с системами контроля версий

Знание Linux и bash-скриптов

Контакты: отправить резюме на [email protected]