Data инженер - удаленно, Россия

ID 001-039

✅ Локация: Россия

✅ Формат работы: удаленно

Обязательные требования

Есть знания принципов работы БД, построения ХД;
Опыты разработки ETL процессов (NiFi, AirFlow, Fink);
Опыт работы с высоконагруженными распределёнными системами обработки и хранения данных, очередями (Kafka);
Отличное знание SQL, Python;
Желание обучаться и развиваться;
Будет плюсом опыт разработки на Java, JavaScript, умение работать с Flink, MogoDB, Kubernetes и понимание принципов работы REST API.

Задачи на проекте

Основная задача - переписать текущую интеграцию с дата платформой между БД Mongo и DP;
Обеспечить сбор и организовать процесс загрузки данных из различных источников; подготовка, очистка и предобработка данных из внешних источников, построение агрегатов;
Разрабатывать процедуры формирования детального слоя данных и слоя витрин DataLake;
Реализовывать мониторинг разработанных процессов обработки данных (Grafana, Prometheus);
Документировать свою работу в Яндекс Вики.

Описание проекта и команды

Заказчик - международный ритейлер строительных материалов и товаров для дома.

Проект - веб приложение для сотрудников.

Если вам интересна данная позиция и у вас есть необходимый опыт, присылайте резюме и пигмент сюда: https://t.me/anna_recruit_helps_bot

💡Наш канал с полезным контентом: https://t.me/GO_TO_IT_chatroom

✅ Канал с вакансиями: https://t.me/GO_TO_IT_jobs