Вакансии в Москве
June 8, 2021

Data-инженер хранилищ данных

Требуемый опыт работы: 1–3 года

Полная занятость, полный день

МОСКВА ЗАДАЕТ ТРЕНДЫ! Наши возможности позволяют изучать желания и поведение пассажиров и водителей транспорта, создавать и улучшать городские цифровые сервисы. Вместе с коллегами делаем московский транспорт безопаснее, современнее и комфортнее для жителей и гостей столицы.

ИННОВАЦИОННЫЙ ЦЕНТР - УНИКАЛЬНОЕ IT-ПРОСТРАНСТВО, внутри большой госкомпании.

Мы создали и развиваем Единое хранилище данных транспортного комплекса Москвы. Данные забираем от более чем 40 источников, среди которых есть и пакетная, и потоковая передача данных. Хранилище Данных выступает базой для всех информационно-аналитических продуктов нашей организации. В их числе - оказание поддержки в принятии управленческих решений Правительству Москвы на основе Big Data и другие продукты, направленные на улучшение транспортной инфраструктуры и города в целом.

ЧТО ЕСТЬ: Apache Spark, Apache Hive, Airflow, Linux, Git, Bash, ELK, Vertica, ClickHouse, DB2. Пишем сами систему мониторинга качества данных.

НАША КОМАНДА: Команда хранилища данных состоит из инженеров данных, аналитиков данных, администратора платформы данных.

Для поддержки работоспособности и дальнейшего развития нашей платформы данных нам нужен Data-инженер, который закроет следующие ЗАДАЧИ:

  • Интеграция Хранилища Данных с различными источниками (FTP, API, сайты) с помощью Python;
  • Преобразование данных из различных форматов (xml, json) к табличному виду с помощью Python;
  • Разработка витрин данных с использованием SQL, Python, PySpark;
  • Разработка и доработка batch и real-time процессов загрузки данных в различные слои хранилища данных в Hive, Vertica, ClickHouse, DB2;
  • Развитие системы мониторинга качества данных;
  • Совершенствование и разработка новых внутренних процессов команды;
  • Декомпозиция и оценка трудозатрат по своим задачам; Code-review;
  • Поддержка в актуальном состоянии базы знаний и технической документации Хранилища Данных.

ОПЫТ И НАВЫКИ :

  • Законченное высшее образование;
  • Понимание теории и практики построения Хранилищ Данных в роли Data-инженера;
  • Уверенное владение SQL, опыт написания сложных запросов с подзапросами и оконными функциями и регулярными выражениями, навыки оптимизации запросов;
  • Навыки программирования, умение читать и понимать код на Python;
  • Понимание принципов работы Git-систем;
  • Понимание принципов работы систем оркестрации;
  • Знание основных команд Linux на уровне пользователя;
  • Знание английского языка для чтения технической литературы;
  • Требуемый опыт работы 1–3 года;
  • Интерес к работе с данными, желание погружаться в разные предметные области;
  • Умение работать в команде и готовность помогать коллегам;
  • Заинтересованность в личном развитии и развитии города.

Будет плюсом, если у тебя есть :

  • Опыт работы со стеком технологий Hadoop, понимание парадигмы map-reduce и алгоритмов работы Spark;
  • Опыт работы с БД Vertica, ClickHouse, DB2, Hive;
  • Знание планировщиков процессов (AirFlow);
  • Опыт работы в крупных проектах и умение решать архитектурные вопросы Хранилищ Данных.

ЧТО МЫ ПРЕДЛАГАЕМ:

  • Интересную работу в масштабном проекте, помощь и поддержку;
  • Отличную команду, молодую и активную, увлеченную тем, чем занимается;
  • Гибридный формат работы, уютный офис в центре Москвы;
  • Финансовые условия обсуждаем индивидуально в зависимости от опыта кандидата;
  • Отпуск 42 дня, страхование жизни, скидки от компаний-партнеров;
  • Бесплатный проезд в столичном метро;
  • Льготы на отдых в оздоровительном комплексе метрополитена.

Контакты:

Присылайте резюме нашему HR Виолетте на почту belyakova-vv@mosmetro.ru или в телеграм @ViolettaBelyakova

Благодарим Вас за интерес, проявленный к нашей Компании!