Data-инженер (Middle)
Москва задает тренды! Наши возможности позволяют изучать социальную, экологическую и транспортную обстановку города, а также создавать и улучшать городские цифровые сервисы. Вместе с коллегами мы создаём безопасную и комфортную среду для перемещения пассажиров и водителей и каждый день делаем Московский транспорт ещё лучше!
Инновационный центр «Безопасный Транспорт» создан в 2017 году для работы с Big data и является единым оператором интерактивной аналитики (BI) и консолидатором данных всего Транспортного комплекса столицы для работы с цифровым двойником города Москвы.
Деятельность ИЦ направлена на реализацию и внедрение концепции «Умный город», принципа «Города, управляемого через данные» и создание цифровых аналитических продуктов стратегического значения для города.
Сегодня в Инновационном центре 10+ направлений деятельности и работают более 200 человек — профессионалов с опытом в бизнесе, увлеченных данными и технологиями.
Что есть: Apache Spark, Spark streaming, Kafka, Apache Hive, Airflow, Linux, Git, Bash, Vertica, Grafana+Zabbix, PostgreSql, ClickHouse, DB2.
Мы разрабатываем: систему мониторинга качества данных, интеграционные потоки и API, витрины данных. Сами управляем нашей инфраструктурой.
Наша команда состоит из инженеров данных, аналитиков данных, администраторов платформы данных и экспертов поддержки.
📌 Поддержка работоспособности и дальнейшее развитие платформы данных;
📌 Интеграция ХД с различными источниками (FTP, API, сайты) с помощью Python;
📌 Преобразование данных из различных форматов (xml, json) к табличному виду с помощью Python;
📌 Разработка витрин данных с использованием SQL, Python, PySpark;
📌 Разработка и доработка batch и real-time процессов загрузки данных в различные слои ХД в Hive, Vertica, PostgreSQL, ClickHouse, DB2;
📌 Развитие системы мониторинга качества данных;
📌 Совершенствование и разработка новых внутренних процессов команды;
📌 Декомпозиция и оценка трудозатрат по своим задачам;
📌 Code-review;
📌 Поддержка в актуальном состоянии базы знаний и технической документации ХД;
Опыт и навыки, которые мы ожидаем:
✏️ Законченное высшее образование;
✏️ Понимание теории и практики построения Хранилищ Данных на уровне data-инженера;
✏️ Уверенное владение SQL, опыт написания сложных запросов с подзапросами, оконными функциями и регулярными выражениями, навыки оптимизации запросов;
✏️ Уверенные навыки программирования, умение читать и понимать код на Python;
✏️ Понимание принципов работы Git-систем;
✏️ Понимание принципов работы систем оркестрации;
✏️ Знание основных команд Linux на уровне пользователя;
✏️ Знание английского языка на уровне чтения технической документации;
✏️ Готовность разрабатывать и поддерживать в актуальном состоянии техническую документацию;
✏️ Умение работать в команде и готовность помогать коллегам;
✏️ Заинтересованность в личном развитии и развитии города;
✏️ Опыт работы со стеком технологий Hadoop, понимание парадигмы map-reduce и алгоритмов работы Spark;
✏️ Опыт работы с БД Vertica, ClickHouse, DB2, Hive;
✏️ Знание планировщиков процессов (AirFlow);
✏️ Опыт работы в крупных проектах и умение решать архитектурные вопросы Хранилищ Данных.
Почему тебе понравится работать в ИЦ:
💜 Мы, действительно, Инновационные и делаем крутые полезные продукты для города;
💜 Наша команда — это лучшие эксперты, талантливые, креативные, яркие личности и просто хорошие люди. Да, все такое пишут, банально, но это факт. По отзывам наших сотрудников — это одно из самых больших преимуществ нашей работы;
💜 Развитие. Мы непрерывно учимся новому у внешних и внутренних экспертов, прокачиваемся не только в IT, а и в транспортной и городской тематике. У нас огромное количество проектов, на которых можно быстро профессионально развиваться. Опытные руководители и наставники. Возможность посещения различных курсов и тренингов от корпоративного университета Департамента транспорта;
💜 Стабильность. Московский транспорт работает для жителей и гостей города при любых условиях. Уникальное сочетание энергии IT компании, стабильности и ресурсов ГОСа;
💜 График: гибрид 5/2 (1 день в офисе);
💜 Локация: офис в центре Москвы, м. Белорусская;
💜 Отпуск 42 дня, бесплатный проезд в метро, корпоративные скидки
от компаний - партнеров и т.д.;
💜 Заработная плата обсуждается индивидуально, в зависимости от опыта кандидата.
Tg: @ElinaPankratova Почта: [email protected]