DevOps Middle, удаленно, РФ

ID 001-039

✅ Грейд: Middle

✅ Формат работы: удалено

✅ Локация: Россия

Обязательные требования

• Средний уровень знания команд bash (grep, tail, dd, sed, awk и т.д.);

Базовый уровень знания и понимание CI/CD;
Linux (basic), SQL, Git, XML, JSON, XSLT, YAML;
Английский язык (уровень владения: технический (чтение документации, профильных ресурсов)).

Дополнительные требования

- Базовые знания экосистемы Hadoop и его

компонентов (Apache Solr, Apache Hive, Apache HBase, Apache Spark, Apache Zookeper, Apache Oozie, Apache Camel);

Опыт работы с любой базой данных;
Базовый уровень знания java (циклы, условия, хешмапы и т.д.);
Базовый уровень знания python.

Задачи на проекте

Глобально задачи команды - репликация и индексирование данных из различных источников (в основном Apache Hive) в распределенный облачный кластер (тоже Apache Hive), чтобы затем в режиме реального времени отрабатывать запросы через REST или брокеры сообщений (Kafka или ІВМ MQ) к этим данным (напр., остатки по счетам физ. лиц в ответ на запросы гос. органов, данные о товарах в чеке к покупке в мобильном приложении и проч.).

Работа состоит из двух основных частей:

Интеграция потребителя данных с источниками данных через Apache Camel или через сервис, разработанный командой;
Организация QA- и нагрузочного тестирования с использованием фреймфорка на Java (дорабатывать не надо) через написание профилей на YAML. В некоторых случаях используется Scala и Java для генерации синтетических данных.

Сам рабочий процесс выглядит так:

Разработка профилей и конфигурационных файлов для ядровых компонентов продукта, репликации, индексации данных, а также обработки запросов от внешних автоматизированных систем;
Модификация существующих профилей и конфигурационных файлов;
Установка конфигурационного дистрибутива на стенды ДЕВ/ИФТ/НТ;
Тестирование на ДЕВ стенде;
Подготовка синтетических данных и проведение HT;

Проведение ИФТ;
Выпуск релиза конфигурационного дистрибутива;
Сопровождение при установке на стенды ПСИ/ ПРОМ;
Участие в ПСИ и выводе дистрибутива в ПРОМ;
Участие в устранении инцидентов и разборе ошибок в ПРОМ.

Описание проекта и команды

Репликация данных из источников в распределенный облачный кластер и индексирование данных для обработки запросов в режиме реального времени.

Команды организованы в различные стримы: разработка ядра загрузки, тиражирование подключений, организация инфраструктуры и так далее. В команде есть разработчики, тестировщики, аналитики, DevOps.

Стек:

Платформа: Apache Hadoop, Openshift;
Компоненты, фреймворки: Apache Solr, Apache Hive, Apache HBase, Apache Spark, Apache Zookeper, Apache Oozie, Apache Camel, IBM MQ, Greenplum, YARN, Spring Framework, Spring Boot Framework;

- Инструменты разработки: Java, Python, Bush,

Groovy, Scala, Git.

✅Если вам интересна данная позиция и у вас есть необходимый опыт - пишите и присылайте резюме сюда: https://t.me/Vikahelp1243_bot

💡Наш канал с полезным контентом: https://t.me/GO_TO_IT_chatroom

✅ Канал с вакансиями: https://t.me/GO_TO_IT_jobs