Помоги другу, потом – себе: восстановление ЭСМО после инцидента

Восстановление системы ЭСМО после инцидента было в приоритете. Т.к. она взаимосвязана с системой СПГТ-41, которая «дает отмашку» на спуск людей в шахту.

4 мая, когда «погасло» почти все, также «погасла» и Электронная система медицинского осмотра (ЭСМО). Она помогает сотрудникам Медцентра АЛРОСА проводить медосмотры шахтеров перед спуском в шахту. Данная система является ключевым моментом при начале смены у шахтеров. Ее восстановление было в приоритете.

Как восстанавливали систему, рассказал Алексей ГОНГАДЗЕ, эксперт Направления MES ЦК ПС.

Как узнал о инциденте?

4 мая приехал на работу после звонка от ЦУО УГОК с информацией, что системы недоступны. Коллеги из Центра сетевой инфраструктуры подсветили, что вся инфраструктура отключено, в связи с инцидентом. От руководителя ЦК (Дмитрий ЛУЖКОВ), РЦО (Александр АНАНЬКИН) было распоряжением оставаться на связи и ожидать дальнейших ЦУ.

Я понимал, что все мои системы диспетчеризации подземных и открытых горных работ недоступны. В связи с этим, оперативное управления ЦУО осуществлять не может.

Ты не работаешь с ЭСМО. Почему оказался задействован в восстановлении этой системы?

Ранее, с 2015 по 2022 год, я работал в УМНУ СТ «Алмазавтоматика» и занимался АСУ ТП. В частности, в моей зоне ответственности была интеграция ЭСМО и СПГТ-41.

Александр АНАНЬКИН, зная это, попросил на приехать подземный рудник «Удачный имени Ф.Б. Андреева», поверить работоспособность СПГТ-41 (Система позиционирования горных рабочих и транспорта), т.к. это — ключевой инструмент для работы рудника (там формируются спуски подъема, поиск сотрудников, табелирование, горный диспетчер может мониторить, где находятся люди и СГШО в текущей момент на смене) и систему медосмотров, т.к. обе системы взаимосвязаны. Т.е. сначала сотрудники проходят осмотр, данные заносятся в ЭСМО, передаются в СПГТ-41, и только потом сотрудники спускаются в шахту.

СПГТ-41 была полностью работоспособна, т.к. находилась в технологической сети, никакие факторы не влияли на нее. Но при этом вышла из строя система координатного позиционирования ПТК ГД, т.к. располагалась в контуре корпоративной сети.

А вот сервера на ЭСМО были недоступны. АРМы и терминалы подключались к ЦОДу в Мирном, который был отключен.

Что было принято для восстановления системы в Удачном?

Для начала связались с вендором для консультации, что можно сделать. Вендор предоставил краткую инструкцию. Но мы понимали, что всей информации для полноценной работоспособности нет.

Коллеги из техподдержки Евгений БАУТИН и Александр СТОЛЯРОВ помогали с предоставлением всех необходимых материалов и дальнейшим тестирование системы. Мы работали параллельно #ДЕЙСТВУЕМПРОАКТИВНО #МЕНЯЭТОКАСАЕТСЯ #ДОСТИГАЕМРЕЗУЛЬТАТАВМЕСТЕ

Запускать систему пришлось в оффлайн-режиме и с урезанным функционалом. Я непосредственно находился в кабинете медосмотров на руднике. Лично наблюдал за работой медперсонала, у них был настоящий аврал. Поэтому старались как можно быстрее восстановить систему.

Была проблема в том, что подрядчик, ООО «КВАЗАР», находился в другом часовом поясе. Приходилось работать до глубокой ночи, чтобы не было простоев. Мы извлекли базу данных из системы позиционирования, на одном из компьютеров развернули мини-сервер, из СПГТ-41 получилось собрать список людей со всеми персональными данными.

За три смены провели полную диагностику — ЭСМО заработала, сотрудники Медцентра подтвердили. Единственное, что не смогли в таком формате восстановить — персональные параметры сотрудников (норма давления, температур тела и т.д. — до них нельзя было добраться). Но это было некритично.

Как восстанавливали систему на других рудниках?

После положительного результата в Удачном нужно было настроить системы на ПР «Айхал» и ПР «Интернациональный». Приобретенный опыт позволил настраивать системы уже в дистанционном режиме. При этом потребовалось всего по одному часу на каждый рудник.

В таком формате все три рудника проработали до восстановления серверов и баз данных.

Алексей продолжил восстанавливать системы, находящиеся в его ведомстве, в штатном режиме.