Нейросети в внутреннем аудите: методология 

В то время как программисты уже вовсю пользуются ко-пилотами, внутренние аудиторы пока делают все по старинке.

План такой:

1. Разбить работу внутреннего аудитора на этапы.
2. Понять, ответы на какие вопросы нужны на каждом этапе. Эти вопросы и будут выступать в качестве тестов для нейросетей.
3. Протестировать все крупные нейросети и составить рейтинг.

В данной статье определим методологию, опишем шаги 1-2, а тестирование нейросетей будет в отдельных статьях.

Шаг 1. Делим работу внутреннего аудитора на этапы

Не хочу приводить тут определение внутреннего аудита из книг. Мое определение будет таким (оно не идеально, но хотя бы понятно простым людям):

Работа внутреннего аудитора заключается в том, чтобы:
* глубоко вникнуть, как устроен проверяемый процесс,
* оценить, что может пойти в этом процессе не так (и если действительно пошло, то показать это на примерах),
* дать рекомендации, как сделать, чтобы процесс шел по плану как можно чаще (например, проверять основание перед оплатой), но при этом, чтобы расходы на контроль не превышали потенциальных выгод.

Ключевые этапы внутреннего аудита:

1. План аудитов: выбираем, с чего стоит начать: описываем деятельность компании в виде крупных процессов, смотрим, где риск больше и составляем план приоритетов.
2. Проведение аудита конкретного процесса:
1. Подготовка: готовим черновое описание проверяемого процесса и составляем список типовых рисков, которые в принципе могут возникнуть в таком процессе.
2. Формулирование гипотез и сбор данных для их проверки:
1. Задаем вопросы проверяемому подразделению, изучаем документы, учетные системы и отчёты, чтобы привести описание процесса и список рисков (которые мы сделали на предыдущем шаге) к реальности.
2. Формулируем гипотезы, которые нужно проверить, чтобы понять, реализовались эти риски или нет.
3. Выясняем, в каких системах взять данные для проверки наших гипотез.
3. Оценка системы внутреннего контроля: добавляем в описание процесса контрольные процедуры (это такие шаги процесса, которые нужны исключительно для того, чтобы проверить, что что-то пошло не так, например, согласование договора перед подписанием). Соотносим контрольные процедуры со списком рисков из первого пункта.
4. Проверка, что риски реализовались: проверяем гипотезы, полученные предыдущих шагах. Какого-то универсального алгоритма нет, но чаще всего, тут нужно данные из одного источника сравнить с данными из другого источника.
5. Подготовка отчёта: аккуратно документируем результаты и придумываем рекомендации.
3. Проверка того, что наши рекомендации внедрены в жизнь (через какое-то время).

На каждом этапе внутренний аудитор задаёт себе ряд вопросов, которые помогают ему эффективно выполнять свою работу.

Шаг 2. Вопросы внутреннего аудитора на каждом этапе

1. План аудитов:
1. Составь список ключевых процессов по описанию бизнеса.
2. Составь перечень ключевых рисков в работе данного бизнеса.
3. Предложи порядок в котором следует проводить внутренний аудит полученных процессов исходя из полученных рисков.
2. Аудит конкретного процесса этап "Подготовка" (составляем предварительное описание и список рисков):
1. Напиши детальное описание процесса [тут название процесса] по шагам.
2. Напиши список рисков для данного процесса.
3. Напиши список вопросов, которые нужно задать людям, чтобы проверить, что полученное описание процесса соответствует реальности.
3. Аудит конкретного процесса этап "Формулирование гипотез и сбор данных для их проверки":
1. Вот тебе описание процесса от проверяемого подразделения и список ответов на вопросы. Составь описание процесса по шагам.
2. Вот тебе текст регламента, составь описание процесса по шагам.
3. Составь список рисков, возникающих на каждом шаге.
4. Сформулируй гипотезу, которую нужно проверить, чтобы понять, что риск [конкретный риск] реализовался?
5. Сформулируй список действий, которые нужно выполнить, чтобы проверить, что риск [конкретный риск] реализовался?
4. Аудит конкретного процесса этап "Оценка системы внутреннего контроля":
1. В описании процесса [название процесса], перечисли какие шаги являются контрольными процедурами и какой риск они закрывают.
2. Если есть риски, у которых нет контрольных процедур, то перечисли их. Если таких рисков нет, то напиши "у всех рисков есть контрольные процедуры".
5. Аудит конкретного процесса этап "Проверка гипотез из предыдущих пунктов":
1. [Тут могли бы быть вопросы про получение и очистку данных, но для этого есть другие, вполне годные инструменты]
2. Сравни две таблицы между собой, выведи различия в таблицу и напиши выводы и рекомендации.
6. Аудит конкретного процесса этап "Подготовка отчёта":
1. Собери рекомендации в один отчет.

Критерии сравнения

1. Качество ответов. Мы определились со списком вопросов, которые нужно задать нейросети, чтобы понять ее пригодность во внутреннем аудите. Качество ответов на эти вопросы, будет главным критерием в сравнении.
2. Интерфейс и опции. Очевидно, что инструмент должен помогать, а не создавать когнитивную нагрузку.
3. Доступ. Для использования сервисами может понадобиться VPN, телефонный номер другой страны и возможно что-то еще. Чем проще получить доступ к инструменту, тем лучше.
4. Цена. Очевидно, что если стоимость инструмента превышает стоимость зарплаты сотрудника, то проще нанять человека.