LLM
December 15, 2024

NotebookLM во внутреннем аудите

Описание инструмента

О чем речь: NotebookLM - блокнот со встроенным ИИ от Google.

Где взять: https://notebooklm.google.com

Цена: на момент написания статьи бесплатно! Зная Google, скорее всего есть лимиты, но мне не удалось их достичь в процессе тестирования.

Регистрация: не требуется, достаточно уже существующего аккаунта Google.

Интерфейс: Минималистический.

На втором экране в левой панели загружаем документы - источники. В правой задаем к ним вопросы в чате.

PS. Кто, как и я, не может сообразить как же теперь из блокнота вернуться в список блокнотов, попробуйте нажать на логотип в левом верхнем углу.

Тесты

Тест 1. Список процессов из описания компании.

Даем на вход pdf с кратким описанием бизнеса компании и просим выдать перечень бизнес-процессов.

Вполне неплохо, учитывая, что исходное описание состояло только из 200 слов.
Цифры в кружках - это ссылка на конкретное место в документе. Выглядит круто. Правда, сходу нашелся пример, когда про 15 тыс написано корректно, но ссылка показывает не совсем тот пункт (точнее только кусок нужного пункта).

В целом, считаю что тест пройден.

Тест 2. Описание процесса из регламента

Теперь представим, что у нас не было описания бизнеса или процессов компании. А есть только регламент.

В целом, строить аудит от регламента не очень хорошая идея, т.к. регламент и реальность отличаются чуть меньше, чем всегда, а мозг аудитора после прочтения регламента подвержен когнитивному искажению. Но предположим, что нам повезло. 😉

Итак, возьмем первый попавшийся регламент из интернета. Это регламент проведения закупок. Загружаем этот документ в качестве источника в новый блокнот и делаем несколько запросов.

Выглядит как-то слишком коротко и не структурированно.

Такой результат меня не очень удовлетворяет. Попробуем более подробный запрос.

Стало явно лучше. Есть четкие этапы.
Особенно нравится, что теперь понятно как происходит согласование заявки и выбор способа закупки.

Результат меня устраивает. Работать с таким списком значительно быстрее, чем внимательно читать все 36 страниц регламента. Тест пройден.

Хотя, давайте проверим еще идею:

Значит аренду нужно будет проверять отдельно! Так и запишем :)

То есть можно задавать вопросы к содержимому документа и сразу получать ответы. Круто же!

Тест 4. Типовые риски процесса

Пора включать режим "внутреннего аудитора" и задавать стоящие вопросы.🕵️‍♂️

На мой взгляд коротко и не убедительно.

Попробуем снова.

Значительно лучше. И даже рекомендации к каждому этапу есть, хоть мы и не просили.
На самом деле, от этих рекомендаций до плана аудита остается буквально один шаг.
Вот даже рекомендуют службу внутреннего аудита подключить 🤣

Получен годный список рисков. Считаю, что тест пройден.

Тест 4. Как проверить, что риск реализовался?

Давайте возьмем один риск и посмотрим на него более детально.

Предлагает сверить план с другими бюджетами и с фактическими остатками на складе и расходом в предыдущие периоды.
А еще советует поговорить с теми кто закупает и для кого закупают. На мой взгляд, очень дельный совет.

Мы получили философский совет не сразу бросаться в расчеты, а сначала оценить вероятность и потенциальный ущерб от таких рисков. 🧘🏻 Это забавно, но я что-то не вижу ни одного совета о проверке адекватности закупочных цен.

Проверить, что цена в плане отличается от предыдущих закупок только инфляцией - это логично.

Тест пройден частично: один из ключевых пунктов в ответ попал только после вопроса-подсказки.

Тест 6. Проверка гипотезы: сравнить 2 таблицы

Берем два гугл-документа и в каждый вставляем по таблице.

В одной таблице план, в другой - рыночные цены.

Загружаем эти документы в качестве источников и попросим их сравнить.

Понятно, что пример детский. Но все равно выглядит впечатляюще.

Не смотря на впечатляющую таблицу, пока считаю, что тест пройден частично, т.к. нужно много вспомогательных действий:

  • сначала на то, чтобы перевести данные из табличного вида в pdf или google doc, чтобы можно было их загрузить в качестве источника;
  • а потом еще нужно было из текстового ответа сделать нормальную таблицу.

Тест 7. Написать выводы для отчета

Тест засчитываю досрочно, т.к. в предыдущем ответе уже были написаны рекомендации.

Вердикт

Плюсы:
+ заточен для работы с загруженными источниками (сначала ищет ответ там и только потом включает фантазию)
+ показывает конкретный абзац в источнике откуда он сделал вывод (!)
+ хороший сумаризатор — легко собрать краткое содержание или краткое описание текста или картинки
+ автоматическое распознавание pdf, если там картинка
+ фактически бесплатный - не удалось достичь лимитов, когда начинает просить деньги

Минусы
- неудобный интерфейс работы с распознанным pdf: ссылается на страницу целиком, а не на конкретную строку
- не нашел способа увидеть распознанный текст, т.е. как проверить качество распознавания не понятно. А если что-то не распозналось, то он об этом не скажет, а придумает ответ.

Инструмент вполне можно использовать в ежедневной работе.