Правда или последствия: как RAG-системы учатся не врать

Представьте, что ваш ИИ-юрист, готовящий анализ договора, вдруг ссылается на несуществующую статью ГК РФ. Или медицинский бот советует препарат, упомянутый лишь на форуме энтузиастов-биохакеров (бр-р-р!). Эти ошибки — не баги, а фундаментальная проблема генеративных моделей, известная как конфабуляции (в научной литературе) или галлюцинации (в обиходе). В отличие от классических ИИ-систем, которые просто не знают ответа, БЯМ в RAG-системах иногда «дорисовывают», додумывают реальность, смешивая факты из источников с собственными домыслами. И если в чате о поэзии это терпимо, то в корпоративных или медицинских сценариях — катастрофично.

Почему RAG не панацея от вымысла?

Даже идеальный ретривер, передающий БЯМ релевантные документы, не гарантирует правдивости. Модель может:

Игнорировать контекст, предпочитая «знания», зашитые в её веса во время обучения;
Неправильно интерпретировать сложные места (например, юридические казусы);
Добавлять «логические мостики» между фактами, не подтверждённые источниками («Если A и B верны, то наверное, и C тоже»).

Корень проблемы — в самой природе генеративных моделей. Они оптимизированы для создания правдоподобного текста, а не точного. Как писалось в статье о метриках качества RAG, до 30 % ответов даже продвинутых систем содержат скрытые ошибки.

Арсенал борьбы: от сносок до нейросетевых детективов

1. Принудительное цитирование
Как работает: Модель обучают вплетать в ответ ссылки вида [Doc42], где число — ID чанка из векторной БД. Современные фреймворки вроде Haystack автоматически отображают эти ID на реальные документы.
Плюсы: Прозрачность, возможность ручной проверки.
Минусы:

Модель может цитировать «для галочки», не опираясь на источник (то есть тоже галлюцинировать и ссылку на источник);
При множественных ссылках текст становится нечитаемым.

2. Многоуровневая верификация
Метод: После генерации ответа отдельный агент (часто та же LLM) проверяет каждое утверждение на соответствие источникам. Например, система из архитектурных паттернов RAG с «критиком» и «редактором».
Пример:

Пользователь: Каковы условия расторжения договора?
Ответ: Расторжение возможно при неуплате более 30 дней [Doc12].
Верификатор: В Doc12 сказано «...при просрочке свыше 45 дней». Исправь ответ.

Плюсы: Снижает ошибки в 2 — 3 раза.
Минусы: Удваивает время и стоимость запроса.

3. Активный поиск (Adaptive RAG)
Суть: Модель сама решает, когда ей не хватает данных, и инициирует новый поиск. Например, при генерации фразы «Согласно исследованию 2023 года...» система проверяет, есть ли такие данные в индексе, и если нет — переформулирует ответ.
Плюсы: Динамически закрывает пробелы.
Минусы: Риск бесконечных циклов («А вдруг найдутся лучшие источники?»).

4. Семантический факт-чекинг
Технологии:

Groundedness Score: Доля слов ответа, буквально присутствующих в источниках (например, 85 % = 15 % потенциальных галлюцинаций);
Контекстные эмбеддинги: Сравнение векторных представлений ответа и источников — если они расходятся, значит, модель «додумала».

Как показано в исследовании памяти ИИ-агентов, такой подход требует тонкой настройки эмбеддингов под домен.

Экспериментальные подходы: граница безумия

Скептические агенты: система генерирует два ответа — основной и «скептический» («Возможно, это неверно, потому что...»), как в методе Рене Декарта.
Деконструкция логики: каждое умозаключение разбивается на предикаты («Факт A → вывод B → итог C») и проверяется по отдельности.
Криптографические водяные знаки: внедрение скрытых маркеров в источники, чтобы модель не могла ссылаться на ненастоящие документы.

Что выбрать? Практические советы

Для публичных чат-ботов: принудительное цитирование + лёгкая верификация.
Для корпоративных знаний: активный поиск + семантический факт-чекинг.
Для критичных систем (медицина): многоуровневая верификация с человеческим контролем.

Заключение

Точность RAG-систем — это не техническая деталь, а вопрос этики. Как и в нейропоиске, мы стоим перед выбором: скорость или достоверность, удобство или прозрачность. Но именно эта дилемма двигает индустрию вперёд — к системам, которые не просто знают, но и умеют доказывать.

Подписывайтесь на Telegram-канал «Технооптимисты» (https://t.me/drv_official) — исследуем, как ИИ учится отличать правду от вымысла. От RAG до Deep Research: только факты, проверенные на трёх источниках.