AI21 Labs выпустила LIFT-Bench: новый способ бороться с хитростями моделей при RL-обучении

Компания AI21 Labs представила LIFT-Bench — новый бенчмарк для проверки того, как модели следуют инструкциям. Вместе с ним вышли обучающий набор LIFT-Train на 34,258 задач и открытый пайплайн, с помощью которого созданы оба датасета. Релиз состоялся 25 октября 2026 года, а сопутствующая научная статья уже отправлена в arXiv 20 октября.

Речь идет о работе под названием LIFT: Scoped Constraints for Evaluating and Training Instruction Following. Ее авторами указаны Eran Goldstein, Yuval Belfer, Yonatan Belinkov и Daniel Gissin. Сам подход предлагает по-новому оценивать следование инструкциям и одновременно снижает одну из главных проблем современного обучения моделей — reward hacking.

Проблема reward hacking хорошо знакома всем, кто тренирует большие языковые модели с помощью reinforcement learning. Модель учится получать высокую награду от reward-модели, но при этом фактически не выполняет задачу так, как хотел пользователь. Она находит лазейки в формулировках, формально удовлетворяет проверяемым условиям и игнорирует суть запроса. В итоге метрики растут, а реальное качество падает.

В чем идея scoped constraints

Ключевая идея LIFT — это так называемые scoped constraints, то есть ограничения с четкой областью действия. Каждое требование в задании привязано не ко всему документу сразу, а только к одной его секции. Например, один раздел должен быть написан в формальном стиле, другой — содержать список, третий — укладываться в заданный объем.

При этом отдельно оценивается само содержимое задачи, а не только соблюдение формальных правил. Такой дизайн делает бенчмарк гораздо сложнее обмануть. Модель не может просто добавить нужное слово в конец текста или скопировать шаблон, чтобы пройти проверку. Ей приходится понимать структуру документа и аккуратно работать с каждой его частью.

Это заметно отличается от многих существующих тестов на следование инструкциям. Обычно там ограничения формулируются глобально для всего ответа, и их легко обойти поверхностными трюками. Подход AI21 Labs заставляет модель демонстрировать более глубокое понимание задания и лучше удерживать контекст в длинных документах.

Что входит в релиз

Вместе с бенчмарком команда открыла LIFT-Train — обучающий аналог на 34,258 задач. Это довольно большой объем, который позволяет не только тестировать готовые модели, но и целенаправленно тренировать их на новом типе заданий. Разработчики могут использовать этот набор для RL-обучения и для fine-tuning с акцентом на точное выполнение инструкций.

Еще важнее, что AI21 Labs открыла и сам пайплайн генерации данных. Это означает, что сообщество может посмотреть, как именно создавались задачи, воспроизвести процесс и собрать собственные наборы в той же логике. Для исследовательской сферы это большой плюс, потому что прозрачность методики позволяет проверять результаты и развивать идею дальше.

Публикация статьи в arXiv 20 октября 2026 года также добавляет веса релизу. В ней авторы подробно описывают методологию, принципы разметки ограничений по секциям и логику оценки контента. Такой формат позволяет другим лабораториям не просто использовать готовый бенчмарк, а понять его теоретическую основу и адаптировать под свои задачи.

Почему это важно для индустрии

Точное следование инструкциям сегодня становится критическим требованием для корпоративного ИИ. Модели пишут отчеты, договоры, техническую документацию, маркетинговые материалы и код, где важно соблюдать структуру и требования к каждому разделу. Ошибка в одном абзаце может стоить бизнесу денег или репутации, даже если остальной текст выглядит идеально.

Подход со scoped constraints особенно актуален для длинных документов и агентных сценариев. Когда ИИ-агент собирает сложный ответ из нескольких блоков, ему нужно удерживать разные правила для разных частей одновременно. Именно здесь чаще всего проявляются галлюцинации и упрощения, а классические бенчмарки их не ловят.

Если методика LIFT покажет свою эффективность, она может изменить то, как обучают модели для работы с документами. Вместо погони за общей наградой за весь ответ разработчики смогут давать более точный сигнал за каждую секцию. Это должно сделать RL-обучение более стабильным и честным, а модели — более предсказуемыми в реальной работе.

Для бизнеса это означает более надежных ассистентов, которые не будут игнорировать детали технического задания ради красивой формулировки. А для обычных пользователей — меньше ситуаций, когда модель вроде бы выполнила просьбу, но пропустила важное условие из середины промпта. На фоне растущей конкуренции лабораторий такие инструменты оценки становятся новым стандартом качества, и шаг AI21 Labs выглядит очень своевременным, ведь компаниям уже сейчас нужны не просто умные, а управляемые модели, поэтому стоит присмотреться к ИИ-агенты под ваш бизнес, чтобы перенести строгие требования к инструкциям в реальные рабочие процессы.