Проявляющиеся способности ИИ

Применительно к языковым моделям существует понятие “emergent abilities” — “проявляющиеся способности”. Их чаще называют “эмерджентные способности”, но вы знаете, как интенсивно я не люблю малопонятные и труднопроизносимые термины.

Так вот, речь идёт о способностях, которые начинают проявляться, когда модель достигает определённого размера. Предполагается, что процесс обучения остаётся неизменным, но в модели маленького размера способность отсутствует, а при увеличении размера начинает проявляться.

Как много что в области генеративного ИИ в целом и языковых моделей в частности, термин “проявляющиеся способности” определён плохо и в разных источниках трактуется по-разному. Но он важен и вокруг него есть ряд важных вопросов:

Какой размер модели достаточен, чтобы новая способность начала проявляться?
Какой размер нужен для разных способностей? Можно ли это предсказать?
Если мы ещё увеличим модели, проявится ли что-то новое? До каких пор надо увеличивать, чтобы проявилось?
Есть ли предел, после которого точно больше ничего не проявится? Его можно вычислить?
Не все проявляющиеся способности одинаково полезны. Что делать с теми, которые скорее вредны?

Пока что ответ на все перечисленные вопросы: “Да чёрт их знает.” Если и знает, то статей пока не публиковал, чтобы это знание сделать общедоступным.
Одну любопытную статью, впрочем, опубликовали люди: “Emergent Abilities in Large Language Models: A Survey” (“Проявляющиеся способности в больших языковых моделях: обзор”). Они собрали доступную литературу и попытались разобраться, что это вообще за штука такая и как с ней быть. Посмотрим, что у них вышло.

Как обычно, всё началось задолго до появления языковых моделей. Понятие проявляющихся свойств было описано аж в 1877 году в серии книг “Вопросы о жизни и духе” Джорджа Генри Льюиса (“Problems of Life and Mind”, George Henry Lewes). Это объёмный философский труд, который был направлен на понимание взаимосвязи окружающего мира и сознания. С некоторым трудом мне удалось заполучить в своё распоряжение три из пяти томов. Не знаю, зачем вам эта информация, просто хвастаюсь уловом.

Льюис сводил совсем ещё юную тогда психологию с основами физиологии и философией. Он стал одним из родоначальников того направления психологии, которое признаёт влияние физиологических факторов и факторов окружающей среды (в том числе культурных и социальных) на состояние человеческой психики.

Слышали про “эмерджентность системы”? Льюис описал. Эмерджентные или проявляющиеся, как я буду далее писать, свойства отсутствуют у каждого компонента системы по отдельности, но проявляются в системе целиком. И потому система – это больше, чем сумма её частей.

Проявляющиеся свойства есть в эволюции, физике, нейрофизиологии — и в языковых моделях тоже, как оказалось. Есть система — есть вот такие свойства. По мере роста сложности системы проявляется больше свойств.

И что там с этими свойствами?

Итак, мы говорим о свойствах, которых нет у элементов системы, но которые есть у системы целиком. В силу этой своей природы они непредсказуемы или практически непредсказуемы. Далее, чтобы мы могли сказать: “О, новое свойство,” — это свойство должно проявляться стабильно и улучшать эффективность настолько, чтобы это улучшение нельзя было списать на случайность.

Итого: проявляющиеся свойства непредсказуемые, фиксируются стабильно и не могут быть объяснены случайностью или погрешностью вычислений.

Это было строгое “классическое” определение проявляющихся свойств. Применительно к языковым моделям проявляющимися свойствами иногда называют те свойства, в которые прям специально не целились, но они всё равно в процессе обучения возникли. То есть, иногда люди, говорящие о проявляющихся свойствах или способностях языковых моделей, исключают из определения непредсказуемость, размывая его.

Помимо размытости определений есть ещё одна загвоздка, и она кроется в подходе к обнаружению проявляющихся способностей или свойств. Чуть выше мы сказали, что свойство или способность должны проявляться стабильно и производить статистически достоверное улучшение. Это значит, нам надо

поймать проявление свойства,
доказать, что оно вот только сейчас проявилось,
доказать наличие улучшения и
доказать, что улучшение связано с новым свойством.

Звучит как непростая задача, потому что это и есть непростая задача. Метрики, с помощью которых оценивают результаты работы языковых моделей, несовершенны. Иногда они могут указывать на внезапное появление или внезапно очень резкое повышение качества решения определённого рода задач — а потом усовершенствуют метрику, уточнят расчёты, и внезапность исчезает. Свойство оказывается одним из тех, которые развивались постепенно и были у моделей меньшего размера, просто развиты были слабо.

Потом, конечно, можно ещё уточнить расчёты и обнаружить, что свойство-таки появилось внезапно, скачком. Но, как вы могли уже догадаться, отсутствие выверенных инструментов измерения не вносит ясности в вопрос.

Наконец, даже если удаётся уверенно доказать, что новая способность правда проявилась после того, как модель стала достаточно большой, остаётся ещё один важный вопрос: “Почему?” Что такого случилось с приобретением очередного миллиарда параметров, что сложение трёхзначных чисел вдруг стало проще?

Если коротко, есть разные гипотезы, нет надёжных подтверждений. Пока нет, во всяком случае.

Наконец, как мы упомянули раньше, не все проявляющиеся способности одинаково желательны. Например, врут большие модели очень убедительно и выдумывают всякую ерунду. Подобного рода способности сложно однозначно отнести к проявляющимся, но авторы конкретно этой статьи относят, и мы вслед за ними обозначим такую проблему.

Короче говоря, вопрос проявляющихся способностей — это вопрос не только эффективности, но и безопасности, и надёжности продуктов на базе ИИ, так что имеет смысл про них иногда думать.

P.S.: Чуть не забыла вам сказать, что у меня телеграм есть, и на него можно подписаться. А можно не подписаться: тут уж сами смотрите, как вам нравится