Data Blog

ChatGPT и explainable AI

2024-10-13T18:16:33.871Z

“Unlike with most human creations, we don’t really understand the inner workings of neural networks” (c)

Привет, друзья! Работа над продуктом на базе chatGPT — увлекательное путешествие. Косяки в доработке — и можно натолкнуться на ситуацию, когда в скрытом смысле в качестве борьбы со страхом модель предложит спалить дом.

В последнюю неделю поставила себе задачу разобраться, как сделать модель прозрачнее, сильнее и лучше, потому что я делаю продукт для детей. И мне показалось важным и интересным, поделиться найденными тезисами.

Welcome в пост!

1. Можно ли назвать ChatGPT объяснимой моделью?

ChatGPT не является объяснимой моделью в фундаментальном понимании области XAI.

Почему это так:

Во-первых, обучение на большом наборе данных. Здесь работает фундаментальный принцип — мусор на входе, мусор на выходе. Увеличивая объем данных модели удается захватывать сложные зависимости, но при этом чем больше данных, тем сложнее оценить их чистоту.

Для некоторых областей Википедия тоже может быть "мусоркой", а для некоторых — это необходимое и достаточное описание материала. Обучаясь в общем смысле, такое деление не может быть учтено.

Во-вторых, невозможность рассмотреть несколько результатов процесса объяснения в разрезе.

Методы атрибуции (выделения признаков, если попроще) могут давать разные результаты на одной и той же модели. Оценить какое объяснение лучше сложно, без формулировки задачи к объяснению.

Как видит две грани GPT YandexART

В-третьих, вычислительная сложность получения объяснений.

В силу закрытости модели, при проведении процедуры объяснения, необходимо планировать эксперимент четче, чем для открытых моделей. В статьях из методов иногда применяется LIME, градиентные методы (достаточно широкий класс), анализ карт внимания и применение техник механистической интерпретируемости отпадают.

2. Самообъяснения и извлекаемые объяснения

Трендом (не только для GPT, а в целом для LLM) является применение самообъяснений и проведение эмпирических экспериментов, для прививания оценок важности входным токенам.

Извлекаемые объяснения — представляют наиболее простой способ, требующий, однако, множественных запросов в рамках одного и того же промта. Примером является метод окклюзии. Окклюзия включает в себя многократное повторное выполнение одного и того же запроса, с удалением определенных слов, чтобы наблюдать их влияние на выходные данные модели.

Самообъяснения — способ, не требующий подготовки плана к проведению процесса объяснения. Всё, что необходимо — запросить объяснение у модели. Это может быть как просьба текстового пояснения, так и просьба присваивания коэффициентов входным признакам. Плюсы — действительно просто. Минусы — возникновение "компромисса между точностью и интерпретируемостью".

Например, в одном эксперименте исследователи наблюдали падение общей точности модели, когда ее просили объяснить ее прогноз. Там же, кстати, было обнаружено, что объяснения могут иметь высокие разногласия. Это связано с нестабильностью объяснений (разные в зависимости от запроса) и с чувствительныостью объяснений к выбору гиперпараметров модели. И в этом же исследовании для GPT было обнаружено, что объяснения, признанные "одинаково точными", также имеют высокие степени разногласия.

Explainable AI by YandexART

Вместо вывода — вопреки тому, что при помощи LLM можно автоматизировать даже машинное обучение, роль разработчиков ML, DL и не только в традиционном смысле, кажется, ещё долго будут важны. Продолжайте становиться лучше и делать системы, модели и исследования надежными, понятными и аккуратными.

Отличного вам вечера, друзья и спасибо за уделенное время!
Как всегда ваш,
Дата автор! :)

SHAPley values

2024-09-29T15:14:32.610Z

Значение Шепли (Shapley values) — это концепция из теории кооперативных игр. Задача, решаемая этими значениями связана с распределением выигрыша между игроками в кооперативной (говоря проще — совместной) игре. С 2017 года идея значений Шепли активно применяется в машинном и глубинном обучении, в частности — в области explainable AI. В этой статье предлагаю узнать о них больше! :)

Меня зовут Сабрина и я автор канала Data Blog, где нередко рассказываю об области explainable AI. Помимо этого, я автор курса Explanable AI, начинающий researcher (и иногда даже читаю семинары в магистратуре ИИ в ВШЭ).

В общем, исследую я много и буду рада, если мне удастся открыть любимую мною область и вам!

Присоединяйтесь! :)

Интуитивное определение значений Шелли.

Представьте себе компанию, в которой трое сотрудников — Мария, Иван и кот Борис — их назовем игроками. Их задача — разработать новую рекламную кампанию — это и будет нашей игрой.

При работе над решением задачи Мария предложила концепцию, Иван разработал стратегию, а Борис, как настоящий сэр-кот, сидел рядом и мурлыкал. Когда кампания принесла компании 1 миллион долларов прибыли — это наш выигрыш — возникла необходимость справедливо разделить этот успех между членами команды.

Не Борис, но тоже кот.

~~Все деньги Борису!~~

Конечно, направить инвестиции в сторону Бориса — прекрасная стратегия. Но чтобы у сотрудников не возникло эмоционального выгорания из-за бесплатной работы релевантно применить для этой задачи значения Шепли.

Немного истории.

Значения Шепли ввёл американский математик и экономист, Ллойд Шепли в 1951-53 году. Позднее, в 2012 за них он был удостоен Нобелевской премии.

В машине и глубинное обучение Shapley Values пришли позже — в 2017. Их предложени Scott M. Lundberg и Su-In Lee в статье "A Unified Approach to Interpreting Model Predictions".

В контексте области объяснимого искусственного интеллекта заявление об универсальности звучит громко, однако метод действительно является таковым. Универсальность обеспечивают применение к любым модальностям данных — картинки, текст, аудио (в табличном представлении) и, безусловно, таблички, и к любым моделям — DNN и ML.

Формальное определение.

Дабы избежать некрасивого вводы формул, формальное определение представлено на слайде ниже.

Формальное определение shapley values

Глубокая математическая теория, стоящая за данными значениями и ряд аксиом, также обеспечивает свойство единственности атрибуции (важности) признаков.

И если мы пересмотрим все составляющие игры и переведем их на язык ML, то получится следующее соответствие:

Как это работает на практике.

Конечно, если у нас много признаков (в контексте изображений — пикселей, а в контексте текстов — токенов), то необходимо иозбретать некоторые ухищрения, ведь согласно теории каждый раз нам необходимо проводить процесс игры — прогнозирования или обучения — целых 2^N раз! Об ухищрениях позаботились ещё в начале создания библиотеки shap, реализующей вычисление Shapley Values.

Достаточно большой вычислительный недостаток решается разносторонними оптимизациями, поэтому изучая библиотеку, вы увидите достаточно широкий арсенал shap explainers. Так, среди оптимизаций реализованы:

Использование локальной линейной регрессии (Kernel Explainer)
Для линейных моделей – Linear Explainer (плюсы — возможен учет корреляций между признаками)
Перестановка входных данных (Permutation explainer)
Построение иерархии признаков (Partition Explainer)
Предположение о независимости признаков (SamplingExplainer)
Комбинация с градиентными методами (Deep Explainer, Gradient Explainer)
Оптимизация для древесных моделей (Tree Explainer и др.)

Поэтому не пугайтесь, изучая библиотеку. Там, как в математике — всё зачем-то нужно!

Внешний вид важностей.

Визуализация важности признаков с использованием значений Шепли обычно представляет собой график, показывающий, как каждый признак вносит вклад в предсказания модели. В случае токенов и табачных данных признаками будут отдельные сущности (токен, признак), а в случае изображений — участки изображения.

Ключевые моменты графика:

Положительные значения указывают на признаки, которые способствуют увеличению предсказанного значения (например, вероятности или цены), в то время как отрицательные — на признаки, уменьшающие его.
Для указания направления изменения прогноза используются цвета синие полосы для негативного влияния, а красные — для позитивного.
base value (или E[f(X)]) — математическое ожидание прогноза, вычисляемое по всей выборке.

Выводы по статье.

Значения Шепли — мощный, базовый и универсальный инструмент для объяснения предсказаний моделей машинного и глубинного обучения, который нашел широкое применение благодаря своей универсальности и математической строгости.

В некоторых случаях вычислительная сложность данных значений может препятствовать их применению. Однако, несмотря на это, существующие методы и оптимизации позволяющие эффективно применять метод во многих задачах.

Изучение и понимание значений Шепли является некоторой базой в джентельментском наборе для осуществления процесса объяснения модели. Надеюсь, статья была для вас полезной! :)

Как всегда со всем самым добрым,
Ваш Дата автор!

Attention: Attention!

2024-09-07T08:44:22.932Z

Привет, друзья! На связи ваш Дата-автор! =)

Я очень часто экспериментирую — просто стесняюсь делиться. Кажется, что мысли и идеи — тривиальны, а ещё я всегда боюсь дать что-то недостоверное (ну знаете там с ошибкой в коде, например).

Но решила попробовать. Поэтому, в этой статье я даю небольшую вводную про Attention, показываю, как внимание влияет на качество модели и делюсь ролью механизма внимания в области explainable AI.

Что ты такое?

В DNN Attention — механизм, который позволяет модели фокусироваться на наиболее "релевантных" частях входных данных, игнорируя части менее важные. Своей популярностью attention во многом обязан архитектуре моделей Transformer, ведь она основана на механизмах attention полностью. Однако, до 2023 года (тогда был опубликован Transformer), attentions также применялись, но в основном вместе с реккуретными нейронными сетями (RNN) в задаче машинного перевода.

Рис. 1 Feeding Hidden State as Input to Decoder
Taken from “Effective Approaches to Attention-based Neural Machine Translation”, 2015.

Насколько attention усложняет Seq2Seq модель и улучшает ли это её качество? И вообще, какой attention лучше использовать для задачи машинного перевода?

На эти вопросы, конечно, ответили до меня. Но я — исследователь, поэтому убедиться в ответе "Bahdanau attention" хотелось самостоятельно. И так, была собрана домашняя лабаратория:

Набор данных: предложения на двух языках — русском и английском. Данные взяты с ресурса tatoeba.org. Количество наблюдений 730519, для ускорения обучения взяты только 100 тыс.. Из этих 100 тыс. наблюдения отфильтрованы и взяты только такие, что они короче, чем 10 токенов или их длина равна 10 токенам.

Итого, подопытные 89851 пар, среди которых 31868 уникальных значений на русском языке и 13078 на английском.

Модель: простенькаяSequence to Sequence, архитектуры изображенной на рис. 2.

Attentions: дляэксперимента были взяты Bahdanau и Luong attention. Формулы и описание привожу на изображении ниже.

Реализованные подходы к вниманию вы можете найти в файле attentions.py, а сами модели в файле models.py.

Было обучено 5 моделей — с каждым из вниманий и вовсе без внимания. Обучение состояло из 50 эпох, размер батча — 200.

Результаты обучения 5-ти RNN

Лучшим подходом к вниманию действительно оказался Bahdanau attention. Время обучения увеличилось примерно на 20% и функция потерь оказалась ниже более чем в два раза.

Изменение функции потерь от эпохи к эпохе.

Внимание в explainable AI.

С момента популяризации, механизм attention также стал распространяться в области XAI. Действительно, ведь согласно интуитивному определению — веса внимания — прямое отражение того, на что "смотрит" модель. И в эксперименте это абсолютно видно!

Визуализация карт внимания.

Но позволяет ли внимание сделать "прозрачную" модель? И да, и нет.
В настоящее время показано, что:

возможно полностью изменить веса внимания и добиться того же прогноза (также веса внимания допускают и другие состязательные вмешательства);
веса внимания не обязательно коррелируют (часто — вообще не коррелируют) с другими методами объяснения;

Кроме того, опровергая attention в качестве объяснения, исследователи отмечают, что внимание строится не на основе самих слов, а на основе их эмбеддингов, что тоже умаляет точность построенных карт. Данный факт можно оспорить, сформулировав гипотезу о том, что модель имитирует пространство слов корпуса в векторном пространстве. Но насколько эта гипотеза является правдой, в силу больших размерностей, открытый вопрос.

Общий вывод о внимании

Attention — сильный инструмент, улучшающий качество модели. На свойство объяснимости attention также влияет, однако является не более и не менее чем ещё одной попыткой глубже понять скрытые зависимости, изучаемые моделью.

Спасибо за ваше внимание, друзья!
Всегда рада видеть вашу обратную связь в Data Blog'е, где я пишу про объяснимость моделей и свой опыт в области Data Science.

А также на курсе про Explainable AI в ML и DL (и в благодарность за чтение скидка по промо ATTENTION до 30 сентября)!

До новых встреч и доброго вам времени,
Ваш Дата-автор!

Методы интерпретации Large Language Models

2023-08-23T18:53:27.174Z

Вторая часть кооперации двух лучистых пирогов: @data blog x @awesome_dl. В первой части у нас получилось не кратко, но интересно. Во второй — тоже.

И так, мы увидели, что на основе Large Language моделей в настоящее время решается много задач — саммаризация, генерация, машинный перевод, анализ сущностей и далее по списку. Разных —много, но все из них все из них так или иначе можно назвать автоматическим анализом текста.

Когда я анализирую текст, мой мозг выглядит как дерево решений с ноткой случайности — есть последовательность если есть “London”: - то добавляю “is the capital of Great Britain”, есть случайные идеи из памяти и вдохновения. Если вы спросите — я смогу step by step объяснить, как пришла к какому-либо своему “output”у. Я — почти white box модель. Языковые же модели имеют внутри себя огромную последовательность преобразований, в том числе “скрытых”, в скрытых слоях. Это делает их моделями типа black-box и их интерпретация уже не обходится визуализацией дерева.

Андрей: Зачем интерпретировать LLM?

Слайд с презентации выступления "Explainable AI: что, зачем и как?" на DataFest2023 (https://www.youtube.com/watch?v=hly1C-eDu7I)

Сабрина:

Обоснование решений и обеспечения доверия к модели — опуская критические области (хотя краеугольно это важно в них), интерпретация LLM нужна даже для проектирования умного дома. Вот скажет модель пальцы в розетку сунуть, и сиди думай — зачем, почему, а окажется, что это не розетка вовсе, а, я не знаю … система для снятия отпечатков пальцев. Разработчики или пользователи должны понимать причину ответов, чтобы безопасно пользоваться ими.
Отладка модели, избежание непонимания — обоснованием этого пункта является основная идея интерпретации — связать влияние входа на выход. Понимание, какие слова или фразы модель считает важными, может помочь идентифицировать случаи, когда модель допускает некорректные выводы, игнорирует важные детали текста или позволяет себе то, что мы называем “предвзятость”.
Улучшение управляемости — здесь тоже просто — лучше понимаем природу ответов, лучше составляем промпты для модели. Если помечтать (или просто логически прикинуть?), в будущем можно делать полноценные устройства с инструкцией не о том, какую жать кнопку, а о том, какую говорить фразу.

Андрей: В чем сложность с интерпретацией LLM?

Сабрина:

Основная — размер, на который далее накладываются абстрактность внутренних представлений, большая последовательность внутренних преобразований, учет контекста и скрытые взаимосвязи.

Но “есть вход” и “есть выход” — этой информации необходимо и достаточно только при входе в лабиринт, так что вопреки этому всему интерпретировать надо.

Андрей: Как с этим справляются в области?

Сабрина: Очень интересно!

Адаптируют стандартные методы, такие как Counterfactual explanations, LIME и SHAP для LLM. И хотя здесь существует проблема производительности методов, это работает [1, 2].
Для моделей, основанных на внимании рассматривают механизмы внимания модели, смотря на слова/токены, которые модель считает наиболее важными при создании вывода. Один из чудных примеров практически пощупать и применить это — библиотеки bertviz и transformers-intrpret. Также есть библиотека LIT.
Что важно, методов, связанных с вниманием в разном ключе существует несколько. Их отличия связаны с отличиями в архитектурах моделей. Здесь мне очень нравится картинка:

Развитие методов интерпретации, https://arxiv.org/pdf/2112.12705.pdf

Заимствуют методы из компьютерного зрения, частным примером этого является Grad-CAM (gradient-weighted class activation mapping). [3, гитхаб]
Развивают направление детального анализа пространств внутри модели — скрытых пространств. Такие исследования сосредотачиваются на связи ответов модели с векторными представлениям эмбеддингов внутри. Поскольку с пространствами можно делать многое, сюда я бы отнесла работы по преобразованию пространств, анализ изменений пространств при изменении входных данных, анализ близких векторов. Пример — [4]
Создают модели, способные объяснить сами себя (self-explainable models в литературе). Под самообъяснением для LLM может считаться как возможность проследить логическую цепочку рассуждений (что мы можем наблюдать, например, в GPT), так и изменения в архитектуре модели, обеспечивающие объяснение. Пример изменений в архитектуре — [5].

Также придумывают новые методы. Например, меня изумила идея с маскированием выборки для повышения процента нахождения информативных текстовых блоков [6].

Андрей: Что ещё интересного?

Сабрина:

Хм. Интерпретация LLM моделей сама по себе ветка, в которой можно закопаться также хорошо, как в самом NLP. Но относительно возможностей LLM моделей есть тренд на создание экспертных диалоговых систем (на основе LLM), позволяющих объяснить процесс решения той или иной задачи.

Примеры:

Augmenting Interpretable Models with LLMs during Training [7]
NLX-GPT: A Model for Natural Language Explanations in Vision and Vision-Language Tasks [8]
Rethinking Explainability as a Dialogue: A Practitioner’s Perspective [9]
Explaining Machine Learning Models with Interactive Natural Language Conversations Using TalkToModel [10]

В работах 9, 10, авторы также проводят опрос, на основе которого выводят, что интерактивные (диалоговые) объяснения — более предпочитаемы для специалистов, использующих машинное/глубокое обучение как инструмент в работе. Так что стакание искусственных интеллектов для создания более понятного искусственного интеллекта тоже работает! Хотя звучит забавно.

На этом, вроде бы, получилась простыня текста, так что, думаю, можно ставить точку. Надеюсь, было интересно!

Андрей:

Да, это было отличное путешествие в мир интерпретации языковых моделей. Для меня остается лишь открытым вопрос: можно ли этим техникам научить людей и что из этого выйдет)

Вывод:

В итоге нашего разговора в двух частях получился небольшой обзор области LLM, где по ключевым ссылкам вы можете дальше закопаться в теме. Область воистину с трудом обозрима одним человеком, поэтому постарайтесь найти одну тему и сфокусироваться на ней.

А завершить бы хотелось цитатой про языковые модели, о том, что они способны передать человеку знания целого интернета.

“…there are lots of books I’d like to read and websites I’d like to go to, and I find my bandwidth limiting. So instead of having a mere hundred trillion connections, we’ll have a hundred trillion times a million. We’ll be able to enhance our cognitive pattern recognition capabilities greatly, think faster, and download knowledge.”

— Dr Ray Kurzweil (January 2020)

До скорой связи на каналах @jdata_blog и @awesome_dl!

Языковые модели (Large Language models)

2023-08-23T15:23:08.529Z

Они очень старались сделать кратко и интересно, но вышло просто интересно.

В кооперации @awesome_dl x @data blogмы решили позадавать друг другу вопросы на тему языковых моделей. Мне было интересно узнать как и почему LLM стали отдельной веткой исследования в мире Deep Learning моделей, а Андрею — про интерпретацию LLM.

Результат нашей QA сессии перед вами. Прошу к прочтению и если у вас самих есть вопрос про LLMs, то мы с радостью ответим на них в комментариях :)

P.S. Далее в статье не раз упоминаются трансформеры. Если вы не знакомы с этой архитектурой, то рекомендую прочитать блог.

P.P.S. Читайте этот и следующий (будет через пару дней пост) как разговор двух почти LLM моделей. Мы специально подписали наши имена, чтобы было ясно где-кто вещает.

Прошу к прочтению!)

Сабрина: Какие выделяются виды LLM моделей и откуда различия между ними?

Андрей:

Здесь ответ стоит начать от постановки задачи. Глобально цель языковых моделей научится хорошо “понимать” язык, потому что именно “понимание” даёт возможность решать огромное число задач. И вот научить модель “понимать” можно следующими способами:

- Предсказание следующего слова. Модель, которая хорошо понимает язык должна уметь предсказывать следующее слово. Мотивация к этому — то как мы разговариваем — слово за словом мы передаем информацию друг другу. Для решения этой задачи используется класс авторегрессионных моделей, основанных на Transformer Decoder архитектуре. Основные представители - GPT, LLaMA, BLOOM

- Восстановление пропущенных слов. Чтобы оценить ключ понимания здесь, предлагаю провести аналогию с тем как мы изучаем иностранные языки. Большинство упражнений строится на том, что нужно заполнить пропуск правильным словом или набором слов — по контексту предложения мы должны понять, что нужно добавить в предложение. Эту логику понимания реализуют те языковые модели, что обучены для решения Masked Language Modelling. Основные примеры таких моделей это BERT, ALBERT, RoBERTa.

- Отвечать на вопросы. И здесь тоже аналогия с нами. Что нужно, чтобы правильно ответить на вопрос: хорошо понимать вопрос + уметь составлять ответ. Для этого хорошо подходит соединение двух типов моделей: Transformer Encoder и Transformer Decoder. Вопрос подается в модель Encoder, где хорошо выделяется контекст, а дальше контекст передаётся в генеративную часть (Decoder), где создается ответ.

Примерами таких моделей являются - T5, Bart, FlanT5

Сабрина: Чем LLM с одинаковой идеей обучения отличаются друг от друга?

Андрей:

На самом деле огромное множество отличий между моделями. Вот основные из них:

- На каких данных обучались модели? Это самое важное я бы отметил, чем больше качественных (“чистых”) данных тем лучшего качества достигнет модель. Основные датасеты для обучения: C4, Wikipedia. Причем здесь справедлив такой пайплайн – после того как модель была предобучена, она дообучается на инструктивных датасетах, чтобы её качество было улучшено в сторону более человекоподобных ответов. Например, FLAN или Alpaca

- Используемый механизм внимания. Например, архитектура Transformer базируется на модуле MultiHead Attention, но у него есть различные вариации. Например, есть механизм Linear Attention, который позволяет обрабатывать длинные последовательности, а есть механизм Multi-query attention, который позволяет ускорить инференс моделей. Разные Attentions — уже разные модели.

- Как кодируется позиционная информация? Архитектура трансформера, как комбинации MLP (Multi-layer perceptron) и Attention блоков инвариантна относительно порядка подаваемых слов. То есть предложения: “I like ice cream и “cream I ice like” представляет одно и тоже. Поэтому хотелось информацию о порядке слов в предложении передавать модели. Поэтому придумали positional encoding. Каждой позиции соответствует некоторый обучаемый вектор, который добавляется внутри трансформера. Далее, исследователи поняли, что более важен не абсолютный порядок слов, а относительный – поэтому появились механизмы relative positional encoding и новые отличия между моделями.

- Механизм токенизации. Токенизация это процедура разбиение исходного текста на набор подслов - токенов. Например, текст "I have a new GPU!" преобразуется в набор токенов ["i", "have", "a", "new", "gp", "##u", "!"]. Существует несколько видов токенизации – SentencePiece, Byte-Pair encoding и другие. Подробнее про них можно почитать тут. На токенизацию мало обращают внимания, но можно получить буст в качестве применяя технику BPE-dropout (некоторые токены выкидываются из словаря – из-за этого один и тот же текст может токенизироваться по-разному). Или еще один пример – модель LLaMA, в который каждой цифре поставлен в соответствие один токен лучше всего может решать арифметические задачи, по сравнению с другими моделями, где токенизация может группировать несколько цифр в один токен.

Сабрина: Почему мне полезно знать про LLM и где они могут пригодиться?

Андрей:

Почти везде, где есть текстовые данные. Большинство решений начинается с того, что вы берёте предобученную языковую модель и дообучаете на вашу задачу.

Кроме того, с развитием мультимодальности набирает популярность применения LLM в задачах компьютерного зрения, в робототехнике (по теме применения LLM в robotics скоро будет пост у меня в канале) и в работе с графами.

И в довесок, в повседневной жизни LLM в будущем станут (уже отчасти стали) ассистентами, которые будут закрывать многие ваши потребности в коммуникации, написании текстов и решении простых проблем (найти рецепт, вспомнить где-что лежит). Например, через LLM можно сказать роботу убраться в квартире и он выполнит. И чем раньше начнете учиться работать с этим инструментом тем больше выгоды вы извлечете из его развития.

Сабрина: Какой тренд в развитии LLM на базе последних исследований?

Андрей:

Основной — достаточно забавный: больше данных, больше модель, лучше результат. Это глобальный тренд, который часто перекрывает любые более умные попытки улучшить модель. Даже обнаружены формулы, которые позволяют в самом начале обучения предсказать качество модели.

Как челленджи, можно выделить решение следующих задач:

- Галлюцинации (модель строит грамматически и семантически правильные предложения, но в них смысла никакого смысла). Например, придумывает факты или документы, которых не было.

- Преодоления ограничения модели на размер контекста, с которым можно работать. Чтобы воистину раскрыть мощь языковых моделей, неплохо бы научить её читать большие тексты. Например, работы LongNet, где удалось засунуть 1 миллиард токенов (в “Война и мир” всего лишь 478 458 слов). Например, в модель можно добавить все книги про Гарри Поттера, дать затравку в виде новой идей продолжения и вуаля – новая часть готова.

- Прикладное применение в чат-ботах. Тут можно отметить различные виды дообучения на решения прикладных задач, например, FlanT5 или, во многом ставший известный благодаря ChatGPT подход RLHF (Reinforcement Learning Human Feedback), который позволяет научить модель давать ответы, которые больше нравятся человеку.

- Добавление текста в новые модальности. Тут тренд в том, чтобы использовать языковую модель как некоторого дирижера, который выбирает какой инструмент должен использоваться. К примеру, работа MM-REAct, где модель научили использовать большое число инструментов по работе с изображением, при этом взаимодействие происходит только через текст. Также можно отметить работу Kosmos, где авторы научились добавлять несколько модальностей в языковую модель и можно спокойно вести диалог с моделью, перемешивая текст, картинки и аудио.

- Более доступные языковые модели. Сейчас много усилий вкладывается в то, что сделать обучение и инференс более доступными, чтобы их можно было запускать на любом компьютере без ограничений. Думаю, так будет и в будущем. Например, библиотека bitsandbytes, которая позволяет обучать модели в 8-bit. Или библиотека PEFT, которая позволяет не учить модель целиком под всю задачу, а добавлять обучаемые блоки адаптеры, стоимость обучения, которых намного меньше. И также большинство моделей доступны в open-source, поэтому их можно свободно использовать под свои цели (только не нарушайте лицензию, под которой выпускается модель)

Сабрина: Какие библиотеки будут полезны для работы с LLM, и какие используют наиболее?

Андрей:

- HuggingFace. В библиотеке реализовано огромное число моделей не только по текстам, но и другим модальностям, есть огромное число датасетов. Фреймворк, с которым точно стоит познакомится.

- x_transformers. В библиотеке реализованы различные модификации трансформеров, которые вы можете брать себе на вооружение.
- Peft - библиотека по работе с адаптерами, которые позволяют быстро и качественное дообучить предобученную языковую модель

- bitsandbytes / deepspeed /Megatron LM - библиотеки по работе с большими языковыми моделями, где реализованы различные трюки, которые позволяют уменьшать объем используемой памяти. Например, gradient checkpointing или off-loading.

- NLTK / re. Не забываем о классических библиотеках, которые можно использовать для предобработки текста. Часто в бизнес-задачах решение, основанное на регулярках, дает высокое качество.

Сабрина: Окей, а можно ли обойтись базовыми моделями типа W2V или BoW?

Андрей: Да, можно всегда использовать классические методы. Это как обучить линейную модель, всегда можно это сделать. Если возникают ограничения малого объема данных или отсутствия вычислительных ресурсов или требований скорости работать, то первое, что вы должны вспоминать классические подходы.

Сабрина: Принято, понято и очень интересно! И больше ссылок богу ссылок, за это отдельная благодарность. А в следующем посте мы поменяемся ролями и перейдем на вторую часть вопросов, вопросов о методах интерпретации языковых моделей.

До скорой связи на каналах @awesome_dl x @data blog!