Урок 3 «Нейросети для создания текстов (LLM)» 

Содержание конспекта

Языковые модели нейросетей (LM)

Из предыдущего урока мы знаем, что существует 2 основных типа нейросетей в зависимости от того, что они создают – тексты или картинки, видео, музыку и пр.

Для создания новых текстов с помощью AI – используются языковые модели нейросетей (Language Models, LM). Они заточены на работу с естественным языком человека. То есть ответы от нейросети приходят в виде текста, как будто это отвечает человек.

Самые известные и большие языковые модели – это GPT-4 или Claude 3.

Именно этими LLM мы пользуемся каждый день. Они дают самые качественные ответы, особенно в последних версиях.

Это позволяет нам получать корректные ответы при общении с AI, ведь программа понимает, что мы хотим спросить.

Восприятие и понимание моделью естественного языка похоже на разговор взрослого с младенцем, когда тот только начинает говорить.

Схема работы LLM:

Важно отметить, что LLM могут не только распознавать естественный язык и отвечать на нем, но и распознавать и создавать программный код, решать математические задачи, объяснять формулы.

Как это возможно?

LLM – это продвинутый Т9

Основной принцип генерации ответов от языковых моделей – это принцип Т9 из 2010-х, который предсказывает и предлагает вариант следующего слова, когда вы пишете что-то в телефоне.

Но если в телефоне речь идет только про одно следующее слово в разных вариантах, то современные языковые модели могут предугадывать целые предложения и абзацы!

Как работают LLM?

Обучение → Понимание → Предсказание

Давайте рассмотрим каждый этап детально:

1. Обучение на огромном количестве текста: Представьте, что LLM – это очень усердный студент, который читал книги, статьи, блоги, и даже переписки в интернете на протяжении многих лет.

В процессе чтения этот студент замечает, как слова сочетаются друг с другом, как формируются предложения, как строятся абзацы и весь текст в целом.

Этот процесс называется «обучением», и он позволяет модели уловить закономерности использования языка. О машинном обучении мы говорили в предыдущем уроке.

2. Понимание контекста: Когда вы просите LLM продолжить ваш текст или ответить на вопрос, модель вспоминает все, что она «прочитала» во время обучения, чтобы понять контекст вашего запроса.

Это как если бы вы спросили своего друга, который много читает, как бы он продолжил вашу историю или ответил на вопрос, основываясь на своих знаниях.

3. Предсказание: Затем LLM использует свои знания о языке для предсказания, какое слово или фраза будет следующей. Это похоже на игру, где нужно догадаться, какое слово подходит лучше всего, исходя из контекста.

Например, если вы напишете «Солнце встает на», модель, скорее всего, предложит «востоке», потому что это самый распространенный и логичный ответ на основании ее «знаний».

Или ваш запрос: «Жили-были».

LLM думает: «О, это начало похоже на начало многих русских сказок. Что обычно идет дальше в подобных историях?»

Предсказание LLM: «Дед да бабка» или «Старик со старухой».

LLM использует сложные математические и статистические методы для обработки языка и предсказания текста, но в основе своей – это всего лишь очень продвинутый анализ большого количества текстовых данных для нахождения наиболее вероятного следующего слова или фразы.

Разнообразие ответов как у человека

Важно, чтобы нейросеть могла по разному отвечать на один и тот же вопрос, в зависимости от контекста, стиля и задачи. В таком случае ее «речь» будет сложно отличить от человеческой. Ведь в разговоре с мамой мы используем один набор слов и оборотов, с друзьями – другой, а на публичном выступлении – третий.

Чтобы ответ нейросети был «живой» – ей нужна доля вариативности (изменчивости) при подборе ответа. Если будет 100% привязка к одному варианту, речь будет сухая и скучная.

Кроме того, вариативность подбора слов позволяет нейросети быть более творческой: менять стили ответа, шутить, увеличивая разнообразие и качество ответов.

Для каждого слова, которое следует за предыдущим, есть свой процент вероятности. В качестве примера давайте посмотрим, как это работает.

Например, если вы пишете «Искусственный интеллект – это…», то в LLM существует множество вариантов, каким может быть следующее слово. У каждого из них есть некий вес, процент вероятности. Где слова «компьютерная программа» имеет 30%, а слово «собака» – 0,00000001%. Потому что такое сочетание практически никогда не используется.

Параметры и размеры языковых моделей

Языковые модели обучаются на огромном количестве данных по миллиардам критериев, параметров. Только представьте, сколько условий и нюансов нужно учесть, чтобы обучить модель – миллионы, миллиарды и даже триллионы.

Языковые модели можно классифицировать по размеру, который напрямую зависит от количества учитываемых ими параметров.

Типы языковых моделей по размеру:

• Tiny – миниатюрные, TLM (до 1 млн параметров): используются в условиях ограниченных вычислительных ресурсов (например, мобильные приложения);
• Small – маленькие, SLM (до 100 млрд параметров): GPT-1 (2018 г.), GPT-2 (2019 г.);
• Large – большие, самые продвинутые и сложные, LLM (от 100 млрд параметров): GPT-4, Claude 3, Grok, Gemini Pro.

Контекстное окно и память LLM

Вы уже знаете, что простая схема работы языковой модели выглядит так:

Мы подробно рассмотрели, что такое LLM и как они работают. А теперь предлагаем чуть подробнее изучить второй аспект работы с LLM – это «Вопрос / INPUT» к LLM и ее «Ответ / OUTPUT».

Это полезно знать, если вам нужно вести длительную переписку с нейросетью, загружать в нее документы для анализа разного объема данных и знать какой максимальный объем ответа она может дать.

Чтобы LLM поняла ваше задание, его нужно сформулировать/описать, то есть дать задание – промпт.

Но каким может быть максимальный размер промпта и ответа? Для каждой LLM объем введенной информации и ответа является ограниченным.

Например, пользователь не может загрузить в виде вопроса все произведения Пушкина, но может сделать это частично в определенном объеме, а далее попросить нейросеть их изучить и подготовить ответ.

Оно включает в себя:

– сам вопрос (текст или голос)

– загруженные документы

– предыдущие вопросы и ответы на эту тему, если они были

Пример контекстного окна в рамках одной темы:

Ответ от нейросети:

Ответ от нейросети:

Ответ от нейросети:

Ответ от нейросети:

Понятие контекстное окно также тесно связано с терминами «память нейросети» и «поддержка контекста».

Например

Размер контекстного окна и памяти можно посчитать. Это необходимо, чтобы понять, насколько может быть длинным вопрос и ответ. Единица измерения объема памяти контекста называется токен.

• Русский язык считается – 1 символ = 1 токен.
• Английский язык считается – 4 символа = 1 токен.

Пример общения с ChatGPT на русском языке:

Это 35 символов и значит 35 токенов.

Тут 209 символов = 209 токенов.

То есть на этот вопрос-ответ мы потратили 209 + 35 = 244 токена.

Если вы хотите загрузить какой-то документ для изучения (статья, новость, отчет и пр.), то нейросеть также будет считать его в токенах.

У каждой нейросети разный допустимый объем на токены для того, чтобы задать вопрос (загрузить что-то). И почти везде одинаковый на то, чтобы дать ответ.

Выбор моделей

Моделей LLM существует множество. Многие сервисы-агрегаторы нейросетей предоставляют пользователю возможность самому выбирать, какой именно LLM он хотел бы пользоваться.

Для многих подходит бесплатная версия GPT-3.5, кому-то больше нравится точная и современная GPT-4.

А самые продвинутые пользователи уже научились применять модель Claude 3 Opus (она превосходит даже GPT-4).

Например в популярном агрегаторе @GPT4Telegrambot, который дает прямой доступ к нейросетям на русском языке, в разделе «Настройки» можно переключаться между GPT-3.5, GPT-4, Claude 3 Opus и Claud 3 Sonnet.

Это самые передовые тестовые нейросети в мире. Есть и десятки других, но мы рекомендуем обучаться на лучших, чтобы сохранить WOW-эффект от использования.

Например, для создания уроков мы используем ChatGPT в версии GPT-4. А для работы с большими документами выбираем Claude 3, так как у него больше память, а это значит, что в него можно загружать объемные файлы и задавать вопросы по ним (объем файла должен быть до 10 Мб).

Новые модели нейросетей

Каждую неделю мы слышим в СМИ, что вышла какая-то новая нейросеть или была улучшена уже существующая и известная многим. Как понять, на что тут важно обращать внимание. Модели нейросетей можно сравнить с моделями автомобилей или техникой Apple, предыдущая версия вроде ничего, а новая всегда чуть-чуть лучше, больше фич.

То же и в сфере нейросетей, только обновления здесь происходят в 10 раз чаще.

Чаще всего разработчики улучшают модели через:

• загрузку новых данных о мире (становятся более актуальными знания, близкие к сегодняшнему числу)
• увеличение памяти (чтобы больше информации можно было загрузить и после получить ответ)
• специализацию на решение узких задач (например решать задачи по математике)
• улучшение качества изображений (становятся более реалистичными) и пр.

До встречи на следующем уроке, где мы подробнее расскажем о том, что такое GPT, ChatGPT, GPT-4 и почему так много одинаковых названий вокруг?

Словарь урока

Задание

Пожалуйста, не забудьте выполнить легкое проверочное задание на закрепление полученного материала, а также поставить оценку этому уроку. Все это можно сделать в образовательном боте «Нейрограмотность» @EDU4Telegrambot.