Как обучить ChatGPT на собственных текстах и сайтах — gLoRA

Все, что будет описано в этой статье, касается алгоритма "gLoRA", разработанного компанией Yes Ai, который работает в Телеграм боте @yes_ai_bot

gLoRA — с англ. "gpt Low Rank Adaptation" — низкоуровневая адаптация для нейросети ChatGPT.

Алгоритм gLORA может быть полезен для решения широкого спектра задач:

• обучение на собственных статьях для получения ответов на вопросы
• обучение с целью генерации промптов для нейросетей, создающих изображения по текстовому описанию
• обучение по текстам из переписки с техподдержкой вашей компании для генерации ответов на вопросы клиентов

Потенциал алгоритма очень широк, вы сами можете определять цели, для которых его можно применить на практике.

Принцип работы алгоритма gLoRA

Когда вы отправите боту @yes_ai_bot промпт, в котором будет описана суть вопроса и уникальный номер ранее созданной модели gLoRA, наша система произведет глубокий поиск, фильтрацию и анализ данных для того, чтобы нейросеть ChatGPT дала корректный ответ на ваш запрос.

Если в модели gLoRA, которая была вами обучена, не обнаружен ответ на отправленный боту вопрос, то бот Yes Ai сообщит, что на данный момент ответ еще не известен нейросети. Однако, вы будете иметь возможность дообучить модель gLoRA с помощью отправки дополнительных материалов — такой подход хорошо подойдет, например, для формирования базы знаний о вашей компании.

Еще один метод применения моделей gLoRa

Как вам известно, мессенджер Телеграм не позволяет отправлять большие сообщения в качестве промпта для получения ответов на вопросы от нейросети ChatGPT, эта проблема легко решается с помощью алгоритма gLoRA в @yes_ai_bot. Теперь вы можете обучить модель по всем имеющимся у вас документам и текстам, чтобы в последствии задавать вопросы с использованием этой локальной базы знаний. Объем текстовых материалов в данном случае практически не ограничен.

🔵 Как обучить ChatGPT по одному или нескольким ссылкам на страницы сайтов в интернете

• в мессенджере Телеграм перейдите в бота @yes_ai_bot
• в нижнем меню нажмите на "Нейросеть: ... [изменить]"

• в сообщении выберите нейросеть "ChatGPT"
• активируйте опцию "+WEB" (она необходима для активации доступа к сети интернет для нейросети ChatGPT)
• отправьте боту команду
  --glora-urls link1 link2 link3
  ...где "link1 link2 link3" — это список ссылок на URL сайтов, с которых нужно собрать текстовую информацию для обучения gLoRA. Перечислять сайты нужно через пробел.
• дождитесь от бота уведомления о том, что модель gLoRA успешно обучена. В сообщении вы получите уникальный номерной ключ, который можно будет использовать в режиме "+WEB" для получения ответов на свои запросы с учетом материалов, изученных нейросетью по тексту, найденному в перечисленных вами ссылках.
  Пример того, как выглядит ключ: <glora:1049>

🚩 Обучение gLoRA по одному URL стоит 🔅1 монету в @yes_ai_bot, соответственно, если вы укажете 35 ссылок, то обучение будет стоить 35 монет, оплата взимается однократно. Мы не снимаем монеты за ссылки, которые не удалось открыть в процессе обучения.

Как использовать gLoRA для генерации ответов на запросы

Вы можете использовать любые ключи gLoRA: как те, которые были созданы вами, так и те, которые были созданы другими пользователями Yes Ai.

• откройте бота @yes_ai_bot в Телеграм
• в нижнем меню нажмите на "Нейросеть: ... [изменить]"

• в сообщении выберите нейросеть "ChatGPT" и активируйте режим "+WEB"
• отправьте боту свой промпт вместе с ключом в формате <glora:****>
  ...где **** — это уникальный номер ранее созданной модели gLoRA.

Пример запроса с использованием gLoRA:
<glora:1263> как написать качественный промпт для аниме картинок

🟠 Обучение gLoRA по поисковому запросу

Вы можете обучить нейросеть по всем ТОПовым страницам поисковых систем, которые будут найдены при вводе вашего запроса.

Для обучения используйте следующую команду:
--glora-search *****
...где ***** — это текстовый запрос, который будет введен в поисковые системы для сбора текста с целевых страниц найденных сайтов.

Пример запроса для обучения gLoRA по поисковой выдаче:
--glora-search как писать промпты для midjourney
...в этом случае модель будет обучена по всем страницам, найденным по запросу "как писать промпты для midjourney"

Как узнать, чему обучена та или иная модель gLoRA, зная ее номер

Чтобы узнать, что находится в памяти модели gLoRA, отправьте боту команду:
--glora-about ****
...где **** — это номер существующей модели gLoRA.

Пример запроса:
--glora-about 1263

Пример ответа на запрос для получения описания модели gLoRA:

🇷🇺 Описание gLoRA 1263: Основная тема этой модели сосредоточена на предоставлении рекомендаций и советов по написанию эффективных подсказок для платформы Midjourney с использованием нейронных сетей и технологии ChatGPT. В нем рассматриваются такие темы, как создание запросов для нейронных сетей, улучшение подсказок и руководства для начинающих по написанию увлекательного контента для Midjourney.
🇬🇧 Description of gLoRA 1263: The main theme in this model is focused on providing guidance and tips for writing effective prompts for the platform Midjourney, utilizing neural networks and chatGPT technology. It covers topics such as crafting queries for neural networks, improving prompts, and beginner's guides to writing engaging content for Midjourney.

🟢 Как обучить модель gLoRA по всем страницам нужного сайта

Команда для обучения gLoRA по карте сайта:
--glora-sitemap URL
...где URL — это ссылка на главную страницу сайта, по текстовым данным которого необходимо обучить нейросеть.

Если вам требуется обучить модель gLoRA по карте сайта, который содержит более 1000 страниц, то обращайтесь в техподдержку через мессенджер Телеграм @yes_ai_support — мы поможем сделать это в индивидуальном порядке.

ПОЛЕЗНЫЙ СОВЕТ: если вы хотите обучить собственную модель gLoRA на текстах, которые собраны в виде документов, но их нет в сети интернет, то загрузите эти тексты на любой сайт, позволяющий создавать статьи, например, teletype.in или telegra.ph. Когда все документы будут загружены, обучите gLoRA с помощью команды:
--glora-urls link1 link2 link3
...где "link1 link2 link3" — это список ссылок на созданные вами текстовые документы, перечислить можно не более 50 ссылок.

🔴 Как доучить ранее созданную модель gLoRA по дополнительным данным

Если ранее вы или кто-то другой создал модель gLoRA, но вам кажется, что ее знаний не хватает для решения поставленных задач, то вы можете доучить ее с помощью любого из ранее представленных в этой статье методов: через поисковые запросы, через карту сайта или по перечисленным URL.

Дополнительное обучение запускается при помощи добавочного параметра:

--enrich xxxx

...где xxxx - это номер уже существующей модели gLoRA, которую нужно доучить.

Пояснение: слово "enrich" переводится с английского как "обогащение".

Команда для дополнительного обучения gLoRA по поисковому запросу:

--glora-search --enrich 1008 *****

...где 1008 - это номер модели gLoRA, которую нужно доучить

***** - это текст поискового запроса, по которому будут собраны дополнительные данные

Команда для дополнительного обучения gLoRA по перечисленным URL:

--glora-urls --enrich 1008 link1 link2 link3

...где 1008 - это номер модели gLoRA, которую нужно доучить

"link1 link2 link3" - это ссылка (или несколько ссылок), по которой был взят дополнительный текст для дополнительного обучения gLoRA

Команда для дополнительного обучения gLoRA по карте сайта:

--glora-sitemap --enrich 1008 URL

...где 1008 - это номер модели gLoRA, которую нужно доучить

URL - это ссылка ссылка на сайт, по карте которого будет произведено обогащение модели gLoRA №1008