WARNING: всё это основано на опыте автора-слопоеда псиопера, статья написана под пивасом, рекомендации личные. Тем не менее проблем с работой не наблюдалось.

Что есть саммари и для чего оно?

Возможно вы замечали играя на триллионных контекстах какой ТУПОЙ и нелогичной становится наша нейро-сама, забывая очевидные вещи. Чтобы избегать конкретного отмирания мозга любимой ИИшки, сверхразумы придумали такую штуку как саммарайз. Но что это за фрукт и вкусный ли он?

Из официальной документации SillyTavern:

СКУУУУУУЧНО! Простым языком: саммари - краткий пересказ по вашей истории, который описывает основные события, ключевые моменты и общий ход происходящего. Иногда в нём могут допускаться ошибки и это легко исправить вашими ручками.

Плюсы от саммари:

• Банально и логично: не дает нейронке забывать важные события, путаться в них и, при определённых условиях, напоминает о произошедшем в деталях.
• Не даёт модели уходить в луп (повторять одно и то же, использовать одни и те же структуры действия, конструкции и т.д.) и слопиться(нейро мусор с книжной речью, кучей озона и мускуса и т.д.)
• Позволяет экономить столь дорогие ТОКЕНЫ.

Дело в том, что играя на больших контекстах, наш нейробро при каждом новом ответе анализирует ВСЕ предыдущие сообщения (свайпы в их счёт не входят). Это очень сильно даёт по мозгам бедной маленькой нейроно-тян в последствии отупляя её. Старички на опыте могли заметить, как спустя 30к-60к отыгранного контекста нейробро начинает путаться и теряться в деталях, а ещё дальше шизить и иногда ломаться.

Ко всему, тратятся очень драгоценные токены если вы сидите на провайдерах/прокси с ключами и лимитами. Подробнее о трате токенов и почему УМИРАЮТ ВАШИ ключи, провайдеры и приходится платить за это больше можно почитать в этой статье: https://rentry.org/saveproxies (отдельное бАльшое спасибо автору за освещение этой темы).

Тогда КАК ДЕЛАТЬ этот ваш саммари? Хочу чтоб всё помнилось и тратить меньше токенов!

ПРЕЖДЕ ВСЕГО рекомендую установить ограничения по контексту в районе ДО 70к:

Делать саммари можно разными методами: классическим встроенным расширением, расширениями в виде лорбуков и даже пресетом.

/hide 0-(номер предпоследнего сообщения)

Например /hide 0-50. Чтобы открыть используем аналогичный /unhide 0-50. Прямо в чат, дап.

Классический метод:

Не требует ничего. Расширение уже встроено в Таверну.

Ищем во вкладке расширений:

Ткнув на расширении в строке Summarize with выбираем Main API.

Далее рекомендую такие настройки:

Чому так? Данный способ лучше всего работает вручную на легких сториках не требующих особого внимания ко всем деталям.

Чому НЕ АВТО?? Иногда работает криво, саммари слетает, предыдущий умирает в агонии. Поэтому по набиранию контекста тыкаем кнопочку, используем hide и играемся дальше.

Чому глубина такая? Чтобы нейронка не засорялась. Только на каждое 7 сообщение саммари будет о себе напоминать. Позволяет не жрать лишние токены на переваривание каждый новый ответ и не забывать. Если забывает, можно поставить 5 глубину.

Нужен промпт? Да. Кратко даёте инструкции что вы хотите увидеть в своем саммари. Выбрать можно тут - https://rentry.co/summarize_0125 (И следует подстроить под себя.)

Чому выбрано именно это(скип если не интересно):

Prompt builder оставляем на классике, он достаточно надежный, чат ждет обновления памяти, а SillyTavern помогает оформить запрос. Большего не нужно. Первый ползунок говорит нейроброчачо укладывать саммари в 1000 слов, второй обрезает пересказ если он длиннее Х токенов (это нам НЕ НАДО), последний определяет какой кусок переписки ИИшка проглатывает за раз (0 - все открытые соо без ограничений, это нам НАДО). Апдейты не нужны поскольку всё вручную.

Расширения с лорбуками

Наверное самый удобный по моему мнению метод. Лорпуки могут хранить ГОРАЗДО больше арок, деталей и прочее прочее, короче мастхэв.

MemoryBook

Скачать расширение: https://github.com/aikohanasaki/sillytavern-memorybooks?tab=readme-ov-file#-memory-books-a-sillytavern-extension

Мемори бук - простое расширение. Устанавливаете, создаете лорбук и привязываете к боту. Выделяете сцены, доходит до сообщения Х, стопается и делает саммари.

После установки находим тут:

Появившимися стрелочками выделяем начало и конец сцены:

По функционалу быстро и поверхностно, для комф игры сильно много не надо, будет интересно - потыкаетесь:

Кто за что тут отвечает в Preferences:

• Always use default profile (no confirmation prompt) Всегда использовать профиль по умолчанию без запроса подтверждения. Если включено — расширение не будет каждый раз спрашивать, какой профиль настроек (с промптами, АПИ и т.д.) использовать, а сразу возьмёт дефолтный. Про профили будет ниже.
• Show memory previews Показывает превью саммари прежде чем отправить его в лорбук. Есть возможность отредактировать или перегенерировать.
• Unhide hidden messages for memory generation (runs /unhide X-Y) Раскрывает скрытые сообщения при генерации саммари. Если в отмеченной сцене есть скрытые сообщения, они временно раскроются, чтобы ИИшка увидела полный контекст для лучшего саммари.
• Enable Manual Lorebook Mode Ручной режим лорбука. Когда включен — для создания воспоминаний придётся вручную выбирать лорбук каждый раз, вместо использования автоматически привязанного к чату.
• Auto-create lorebook if none exists Автоматически создавать лорбук, если его нет. Если изначально не создан и не привязан лорбук, расширение сделает это автоматически.

Current Lorebook Cofiguration показывает привязанный лорбук и последнее сообщение выделенной сцены.

Allow scene overlap скипает проверку на уже существующие/пересекающиеся сцены, Refresh lorebook editor after adding memories обновляет лорбук сразу же для появления новых саммари, Auto-create memory summaries автоматически делает саммари. Здесь также можно настроить через сколько соо делать саммари, можно сделать его отложенным и настроить автоматическое скрытие сообщений (работает отлично). В Title Format можно выбрать названия/пометки арок.

Обратите внимание: перед тем как делать автосаммари, нужно сделать хотя бы один вручную.

И наконец профиль. Тут мы выбираем какая нейронка на какой температуре делает нам саммари.

Чтобы подключиться к своему провайдеру выбираем самый последний пункт в строке API. Вставляем название модели прописанное в документации вашего прокси/провайдера, температуру оставляем такую. Эндпоинт - юрл к которому подключаетесь обычно и, соответственно, ключ.

Промпт менеджер работает также как и в классическом. Выбираем что хотим видеть в саммари и делаем.

Activation Mode лучше всего держать на кейвордс если у вас не настроена векторизация. Дальше просто сохраняем, жмём на звездочку если не отключили тогл с default profile вначале и пользуемся.

В общем-то по этому расширению всё.

А ещё маленькое also: попробуйте связку классического саммари и лорбука. Желательно чтобы в классическом промпт был на ключевые события до и планируемые после. С деталями справится лорбук.

World Info Recommender (WREC)

Скачать расширение: https://github.com/bmen25124/SillyTavern-WorldInfo-Recommender

Не совсем лорбук. Заполнять придется вручную. Однако преимуществ от этого не меньше.

Сразу при установке в расширениях появляется это:

Никакие промпты и сам темплейт не трогаем если не знаем что с этим делать. Для обычной игры здесь уже всё настроено как надо.

Чтобы сделать саммари нужно найти панель настроек. Это делается в карточке персонажа:

Для саммари можно использовать прокси и провайдеров, а также отличную от той на которой рпшите сетку. Достаточно сохранить в вилке connection profile с нужной нейронкой и пресетом.

Здесь всё по базе, можно оставлять как есть.

Выбранный лорбук - тот, куда будут сохраняться сгенерированные арки.

Далее:

Max Response лучше увеличить, чтобы делать ответы менее ограниченными. В окошко Your Prompt вписываем то, что нам нужно в саммари (подобно классике, но над промптом можно не заморачиваться). Тыкаем на Send Prompt и ожидаем.

Можно получить несколько вариантов саммари! А теперь тыкай Х чтобы Y:

• Add — добавить этот саммари в выбранный лорбук
• Revise — отправить обратно модели на доработку
• Continue — продолжить генерацию именно этого саммари (дописать, если обрезалось или ты хочешь больше деталей).
• Edit — открыть ручное редактирование
• Blacklist — добавить эту версию в чёрный список. Она больше не будет предлагаться и не попадёт в контекст при будущих генерациях (полезно для мусора)
• Remove — просто удалит предложенную версию из списка

Ну и всё. Удобненько, не правда ли?

Метод пресета

Спасибо Алексе из Китти Чата что поделилась этим методом!

Скачать пресет: https://files.catbox.moe/f26tfq.json

Впрочем, в тогглах всё написано. Всё что от вас требуется - почитать их и выбрать тот, который больше нравится.

А чево дальше делать? После того как установили пресет и ткнули на отправить, созданный саммари можно оставить прямо в чате и скрыть предыдущие. Но это менее эффективно, чем лорбуки и может забыться быстрее.

А чево лучше сделать чтоб не забыл? Делаем лорбук и закидываем туда. Минус - самостоятельно пишем кейвордс. А также, если саммари достаточно небольшой, можно закинуть в классическое расширение. Но ограничение по токенам душит.

Способ всё ещё неплохой и можно пробовать миксовать его с теми что выше.

Каков итог?

А че говорить то? Делайте саммари, разгружайте нейробейбисов, делайте свою рп приятнее. И кому-то, возможно, это сэкономит копейку. Если у вас есть ещё способы - не стесняйтесь делиться.

Also маленькое послесловие: в некоторых случаях можно использовать векторизацию. Но данный инструмент не сильно распространен и не многие про него знают, поэтому рассматривалось без нее.