WARNING: всё это основано на опыте автора-слопоеда псиопера, статья написана под пивасом, рекомендации личные. Тем не менее проблем с работой не наблюдалось.

Что есть саммари и для чего оно?

Возможно вы замечали играя на триллионных контекстах какой ТУПОЙ и нелогичной становится наша нейро-сама, забывая очевидные вещи. Чтобы избегать конкретного отмирания мозга любимой ИИшки, сверхразумы придумали такую штуку как саммарайз. Но что это за фрукт и вкусный ли он?

Из официальной документации SillyTavern:

“Это расширение позволяет создавать, хранить и использовать автоматически сгенерированные пересказы на основе событий, происходящих в ваших чатах. Суммирование может помочь в изложении общих деталей происходящего в истории, что можно интерпретировать как долговременную память, но к этому утверждению следует относиться с осторожностью. Поскольку пересказы генерируются языковыми моделями, в результатах могут быть упущены некоторые важные детали или содержаться галлюцинации, поэтому всегда рекомендуется отслеживать состояние резюме и при необходимости исправлять его вручную.”

СКУУУУУУЧНО! Простым языком: саммари - краткий пересказ по вашей истории, который описывает основные события, ключевые моменты и общий ход происходящего. Иногда в нём могут допускаться ошибки и это легко исправить вашими ручками.

Плюсы от саммари:

Банально и логично: не дает нейронке забывать важные события, путаться в них и, при определённых условиях, напоминает о произошедшем в деталях.
Не даёт модели уходить в луп (повторять одно и то же, использовать одни и те же структуры действия, конструкции и т.д.) и слопиться(нейро мусор с книжной речью, кучей озона и мускуса и т.д.)
Позволяет экономить столь дорогие ТОКЕНЫ.

Дело в том, что играя на больших контекстах, наш нейробро при каждом новом ответе анализирует ВСЕ предыдущие сообщения (свайпы в их счёт не входят). Это очень сильно даёт по мозгам бедной маленькой нейроно-тян в последствии отупляя её. Старички на опыте могли заметить, как спустя 30к-60к отыгранного контекста нейробро начинает путаться и теряться в деталях, а ещё дальше шизить и иногда ломаться.

Ко всему, тратятся очень драгоценные токены если вы сидите на провайдерах/прокси с ключами и лимитами. Подробнее о трате токенов и почему УМИРАЮТ ВАШИ ключи, провайдеры и приходится платить за это больше можно почитать в этой статье: https://rentry.org/saveproxies (отдельное бАльшое спасибо автору за освещение этой темы).

Тогда КАК ДЕЛАТЬ этот ваш саммари? Хочу чтоб всё помнилось и тратить меньше токенов!

ПРЕЖДЕ ВСЕГО рекомендую установить ограничения по контексту в районе ДО 70к:

В идеале держать галочку unlocked context size выключенной, так как контекст продолжит уходить в никуда. В случае с использованием Gemini 3 preview можно её оставить.

Делать саммари можно разными методами: классическим встроенным расширением, расширениями в виде лорбуков и даже пресетом.

Совет: Саммари лучше делать арками. Когда происходит и заканчивается одно событие, меняются взаимоотношения между персонажами и так далее. Это позволит нейрочан лучше ориентироваться в вашей рп.

ВАЖНЫЙ совет два!!! После того как сделаете саммари - скрывайте сообщения. Для этого есть команда /hide. Используем так:

/hide 0-(номер предпоследнего сообщения)

Например /hide 0-50. Чтобы открыть используем аналогичный /unhide 0-50. Прямо в чат, дап.

Классический метод:

Не требует ничего. Расширение уже встроено в Таверну.

Ищем во вкладке расширений:

Ткнув на расширении в строке Summarize with выбираем Main API.

Далее рекомендую такие настройки:

Чому так? Данный способ лучше всего работает вручную на легких сториках не требующих особого внимания ко всем деталям.

Чому НЕ АВТО?? Иногда работает криво, саммари слетает, предыдущий умирает в агонии. Поэтому по набиранию контекста тыкаем кнопочку, используем hide и играемся дальше.

Чому глубина такая? Чтобы нейронка не засорялась. Только на каждое 7 сообщение саммари будет о себе напоминать. Позволяет не жрать лишние токены на переваривание каждый новый ответ и не забывать. Если забывает, можно поставить 5 глубину.

Нужен промпт? Да. Кратко даёте инструкции что вы хотите увидеть в своем саммари. Выбрать можно тут - https://rentry.co/summarize_0125 (И следует подстроить под себя.)

Чому выбрано именно это(скип если не интересно):

Prompt builder оставляем на классике, он достаточно надежный, чат ждет обновления памяти, а SillyTavern помогает оформить запрос. Большего не нужно. Первый ползунок говорит нейроброчачо укладывать саммари в 1000 слов, второй обрезает пересказ если он длиннее Х токенов (это нам НЕ НАДО), последний определяет какой кусок переписки ИИшка проглатывает за раз (0 - все открытые соо без ограничений, это нам НАДО). Апдейты не нужны поскольку всё вручную.

АХТУНГ: Встроенный саммари имеет ограничение ~2к токенов. При достижении лимита стоит перекатывать в новый чат.

АХТУНГ2: Если вы создаете новый чат через ветку/чекпоинт, саммари в из старого чата в новом пропадает. В старом всё остается как и было.

Расширения с лорбуками

Наверное самый удобный по моему мнению метод. Лорпуки могут хранить ГОРАЗДО больше арок, деталей и прочее прочее, короче мастхэв.

MemoryBook

Скачать расширение: https://github.com/aikohanasaki/sillytavern-memorybooks?tab=readme-ov-file#-memory-books-a-sillytavern-extension

Мемори бук - простое расширение. Устанавливаете, создаете лорбук и привязываете к боту. Выделяете сцены, доходит до сообщения Х, стопается и делает саммари.

После установки находим тут:

Появившимися стрелочками выделяем начало и конец сцены:

По функционалу быстро и поверхностно, для комф игры сильно много не надо, будет интересно - потыкаетесь:

Кто за что тут отвечает в Preferences:

Always use default profile (no confirmation prompt) Всегда использовать профиль по умолчанию без запроса подтверждения. Если включено — расширение не будет каждый раз спрашивать, какой профиль настроек (с промптами, АПИ и т.д.) использовать, а сразу возьмёт дефолтный. Про профили будет ниже.
Show memory previews Показывает превью саммари прежде чем отправить его в лорбук. Есть возможность отредактировать или перегенерировать.
Unhide hidden messages for memory generation (runs /unhide X-Y) Раскрывает скрытые сообщения при генерации саммари. Если в отмеченной сцене есть скрытые сообщения, они временно раскроются, чтобы ИИшка увидела полный контекст для лучшего саммари.
Enable Manual Lorebook Mode Ручной режим лорбука. Когда включен — для создания воспоминаний придётся вручную выбирать лорбук каждый раз, вместо использования автоматически привязанного к чату.
Auto-create lorebook if none exists Автоматически создавать лорбук, если его нет. Если изначально не создан и не привязан лорбук, расширение сделает это автоматически.

Current Lorebook Cofiguration показывает привязанный лорбук и последнее сообщение выделенной сцены.

Allow scene overlap скипает проверку на уже существующие/пересекающиеся сцены, Refresh lorebook editor after adding memories обновляет лорбук сразу же для появления новых саммари, Auto-create memory summaries автоматически делает саммари. Здесь также можно настроить через сколько соо делать саммари, можно сделать его отложенным и настроить автоматическое скрытие сообщений (работает отлично). В Title Format можно выбрать названия/пометки арок.

Обратите внимание: перед тем как делать автосаммари, нужно сделать хотя бы один вручную.

И наконец профиль. Тут мы выбираем какая нейронка на какой температуре делает нам саммари.

Есть одно НО: это расширение использует отдельные профили для саммаризации, независимо от основного подключения SillyTavern. Тоесть, если выбирать официальные источники типа Google AI Studio, запрос будет идти на них и их ключи, а не прокси/провайдра. В таком случае эндпоинт и ключ нужно вводить вручную прямо в расширении.

Чтобы подключиться к своему провайдеру выбираем самый последний пункт в строке API. Вставляем название модели прописанное в документации вашего прокси/провайдера, температуру оставляем такую. Эндпоинт - юрл к которому подключаетесь обычно и, соответственно, ключ.

Промпт менеджер работает также как и в классическом. Выбираем что хотим видеть в саммари и делаем.

Activation Mode лучше всего держать на кейвордс если у вас не настроена векторизация. Дальше просто сохраняем, жмём на звездочку если не отключили тогл с default profile вначале и пользуемся.

В общем-то по этому расширению всё.

Из плюсов: прост в настройке и использовании.

Минусы: отдельная система подключение из-за чего требуется ручной ввод и отсутствие возможности сменить роль промпта с системы (могут возникнуть проблемы при саммари нсфв сцен). Иногда может выдавать ошибки.

А ещё маленькое also: попробуйте связку классического саммари и лорбука. Желательно чтобы в классическом промпт был на ключевые события до и планируемые после. С деталями справится лорбук.

World Info Recommender (WREC)

Скачать расширение: https://github.com/bmen25124/SillyTavern-WorldInfo-Recommender

Не совсем лорбук. Заполнять придется вручную. Однако преимуществ от этого не меньше.

Сразу при установке в расширениях появляется это:

Никакие промпты и сам темплейт не трогаем если не знаем что с этим делать. Для обычной игры здесь уже всё настроено как надо.

Чтобы сделать саммари нужно найти панель настроек. Это делается в карточке персонажа:

Для саммари можно использовать прокси и провайдеров, а также отличную от той на которой рпшите сетку. Достаточно сохранить в вилке connection profile с нужной нейронкой и пресетом.

Здесь всё по базе, можно оставлять как есть.

Выбранный лорбук - тот, куда будут сохраняться сгенерированные арки.

Max Response лучше увеличить, чтобы делать ответы менее ограниченными. В окошко Your Prompt вписываем то, что нам нужно в саммари (подобно классике, но над промптом можно не заморачиваться). Тыкаем на Send Prompt и ожидаем.

Можно получить несколько вариантов саммари! А теперь тыкай Х чтобы Y:

Add — добавить этот саммари в выбранный лорбук
Revise — отправить обратно модели на доработку
Continue — продолжить генерацию именно этого саммари (дописать, если обрезалось или ты хочешь больше деталей).
Edit — открыть ручное редактирование
Blacklist — добавить эту версию в чёрный список. Она больше не будет предлагаться и не попадёт в контекст при будущих генерациях (полезно для мусора)
Remove — просто удалит предложенную версию из списка

Ну и всё. Удобненько, не правда ли?

Плюсы: можно выбрать своего провайдера, сделать саммари более детальными и получать большую вариативность. На мой взгляд пока что лучшее расширение.

Минусы: нету автосаммари и автоскрытия. Не шибко большая проблема. Но требует больше ручной работы.

Метод пресета

Спасибо Алексе из Китти Чата что поделилась этим методом!

Скачать пресет: https://files.catbox.moe/f26tfq.json

Впрочем, в тогглах всё написано. Всё что от вас требуется - почитать их и выбрать тот, который больше нравится.

А чево дальше делать? После того как установили пресет и ткнули на отправить, созданный саммари можно оставить прямо в чате и скрыть предыдущие. Но это менее эффективно, чем лорбуки и может забыться быстрее.

А чево лучше сделать чтоб не забыл? Делаем лорбук и закидываем туда. Минус - самостоятельно пишем кейвордс. А также, если саммари достаточно небольшой, можно закинуть в классическое расширение. Но ограничение по токенам душит.

Способ всё ещё неплохой и можно пробовать миксовать его с теми что выше.

Плюсы: удобно для быстрого саммари если не хочется париться с расширениями, но хочется деталей.

Минусы: держит детали чуть хуже, нужна полностью ручная переноска.

Каков итог?

А че говорить то? Делайте саммари, разгружайте нейробейбисов, делайте свою рп приятнее. И кому-то, возможно, это сэкономит копейку. Если у вас есть ещё способы - не стесняйтесь делиться.

Also маленькое послесловие: в некоторых случаях можно использовать векторизацию. Но данный инструмент не сильно распространен и не многие про него знают, поэтому рассматривалось без нее.