“ГЛУПАЯ” ТАВЕРНА\r для новичков

Оглавление

Введение

Привет всем! В этой статье я не буду подробно разжевывать что такое LLM (Large Language Model), как их находить и подключать - я дам базовые (свои) знания о том, как работает SillyTavern, какие варианты моделей предусмотрены во время использования (спойлер: все), почему я считаю SillyTavern лучшим интерфейсом для общения с LLM (как ролевым, так и не ролевым, ведь SillyTavern не позиционирует себя как RP-only) и так далее. Эта статья-гайд подразумевает то, что вы уже знаете, как работают LLM, что такое api-ключи, токены, температура и прочее, прочее. Я буду кратко пояснять по ходу дела, но для более глубокого погружения в тему необходимо писать другую статью, а то и не одну.

Что я могу сказать сразу: все, что будет написано ниже, мое субъективное ИМХО. Так же, чтобы пользоваться Таверной и получать удовольствие, нужно… хотеть. Хотеть немного подумать, хотеть разобраться, хотеть учиться. «Я слишком глупый», «у меня не получится» - не принижайте себя :D Все это не так страшно, и с базовыми вещами вы сможете разобраться за один вечер, как, скажем, разобрались с самими принципами LLM и добрались вообще до ИИ-ролевых.

Таверна не очень благосклонна к новичками хотя бы за счет начального интерфейса (который мы с вами изменим в процессе, потому что ну господи ты боже, без слез не взглянешь) и обилием настроек (большинство из которых мы трогать не будем, потому что они… не обязательны для комфортного ролевого общения). Я постараюсь раскрыть все максимально, но могу что-то упустить, поэтому не стесняйтесь стучаться в ЛС или спрашивать Gemini в Ai Studio/ChatGPT и прочие модели - они фиксит почти все ошибки/затыки.

Итак, начнем с самого главного.

Q&A

Q: Так что это вообще за SillyTavern? Это как Janitor, только на комп?

A: Кратко: и да, и нет. Сходство в том, что и там, и там ты общаешься с AI-персонажами. Но на этом оно, по большому счету, заканчивается :) Принципиальное отличие кроется в самой архитектуре.

Самое важное, что нужно понять: SillyTavern — это не аналог онлайн сайтов/сервисов, а продвинутая альтернатива их веб-интерфейсу (фронтенд). Сама по себе Таверна не содержит никакого искусственного интеллекта (привет, встроенные модели C.AI и JLLM) и не генерирует ответы. Это локальная программа, которая устанавливается на компьютер (или поднятый сервер/смартфон на Android) и служит, грубо говоря, связкой между юзером и LLM. Она берет ваши запросы, отправляет их выбранной вами LLM (например, через API OpenAI, KoboldAI, или используя локально установленную модель), получает ответ и отображает его в удобном для вас виде.

Q: Ее можно установить только на ПК?

A: Нет, Таверну можно спокойно установить на любой современный смартфон на операционке Android. Для пользователей iOS есть «костыли» в виде подключения либо к своей машине (ПК) пока вы находитесь в одной сети (по Wi-Fi), использования сервиса Tailscale (тогда вы можете получить доступ к Таверне на ПК даже если вы используете мобильный интернет, но ПК должен быть в это время включен), либо арендой выделенного сервера (VPS), куда вы установите Таверну и она будет работать нон стоп.
Так же Таверну можно установить на любую машину под Linux/MacOS.

Q: Получается, нужен мощный компьютер?

A: Нет :) Таверну можно запустить на любой картошке ~~(но до DOOM ей далеко)~~, поддерживающей библиотеки Git и Node.js. Однако, если вы хотите побаловаться (или быть абсолютно конфиденциальными/анонимными) локальными LLM, то понадобится мощная видеокарта (от 3000 серии NVidia, например, с большим объемом оперативной памяти). Но это касается только запуска локальных моделей на своем ПК. Если вы подключаетесь к «монстрам» вроде Gemini, Claude, ChatGPT, подойдет самый слабенький ноутбук.

Q: Это бесплатно? За что-то придется платить?

A: Таверна абсолютно бесплатна и имеет открытый исходный код. Платить нужно за:

API-сервисы (OpenAI, Anthropic, Gemini и др.) работают по принципу «pay-as-you-go» - вы платите за количество использованных токенов. Но у Gemini (которую мы будем рассматривать в этой статье как основную, потому что это моя основная модель) есть free tier (ака бесплатный тариф), поэтому… :)
Локальные модели требуют от вас разовых вложений в мощную видеокарту, но после этого их использование абсолютно бесплатно. Но никакая локальная модель не сможет сравниться с облачными по «знаниям» и языку, на то она и локальная.
Есть и условно-бесплатные варианты вроде Kobold Horde или бесплатных эндпоинтов, но они часто медленные, нестабильные и с длинными очередями и я их, если честно, не советую.

Q: Насколько это безопасно и конфиденциально? Мои чаты кто-то читает?

A: Таверна - это программа на вашем устройстве. Она ничего не собирает и никуда не отправляет без вашего ведома. Конфиденциальность ваших диалогов зависит от того, какую модель вы используете:

При использовании API, ваш диалог отправляется на сервера этих компаний. Они могут использовать эти данные для обучения своих моделей в соответствии с их политикой конфиденциальности. ~~Но кому какая разница.~~
При использовании локальной модели на вашем ПК, весь диалог происходит исключительно на вашей машине и никуда не утекает. Это 100% конфиденциально. ~~Если вы параноите, что ваши глубокомысленные разговоры с Флаттершай утекут в сеть, это ваш вариант (простите)~~

Q: Хорошо, это «продвинутый интерфейс». А что в нем такого особенного? Какие фишки есть?

A: Главное преимущество - ~~АБСОЛЮТНАЯ ВЛАСТЬ~~ полный контроль и кастомизация:

Подключение любой модели: Не нравится ответ от одной - переключились на другую за секунду.
Тонкая настройка промптов: Используя пресеты (о них ниже) вы сможете редактировать системный промпт, внимание/память персонажа (Author’s Note), использовать динамические вставки (World Info/Lorebooks).
Использование расширений: Подключать генерацию изображений по ходу диалога, озвучку текста (TTS), автоматическую саммаризацию и многое, МНОГОЕ другое.
Групповые чаты. Да. Вы создаёте несколько ботов и они общаются между собой и с вами в одном чате. Одновременно. Делайте с этой информацией что хотите.
Никакой цензуры на уровне интерфейса. Все ограничения — только со стороны самой LLM, и их можно ~~и нужно~~ обойти правильным промптом. Wink-wink :)
Полные мощности моделей: Исходя из тейка выше - Таверна отдает только то, что берет. Грубо говоря, подключаясь к gemini-2.5-pro напрямую, вы получаете то, что дали вам разработчики модели. Не порезана, не скомкана.
Полностью локальна: Вся информация хранится на вашем устройстве. Вы можете открыть Таверну в любой момент, она никогда не «упадет». Вы не потеряете вашего персонажа, потому что его не могут скрыть. Все ваши чаты в сохранности, и вы можете экспортировать их в формате txt, чтобы читать где-нибудь отдельно.

Q: Откуда брать персонажей? Я могу создать своего?

A: Ага, и это очень просто. Персонажи хранятся в виде специальных файлов-карточек (так называемых «character card», обычно png/json, куда вшита вся информация). Вы можете:

Создать своего персонажа с нуля прямо в интерфейсе Таверны.
Скачать готовых с тематических сайтов (например, chub.ai) или из сообществ в Discord.
Импортировать персонажей из других сервисов, если у вас есть их описание и настройки. Скрапперы с джанитора, привет! Wink-wink x2

Q: Ладно, окей. С чего мне начать?

A: Для начала нужно установить саму Таверну, а затем подключить к ней API-ключ от любой LLM. Процесс установки довольно прост и мы подробно разберем каждый шаг в следующей главе.

Установка

Итак. Как установить Таверну?
Щелкнув по ссылке, вы попадете на сайт документации SillyTavern, а конкретно на раздел установки. Это - священный Грааль для новичков и не только, там полно инструкций и ответов на вопросы, которые могут возникнуть.

Установка и первый запуск: Windows

Есть два варианта установки Таверны на Windows 10 (и старше, Windows 7 не поддерживается ~~ее еще кто-то использует?..~~): через Git и через лаунчер. Я советую первый вариант, потому что его проще поддерживать и создавать бэкапы папок Таверны.

Установите Git и Node.js, если они у вас еще не установлены.
Откройте папку в вашем Проводнике. Важно: не устанавливайте Таверну в папки, которые заняты под саму Windows. Если есть возможность, используйте второй/третий/пятый диск (не диск C), но, в принципе, можно и на него - только не в Program Files и остальные системные папки. Для этого гайда я создала папку вот так.

Пропишите cmd в этой строке. Командная строка Windows откроется в той самой папке, которую вы создали.

Выберите версию Таверны. Я советую выбирать staging (так сказать, development) версию, потому что она: а) обновляется чаще и б) большая часть расширений, которые мы будем рассматривать, использует именно эту версию. Вы можете установить и версию release (стабильную), но мне обычно лень между ними переключаться, поэтому я всегда ставлю staging.
Скопируйте команду по вашему выбору.

Вставьте (ctrl+v или ЛКМ, ну я так, на всякий случай xD) команду в командную строку и нажмите Enter.

После того, как вся Таверна «склонируется» (время зависит от вашего интернета), окно можно будет закрыть.

Откройте появившуюся папку. В ней чертовски много файлов, но не пугайтесь, манипулировать мы будем лишь несколькими из них.

Нас интересуют два файла в самом низу: Start.bat и UpdateAndStart.bat

Для удобства отправьте ярлыки этих файлов на рабочий стол. Так как мы впервые установили Таверну, она по умолчанию обновлена до последней staging версии, и нам нужно нажать на Start.bat. Но в будущем, при выходе обновлений, в ход пойдет и UpdateAndStart.bat. Я лично раз в неделю запускаю Таверну с него для своего успокоения :)
В командной строке вы увидите, что Таверна устанавливает сама себя.

После установки в окне вашего дефолтного браузера откроется окно, и, вот она. Таверна.

Поздравляю, вы установили и запустили Таверну на Windows!

Установка и первый запуск: Android

Скачайте и установите Material Files с GitHub или Google Play.
Скачайте и установите Termux с GitHub или F-Droid. Важно! Не скачивайте его с Google Play, разработчики пишут об этом отдельно.
Запустите Termux.

Введите в нем команду termux-change-repo

Выберите первый вариант (mirror), нажав Enter.

Я выбрала Россию, прокрутите стрелочками до нужного вам варианта.

Начнется поиск зеркал. Когда он закончится, введите команду pkg upgrade -y

Когда все обновится (если будут выскакивать окошки с подтверждением/выбором, пишите Y), введите команду pkg install git nodejs-lts nano. Если у вас 32-битная версия, то введите pkg install esbuild. Но сейчас, думаю, у всех 64 бита? Так или иначе, это может занять время, потерпите немного.

Установите Таверну, введя команду git clone https://github.com/SillyTavern/SillyTavern -b staging (или release, как мы говорили в установке версии Windows). Это может занять время x2, подождите.

Чтобы не мучиться каждый раз с вводом длинным команд, настройте «шорткаты». Введите команду nano ~/.bashrc. Откроется окошко. Вставьте в него код ниже:

# Update Termux packages
alias pkgup="pkg update && pkg upgrade"
#Start SillyTavern
alias st='cd ~/SillyTavern && bash start.sh'
# Update SillyTavern
alias stup='cd ~/SillyTavern && git pull --rebase --autostash'

Выглядеть это будет как-то так. Нажмите CTRL на экране + заглавную X (на латинице), подтвердите Y, нажмите Enter.

Чтобы применить эти изменения, введите команду source ~/.bashrc, а затем st. Теперь, чтобы запускать/обновлять Таверну, вам нужно будет вводить только коротенькие команды (я расшифрую каждую из них ниже)

Команда st запускает Таверну

Команда pkgup обновляет пакеты Термукса

Команда stup обновляет Таверну.

Подождите, пока Таверна установит себя. В конце вы увидите адрес хоста.

Затем откроется окно в вашем браузере, идентичное окну в Windows.

Поздравляю, вы установили и запустили Таверну на Android!

Доступ к файлам Таверны на Android

Не все так очевидно, но для того, чтобы переносить свои чаты/персонажей/настройки/расширения с одного устройства на другое, нужно получить доступ к файлам Таверны на Термукс. Это легко.

Скачайте и установите Material Files с Github или Google Play.
Откройте Material File и зайдите в меню слева.

Нажмите Добавить накопитель и выберите Внешний накопитель.

В открывшейся снова загляните в меню слева и выберите иконку Термукса.

Нажмите Использовать эту папку и разрешите доступ.
Вернитесь (или вас вернет автоматически) назад и в меню слева вы увидите ссылку home.

Нажмите на нее и выберите папку Таверны.
Вы попадете прямо в директорию папки вашей таверны, такой же, как и на ПК.
Поздравляю, теперь вам доступны файлы для транспортировки! Мы будем говорить об этом ниже.

Подключение к ПК: для iOS и тех, кто не будет пользоваться Таверной вне дома

По умолчанию сервер Таверны слушает только localhost (только ваш компьютер). Чтобы подключаться с телефона/другого ПК — нужно включить прослушивание внешних подключений и настроить доступ. Вероятно, процесс одинаковый как для личного ПК, так и для VPS. У меня нет сервера на данный момент, но, может быть, в скором времени я арендую один для тестирования и обновлю руководство, а пока идем через стационарный компьютер/ноутбук.

Закройте сервер Таверны, если он у вас включен.
Откройте командную строку, введите в ней ipconfig и посмотрите IPv4-адрес. Это адрес вашей локальной сети.
Зайдите в папку, где установлена ваша Таверна и найдите файл config.yaml

Откройте его (я очень рекомендую Notepad++). Мы не будем проходиться по всем настройкам здесь (но после глянем важные), нас интересует только две строчки. Первая это listen. Дефолтно она имеет значение false.

Смените значение на true.
Прокрутите текст вниз, пока не найдете строчку whitelistMode. В ней по умолчанию стоит true, но проверьте на всякий случай.

В пункте whitelist: вам нужно ввести IP-адрес. Введите адрес вашей домашней сети.
Отредактируйте как вам удобно, включив в список ваш адрес, так же можно добавить 192.168.0.* - так можно будет подключиться со всех устройств в вашей домашней сети.
Сохраните файл config.yaml и запустите сервер Таверны. Когда все загрузится, в командной строке вы должны увидеть нечто вроде этого:

Введите в мобильном браузере ссылку на формате http://вашадрес:8000. Откроется окно Таверны и будет работать пока ее сервер работает на ПК.
Поздравляю, вы подключились к Таверне удаленно!