Кастомные провайдеры векторизации для Vector Storage
Введение
Короткая инструкция о том, как подключить ваши embedding-модели, если провайдера нет в дефолтном списке SillyTavern.
- ваш провайдер (платный, бесплатный, какой угодно)
- обновленная (на момент написания это 1.17 staging) версия Таверны
1. Создайте новый профиль соединения. В настройках выберите Text Completion, а затем vLLM (может сработать и с llama.cpp, но я работаю с vLLM)
2. Введите адрес вашего провайдера и (опционально) ключ. На этом примере я использую linkapi.ai
3. Выберите любую embedding-модель из списка, подключитесь к ней, и сохраните этот профиль.
ВАЖНО!
Этот профиль ДОЛЖЕН остаться в ваших настройках, но вы спокойно можете переключиться на свой основной (тот, что используете для ролевой игры).
4. Переключитесь в настройки расширения Vector Storage, выберите профиль vLLM, введите в поле Vectorization Model название вашей модели, которую вы выбрали в шаге 3 (точь в точь).
5. Готово! Наслаждайтесь векторизацией, не привязанной к вашей машине.