Инструкция по развертыванию Dolphin-mistral
Dolphin-mistral - это языковая модель типа Chat GPT4. Ее отличие это отсутствие сильной цензуры, в результате чего он работает более шустрее собрата, многие пишут что с написанием кода эта модель также справляется лучше. Так же он может давать ответы на вопросы, на которые откажется отвечать Chat GPT4 по моральным, юридическим или другим причинам.
Итак, для установки нам потребуется:
⦁ 5 баксов, зеленых.
⦁ регистрация на сайте https://vast.ai/
⦁ 5 минут вашего времени и собственно все
Установка:
Зарегистрируйтесь на сайте https://vast.ai/ , закиньте на него 5 баксов(вроде минимум, не уверен, может можно меньше) как показано ниже на рисунках.
Далее откройте Templates и выберите Open WebUI Ollama(можно select, можно edit). Если нажать select то шаблон сразу примениться(рекомендую сразу так и сделать).
Особо на серверах не заморачивайтесь, выберите тоже что и я выбрал, тогда точно заработает. Сперва слева в фильтрах уберите цены меньше 1.21 бакса. Отсортируйте справа наверху по убыванию цены. Самый дешевый сервер будет с Казахстана). Он мощный но места мало, всего 12ГБ, но нам хватит) Выберите его или что то похожее, главное чтобы Max CUDA не меньше 12.
После того как купили перейдите во вкладку Instances и ожидайте завершения установки выбранного ранее template на ваш сервер. Этот template примечателен тем что он запустит в докере приложение Open Web UI с помощью которого вы сможете общаться с ИИ в привычном режиме чата, точ в точ как с Chat GPT. Более того вы сможете скачать в него и другие языковые модели, какие только захотите, лишь бы места хватило) Рекомендую после работ найти сервер дешевле, послабее, но чтобы места было больше.
По завершению вам станет доступна кнопка OPEN. Нажмите ее и у вас сразу откроется сайт с Open Web UI. Проблемы с сертификатом проигнор
Далее нажмите выбрать языковую модель и в поиске вбейте “dolphin-mistral”. Там же сайт предложит скачать модель с сайта llama, скачайте. После того как модель скачается выберите ее еще раз нажав выбрать модель. Поздравляю, на этом все, пользуйтесь на здоровье. НЕ НАРУШАЙТЕ ЗАКОН ДРУЗЬЯ!!! ЖИВЕМ ЛИШЬ РАЗ, НЕ НАДО ПРОВОДИТЬ ЕЕ В МЕСТАХ НЕ СТОЛЬ ОТДАЛЕННЫХ!!!
Далее возможно вам понадобится зайти на этот сервер по ssh. Легко, сгенерируйте ключи если у вас нету командой ssh-keygen. На все вопросы при генерации нажмите Enter. Далее свой публичный ключ вы найдете по пути C://users//имя вашего пользователя//.ssh/id_rsa.pub. Имя ключа может немного отличаться,не беда, главное чтобы заканчивался на .pub. Он же публичный ключ. Так вот, скопируйте содержание этого ключа и идите на сайт с инстансами. Нажмите на копку как показано на картинке.
В поле New SSH вставьте содержимое вашего публичного ключа и нажмите ADD SSH KEY. После чего у вас чуть ниже отобразится команда для подключения по ssh. Скопируйте его и подключайтесь с любой удобной вам cmd.
Так же у вас могут возникнуть проблемы при первом, втором и т.д. входе в Open Web UI. Будет выскакивать окошко с запросом ввести логин и пароль, просто проигнорируйте его и закройте. Если не помогает то логин vastai а пароль вы сможете вытащить подключившись по ssh и введя команду echo $OPEN_BUTTON_TOKEN
Также могут возникнуть проблемы с сертификатом, вот ссылка на инструкцию https://docs.vast.ai/jupyter#yJ9X8
ВНИМАНИЕ!!! При отключении инстанса деньги продолжают тратиться, я так понял на хранение данных на дисках. Но тратятся разумеется очень медленно. Так же если не удалять инстансы вы легко сможете уйти в минус, а потом придется платить чтобы снова иметь возможность заводить сервера, так что не оставляйте инстанс навсегда!!! Удаляйте по завершению работ!