Собственный AI ассистент в Google Colab

В данной статье мы научимся настраивать собстенного АI ассистента в Google Colab, а затем сможем подключиться к нему через ngrok.

1 - Перейдите по ссылке и откройте Colab ноутбук: Ссылка на ноутбук в Google Drive

2 - Смени среду выполнения

В меню "Среда выполнения" (Runtime) выберите "Сменить среду выполнения" (Change runtime type).

3 - Выполните первую команду - curl https://ollama.ai/install.sh | sh
Дождитесь загрузки LLaMA. Подождите, пока все необходимые библиотеки и модели будут загружены.

4 - Получи токен на ngrok.com
Зарегистрируйтесь на ngrok.com (если ещё не сделали это) и получите свой токен.

5 - Добавь токен в ноутбук

В ноутбуке замените YOUR_NGROK_AUTH_TOKEN на ваш персональный токен ngrok.

6 - Запусти вторую часть стрелка слева

Запустите вторую часть ноутбука, нажав на стрелку слева от ячейки.

7 - Скопируйте ссылку ngrok

Если все настроено правильно, в выводе появится ссылка от ngrok. Скопируйте эту ссылку.

7 - Установите OLLAMA на своей машине

В вашей локальной командной строке выполните следующую команду для установки OLLAMA:

  curl https://ollama.ai/install.sh | sh

8 - Экспортируйте переменную окружения

В командной строке вашей машины экспортируйте переменную OLLAMA_HOST, заменив YOUR_NGROK_URL на скопированную ссылку от ngrok:

export OLLAMA_HOST=YOUR_NGROK_URL

9 - Запустите OLLAMA
Запустите OLLAMA с командой ollama run mistral.