Используем LLM локально на своем ПК

Я уже писал о том, как начать пользоваться LLM в 2024 году. Обещал, что для 5 способа напишу краткую инструкцию. Вот простая и понятная инструкция по запуску большой языковой модели (LLM), например, gemma2:2b, на вашем компьютере (минимально 12ГБ ОЗУ, но можно и на 8Гб, если использовать модели от 2B до 7B параметрами):

1. Установите Ollama (инструмент для запуска LLM)

Ollama позволяет запускать языковые модели на вашем компьютере без подключения к интернету.

Сайт Ollama

Как это сделать:

Перейдите на официальный сайт Ollama.
На главной странице найдите кнопку Download (Скачать) и скачайте версию для вашей операционной системы (Windows, macOS, Linux).
Установите программу, следуя инструкциям установщика.

2. Откройте терминал

Теперь нужно открыть терминал (это место, где вы будете вводить команды).

На Windows:
    Нажмите Win + R, введите cmd и нажмите Enter.
На macOS:
    Нажмите Cmd + Space, введите Terminal и выберите его.
На Linux:
    Нажмите Ctrl + Alt + T, чтобы открыть терминал.

3. Проверьте установку Ollama

Чтобы убедиться, что Ollama установлен правильно, введите в терминале команду:

ollama -v

Если все установлено правильно, терминал отобразит номер версии программы, например:

ollama version is 0.5.4

4. Загрузите большую языковую модель

Теперь, когда Ollama установлен, можно загрузить нужную модель (например, gemma2:2b). Полный список доступных моделей и их размер можно посмотреть в разделе Models.

В терминале введите команду:

ollama run gemma2:2b

Это начнет скачивание модели с 2 миллиардами параметров (эта версия подходит для компьютеров с 8 Гб ОЗУ). Модель весит около 1.6 Гб, но убедитесь, что у вас достаточно свободного места на диске.

Пример процесса скачивания файла модели

5. Запустите модель

После того как модель загрузится, она автоматически запустится локально на вашем компьютере.

Пример завершения загрузки модели и начала работы с ней

Вы сможете начать с ней общаться прямо в терминале!

Например, попробуйте ввести запрос:

Could you please explain what People Analytics is?

Модель должна ответить:

Что еще важно знать?
Посмотрите в справке основные команды:

Команды работы с моделями

Что делать, если нужно больше памяти?

Если вы хотите использовать более крупную модель с большим количеством параметров (например, с 30 или 70 миллиардами параметров), вам понадобится больше видеопамяти (VRAM). Для таких моделей лучше использовать мощные графические процессоры.

Преимущества локальной установки

Конфиденциальность: Все ваши запросы остаются на вашем компьютере, и данные не отправляются на серверы.
Оффлайн доступ: Модель будет работать без постоянного интернета.
Гибкость: Вы можете настроить модель и использовать ее для любых задач, включая программирование, обучение и другие потребности.

Теперь вы можете запускать большие языковые модели на своем компьютере. Это позволяет вам использовать возможности ИИ без необходимости полагаться на облачные сервисы и беспокоиться о конфиденциальности данных.

Следующий пост я напишу о том, как использовать локальную LLM в R (RStudio).