January 29

Как использовать DeepSeek, Qwen и другие LLM на Android бесплатно и без регистрации

В этой статье мы расскажем как использовать приложение MNN LLM для полностью бесплатного и автономного использования LLM (большие языковые модели, нейросети если проще). А именно мы настроим новомодную DeepSeek, а также Qwen и другие.

Главная особенность MNN LLM — это автономная работа приложения. Вам достаточно один раз скачать языковую модель на телефон, после чего она будет работать автономно без интернета — достаточно иметь мощный смартфон с процессором Snapdragon серии 600 и мощнее.

Важно: скачивание языковой модели требует много трафика — от одного до нескольких гигабайт, поэтому лучше делать это на Wi-Fi.

Инструкция

Покажем работу приложения на примере языковой модели DeepSeek 7B.

1) Скачайте приложение MNN LMM с телеграм-канала @EasyAPK и установите. Запустите приложение, найдите языковую модель deepseek-llm-7b-chat-MNN, нажмите на нее — запустится загрузка. Дождитесь ее завершения.

2) После завершения загрузки нажмите на языковую модель — откроется чат и начнется запуск LLM. На слабых телефонах запуск LLM может длиться довольно долго, но на мощных это не более минуты.

3) По завершению запуска LLM можно начинать общение с нейросетью. Важно: скорость генерации текста напрямую зависит от мощности вашего смартфона.

История

Чтобы вернуться к истории общения с языковой моделью нужно нажать на бургер-меню слева сверху и выбрать чат. Тогда загрузится соответствующая языковая модель вместе с историей чата.

Другие модели (Qwen, Llama)

Также в MNN можно использовать различные другие языковые модели. Вот что мы можем порекомендовать:

Qwen-Chat — хороший аналог Chat GPT и DeepSeek. Текстовый чат.

Qwen-VL — распознает содержимое изображений (на английском)

Llama 3 — мощная языковая модель от Meta. Текстовый чат.