Chat with RTX: локальный запуск ИИ-чат-ботов с помощью приложения NVIDIA
NVIDIA представила приложение Chat with RTX, которое позволяет запускать локально на ПК чат-бота с генеративным искусственным интеллектом на основе большой языковой модели (LLM). Чат-бот способен создавать сводки и предоставлять релевантные ответы на основе видеороликов и документов пользователя. Chat with RTX работает на ПК под управлением Windows с видеокартами NVIDIA GeForce RTX 30-й или 40-й серии, оснащенными не менее 8 Гбайт видеопамяти.
Chat with RTX может обрабатывать видео с YouTube - достаточно просто ввести URL-адрес, чтобы получить от чат-бота краткое содержание в текстовом виде. Приложение также позволяет выполнять поиск по расшифровке видео. По отзывам экспертов, поиск в видеороликах занимает всего несколько секунд. Однако были отмечены случаи, когда чат-бот по непонятной причине использовал содержание другого ролика вместо запрошенного. Это указывает на ошибки, связанные с ранней версией приложения.
Исследователи находят Chat with RTX полезным при обработке PDF-файлов. Утверждается, что чат-бот от NVIDIA в этой задаче проявил себя лучше, чем Microsoft Copilot, успешно извлекая ключевую информацию. Эксперты также отметили, что Chat with RTX отвечает практически мгновенно, без задержек, которые обычно возникают при использовании облачных чат-ботов, таких как ChatGPT или Copilot. С помощью чат-бота тестировщикам удалось создать релевантный набор данных по судебному делу «FTC против Microsoft» и обобщить стратегию Microsoft в отношении Xbox Game Pass.
При установке Chat with RTX на ПК пользователя устанавливается веб-сервер и экземпляр Python, который использует LLM Mistral или Llama 2. Тензорные ядра на графическом процессоре NVIDIA RTX применяются для ускорения обработки запросов. Установка Chat with RTX на ПК с процессором Intel Core i9-14900K и видеокартой NVIDIA GeForce RTX 4090 занимает около 30 минут. Приложение занимает примерно 40 Гбайт на диске, а интерпретатор Python потребляет около 3 Гбайт оперативной памяти при работе. После запуска пользователь получает доступ к чат-боту через веб-интерфейс, а в командной строке отображается ход выполнения и коды ошибок.
Эксперты отмечают, что Chat with RTX пока больше напоминает раннюю демоверсию для разработчиков и компьютерных энтузиастов. Существует ряд известных проблем и ограничений. Попытка проиндексировать папку с 25 000 документами с помощью Chat with RTX привела к сбою приложения, требующему сброса всех настроек для восстановления работоспособности. Кроме того, чат-бот создал файлы JSON внутри всех папок, которые индексировал, что не всегда уместно. Chat with RTX также не запоминает контекст, поэтому новый запрос не может опираться на содержание предыдущего.
Тем не менее, Chat with RTX - это хорошая техническая демонстрация возможностей и перспектив локально установленного чат-бота с искусственным интеллектом на компьютере пользователя. Многие люди предпочитают использовать такие локальные решения для анализа личных данных, вместо подписных облачных сервисов ИИ, таких как Copilot Pro или ChatGPT Plus.
источник: AINews
#AI #чатбот #искусственныйинтеллект #NVIDIA #LLM #технологии