Тонкая настройка моделей: опыт адаптации RAG-системы на основе GPT для узкоспециализированных задач в нефтегазохимической отрасли
В статье представлен опыт ООО “Газохим Инжиниринг” в разработке системы интеллектуального поиска по внутренней библиотеке компании, специализирующейся в нефтегазохимической отрасли. Описаны этапы создания системы, основанной на архитектуре RAG (Retrieval-Augmented Generation), с использованием специализированных API, библиотек для работы с LLM и векторных баз данных. Особое внимание уделено процессу адаптации системы под конкретные требования, в частности выбору типа индекса векторной базы данных. Представлены результаты тестирования различных подходов к индексации, а также описаны возникшие в процессе разработки проблемы и предложенные решения. Статья демонстрирует эффективность адаптации современных технологий обработки естественного языка (LLM) для узкоспециализированных задач, требующих высокой точности и масштабируемости.
В современном мире системы интеллектуального поиска играют ключевую роль в обеспечении быстрого доступа к информации, необходимой для принятия обоснованных решений в различных отраслях. В нефтегазохимической отрасли, где объем специализированных знаний постоянно растет, эффективные поисковые системы становятся критически важными для поддержки инноваций и оптимизации производственных процессов.
Традиционные методы поиска, основанные на ключевых словах, часто не обеспечивают необходимой семантической точности и контекстной осведомленности при работе со специализированной информацией. В последнее время системы, использующие большие языковые модели и семантический поиск на основе векторных представлений, демонстрируют высокую эффективность в решении подобных задач.
Одним из наиболее перспективных подходов является архитектура RAG, которая сочетает в себе возможности LLM с локальным поиском по векторным хранилищам, что позволяет получать более точные и контекстно-зависимые ответы. Специалистами Газохим Инжиниринг разработана RAG-система, которая демонстрирует как передовые подходы, такие как архитектура RAG, способны трансформировать работу с внутренними данными, обеспечивая профильным предприятиям и организациям, насчитывающим 50 000 книг - конкурентные преимущества.
Методология и используемые инструменты
Для решения поставленной задачи был выбран подход на основе архитектуры RAG, который сочетает семантический поиск по векторным представлениям с возможностями LLM для генерации ответов. Этот метод обеспечивает более точные и контекстно-зависимые результаты по сравнению с традиционными поисковыми системами.
Мы использовали следующие инструменты:
- Библиотеку для создания цепочек обработки данных, включающую работу с документами, моделями и индексами.
- API для доступа к LLM, обеспечивающее генерацию ответов и обработку текста.
- Библиотеку для эффективного поиска ближайших соседей в векторных пространствах.
- Модель для эмбеддингов: использовалась предварительно обученная модель, обеспечивающая хорошую производительность при обработке многоязычных текстов и имеющая сравнительно небольшой размер.
- Векторное хранилище: выбрана библиотека, обеспечивающая быстрый и эффективный поиск ближайших соседей в векторных пространствах и позволяющая индексировать документы.
- LLM: модель подбиралась с учетом оптимального баланса между качеством ответов и потребляемыми вычислительными ресурсами.
- Системный промпт: разработан для генерации развернутых и информативных ответов, соответствующих контексту предоставленных документов, а также для указания на возможные дополнения или отсутствие информации.
На первом этапе был создан MVP (Minimum Viable Product) с ограниченным набором данных, который включал:
- создание базового векторного хранилища,
- реализацию цепочки ретривера для поиска релевантных документов,
- разработку AI-бота для тестирования системы в реальном времени.
Для масштабирования системы были добавлены:
- автоматизированная загрузка документов различных форматов (XLS, XLSX, DOC, DOCX, TXT),
- интерфейс для выбора директорий с документами и отображения логов,
- механизм отслеживания изменений и добавления новых документов в хранилище.
Опыт и вызовы при разработке: как Газохим Инжиниринг решает сложные задачи
Одной из первых проблем стала нестабильность работы внутреннего веб-сайта компании при парсинге данных, что затрудняло их загрузку.
Решение: применен асинхронный парсинг, а также настроены интервалы запросов, чтобы избежать перегрузки сервера.
Первое векторное хранилище, содержащее около 27 000 векторов, демонстрировало хорошие результаты на ограниченном наборе данных, но оказалось плохо масштабируемым.
С увеличением объема данных обнаружились значительные ограничения по использованию оперативной и дисковой памяти, что делало систему непригодной для обработки целевого объема данных (50 000+ книг).
Проблема: увеличение числа векторов привело к резкому росту потребления памяти и объема хранилища.
Решение: переход на более продвинутый тип индекса, что позволило:
- сократить потребление оперативной памяти (ОЗУ),
- уменьшить объем хранилища (ПЗУ),
- ускорить поиск за счет кластеризации данных,
- применять сжатие векторов для оптимизации использования памяти.
В результате точность поиска составила 0,60, что является приемлемым показателем для данной задачи.
Для удобства работы с системой разработан веб-сервис, включающий:
- личные аккаунты пользователей,
- ограничение количества запросов,
- поиск по иностранным источникам с автоматическим переводом,
- возможность загрузки новых документов.
Результаты тестирования
Тестирование различных типов индексов показало, что переход на более продвинутый вариант позволяет значительно снизить использование ресурсов при сохранении приемлемой точности.
- уменьшено потребление ОЗУ в 8 раз,
- сокращено использование ПЗУ в 40 раз,
- система стала масштабируемой и пригодной для работы с большими объемами данных.
Хотя точность поиска снизилась по сравнению с более простым подходом, она осталась достаточной для поставленных задач, а пользователи получали релевантные ответы в приемлемое время.
Заключение
В результате исследования и разработки создана масштабируемая и эффективная RAG-система на основе GPT для узкоспециализированных задач в нефтегазохимической отрасли - GASCHEM.AI.
Ключевым фактором успеха стала тонкая настройка индекса векторной базы данных. Переход от простого индекса к более продвинутому позволил достичь оптимального баланса между скоростью поиска, точностью и потреблением ресурсов.
Полученные результаты подтверждают, что правильный выбор архитектуры и типа индекса играет критически важную роль в оптимизации производительности системы. Работа демонстрирует потенциал использования современных технологий LLM для решения задач в узкоспециализированных областях.
GASCHEM.AI - инновационный инструмент, который:
- Сокращает время на поиск профильной информации.
- Обеспечивает высокий уровень точности за счёт учёта контекста запроса.
- Масштабируется под любые объёмы данных без значительных затрат на инфраструктуру.
- Проектные институты: Ускорение доступа к нормативной документации, проектным стандартам и техническим спецификациям.
- Производственные компании: Быстрый поиск данных о технологических процессах, материалах и исследованиях.
- Исследовательские центры: Анализ научной литературы и патентов для разработки новых продуктов.
Ссылка на веб-сервис: https://gaschem.ai/
TG-канал — https://t.me/gaschemeng
Сайт — https://gaschemeng.com/ru/
Специалист по внедрению ИИ-агентов ООО «Газохим Инжиниринг» -