Критическая роль архитектуры контента в генеративном ИИ
Организации дифференцируются по знаниям. Повторно используемые знания вместе с генеративным ИИ формируют ваше конкурентное преимущество, если доступ к знаниям о бизнесе вы будете получать раньше, чем ваши конкуренты. Это обеспечит вам явное и измеримое преимущество на рынке. Это необходимость на современном быстро меняющемся рынке.
Сет Эрли
Эксперт с более чем 20-летним опытом работы в области стратегии знаний, информационной архитектуры, поисковых приложений и решений для поиска информации. Он автор отмеченной наградами книги «Предприятие, основанное на искусственном интеллекте», а также востребованный оратор, автор и влиятельный человек. Признан Thinkers 360 одним из 50 лучших мировых лидеров мысли и влиятельных лиц в области искусственного интеллекта 2022 года.
Что такое генеративный ИИ?
Генеративный ИИ сейчас горячая тема в отрасли — почти каждый поставщик технологий имеет предложение, подобное ChatGPT (или утверждает, что оно у него есть).
Они заявляют, что используют одну и ту же технологию — большую языковую модель (LLM) (на самом деле существует множество больших языковых моделей, как с открытым исходным кодом, так и проприетарные, точно настроенные для различных отраслей и целей) для доступа и организации содержательных знаний предприятия.
Как и в случае с предыдущими новыми технологиями, LLM становится все более популярным. Но что такое генеративный ИИ?
Генеративный ИИ — это технология, которая отвечает на вопросы на естественном языке на основе алгоритмов, «обученных» на больших объемах текста из Интернета. Это означает, что они «понимают» терминологию, понятия и отношения между понятиями до такой степени, что способны создать ответ, который звучит так, как будто он исходит от человека.
Хотя технология создает впечатление разумной, возможности ChatGPT и другие приложения на базе LLM используют алгоритмы, основанные на математическом анализе.
Вместо того, чтобы извлекать ответ из существующего контента, алгоритм создает этот ответ на основе встроенных знаний языка и концепций, прогнозируя текст, который должен следовать дальше.
Генеративный ИИ создает новый контент на основе своих знаний языка, концепций и отношений между концепциями.
Важность контента в генеративном искусственном интеллекте
Одна из проблем генеративного ИИ заключается в том, что эти реакции основаны на шаблонах, полученных в результате поглощения общедоступной информации, которая необходима для получения необходимых больших объемов обучающего контента.
Но что, если организация захочет использовать генеративный ИИ для обработки своей внутренней информации?
В этом случае организации необходимо использовать несколько иной подход. Вместо того, чтобы использовать только встроенные знания языка, корпоративному приложению потребуется извлекать информацию из базы знаний, системы управления контентом (CMS) или другого источника данных, который курируется конкретными сотрудниками организации. Это называется поисковой расширенной генерацией (RAG).
Кажется, что использовать LLM для данных вашей организации очень просто, — надо указать на эти данные и позволить модели найти ответ (хотя именно это утверждают многие поставщики).
Вместо того, чтобы признать, что контент требует структуры и курирования посредством использования таксономии и архитектуры контента, некоторые поставщики в этой области будут заявлять, что не используют таксономии или метаданные. Вместо этого они признают, что им приходится «маркировать данные».
Но на самом деле метки — это метаданные. Контент должен содержать подсказки относительно его контекста. Метаданные предоставляют контекстные подсказки для интерпретации контента.
Представьте, что вы используете LLM для поддержки клиента, ищущего информацию о конкретном продукте.
Если информация является закрытой, конфиденциальной или частной интеллектуальной собственностью, раскрытие ее широкой языковой модели может поставить под угрозу корпоративную интеллектуальную собственность.
Например, OpenAI утверждает, что функциональность, доступная через API, не поставит под угрозу корпоративную интеллектуальную собственность, но некоторые данные слишком конфиденциальны, чтобы доверять этому утверждению.
Даже если они не являются конфиденциальными, нам все равно необходимо иметь возможность получать конкретную информацию о конкретном продукте и инструкции, необходимые для поддержки этого продукта.
Следовательно, часть контента, добавляемая в LLM, должна быть помечена такими атрибутами, как название продукта, модель продукта, любые инструкции по установке и коды ошибок.
Знания организации должны быть структурированы таким образом, чтобы LLM можно было использовать для извлечения этих знаний в контексте проблемы клиента, его биографии, уровня его технической квалификации, точной конфигурации его установки и т. д.
Как работает генеративный ИИ?
Поскольку генеративный ИИ создает (генерирует) оригинальный контент, технология должна опираться на точные знания об организации, чтобы предотвратить «галлюцинации ИИ», — то есть выдуманные ответы, которые звучат правдоподобно, но на самом деле неверны. Вот некоторые дополнительные сведения о том, как это работает:
- Генеративные алгоритмы ИИ изучают основные закономерности и структуру определённого набора данных для генерации новых данных. Модель фиксирует распределение вероятностей обучающих данных и генерирует новый контент на основе этих вероятностей.
- Для изучения возможных ответов используются различные модели вероятностей. Это означает, что алгоритм выбирает ответ на основе того, что статистически наиболее вероятно будет подходящим ответом (то есть он рассматривает вероятности с различных точек зрения).
- Нейронные сети и методы глубокого обучения используются для моделирования сложных взаимосвязей данных.
- В чистом подходе генеративного искусственного интеллекта данные не маркируются (никакие метаданные не требуются) — система учится на самих данных без ссылки (есть предостережения, которые мы рассмотрим позже в этой статье). Проблема с немаркированными данными заключается в том, что в контенте может быть упущен важный контекст и детали.
- Согласно ChatGPT, «генеративным моделям требуется значительный объем обучающих данных, чтобы точно отразить сложность базового распределения. Большие наборы данных позволяют моделям изучать разнообразные закономерности и генерировать более реалистичные и разнообразные результаты».
- «Применение генеративного ИИ следует рассматривать в более широком социальном контексте», — говорится там же. « Генераторный ИИ может использоваться в полезных приложениях, таких как искусство, развлечения и исследования, но он также может использоваться не по назначению, например, в дипфейках или вводящих в заблуждение синтетических медиа».
Обработка естественного языка (НЛП) в генеративном искусственном интеллекте
Обработка естественного языка (НЛП) широко используется в генеративном искусственном интеллекте. Пользователь задает модели вопрос, но ведь один и тот же вопрос можно задать разными способами. В дизайне чат-бота вопрос или запрос называется высказыванием. Вариации в способах постановки вопроса необходимо классифицировать по одному «намерению» пользователя, в соответствии с которым система может действовать. НЛП открывает путь к пониманию намерений.
В генеративном ИИ то же самое относится к фразе или концепции. Система пытается интерпретировать вопрос и разрешить различные способы его постановки. Языковые вариации представляются математически путем помещения вопроса в хранилище данных, называемое графовой базой данных.
Графовые базы данных отличаются от традиционных баз данных тем, как они хранят, обрабатывают и извлекают информацию. Традиционная база данных представляет документ или продукт в строках, а характеристики этого объекта (цена, цвет, модель) в столбцах. При наличии большого количества дескрипторов (измерений) в неструктурированном контенте традиционная база данных может оказаться более сложной для выполнения определенных типов запросов.
Графовое представление создает математическую модель объекта (скажем, документа) в многомерном пространстве (сложная концепция для понимания, поскольку мы не можем мыслить более чем в трех измерениях — четырех, если вы добавите время как измерение). Но графовое пространство допускает столько измерений, сколько атрибутов, то есть сотни или тысячи. Документы также вводятся в базу данных графа знаний и могут быть представлены как один большой граф или разбиты на компоненты, причем каждый компонент имеет графовое представление.
Эта форма представления позволяет использовать другой подход к анализу, при котором близость точек данных показывает, насколько близки друг к другу различные атрибуты или другие элементы данных. Поскольку и запрос, и контент представлены в виде графа, на высоком уровне графовое представление запроса сравнивается с графовым представлением контента и генерируется ответ.
Метаданные могут быть связаны с контентом для предоставления явных атрибутов контента, которые обеспечивают контекст для запроса и ответа. В случае обобщенной языковой модели размеры графового пространства определяются «изученными особенностями» информации. Однако явные метаданные также могут быть частью графового представления контента, или «встраиваниями».
Роль управления знаниями в генеративном искусственном интеллекте
Священным Граалем управления знаниями (УЗ) является предоставление нужной информации нужному человеку в нужное время.
Задача всегда заключалась в том, как представить эти знания таким образом, чтобы их можно было легко извлечь в контексте пользователя и его задачи.
Контекст пользователя — это понимание его цели, конкретной задачи, его опыта и знаний, опыта, технических навыков, характера запроса и деталей его среды.
Эта информация включает в себя «цифровой язык тела» клиента или сотрудника. Это цифровые сигналы, которые люди излучают всякий раз, когда взаимодействуют с электронной системой.
Любая точка взаимодействия предоставит данные, которые можно интерпретировать как часть контекста пользователя. В некоторых организациях имеется от 50 до 100 систем, которые создают пользовательский опыт, побуждающий их купить продукт или выполнить свою задачу. Эти точки данных предоставляют контекст о цели или задаче пользователя.
Однако путь клиента — это путь к знаниям. Путешествие сотрудника — это путешествие знаний. На каждом этапе процесса людям нужны ответы на вопросы.
Системы управление знаниями (КМ) всегда пытались организовать информацию осмысленным образом, чтобы снизить когнитивную нагрузку на человека, то есть облегчает им выполнение своей задачи.
Эти знания должны быть структурированы и размечены таким образом, чтобы их можно было легко найти с помощью поиска или просмотра, а также все чаще с помощью чат-ботов и других когнитивных приложений искусственного интеллекта.
Хотя технология становится все более и более мощной (особенно, как это демонстрирует генеративный ИИ), сама по себе она не решает фундаментальную проблему управления знаниями и доступом, поскольку для внутреннего использования генеративный ИИ должен быть обучен на информации, специфичной для организации.
Заключение
Сейчас самое время привести в порядок своё цифровое пространство знаний. Генеративный ИИ — это потрясающее достижение, но использование той же общей языковой модели, что и у ваших конкурентов, не создаст конкурентного преимущества.
Ваше конкурентное преимущество – это наличие 2х элементов: онтологической модели знаний о бизнесе и генеративный ИИ с настроенной на вашу отрасль языковой моделью.