Как правильно общаться с искусственным интеллектом: советы от создателей ChatGPT

Время прочтения — 30 минут.

О чем поговорим сегодня?

Короткой строкой: советы от разрабов ИИ

1. Пишите четкие и понятные инструкции
2. Предоставляйте справочный текст
3. Декомпозируйте сложные запросы на более мелкие подзадачи
4. Дайте модели время «подумать»
5. Используйте связку инструментов
6. Систематически оценивайте изменения инструкций

Об авторах:

OpenAI в представлении не нуждаются. Но на всякий случай: это те самые разработчики ChatGPT и DALL-E.

Ссылка на оригинал статьи: https://platform.openai.com/docs/guides/prompt-engineering

Далее текст авторов

6 стратегий и много тактик, которые сделают ваш промпт эффективным

Стратегия 1: пишите четкие и понятные инструкции

Модель не умеет читать ваши мысли. Если выводы нейросети слишком длинные, попросите укоротить их. Если выводы слишком просты, попросите усложнить их. Если вам не нравится формат, покажите, какой формат вы хотели бы видеть. Чем меньше модели придется гадать, чего вы хотите, тем больше вероятность, что вы увидите нужный результат.

Тактика 1. Наполняйте деталями ваш запрос для более точного ответа

Убедитесь, что ваш запрос включает в себя достаточно много деталей. Иначе нейросеть будет догадываться — а нам это не нужно.

Плохо:

• Как суммировать числа в Excel?
• Кто президент?
• Напиши код для вычисления последовательности Фибоначчи.
• Резюмируй записи о встрече.

Уже лучше:

• Как сложить строки с суммами в рублях в Excel? Я хочу сделать это автоматически для целого листа строк со всеми итогами, заканчивающимися справа в столбце под названием «Итого».
• Кто был президентом Мексики в 2021 году и как часто проводятся выборы?
• Напишите функцию TypeScript для эффективного вычисления последовательности Фибоначчи. Обильно комментируй код, чтобы объяснить, что делает каждый элемент и почему он написан именно так.
• Резюмируй записи встречи в одном абзаце. Затем напиши в формате markdown список выступавших и каждый из их ключевых моментов. И наконец, перечисли следующие шаги или пункты действий, предложенные докладчиками, если таковые имеются.

Тактика 2. Попросите модель вести себя по-человечески (или даже конкретно по-человечески)

В условии можно прописать требования к модели вести себя более по-человечески:

Тактика 3. Используйте разделители, чтобы задать структуру вашему запросу.

Разделители, например, тройные кавычки ("""), теги XML, разделители секций и т. д., могут помочь разделить, например, условие и саму задачу.

Для таких простых запросов эффект разделителей может быть не таким очевидным, как для более сложных задач. Поэкспериментируйте сами, и вы увидите разницу.

Тактика 4. Уточните, какие шаги нужно сделать, чтобы выполнить вашу задачу

Некоторые задачи лучше всего задавать в виде последовательности шагов. Записывая шаги в явном виде, модели легче следовать им.

Тактика 5. Приведите пример

Предоставление общих инструкций, применимых ко всем примерам, обычно более эффективно, чем демонстрация всех вариантов выполнения задачи на примере, но в некоторых случаях предоставление примеров может быть проще. Например, если вы хотите, чтобы модель копировала определенный стиль ответа на запросы пользователя, который сложно описать в явном виде. Эта тактика также носит название «few-shot prompting»

Тактика 6. Уточните желаемую длину ответа

Вы можете уточнить желаемую длину для ответа. Причем сделать это вы можете любым удобным для вас способом: ограничив количества слов, предложений, параграфов, буллитов и так далее. Обратите внимание, что задание модели генерировать определенное количество слов не дает высокой точности. Модель может более надежно генерировать выходные данные с определенным количеством абзацев или пунктов.

Стратегия 2: если можете, предоставьте модели справочный текст

Модель часто может выдавать ошибочные ответы, особенно когда ей задают абстрактные вопросы, или просят найти реальных цитат или URL сайтов. Предоставьте модели текст, на который она сможет опереться для ответа.

Тактика 1. Предложите модели ответить, основываясь на справочном тексте

Если мы можем предоставить достоверную информацию модели для формирования нашего запроса, значит, мы можем дать ей достоверную информацию для формулирования ответа.

Учитывая, что все модели имеют ограниченное контекстное окно, нам нужен способ динамического поиска информации, относящейся к заданному вопросу. Для реализации эффективного поиска знаний можно использовать вставки. Более подробно о том, как это реализовать, читайте в тактике «Использование поиска на основе вставок для реализации эффективного поиска знаний».

Тактика 2. Попросите модель отвечать цитатами из справочного текста

Если наш справочный текст содержит в себе все необходимые нам ответы, мы можем попросить модель отвечать буквальными цитатами из текста. Обратите внимание, что в данном случае правильность ответа можно оценить программно: с помощью сопоставления цитат из первоначального текста и ответа модели.

Стратегия 3. Декомпозируйте сложную задачу на более мелкие подзадачи

Как и в жизни любую сложную задачу можно (и нужно!) разделять на мелкие подзадачи. Модель с менее комплексными задачами справляется куда лучше. Более того, в общении с ИИ комплексные задачи можно часто переопределить через поток простых задач, каждая из которых использует информацию из предыдущей.

Тактика 1. Используйте классификатор намерений, чтобы определить наиболее вероятные инструкции по запросу пользователя.

Для задач, в которых требуется множество независимых наборов инструкций для обработки различных случаев, может быть полезно сначала классифицировать тип запроса и использовать эту классификацию для определения необходимых инструкций. Этого можно достичь путем определения фиксированных категорий и инструкций, необходимых для обработки задач в данной категории. Этот процесс также может быть применен рекурсивно для декомпозиции задачи на последовательность этапов.

Преимущество такого подхода заключается в том, что каждый запрос будет содержать только те инструкции, которые необходимы для выполнения следующего этапа задачи, что приводит к снижению количества ошибок по сравнению с использованием одного запроса для выполнения всей задачи.

На основе классификации запроса клиента модели может быть предоставлен набор более конкретных инструкций для выполнения следующих шагов. Например, предположим, что клиенту требуется помощь в «устранении неполадок».

Обратите внимание, что мы сформировали запрос, который меняет состояние разговора. Это позволяет нам превратить модель в систему состояний, где в зависимости от запроса мы определяем, как себя будет вести модель. Кстати, именно так работают чат-боты: модель считывает классификатор нашего запроса, а затем выводить нужные инструкции и реализует их.

Тактика 2. Для диалоговых приложений, требующих очень длинных разговоров, подытожьте предыдущие сообщения диалога

Поскольку модель имеет фиксированную длину, наш с ней диалог не может длиться бесконечно. Существует много разных обходных путей для решения этой проблемы. Один из них — это резюмирование предыдущего разговора. Когда размер входных данных достигает пороговых значений, это может провоцировать запрос, который обобщает часть разговора. Представьте, если бы так можно было бы делать в жизни? Красота.

Альтернативным решением является динамический выбор предыдущих частей разговора, которые наиболее релевантны текущему запросу. См. тактику «Использование поиска на основе вставок для реализации эффективного поиска знаний».

Тактика 3. Обобщение длинного документа по частям и рекурсивное построение полного резюме

Поскольку модели имеют фиксированную длину контекста, они не могут быть использованы для краткого изложения текста, длина которого превышает длину контекста минус длину сгенерированного резюме в одном запросе.

Чтобы обобщить очень длинный документ, например, книгу, мы можем использовать последовательность запросов для обобщения каждого раздела документа. Резюме разделов можно объединить и просуммировать, получив «резюме резюме».

Этот процесс может продолжаться рекурсивно, пока не будет обобщен весь документ. Если для понимания смысла последующих разделов необходимо использовать информацию о предыдущих разделах, то полезным приемом может стать включение в книгу беглого резюме текста, который предшествует какому-либо определенному моменту в книге, при кратком изложении содержания в этом моменте.

Стратегия 4. Дайте модели время «подумать»

Если вас попросить перемножить 17 и 28, возможно, сразу вы не сможете дать ответ: вам нужно время подумать. Также и с моделями: если просить ее дать ответ «здесь и сейчас», это может спровоцировать ошибку. Такой подход еще называется «Chains-of-thought (CoT)».

Тактика 1. Попросите модель решить задачу самостоятельно, прежде чем делать какие-то выводы

Иногда мы получаем лучшие результаты, когда явно поручаем модели рассуждать на основе первых критериев, прежде чем прийти к заключению. Предположим, например, что мы хотим, чтобы модель оценила решение учеником математической задачи. Самый очевидный способ подойти к этому — просто спросить модель, правильно ли решение ученика или нет.

Но ведь это не так! Решение студента неправильное! Но мы можем исправить выводы модели.

Тактика 2. Используйте «внутренний монолог» или последовательность запросов, чтобы скрыть процесс рассуждения модели

Предыдущая тактика показывает, что иногда важно, чтобы модель подробно рассуждала о проблеме, прежде чем ответить на конкретный вопрос. Для некоторых приложений процесс рассуждений, который модель использует для получения окончательного ответа, было бы неуместно передавать пользователю. Например, в обучающих приложениях мы, возможно, захотим поощрять учеников к самостоятельному поиску ответов, но процесс рассуждений модели о решении ученика может раскрыть ответ ученику.

Внутренний монолог — это тактика, которая может быть использована для смягчения этой проблемы. Идея внутреннего монолога заключается в том, чтобы дать модели указание поместить части вывода, которые должны быть скрыты от пользователя, в структурированный формат, облегчающий их разбор. Затем, перед тем как представить вывод пользователю, он разбирается, и только часть вывода становится видимой.

Как вариант, этого можно добиться с помощью последовательности запросов, в которых все результаты, кроме последнего, скрыты от конечного пользователя.

Сначала мы можем попросить модель решить задачу самостоятельно. Поскольку этот начальный запрос не требует решения ученика, его можно опустить. Это дает дополнительное преимущество: нет вероятности, что решение модели будет искажено попыткой студента решить задачу.

Далее мы можем заставить модель использовать всю доступную информацию для оценки правильности решения ученика.

Наконец, мы можем позволить модели использовать свой собственный анализ для построения ответа в лице полезного наставника.

Тактика 3. Спросите модель, не пропустила ли она что-нибудь во время предыдущего диалога.

Предположим, что мы используем модель для составления списка выдержек из источника, которые относятся к определенному вопросу. После перечисления каждого отрывка модель должна определить, следует ли ей начать писать другой или остановиться. Если исходный документ большой, то модель может остановиться слишком рано и не успеть перечислить все релевантные выдержки. В этом случае более высокую производительность можно получить, предложив модели выполнять последующие запросы, чтобы найти отрывки, пропущенные при предыдущем проходе.

Стратегия 5. Используйте внешние инструменты

Компенсируйте слабые стороны модели, передавая ей результаты работы других инструментов. Например, система поиска текста (иногда называемая RAG или retrieval augmented generation) может рассказать модели о релевантных документах. Механизм выполнения кода, такой как OpenAI’s Code Interpreter, может помочь модели выполнять математические вычисления и запускать код. Если задача может быть выполнена более надежно или эффективно с помощью инструмента, а не языковой модели, разгрузите ее, чтобы получить лучшее из обоих вариантов.

Тактика 1. Использование поиска на основе вставок для эффективного поиска знаний

Модель может использовать внешние источники информации, если они предоставляются в качестве исходных данных. Это может помочь модели генерировать более обоснованные и актуальные ответы. Например, если пользователь задает вопрос о конкретном фильме, может быть полезно добавить на вход модели высококачественную информацию о фильме (например, актеры, режиссер и т. д.). Вставки могут быть использованы для эффективного поиска знаний, так что соответствующая информация может быть добавлена на вход модели динамически во время выполнения.

Встраивание текста — это вектор, который позволяет измерить степень связанности между текстовыми строками. Похожие или релевантные строки будут располагаться ближе друг к другу, чем несвязанные. Этот факт, а также существование быстрых алгоритмов векторного поиска означают, что вставки можно использовать для эффективного поиска знаний. В частности, корпус текстов может быть разбит на фрагменты, и каждый фрагмент может быть вложен и сохранен. Затем в него можно вложить заданный запрос и выполнить векторный поиск, чтобы найти вложенные фрагменты текста из корпуса, которые наиболее связаны с запросом (т. е. находятся ближе всего друг к другу в пространстве вложений).

Тактика 2. Используйте выполнение кода для получения более точных вычислений

Нельзя полагаться на то, что языковые модели будут самостоятельно точно выполнять арифметические или длительные вычисления. В тех случаях, когда это необходимо, модели можно поручить написать и выполнить код вместо того, чтобы производить собственные вычисления. В частности, модели можно поручить поместить код, предназначенный для выполнения, в определенный формат, например, в тройные скобки. После получения выходных данных код может быть извлечен и запущен. Наконец, если необходимо, вывод механизма выполнения кода (т. е. интерпретатора Python) может быть предоставлен в качестве входных данных модели для следующего запроса.

Еще один хороший вариант выполнения кода — вызов внешних API. Если модель проинструктировать о том, как правильно использовать API, она сможет написать код, использующий его. Модель можно проинструктировать о том, как использовать API, предоставив ей документацию и/или примеры кода, показывающие, как использовать API.

ПРЕДУПРЕЖДЕНИЕ: Выполнение кода, созданного моделью, не является безопасным по своей сути, поэтому в любом приложении, которое стремится это сделать, необходимо принимать меры предосторожности. В частности, для ограничения вреда, который может нанести неоднозначный код, необходима среда выполнения кода в виде изолированной среды.

Тактика 3. Предоставьте модели доступ к определенным функциям

API Chat Completions позволяет передавать в запросах список описаний функций. Это позволяет моделям генерировать аргументы функций в соответствии с предоставленными схемами. Сгенерированные аргументы функций возвращаются API в формате JSON и могут быть использованы для выполнения вызовов функций. Выходные данные, предоставленные вызовами функций, могут быть возвращены в модель в следующем запросе, чтобы замкнуть цикл. Это рекомендуемый способ использования моделей OpenAI для вызова внешних функций.

Стратегия 6. Систематически проверяйте изменения

Улучшить производительность общения с нейросетью проще, если вы можете ее измерить. В некоторых случаях модификация подсказки улучшит производительность на нескольких отдельных примерах, но приведет к ухудшению общей производительности на более представительном наборе примеров. Поэтому, чтобы убедиться в положительном влиянии изменения на производительность, может потребоваться определить комплексный набор тестов (также известный как «eval»).

Иногда бывает трудно определить, делает ли изменение — например, новая инструкция или новый дизайн — вашу систему лучше или хуже. Просмотр нескольких примеров может подсказать, что лучше, но при малом объеме выборки бывает трудно отличить истинное улучшение от случайного везения. Возможно, изменения улучшают производительность одних промтов, но ухудшают других.

Процедуры оценки (или «eval») полезны для оптимизации дизайна системы. Хорошими процедурами оценки являются:

1. Репрезентативны для реального использования (или, по крайней мере, разнообразны)
2. Содержат много тестовых примеров для повышения статистической мощности
3. Легко автоматизируются или повторяются

Оценка результатов может выполняться компьютерами, людьми или теми и теми одновременно. Компьютеры могут автоматизировать оценку по объективным критериям (например, вопросы с единственным правильным ответом), а также по некоторым субъективным или нечетким критериям, при которых выходные данные модели оцениваются другими запросами к модели.

Оценки на основе моделей могут быть полезны, когда существует ряд возможных результатов, которые будут считаться одинаково качественными (например, для вопросов с длинными ответами). Граница между тем, что можно реально оценить с помощью модели, и тем, что требует оценки человека, нечеткая и постоянно меняется по мере того, как модели становятся все более способными. Мы рекомендуем экспериментировать, чтобы понять, насколько хорошо оценки на основе моделей могут работать в вашем случае.

Тактика 1. Оценивайте результаты модели, ориентируясь на золотые стандарты.

Предположим, известно, что правильный ответ на вопрос должен содержать ссылку на определенный набор известных фактов. Тогда мы можем использовать модельный запрос, чтобы подсчитать, сколько требуемых фактов включено в ответ.

Например, используя следующее системное сообщение:

Вот пример ввода, в котором оба пункта удовлетворены:

Вот пример входных данных, в которых удовлетворяется только одна точка:

Вот пример ввода, где ни один из них не удовлетворен:

Существует множество возможных вариантов такого типа оценки на основе модели. Рассмотрим следующий вариант, который отслеживает, насколько совпадает ответ кандидата с ответом золотого стандарта, а также отслеживает, противоречит ли ответ кандидата какой-либо части ответа золотого стандарта.

Вот пример ввода с некачественным ответом, который, тем не менее, не противоречит ответу эксперта:

Вот пример ввода с ответом, который прямо противоречит ответу эксперта:

Вот пример ввода с правильным ответом, который также содержит немного больше деталей, чем нужно: