August 18

Просишь ChatGPT разнести твой питч — он «критикует» его цитатами из твоего же текста

Знакомая схема: просишь ChatGPT сыграть придирчивого инвестора или вредного клиента, получаешь солидный «разбор» — и идея кажется проверенной. Теперь перечитай его аргументы: это фразы из твоего же питча, переставленные местами. Написал «натуральные ингредиенты» — «клиент» покупает, потому что ингредиенты натуральные. Atharva Pandey и Gautam Jajoo (июль 2026) сравнили такие симуляции с ответами реальных людей: причины, которые сочиняет модель, предсказывают поведение хуже, чем настоящие человеческие причины, случайно перемешанные между людьми. Хорошая новость: подмена ловится и чинится тремя ограничениями в промпте. Разбираю приём и даю готовый шаблон.

В чём проблема: модель собирает «мнение» из твоего же текста

Модель обучали подстраиваться под контекст: ответ, который согласуется с показанным текстом, выглядит уместным и полезным — такие ответы в обучении оценивали выше. Из-за этого, когда ты просишь её сыграть скептика, она строит «мнение» из самого доступного материала — твоего же питча. Поэтому продающие пункты возвращаются к тебе в виде причин: питч говорит «рынок растёт на 40%» — «инвестор» вкладывается, потому что рынок растёт на 40%. Хотя настоящий скептик первым делом усомнился бы в самой цифре. Снаружи подмена неотличима от анализа: вердикт есть, обоснование есть. Но ты слышишь не мнение рынка, а эхо собственных слов. Исследователи измерили масштаб: 94 реальных покупателя оценили три продукта и написали, почему готовы или не готовы купить. Потом те же причины попросили сочинить LLM от их лица — и сгенерированные причины предсказывали реальные решения хуже, чем настоящие человеческие, даже случайно перемешанные между людьми. То есть модель не слегка промахивается — она вообще не заглядывает в чужую голову, а переупаковывает твой текст.

Решение: чек-лист причин, три голоса и запрет на цитаты

Подмена ломается тремя ограничениями в одном промпте. Первое: не давай модели объяснять решение свободным текстом — задай фиксированный чек-лист категорий (цена, доверие к цифрам, риск, привычка) и попроси отметить каждую «за», «против» или «не участвует». Второе: вместо одного усреднённого «клиента» запроси три контрастных голоса — скептик, нейтральный, энтузиаст — каждый отдельным блоком. Третье, ключевое: прямо запрети брать причины из твоего текста. Если в питче написано «рынок растёт на 40%», модель должна ответить не «рынок растёт», а верит ли персонаж этой цифре — и почему.

→ Что делать: подставь свой текст в шаблон из исследования:

Вот текст/концепция для оценки:
«{текст_концепции}»

Сыграй три роли человека, реагирующего на это. Роли:
- Скептик — ищет слабые места и сомневается
- Нейтральный — взвешивает плюсы и минусы поровну
- Энтузиаст — ищет, что могло бы убедить

Контекст персоны: {кто этот человек, его опыт и привычки в теме}

Для каждой роли:
1. Вердикт: согласится / откажется / нужно больше информации
2. Разбери причину строго по категориям (отметь «за», «против»
   или «не участвует»):
   - {категория_1}
   - {категория_2}
   - {категория_3}
   - {категория_4}

ВАЖНО: не бери причину прямо из текста концепции. Если там
написано «X», не пиши «нравится X» — напиши, ВЕРИТ ли персона
утверждению X и почему.

Выведи три роли отдельными блоками, без смешивания.

Почему это работает

Свободный ответ соскальзывает в пересказ, потому что твой текст — самый доступный материал. Модель подбирает правдоподобное объяснение, а не независимое суждение, поэтому без ограничений «мнение» складывается из готовых формулировок питча. Жёсткая структура разворачивает сильную сторону модели против этой привычки. Модель хорошо держит заданный формат: попроси разложить причину по категориям — и она честно оценит каждую, включая неудобные «против». Раздельные роли не дают усреднить ответ до нейтрально-положительного, поэтому у скептика появляется место для настоящих сомнений. А запрет на цитаты меняет саму задачу: не «повтори утверждение», а «оцени, веришь ли ты ему» — это уже рассуждение, а не эхо. Честные оговорки: запрет снижает пересказ, но не убирает его полностью, а проверяли метод на небольшой выборке — 94 человека и три концепции. Так что это детектор и страховка, а не гарантия честности.

Пример

Проверяешь резюме перед откликом на вакансию продакт-менеджера — хочешь увидеть его глазами нанимающего, который листает десятки таких в неделю:

Вот моё резюме на вакансию продакт-менеджера:
«5 лет в b2c-продуктах. Запустил 3 крупные фичи. Поднял retention
на 18%. Строил аналитику с нуля. Ищу команду с сильной продуктовой
культурой»

Сыграй три роли нанимающего менеджера, который читает это резюме:
- Скептик — ищет слабые места и сомневается
- Нейтральный — взвешивает плюсы и минусы поровну
- Энтузиаст — ищет, что могло бы убедить позвать на интервью

Контекст персоны: senior продакт-лид, смотрит 40 резюме в неделю,
не доверяет красивым цифрам без деталей.

Для каждой роли:
1. Вердикт: позвать на интервью / отказать / нужно больше информации
2. Разбери причину строго по категориям (отметь «за», «против»
   или «не участвует»):
   - доверие к цифрам (retention +18% — верю или нет?)
   - релевантность опыта под вакансию
   - риски (пробелы, размытые формулировки)
   - ясность и конкретика текста

ВАЖНО: не бери причину прямо из текста резюме. Если написано
«поднял retention на 18%» — не пиши «поднял retention», а напиши,
ВЕРИТ ли менеджер этой цифре и почему.

Выведи три роли отдельными блоками, без смешивания.

Настоящая критика выглядит так: скептик пишет «цифре +18% не верю — не сказано, на какой базе и за какой срок считали». Этого в резюме нет — значит, модель рассуждает. Плохой знак: все три роли повторяют твои формулировки («сильный кандидат — поднял retention на 18%»). Это пересказ; ужесточи запрет: «не используй ни одного слова из текста как аргумент».

Где пригодится

  • Питчи и презентации — прогон через «скептика-инвестора» до реальной встречи
  • Резюме и сопроводительные письма — проверка глазами уставшего HR до отклика
  • Лендинги, посты, коммерческие предложения — реакция трёх типов аудитории до публикации
  • Быстрый детектор: все роли цитируют твой текст как причину — это эхо, а не мнение

Если хочешь такие находки из свежих исследований каждый день — их присылает бот @NovaPaperAlert_bot.

Опирался на исследование «Reason-Mediated Behavioral Models for Auditing LLM Social Simulators» (arXiv 2607.24649).