How-To-Prompt-AI-To-Build-The-Next-Billion-Dollar-Startup

Видео на английском ютубе: State-Of-The-Art Prompting For AI Agents
Пропт из видео: https://parahelp.com/blog/prompt-design
Подготовлено каналом Петров разбирает(ся)

5 ключевых мыслей:

1. Метапромптинг — главный инструмент для продвинутой работы с ИИ
   — Лучшие AI-стартапы строят свои продукты не только на базовых промптах, а на многоуровневых системах, где промпты могут совершенствовать сами себя (“prompt folding”) и использовать примеры из реальных данных. Это позволяет быстро повышать качество работы агента без постоянной ручной доработки.
2. Настоящая ценность (moat) — в “evals”, а не в промптах
   — Ключевой актив компании — не сам промпт, а набор эталонных кейсов (evals), на которых тестируется и калибруется качество агента. Без этих evals невозможно улучшать продукт, и именно они являются настоящей интеллектуальной собственностью.
3. Forward deployed engineer — новая роль успешного фаундера
   — Стартап выигрывает, если основатель сам лично внедряет продукт у клиента, понимает детали рабочих процессов, быстро собирает обратную связь и адаптирует промпт/агента “под задачу”, а не перекладывает это на менеджеров или продажников.
4. Структура промпта и качество примеров критичны для работы агентов
   — Лучшие промпты содержат: четкую ролевую инструкцию, пошаговые алгоритмы, формат вывода, ограничения, worked examples. Использование markdown или XML-структур помогает LLM лучше “понимать” задачи и интегрироваться с другими системами.
5. Каждая LLM-модель — “со своим характером”; важно тестировать под задачу
   — Разные модели (Claude, Gemini, Llama, O3 и др.) по-разному интерпретируют промпты, по-разному следуют рубрикам и работают с исключениями. Важно тестировать и подбирать модель не только по “общему качеству”, но и по тому, как она справляется с нужным процессом, сценарием и данными.

Подкаст

Вступление

Ведущий:
Метапромптинг сейчас становится очень-очень мощным инструментом, которым пользуются все. Это, знаешь, реально похоже на программирование в 1995 году — инструменты пока сырые, мы на новом фронтире.
Но лично для меня это ещё похоже на то, как учиться управлять человеком: как объяснить всё, что нужно знать, чтобы принять хорошее решение?

Ведущий:
Добро пожаловать в очередной эпизод подкаста The Light Cone. Сегодня мы откроем, что происходит внутри лучших AI-стартапов с точки зрения промпт-инжиниринга. Мы опросили больше десятка компаний и получили их взгляды прямо с передовой. Давайте перейдём к практическим советам.

Ведущий:
Джаред, почему бы нам не начать с примера из одной из твоих лучших AI-компаний?

Джаред:
Да, я взял пример из компании Parahelp. Parahelp занимается AI-поддержкой клиентов. Подобных компаний много, но у них это реально хорошо получается. Сейчас они обеспечивают поддержку для таких компаний, как Perplexity, Replit, Bolt и других топовых AI-компаний.
Если вы отправляете тикет в поддержку Perplexity, вам, по сути, отвечает их AI-агент.

Ведущий:
Это круто. Ребята из Parahelp любезно согласились показать нам реальный промпт, который лежит в основе их агента, и выложить его на YouTube для всех. Обычно такие промпты для вертикальных AI-агентов считаются интеллектуальной собственностью и не публикуются. Мы очень благодарны Parahelp, что они согласились открыть этот промпт: https://parahelp.com/blog/prompt-design

Ведущий:
Диана, можешь провести нас по этому подробному промпту? Это действительно интересно и редкая возможность увидеть его в действии.

Диана:
Главная особенность этого промпта — он очень длинный и подробный, буквально на шесть страниц. Самое главное — многие лучшие промпты начинают с задания роли для LLM: например, “ты — менеджер службы поддержки”, с подробными буллетами, что делать.
Затем ставится задача — одобрить или отклонить вызов инструмента, потому что этот агент управляет запросами других агентов.
Далее — общий план, разбитый на этапы: шаг 1, шаг 2, шаг 3 и так далее.
Очень важно прописывать ограничения: чтобы агент не “уходил в сторону”, не запускал неподходящие инструменты, и объяснять, как структурировать вывод, чтобы он интегрировался с другими агентами (почти как склейка API-вызовов).
Часто используется markdown-структура: заголовки, подпункты, вложенные шаги.
Один из ключевых приёмов — давать пример решения задачи, и здесь это реализовано через XML-подобную структуру, чтобы модель понимала план действий. Так LLM проще следовать инструкциям, многие из них обучались именно на подобных данных.

Ведущий:
Я удивлён, что тут нет (или это не показали) раздела, где описан конкретный сценарий с примером вывода.

Диана:
Это есть, но уже на следующем этапе пайплайна. Тут всё завязано на клиента, ведь каждый хочет свой “стиль” ответов поддержки. Главная задача для таких AI-компаний — как сделать универсальный продукт, если у всех клиентов разные процессы?
Очень интересный момент: где граница между “гибкостью под клиента” и тем, чтобы не превратиться в консалтинговую компанию, которая пишет новый промпт для каждого?

Джаред:
Согласен. Сейчас только начинают разбираться, как разделять промпты: где общая логика для всей компании, а где — под конкретного клиента. Важно понять, какая часть промпта должна быть “общесистемной”, а какая — кастомной.

Диана:
Да, обычно выделяют три уровня промпта:
— System prompt — как API компании, ничего клиент-специфичного (именно так у Parahelp).
— Developer prompt — все настройки и нюансы под конкретного клиента.
— User prompt — когда конечный пользователь сам общается с агентом (например, “сделай сайт с такими-то кнопками” в Replit).

Джаред:
Огромное поле для стартапов — строить инструменты вокруг всего этого. Кто работал с промптами, знает: примеры решений критически важны для качества. Например, Parahelp важно иметь “рабочие примеры” (worked examples) под каждого клиента. Идеальный сценарий: агент сам находит лучшие примеры в данных, а софт автоматом вставляет их в нужные места пайплайна.

Ведущий:
Это отличный переход к теме Meta Prompt Inc — это постоянно всплывает у всех AI-стартапов.

Джаред:
Trope (стартап из текущего набора YC) очень помогли, например, компании Ducky — они глубоко анализируют и отлаживают промпты и результаты на каждом этапе работы агента.
Они внедрили “prompt folding”: когда один промпт динамически улучшает самого себя. Пример: промпт-классификатор генерирует специальный промпт под предыдущий запрос.
Теперь ты можешь брать неудачные кейсы, отдавать их LLM и просить помочь улучшить промпт — и он сам предложит варианты. Метапромптинг уже стал супер-инструментом для всех.

Ведущий:
Если задача очень сложная, следующий шаг — использовать примеры. Например, Jazzberry автоматом ищет баги в коде, что куда сложнее поддержки. Для этого им нужны максимально сложные кейсы, которые могут найти только эксперты. Они добавляют такие примеры прямо в промпт, и LLM начинает учиться именно на них.
Иногда проще дать пример, чем формулировать длинные правила. Это почти как unit-тесты: test-driven development для LLM.

Джаред:
Ещё одно важное наблюдение: модель всегда старается “помочь”, даже если у неё не хватает данных — она просто додумывает (“галлюцинирует”) ответ.
Чтобы избежать этого, нужно явно прописывать “escape hatch”: если информации не хватает, не выдумывай, а спроси у меня. Это меняет сам подход к промптингу.

Ведущий:
В YC мы сделали по-другому: в ответе агента есть отдельный блок debug info, где агент может пожаловаться, что ему не хватает информации — это превращается в прямой список задач для разработчика.
Получается, что агент сам подсказывает, что надо доработать.

Джаред:
Для энтузиастов и тех, кто только начинает: чтобы “запустить” метапромптинг, просто дайте модели роль “эксперта по промптам”, отправьте свой промпт — получите более проработанную версию, повторяйте цикл.
Компании часто делают так: метапромптинг запускается на большой модели (Claude, Gemini Pro, GPT-4), там шлифуется промпт, а итоговая версия используется уже на быстрой “маленькой” модели (например, для голосовых агентов, где критична скорость).

Диана:
Если промпт слишком большой, полезно просто вести отдельный Google Doc с наблюдениями: что не так, как улучшить, и время от времени просить, например, Gemini Pro предложить правки.
В Gemini 2.5 Pro есть reasoning traces — можно смотреть, как модель рассуждает по шагам, и сразу видеть, где промпт “не работает”.

Джаред:
С недавних пор reasoning traces доступны и в API Gemini — теперь это можно подключать к своим dev-инструментам. Gemini Pro с большим контекстом работает как REPL: подаёшь пример, смотришь reasoning trace в реальном времени, понимаешь, куда “рулить” моделью.
В YC мы даже сделали свои рабочие “лаборатории” под это, но часто удобнее просто закидывать JSON-файлы напрямую в Gemini.Google.com или ChatGPT.

Ведущий:
Огромное спасибо Эрику Бэйкону, главе data в YC — он сильно помог нам “раскачать” meta-prompting и использовать Gemini Pro как интерактивный REPL.

Джаред:
Теперь про evals (оценки промптов). Мы уже больше года говорим о них, и до сих пор именно evals — настоящая “корона” любой компании.
Почему Parahelp согласились раскрыть свой промпт? Потому что они не считают промпт главным активом. Главная ценность — это evals: без них невозможно понять, зачем промпт устроен так, как он есть, и как его улучшать.

Ведущий:
По сути, чтобы создать лучшие evals, нужно реально сидеть рядом с пользователем, погружаться в его ежедневную работу.
Вот где настоящая защита бизнеса: если ты глубже всех понял пользователя, а твой продукт реально работает для него — это и есть moat.

Джаред:
Ключевая компетенция фаундера сейчас — быть одержимым деталями процессов своих пользователей.
Лучшие основатели — это не только крутые инженеры, но и те, кто понимает какой-то кусок мира лучше всех.
Чем необычнее опыт, тем выше шанс найти незанятую нишу.

Ведущий:
Кэрри, расскажи про “forward deployed engineer” — термин из Palantir. В чём суть и что стоит перенять фаундерам сейчас?

Кэрри:
В Palantir с самого начала поняли: ни в одной крупной компании или госорганизации нет людей, которые понимают IT на максимальном уровне, но у них миллиардные проблемы и горы данных.
Forward deployed engineer буквально садится рядом с пользователем (FBI, прокурор, госорган), разбирается в их реальных задачах и превращает ворох файлов и табличек в удобный софт.
Вместо продажников на встречах у Palantir сидели инженеры, которые делали работающие решения за недели, а не месяцы или годы.
Это главный шанс для стартапов сейчас — если фаундеры сами так работают, они обгоняют любого крупного конкурента.

Джаред:
Фаундер сегодня — это и разработчик, и дизайнер, и исследователь, и ethnographer, и менеджер продукта.
На второй встрече клиент должен сказать: «Вау, такого я не видел! Беру!»
Именно поэтому вертикальные AI-агенты так быстро взлетают — можно быстро провести встречу, собрать контекст, показать демо, закрыть шестизначный контракт с большой корпорацией.

Ведущий:
Например, Giga ML — два очень крутых инженера (не продавцы!), работают по модели forward deployed engineer, закрыли огромную сделку с Zepto и другими. Они реально ездили в офис клиента, сидели с поддержкой, настраивали LLM “под них”.
Даже для заключения сделки побеждали крутыми демо: улучшили RAG, добились точных и быстрых голосовых ответов.

Джаред:
Сегодня чтобы обогнать Salesforce, не нужен “чуть лучший CRM”, нужен агент, который адаптируется под каждого клиента и демонстрирует результат сразу. Forward deployed engineer — это ключ.
То же у Happy Robot: они сами ездят к клиентам, быстро внедряют продукт, закрывают сделки на миллионы.

Диана:
Каждая LLM-модель — со своим характером.
Claude — “дружелюбный”, Gemini 2.5 Pro — гибко рассуждает, Llama 4 — более жёсткий и требует чёткого промпта, O3 — очень ригидная.
Для некоторых задач лучше работает одна, для других — другая.

Ведущий:
Всё больше промпт-инжиниринг становится похож на обучение человека: нужно объяснять, что важно, как оценивать, как давать обратную связь.
Метапромптинг — это кайдзен для LLM: улучшения вносят те, кто реально работает с процессом.

Ведущий:
Мы живём в новой эпохе. Посмотрим, какие промпты вы придумаете.
До встречи!

Подписывайтесь на канал →→→ Петров разбирает(ся)