КАК СДЕЛАТЬ ТАК, ЧТОБЫ ТВОЙ АГЕНТ УЛУЧШАЛ САМ СЕБЯ?
AutoAgent – открытая библиотека для автономного улучшения агента.
AutoAgent занял первое место как на SpreadsheetBench (96,5 %), так и первое место по версии GPT-5 на TerminalBench (55,1 %) после оптимизации в течение более 24 часов.
Все остальные записи в этих таблицах лидеров были созданы вручную.
Агенты всегда упирались в инженерию обвязки, а мы до сих пор занимались примитивным перебором по сетке: подкрутить → оценить → прочитать трассировки ошибок → повторить.
Это первое конкретное доказательство того, что агент может автономно превзойти ручную настройку обвязки на реальных производственных бенчмарках.
Доступно здесь: https://github.com/kevinrgu/autoagent
Укажите AutoAgent на домен задачи вместе с оценками. Мета-агент начинает экспериментировать с обвязкой агента задачи: подстраивает промпты, добавляет инструменты, уточняет оркестрацию – до тех пор, пока производительность не начнёт расти.
Настройка минимальна по дизайну:
- агент задачи стартует только с инструмента bash
- файл program.md задаёт мета-агенту направление исследования
- agent.py – это сам агент задачи
- адаптер Harbor подключается к вашему бенчмарку
После этого мета-агент запускает тысячи параллельных песочниц для улучшения агента задачи. Через 24 часа у него уже есть инструменты, специфичные для домена, циклы верификации и логика оркестрации. Всё это обнаружено полностью автономно.
- Редактировать обвязку агента
- Запускать её на задачах
- Измерять производительность
- Читать трассировки неудач
- Сохранять улучшения, откатывать неудачи
- Повторять
Почему это работает: «видеть как агент»
Мы обнаружили, что агенты лучше понимают других агентов, чем мы, люди.
Команда Claude Code писала о концепции «Seeing like an Agent» – поставить себя в мышление модели и проектировать инструменты, идеально подходящие под её способности.
Уроки из создания Claude Code: Видеть как агент
Одна из самых сложных частей создания обвязки агента – это конструирование его пространства действий.
Claude действует через вызов инструментов, но существует множество способов их реализации в Claude API…
Мы проецируем свои человеческие интуиции на системы, которые рассуждают совсем иначе. Мы плохо умеем сопереживать моделям.
AutoAgent превращает это в рабочую систему. Мета-агент читает трассировки рассуждений агента задачи и уже обладает неявным пониманием самого себя – своих ограничений и склонностей.
Когда он видит, что агент задачи потерял направление на шаге 14, он воспринимает этот сбой как часть своего мировоззрения и сразу исправляет его.
Мы называем это «эмпатией модели».
Практический результат: мета-агент на Claude + агент задачи на Claude показал лучший результат, чем мета-агент на Claude + агент задачи на GPT. Пары одной и той же модели выигрывают, потому что мета-агент пишет обвязки, которые внутренняя модель реально понимает. У них одни и те же веса, и она точно знает, как именно эта модель рассуждает.
Когда агенты превышают 99-й перцентиль человеческих результатов, наши человеческие интуиции о «хорошем дизайне обвязки» становятся неверной предпосылкой. Как AlphaZero – они должны открывать всё с нуля.
Эмерджентные поведения, которые мы не программировали:
- Запуск изолированных задач для небольших правок вместо полного набора – резко ускорило итерации и сэкономило вычисления.
- Принудительные циклы верификации: агент сам создаёт детерминированные самопроверки и валидаторы форматирования. Выделяется дополнительный бюджет ходов на самокоррекцию.
- Написание тестов: агент задачи самостоятельно создаёт unit-тесты и проверки для каждой задачи.
- Прогрессивное раскрытие: длинные контексты автоматически сбрасываются в файлы при переполнении.
- Логика оркестрации: при необходимости создаются субагенты и передачи задач.
AutoAgent достиг 96,5 % на SpreadsheetBench и 55,1 % на TerminalBench – это лучшие результаты в таблицах лидеров. Агент автономно работал более 24 часов, анализировал собственные трассировки неудач и непрерывно улучшался.
- Разделение помогает. Один агент, улучшающий сам себя, не работает. Быть хорошим в домене и быть хорошим в улучшении в этом домене – это разные способности. Разделение «мета-агент / агент задачи» позволяет каждому специализироваться.
- Трассировки – это всё. Если давать только баллы без траекторий, скорость улучшения резко падает. Понимание почему произошло улучшение важно так же, как сам факт улучшения.
- Агенты склонны к переобучению. Мета-агент может стать ленивым и вставлять промпты, заточенные только под рубрику, чтобы «обыграть» метрики. Мы ограничиваем это принудительной само-рефлексией: «Если бы этой точной задачи не стало, осталось бы это полезным улучшением обвязки?»
- Качество мета-агента критично. Плохо спроектированный мета-агент даёт плохих агентов задач. Codex, например, плохо работает в роли мета-агента – он игнорирует инструкции «никогда не прекращать улучшение» и в итоге агент задачи сдаётся слишком рано.
Самая сложная часть создания агентов в том, что каждому домену нужна своя уникальная обвязка, а её разработка требует человека, который глубоко понимает и домен, и поведение моделей.
AutoAgent убирает эту сложность. Эксперту домена достаточно определить, что считается успехом. Всё остальное (обвязку) делает мета-агент.
У компаний не один workflow, который нужно автоматизировать, а сотни. Каждому нужен свой harness. Ни одна команда не сможет вручную настроить сотни обвязок. А мета-агент – сможет.
Это инфраструктура для целых флотов агентов: непрерывно запускать, оптимизировать и поддерживать специализированных агентов по всей организации.
Мы разработали AutoAgent внутри компании, но решили открыть исходный код: https://github.com/kevinrgu/autoagent
Опишите спецификацию, укажите на оценки – и пусть поднимается. Каждый теперь сможет это делать.
Самоулучшающиеся агенты ещё в самом начале пути. Следующий рубеж – обвязки, которые динамически собирают нужные инструменты и контекст «just-in-time» для любой задачи.