Architecting secure enterprise AI agents with MCP
Руководство по проектированию безопасных корпоративных ИИ-агентов с использованием MCP от IBM c верификацией от Anthropic.
What Are AI Agents?
Даётся определение что такое ИИ-агенты — программы, которые воспринимают контекст, планируют, используют инструменты и действуют для достижения целей. В отличие от традиционных приложений, они адаптивны, вероятностны и обучаемы.
Говориться о таких парадигмах как:
- От детерминированного к вероятностному
- От статического к адаптивному
- От «сначала код» к «сначала оценка»
Agentic Enterprise
Раздел описывает, как предприятия переходят от традиционной ИТ-модели к новой парадигме — агентной архитектуре («agentic enterprise»), в которой ИИ-агенты становятся активными участниками бизнес-процессов, а не просто вспомогательными инструментами.
IBM утверждает, что внедрение таких агентов требует переосмысления организационных, технических и управленческих процессов, чтобы ИИ действовал в рамках корпоративных норм — безопасно, предсказуемо и управляемо.
Агентное предприятие — это не просто внедрение новых технологий,
а архитектурная и культурная трансформация, где ИИ-агенты становятся «цифровыми сотрудниками».
- создавать единый жизненный цикл разработки агентов (ADLC);
- внедрить процессы безопасности и наблюдаемости для агентов, как для любого другого ПО;
- интегрировать агентов в существующие DevSecOps и CI/CD-цепочки;
- внедрить архитектурные принципы такие как гибридность, управляемость, изоляция и комплаенс.
Используются гибридные архитектуры, sandbox-изоляция и контекстное управление доступом.
The Agent Development Lifecycle (ADLC)
Рассматривается расширенный DevSecOps-цикл для агентов, включающий две внутренние петли:
- Экспериментирование между Build и Test. Это позволяет улучшать качества агента;
- Оптимизация в реальном времени (Runtime Loop), что повышает качество и снижает затраты.
- Plan — постановка задач и KPI;
- Code & Build — проектирование промптов, памяти, инструментов;
- Test & Release — тестирование и сертификация;
- Deploy — безопасное развёртывание;
- Monitor & Optimize — наблюдение, улучшения;
- Operate — эксплуатация и аудит.
Enterprise Considerations Building AI Agents
Этот раздел объясняет, какие факторы и условия необходимо учитывать предприятиям перед созданием и внедрением AI-агентов. IBM акцентирует внимание на том, что агентная архитектура — это не универсальное решение, так как не все задачи требуют агентов, а успешное внедрение требует баланса между ценностью, риском и операционной готовностью. Иными словами в этом разделе рассматриваются различные соображения по созданию ИИ агентов.
Когда стоит использовать агентов — IBM рекомендует начинать не с технологии, а с бизнес-задачи, так как не каждая проблема требует «agentic» подхода и иногда достаточно классической автоматизации, RAG или просто промпт-интерфейса.
- Чётко определённая область задачи — агент должен решать конкретную, измеримую бизнес-проблему;
- Контекстное принятие решений — агент нужен, если решение зависит от контекста и данных;
- Необходимость автономных действий — когда агенту нужно выполнять операции, а не просто выдавать ответы;
- Многошаговые задачи — агент эффективен при цепочках действий: сбор → анализ → исполнение → проверка;
- Польза от адаптивности — агент должен улучшаться с опытом, а не работать по жёстким правилам.
Выделяется три направления наиболее успешных агентных решений:
- Customer Support & Service (Поддержка клиентов)
- Document-heavy Processes (Документооборот, комплаенс, анализ)
- Knowledge Work & Development Augmentation (Помощь специалистам)
Определяются стратегические факторы при создании агентов влияющие на успешное внедрение:
- Security & Risk Management (Безопасность и управление рисками)
- Compliance & Auditability (Соответствие требованиям и аудит)
- Business Value Realization (Измеримая бизнес-ценность)
- Observability & Operations (Наблюдаемость и эксплуатация)
- Governance & Lifecycle Management (Управление и жизненный цикл)
Agent Observability and Operations
Этот раздел описывает, как организации должны наблюдать, управлять и оптимизировать работу агентных ИИ-систем в эксплуатации.
Он объединяет две дисциплины.
Agent Observability
Получение прозрачности и управляемости в работе агентов на всем этапе жизненного цикла, где IBM формулирует три ключевых принципа наблюдаемости:
- Measure Everything — измерять не только технические показатели, но и смысловые, поведенческие, этические и бизнес-результаты;
- Observe Early — наблюдаемость должна быть встроена на этапе разработки;
- Close the Loop — наблюдение должно не просто фиксировать, но и автоматически влиять на улучшение агентов.
Одно из ключевых новшеств IBM — это полная трассировка reasoning-процесса агента, что даст возможность:
- понять, почему агент принял то или иное решение,
- воспроизвести действия при аудите,
- оценить логику и безопасность reasoning.
IBM предлагает сохранять reasoning в структурированном виде (JSON) с указанием шагов рассуждения, вызовов инструментов, промежуточных состояний, источников данных и контекста окружения (время, пользователь, политика доступа).
Agent Operations
Этот подраздел расширяет классический DevOps до Управление поведением, надежностью и качеством живых агентов.
IBM определяет AgentOps как совокупность процессов:
- управления версиями агентов (Model Registry + Policy Registry);
- безопасного развёртывания и отката;
- непрерывного мониторинга reasoning;
- адаптивной оптимизации и самоисправления.
- Safe Autonomy — допустимая автономия с контролем.
- Continuous Evaluation — постоянная оценка поведения.
- Observability by Default — логирование reasoning включено всегда.
- Human-in-the-loop — возможность ручного вмешательства.
- Accountability — каждый агент имеет владельца и идентичность.
В агентных системах ключевой вопрос меняется с «работает ли система?» на «правильно ли она работает?», так как агент может функционировать технически исправно, но выдавать неверные или рискованные решения.
Agent Security
IBM выделяет безопасность как один из критически важных аспектов при проектировании и эксплуатации enterprise-агентов. В отличие от традиционных приложений, агентные архитектуры:
- оперируют в недетерминированных средах (поведение не всегда повторяется);
- взаимодействуют с внешними инструментами (tools) через протоколы вроде MCP;
- обладают автономией и памятью — а значит, могут принимать решения, порой выходящие за рамки ожиданий.
Из-за этого стандартные подходы ИБ и DevSecOps недостаточны и требуется расширенный, «agent-aware» подход.
Ключевые угрозы
- Неконтролируемый доступ и эскалация привилегий
Агент может самостоятельно повысить уровень доступа, обойти одобрения и выйти за рамки разрешений. Следовательно это создаёт пробелы в подотчётности и риски компрометации критичных систем. - Утечки данных и эксплуатация промптов (prompt exploitation)
Из-за стохастического характера LLM агент может: - Автономные атаки и их усиление
Заражённые агенты способны: - координировать атаки между собой;
- действовать быстрее, чем человек успевает реагировать;
- использовать легитимные инструменты для вредоносных действий.
- Agentic drift и несоответствие политикам
Со временем агенты могут «дрейфовать», то есть менять своё поведение и цели, не нарушая формально код, но нарушая политику, стандарты или регуляции. Такое поведение делает непрерывный комплаенс-мониторинг обязательным.
Security Solution Framework
IBM предлагает целостную фреймворк-модель из четырёх направлений, каждое из которых отвечает определённой бизнес-проблеме:
- Идентичность и доступ агентов (Agent Identity & Access)
- Назначать уникальные цифровые идентификаторы каждому агенту.
- Применять контекстно-зависимые и временные права доступа (Just-in-Time access).
- Вести непрерывные аудиторские журналы (audit trails) всех действий.
Цель: обеспечить полную подотчётность и трассируемость действий агента. - Защита данных и агентов (Agent & Data Protection)
- Использовать MCP-шлюзы для фильтрации промптов, предотвращения инъекций и контроля потоков данных.
- Отслеживать аномальное поведение, например, необычные запросы к данным.
- Изолировать агенты и окружения (sandboxing).
Цель: исключить неконтролируемое распространение данных и вредоносные операции. - Автономная защита от атак (Autonomous Agent Defense)
- Внедрять активные механизмы threat hunting — агенты-мониторы, выявляющие отклонения в поведении других агентов.
- Применять ИИ-модели для автоматического распознавания атак (например, инъекций, подмен целей, memory poisoning).
- Обеспечивать быструю изоляцию (rapid containment) при выявлении угроз.
- Управление рисками и соответствие требованиям (Security Risk & Compliance)
Управление рисками и комплаенс (Risk Management & Compliance)
Расширенные требования для enterprise-среды:
- Добавить агентные компоненты в цепочку поставок ПО (supply chain) — включать SBOM (Software Bill of Materials) для агентов, инструментов и промптов;
- Подписывать и проверять артефакты (подписи, версии, хэши) перед деплоем;
- Выполнять сканирование зависимостей MCP-серверов и плагинов;
- Вводить минимальные разрешения по умолчанию (least privilege) для инструментов;
- Проводить непрерывные аудиты на предмет прозрачности, справедливости и безопасности.
Governance: Test, Certify & Catalog
Раздел описывает, как формализовать управление жизненным циклом AI-агентов:
от разработки и тестирования до сертификации, внедрения и последующего контроля. Иными словами, это система корпоративного доверия — кто, что и как может запускать, изменять и использовать в экосистеме агентных решений. IBM подчеркивает, что без формализованного управления и сертификации невозможно безопасно масштабировать агентные системы в enterprise-среде.
Governed Catalog (Управляемый каталог агентов)
Каталог — это централизованный реестр всех агентов, инструментов, моделей, промптов и их связей. Он обеспечивает прозрачность, контроль и аудит — как сервисный каталог в DevSecOps, но для агентных систем.
- Регистрация — цель агента, владелец (owner), среда (dev, stage, prod), границы данных (data classification boundaries).
- Возможности (Capabilities) — перечень инструментов, ресурсов и промптов, с которыми агент работает
- Профиль риска (Risk Posture) — описание модели угроз, допустимого уровня риска и применённых мер защиты.
- Политики (Policies):
- Authority boundaries — чёткие рамки автономии: что агент может делать сам, а что требует человеческого одобрения.
- Data handling — правила обращения с данными: классификация, маскирование, минимизация, хранение, согласие.
- Auditability — требования к трассировке и хранению логов: кто, что, когда и почему сделал.
- Доказательства соответствия (Evidence):
Ссылки на отчёты об оценках (evals), red-team тесты, одобрения и артефакты аудита.
Certification Workflow (Процесс сертификации)
Этот процесс формализует переход агента из стадии разработки в эксплуатацию.
Он включает многоступенчатую валидацию и проверку качества, безопасности и комплаенса:
- Pre-release Checks (предрелизные проверки)
- Проверка качества, безопасности и соответствия политике.
- Проведение red-teaming (симуляция атак).
- Подтверждение согласования всех необходимых одобрений.
- Promotion Gates (промежуточные «ворота» допуска)
- Наличие feature flags и rollback-механизмов.
- План развертывания и kill-switch на случай проблем.
- Создание change-ticket и документации по выпуску.
- Runtime Attestations (аттестация времени выполнения)
Experimentation Tracking & Lineage
IBM считает трассировку происхождения (lineage) обязательной частью управления, для того что бы обеспечить воспроизводимость поведения агента и прозрачность решений, как в ML-Ops, но на уровне агентных систем. В экспериментальный трекинг включается:
- Метаданные о запуске — дата, датасет (или его hash/версия), версия промпта, модели, инструментов, конфигурации, commit-ID кода, версия eval-suite.
- Граф связей (Lineage Graph):
Связывает эксперименты, кандидатов и релизы.
Показывает, как и почему один вариант агента стал «чемпионом» (champion). - Replayability:
Возможность частично воспроизвести эксперимент по сохранённым trace-ID и seed’ам. - Governance Link:
Все кандидаты и результаты (evals, отчёты, метрики) прикрепляются к карточке агента в каталоге. - Reproducible Manifest:
Подписанный манифест, фиксирующий версии всех компонентов (agent, prompts, model, datasets, tools).
Versioning & Lifecycle Management
Раздел описывает, как поддерживать управляемую эволюцию агентов.
- Semantic Versioning — отдельные версии для агента, инструментов и промптов. Добавочные изменения разрешены, критические — требуют отдельной проверки.
- Provenance & SBOM — для каждой версии создаётся Software Bill of Materials, включающий исходный код (commit), версии инструментов и моделей, хэши промптов, зависимостей и датасетов. Всё подписывается и хранится вместе с релизом.
- Release Notes и Impact Levels — каждый релиз классифицируется и имеет свои уведомления и проверки.
- Deprecation Policy — уведомления о снятии версий с поддержки с таймлайнами и режимом «dual-run».
- Champion–Challenger Evaluation — новые версии сравниваются с действующими по реальным данным.
- Retirement — процесс деактивации агента с сохранением всех данных, артефактов и доказательств комплаенса.
MCP Servers Lifecycle: Enterprise Guide & Best Practices
Раздел описывает, как проектировать, развертывать и управлять MCP-серверами (Model Context Protocol) — ключевыми компонентами, через которые AI-агенты безопасно взаимодействуют с корпоративными системами и выполняют действия. В разделе рассматриваются такие темы:
Концепция MCP
MCP — протокол, стандартизирующий доступ агентов к инструментам, ресурсам и промптам. Обеспечивает безопасность, совместимость и масштабируемость.
Архитектура и паттерн MCP Gateway
Рекомендуется использовать централизованный шлюз (MCP Gateway) как единое место для:
- аутентификации и авторизации;
- маршрутизации, квот и политик;
- ведения аудита и журналов;
- разделения по средам (dev/stage/prod).
- Принцип least privilege и строгая аутентификация (OAuth, mTLS);
- Проверка и санитизация всех входов/выходов;
- Контейнеризация и sandboxing плагинов;
- Хранение секретов только в менеджерах.
Практики надёжности и масштабирования
- Rate-limiting, health-checks, circuit breakers;
- Асинхронные и идемпотентные операции;
- Версионирование схем и обратная совместимость.
Управление, комплаенс и наблюдаемость
- Централизованные политики (policy-as-code);
- Структурированный аудиты «кто/что/когда/почему»;
- SBOM, подписание контейнеров, контроль цепочки поставок.
- Security-тесты, фаззинг, нагрузочные и хаос-тесты;
- Проверка контрактов инструментов и совместимости моделей.
Контейнеризация и CI/CD-практики
- Минимальные non-root образы, health-пробы, манифесты;
- Автоматическое сканирование, подписание и деплой с gates.
Reference Architecture & Enterprise Requirements for an Agentic AI Platform
IBM описывает эталонную архитектуру для построения корпоративной платформы, поддерживающей жизненный цикл агентных систем (ADLC) — от сборки и тестирования до эксплуатации, мониторинга и управления. Это основа для создания безопасных, управляемых и масштабируемых enterprise-агентов, интегрированных с корпоративными данными, процессами и политиками.
Четыре ключевых фазы архитектуры
- Build — непрерывная интеграция, тестирование, синтетические данные, red-teaming, встроенные проверки безопасности и качества.
- Deploy — развёртывание моделей и агентов с оркестрацией, политиками, guardrails и безопасным доступом к данным через AI-Gateways и MCP-серверы.
- Monitor & Optimize — наблюдение, телеметрия, детектирование дрейфа, оптимизация производительности и стоимости; выявление аномалий и «теневых» (shadow) агентов.
- Manage — комплаенс-валидация, сертификация, аудит, управление рисками, обновления политик, и деактивация устаревших агентов.
Две фундаментальные опоры
- Governed Catalog (Каталог управления) — централизованный реестр одобренных агентов, моделей, промптов и инструментов с политиками, версиями и артефактами комплаенса.
- Security & Governance Layer (Слой безопасности и управления) — единая система идентификации, политик доступа, аудита и сертификации — интегрированная в каждый этап ADLC.
Тезисы нефункциональных требований
- Каталоги агентов и инструментов;
- MCP-Gateway для маршрутизации и политик;
- Model-Gateway для унифицированного доступа к LLM;
- Горизонтальное и федеративное масштабирование.
- RBAC-контроль разработчиков;
- Безопасность данных;
- Ведение логов доступа;
- Observability билд-среды;
- Supply-chain-контроль.
- Удостоверения агентов;
- OAuth-аутентификация;
- Делегирование прав;
- BYOK-шифрование;
- Строгая изоляция;
- Защита промптов и артефактов;
- Аудит и реагирование на инциденты.
- Полная телеметрия (метрики, события, логи, трейсы);
- Интеграция с корпоративным стеком наблюдаемости;
- Учёт токенов и стоимости.
- Соответствие стандартам (ISO, SOC, GDPR, HIPAA);
- Детекция дрейфа;
- Безопасные каталоги;
- Интеграция с GRC-системами.
- Поддержка от изолированных (air-gapped) до облачных сред
- Переносимость
- Версионирование моделей и инструментов.
Тезисы функцииональных требований
- Кратко- и долговременная память;
- Хранение контекста;
- Интеграция с векторными/графовыми БД;
- Правила обработки PII.
- Разбиение задач;
- Безопасная оркестрация инструментов;
- Асинхронность;
- Человек-в-цикле для критических действий.
- Поддержка MCP-протокола;
- OpenAI-совместимых API, плагинов и маркетплейса инструментов;
- BYO-модели и агенты.
Эталонная агентная платформа IBM — это многоуровневая экосистема, обеспечивающая безопасность, наблюдаемость, управление и соответствие требованиям на каждом этапе жизненного цикла агента. Она сочетает DevSecOps-практики с принципами AI-governance, чтобы предприятия могли масштабировать агентные системы безопасно, прозрачно и регулируемо.
