Руководители предприятий спешат внедрить агентный ИИ, и легко понять, почему. Автономные и целеустремлённые агентные системы ИИ способны рассуждать, планировать, действовать и адаптироваться без человеческого контроля — это мощные новые возможности, которые могут помочь организациям раскрыть потенциал, открываемый ИИ нового поколения , радикально переосмыслив свои методы работы. Всё больше организаций в настоящее время изучают или внедряют системы агентного ИИ, которые, по прогнозам, помогут ежегодно получать от 2,6 до 4,4 триллиона долларов США в более чем 60 сферах применения ИИ нового поколения, включая обслуживание клиентов, разработку программного обеспечения, оптимизацию цепочек поставок и обеспечение соответствия требованиям. И путь к развертыванию агентного ИИ только начинается: только 1% опрошенных организаций считают, что внедрение ИИ у них достигло зрелости.
Но хотя агентный ИИ может принести огромную пользу, эта технология также несет в себе ряд новых рисков, создавая уязвимости, которые могут нарушить работу, поставить под угрозу конфиденциальные данные или подорвать доверие клиентов. Агенты ИИ не только предоставляют новые внешние точки входа для потенциальных злоумышленников, но и, поскольку они способны принимать решения без человеческого контроля, создают новые внутренние риски. С точки зрения кибербезопасности можно рассматривать агентов ИИ как «цифровых инсайдеров» — субъектов, работающих в системах с различными уровнями привилегий и полномочий. Так же, как и их коллеги-люди, эти цифровые инсайдеры могут причинить вред непреднамеренно, из-за плохой координации или преднамеренно, если они будут скомпрометированы. Уже 80% организаций сообщают, что сталкивались с рискованным поведением агентов ИИ, включая ненадлежащее раскрытие данных и несанкционированный доступ к системам.
Руководителям в области технологий, включая директоров по информационным технологиям (CIO), директоров по рискам (CRO), директоров по информационной безопасности (CISO) и директоров по защите данных (DPO), предстоит тщательно изучить возникающие риски, связанные с агентами ИИ и агентскими рабочими силами, а также заблаговременно обеспечить безопасное и соответствующее требованиям внедрение этой технологии. Будущее ИИ на работе — не просто быстрее или умнее. Он становится более автономным. Агенты будут всё чаще инициировать действия, сотрудничать вне определённых подразделений и принимать решения, влияющие на бизнес-результаты. Это многообещающее развитие, при условии, что эти агенты работают не только с доступом компании, но и с её намерениями. В мире агентов доверие — это не просто характеристика. Оно должно быть основой.
Возникающие риски в эпоху агентов
Работая автономно и автоматизируя задачи, традиционно выполняемые людьми, агентный ИИ добавляет новое измерение к ландшафту рисков. Ключевым изменением является переход от систем, обеспечивающих взаимодействие, к системам, управляющим транзакциями, которые напрямую влияют на бизнес-процессы и результаты. Этот сдвиг обостряет проблемы, связанные с основными принципами безопасности: конфиденциальностью, целостностью и доступностью в агентском контексте, из-за дополнительного потенциала усиления фундаментальных рисков, таких как конфиденциальность данных, отказ в обслуживании и целостность системы.
Следующие новые факторы риска выходят за рамки традиционной таксономии рисков, связанных с ИИ.
Подобные ошибки грозят подорвать доверие к бизнес-процессам и решениям, которые агентские системы призваны автоматизировать, сводя на нет любой прирост эффективности, который они обеспечивают. К счастью, это не неизбежно. Агентский ИИ может раскрыть свой потенциал, но только если принципы безопасности, описанные ниже, будут внедрены в систему с самого начала.
Для каждого варианта использования агента в портфеле ИИ организации технические руководители должны выявить и оценить соответствующие организационные риски и, при необходимости, обновить свою методологию оценки рисков.
Для безопасного внедрения агентного ИИ организации могут использовать структурированный многоуровневый подход. Ниже мы предлагаем практическую дорожную карту, которая описывает ключевые вопросы, которые следует задать технологическим лидерам для оценки готовности, снижения рисков и обеспечения уверенного внедрения агентных систем. Процесс начинается с обновления систем управления рисками и управления, затем следует создание механизмов надзора и повышения осведомленности, а завершается внедрением средств контроля безопасности.
Прежде чем организация начнет использовать автономных агентов, ей следует убедиться в наличии необходимых мер безопасности, методов управления рисками и корпоративного управления для безопасного, ответственного и эффективного внедрения этой технологии. Вот несколько ключевых вопросов, которые следует рассмотреть:
Рассматривает ли наша политика в области ИИ агентские системы и их уникальные риски? Ответ на этот вопрос начинается с обновления существующих политик, стандартов и процессов в области ИИ, таких как управление идентификацией и доступом (IAM) и управление рисками третьих сторон (TPRM), с учетом новых возможностей агентских систем. Например, в контексте IAM организации должны определить роли и процессы утверждения агентов для защиты взаимодействия с данными, системами и пользователями. Аналогичным образом, им следует определить и проанализировать взаимодействие агентских решений, приобретенных у третьих сторон, с внутренними ресурсами.
Организациям также приходится учитывать постоянно меняющийся характер правил, регулирующих использование ИИ. Для начала им следует определить правила, которым они подчиняются. Например, статья 22 Общего регламента по защите данных Европейского союза (GDPR) ограничивает использование ИИ, предоставляя отдельным лицам право отклонять решения, основанные исключительно на автоматизированной обработке. В Соединенных Штатах отраслевые законы, такие как Закон о равных возможностях кредитования (ECOA), устанавливают требования к системам ИИ для предотвращения дискриминации. Кроме того, инициативы на уровне штатов, такие как местный закон № 144 города Нью-Йорка, предусматривают проведение аудита предвзятости для автоматизированных инструментов принятия решений о найме, что свидетельствует о растущей тенденции к ответственности ИИ. В настоящее время принимаются новые правила, регулирующие использование ИИ, такие как Закон ЕС об ИИ, которые вступят в силу в полном объеме в течение следующих трех лет. В этой быстро меняющейся нормативной среде, где многие требования остаются неясными, консервативный подход, предполагающий прогнозирование возможных стандартов, таких как человеческий надзор, защита данных и справедливость, может помочь организациям оставаться на шаг впереди и избегать дорогостоящих пересмотров требований в будущем.
Готова ли наша программа управления рисками к управлению рисками, связанными с агентским ИИ? Корпоративные фреймворки кибербезопасности, такие как ISO 27001, фреймворк кибербезопасности Национального института стандартов и технологий (NIST CSF) и SOC 2, фокусируются на системах, процессах и людях. Они пока не в полной мере учитывают автономных агентов, которые могут действовать по своему усмотрению и адаптироваться. Чтобы преодолеть этот пробел, организации могут пересмотреть свою таксономию рисков, чтобы явно учитывать новые риски, связанные с агентским ИИ.
Для каждого варианта использования агентного ИИ в портфеле ИИ организации технические руководители должны выявлять и оценивать соответствующие организационные риски и, при необходимости, обновлять свою методологию оценки рисков, чтобы иметь возможность измерять риски, связанные с агентным ИИ. Без такой прозрачности риски, возникающие в результате использования агентного ИИ, грозят стать «черным ящиком» даже в большей степени, чем то, что мы наблюдали в случае аналитического или генного ИИ.
Есть ли надежное управление ИИ на протяжении всего жизненного цикла? Для создания системы управления необходимо определить стандартизированные процессы надзора, включая права собственности и обязанности в рамках процедур подключения, развертывания и отключения ИИ; мониторинг и обнаружение аномалий, привязанные к ключевым показателям эффективности (KPI); определение триггеров для эскалации; и разработку стандартов ответственности за действия агентов. Для каждого решения агентского ИИ в портфеле организации должны начать с перечисления технических деталей, таких как базовая модель, место размещения и используемые источники данных, а также критичность варианта использования, контекстную конфиденциальность данных, права доступа и межагентские зависимости. Затем им следует четко определить права собственности на каждый вариант использования, с контролем со стороны человека и ответственными заинтересованными сторонами за принятие решений, безопасность и соответствие требованиям, а также определить и распределить ресурсы для управления рисками.
Особенно на экспериментальной или пилотной стадии проекты ИИ имеют тенденцию к быстрому росту без адекватного контроля, что может усложнить управление рисками или обеспечение соблюдения принципов управления.
После решения вышеперечисленных основополагающих вопросов и внедрения структуры и политик управления рисками агентского ИИ организациям следует четко понимать, что именно они разрабатывают, учитывая сопутствующие риски и требования к соблюдению нормативных требований для каждого проекта. Ответы на следующие вопросы помогут обеспечить соответствие амбиций и готовности к реализации:
Как сохранить контроль над инициативами агентов и обеспечить надзор за всеми проектами? Особенно на экспериментальном или пилотном этапе проекты ИИ быстро разрастаются без адекватного контроля, что может затруднить управление рисками и обеспечение надлежащего управления. Организациям следует создать четкую, централизованно управляемую и ориентированную на бизнес систему управления портфелем ИИ, которая обеспечит надзор со стороны служб ИТ-рисков, информационной безопасности и соответствия ИТ-требованиям. Эта система должна обеспечивать полную прозрачность в отношении владения бизнесом, ИТ и безопасностью; подробное описание вариантов использования; список данных, предоставленных агенту для обучения, взаимодействия (например, подключенных API) или и того, и другого; и статус данных. Репозиторий также должен включать все агентские системы, которые в настоящее время находятся в разработке, пилотируются или планируются бизнес-подразделениями. Это может помочь организациям избежать экспериментального и неконтролируемого развертывания моделей с потенциально непреднамеренными критическими точками риска.
Есть ли возможности для поддержки и защиты систем агентского ИИ? Чтобы обеспечить успех пилотных проектов агентского ИИ, организациям следует оценить свой текущий уровень навыков, знаний и ресурсов в соответствии с планом развития агентов, включая проектирование безопасности ИИ, тестирование безопасности, моделирование угроз, а также навыки, необходимые для управления, соответствия требованиям и управления рисками. Затем им следует выявить пробелы в навыках и ресурсах, существующие между амбициями агентов и возможностями безопасности, и запустить информационно-просветительские кампании для их сокращения, одновременно определяя критически важные роли на основе жизненного цикла ИИ. Например, организациям, не обладающим знаниями об угрозах, связанных с ИИ, необходимо будет повысить квалификацию инженеров по безопасности в области моделирования угроз для моделей и агентов ИИ.
После запуска сценариев использования и пилотных проектов организациям необходимо обеспечить соблюдение пилотных проектов с помощью технических и процедурных мер контроля. Эти меры контроля следует регулярно пересматривать, чтобы гарантировать их актуальность и эффективность по мере совершенствования и масштабирования агентных систем.
- Цепочка уязвимостей. Ошибка в одном агенте распространяется каскадом по задачам на других агентов, увеличивая риски.
- Эскалация задач между агентами. Вредоносные агенты используют механизмы доверия для получения несанкционированных привилегий.
- Риск синтетической идентификации. Злоумышленники подделывают или выдают себя за агентов, чтобы обойти механизмы доверия.
- Неотслеживаемая утечка данных. Автономные агенты, обменивающиеся данными без контроля, скрывают утечки и уклоняются от проверок.
- Распространение искажения данных. Данные низкого качества незаметно влияют на решения, принимаемые агентами.
Подобные ошибки грозят подорвать доверие к бизнес-процессам и решениям, которые агентские системы призваны автоматизировать, сводя на нет любой прирост эффективности, который они обеспечивают. К счастью, это не неизбежно. Агентский ИИ может раскрыть свой потенциал, но только если принципы безопасности, описанные ниже, будут внедрены в систему с самого начала.
Для каждого варианта использования агента в портфеле ИИ организации технические руководители должны выявить и оценить соответствующие организационные риски и, при необходимости, обновить свою методологию оценки рисков.
Руководящие принципы обеспечения безопасности агентского ИИ
Для безопасного внедрения агентного ИИ организации могут использовать структурированный многоуровневый подход. Ниже мы предлагаем практическую дорожную карту, которая описывает ключевые вопросы, которые следует задать технологическим лидерам для оценки готовности, снижения рисков и обеспечения уверенного внедрения агентных систем. Процесс начинается с обновления систем управления рисками и управления, затем следует создание механизмов надзора и повышения осведомленности, а завершается внедрением средств контроля безопасности.
Перед развертыванием агента
Прежде чем организация начнет использовать автономных агентов, ей следует убедиться в наличии необходимых мер безопасности, методов управления рисками и корпоративного управления для безопасного, ответственного и эффективного внедрения этой технологии. Вот несколько ключевых вопросов, которые следует рассмотреть:
Рассматривает ли наша политика в области ИИ агентские системы и их уникальные риски? Ответ на этот вопрос начинается с обновления существующих политик, стандартов и процессов в области ИИ, таких как управление идентификацией и доступом (IAM) и управление рисками третьих сторон (TPRM), с учетом новых возможностей агентских систем. Например, в контексте IAM организации должны определить роли и процессы утверждения агентов для защиты взаимодействия с данными, системами и пользователями. Аналогичным образом, им следует определить и проанализировать взаимодействие агентских решений, приобретенных у третьих сторон, с внутренними ресурсами.
Организациям также приходится учитывать постоянно меняющийся характер правил, регулирующих использование ИИ. Для начала им следует определить правила, которым они подчиняются. Например, статья 22 Общего регламента по защите данных Европейского союза (GDPR) ограничивает использование ИИ, предоставляя отдельным лицам право отклонять решения, основанные исключительно на автоматизированной обработке. В Соединенных Штатах отраслевые законы, такие как Закон о равных возможностях кредитования (ECOA), устанавливают требования к системам ИИ для предотвращения дискриминации. Кроме того, инициативы на уровне штатов, такие как местный закон № 144 города Нью-Йорка, предусматривают проведение аудита предвзятости для автоматизированных инструментов принятия решений о найме, что свидетельствует о растущей тенденции к ответственности ИИ. В настоящее время принимаются новые правила, регулирующие использование ИИ, такие как Закон ЕС об ИИ, которые вступят в силу в полном объеме в течение следующих трех лет. В этой быстро меняющейся нормативной среде, где многие требования остаются неясными, консервативный подход, предполагающий прогнозирование возможных стандартов, таких как человеческий надзор, защита данных и справедливость, может помочь организациям оставаться на шаг впереди и избегать дорогостоящих пересмотров требований в будущем.
Готова ли наша программа управления рисками к управлению рисками, связанными с агентским ИИ? Корпоративные фреймворки кибербезопасности, такие как ISO 27001, фреймворк кибербезопасности Национального института стандартов и технологий (NIST CSF) и SOC 2, фокусируются на системах, процессах и людях. Они пока не в полной мере учитывают автономных агентов, которые могут действовать по своему усмотрению и адаптироваться. Чтобы преодолеть этот пробел, организации могут пересмотреть свою таксономию рисков, чтобы явно учитывать новые риски, связанные с агентским ИИ.
Для каждого варианта использования агентного ИИ в портфеле ИИ организации технические руководители должны выявлять и оценивать соответствующие организационные риски и, при необходимости, обновлять свою методологию оценки рисков, чтобы иметь возможность измерять риски, связанные с агентным ИИ. Без такой прозрачности риски, возникающие в результате использования агентного ИИ, грозят стать «черным ящиком» даже в большей степени, чем то, что мы наблюдали в случае аналитического или генного ИИ.
Есть ли надежное управление ИИ на протяжении всего жизненного цикла? Для создания системы управления необходимо определить стандартизированные процессы надзора, включая права собственности и обязанности в рамках процедур подключения, развертывания и отключения ИИ; мониторинг и обнаружение аномалий, привязанные к ключевым показателям эффективности (KPI); определение триггеров для эскалации; и разработку стандартов ответственности за действия агентов. Для каждого решения агентского ИИ в портфеле организации должны начать с перечисления технических деталей, таких как базовая модель, место размещения и используемые источники данных, а также критичность варианта использования, контекстную конфиденциальность данных, права доступа и межагентские зависимости. Затем им следует четко определить права собственности на каждый вариант использования, с контролем со стороны человека и ответственными заинтересованными сторонами за принятие решений, безопасность и соответствие требованиям, а также определить и распределить ресурсы для управления рисками.
Особенно на экспериментальной или пилотной стадии проекты ИИ имеют тенденцию к быстрому росту без адекватного контроля, что может усложнить управление рисками или обеспечение соблюдения принципов управления.
Перед запуском использования агента
После решения вышеперечисленных основополагающих вопросов и внедрения структуры и политик управления рисками агентского ИИ организациям следует четко понимать, что именно они разрабатывают, учитывая сопутствующие риски и требования к соблюдению нормативных требований для каждого проекта. Ответы на следующие вопросы помогут обеспечить соответствие амбиций и готовности к реализации:
Как сохранить контроль над инициативами агентов и обеспечить надзор за всеми проектами? Особенно на экспериментальном или пилотном этапе проекты ИИ быстро разрастаются без адекватного контроля, что может затруднить управление рисками и обеспечение надлежащего управления. Организациям следует создать четкую, централизованно управляемую и ориентированную на бизнес систему управления портфелем ИИ, которая обеспечит надзор со стороны служб ИТ-рисков, информационной безопасности и соответствия ИТ-требованиям. Эта система должна обеспечивать полную прозрачность в отношении владения бизнесом, ИТ и безопасностью; подробное описание вариантов использования; список данных, предоставленных агенту для обучения, взаимодействия (например, подключенных API) или и того, и другого; и статус данных. Репозиторий также должен включать все агентские системы, которые в настоящее время находятся в разработке, пилотируются или планируются бизнес-подразделениями. Это может помочь организациям избежать экспериментального и неконтролируемого развертывания моделей с потенциально непреднамеренными критическими точками риска.
Есть ли возможности для поддержки и защиты систем агентского ИИ? Чтобы обеспечить успех пилотных проектов агентского ИИ, организациям следует оценить свой текущий уровень навыков, знаний и ресурсов в соответствии с планом развития агентов, включая проектирование безопасности ИИ, тестирование безопасности, моделирование угроз, а также навыки, необходимые для управления, соответствия требованиям и управления рисками. Затем им следует выявить пробелы в навыках и ресурсах, существующие между амбициями агентов и возможностями безопасности, и запустить информационно-просветительские кампании для их сокращения, одновременно определяя критически важные роли на основе жизненного цикла ИИ. Например, организациям, не обладающим знаниями об угрозах, связанных с ИИ, необходимо будет повысить квалификацию инженеров по безопасности в области моделирования угроз для моделей и агентов ИИ.
Во время развертывания варианта использования агентского ИИ
После запуска сценариев использования и пилотных проектов организациям необходимо обеспечить соблюдение пилотных проектов с помощью технических и процедурных мер контроля. Эти меры контроля следует регулярно пересматривать, чтобы гарантировать их актуальность и эффективность по мере совершенствования и масштабирования агентных систем.
Вот несколько ключевых вопросов, которые следует рассмотреть:
Готовы ли мы к межагентному взаимодействию и защищены ли эти соединения? Агенты ИИ взаимодействуют не только с пользователями-людьми, но и с другими агентами ИИ. Организациям крайне важно обеспечить безопасность такого взаимодействия агентов, особенно в условиях роста многоагентных экосистем. Протоколы управления взаимодействием агентов, такие как протокол контекста модели Anthropic, протокол подключения агентов Cisco, протокол Agent2Agent от Google и протокол связи агентов IBM, находятся в стадии разработки, но пока не достигли полной зрелости. Следя за развитием протоколов, руководители технологических компаний должны также обеспечить аутентификацию, протоколирование и надлежащее разрешение межагентного взаимодействия. Вместо того, чтобы ждать идеальных стандартов, лучше всего внедрить меры безопасности уже сейчас и планировать обновления по мере появления более безопасных протоколов.
Имеем ли мы контроль над тем, кто может использовать агентские системы и используют ли они их надлежащим образом? Доступ к моделям и ресурсам должен контролироваться и защищаться. Системы управления идентификацией и доступом должны применяться не только к пользователям-людям, но и к агентам ИИ, взаимодействующим с другими агентами, людьми, данными и системными ресурсами. Организации должны определить, какие пользователи, люди или ИИ, имеют право доступа или взаимодействия с такими ресурсами и активами и при каких условиях. Им также следует дополнить IAM защитными барьерами ввода/вывода, чтобы предотвратить ненадлежащее использование агентов, манипулирование ими или их небезопасное поведение посредством враждебных подсказок или несогласованных целей. Кроме того, организациям необходимо тщательно контролировать способы взаимодействия сторонних агентов ИИ с внутренними ресурсами, чтобы гарантировать их соответствие тем же требованиям безопасности, управления и этики, что и внутренние системы.
Можно ли отслеживать действия агентов, понимать и объяснять их поведение? Агентские системы должны создаваться с механизмами отслеживания с самого начала. Это означает регистрацию не только действий агентов, но и подсказок, решений, изменений внутреннего состояния, промежуточных рассуждений и результатов, которые привели к такому поведению. Такие системы необходимы для обеспечения аудита, анализа первопричин, соответствия нормативным требованиям и анализа после инцидентов. Организациям следует регулярно проводить оценку эффективности, чтобы оценить, соответствуют ли агенты своему назначению.
Есть ли план действий на случай сбоя агента или его непредвиденного поведения? Даже хорошо спроектированные агенты могут выйти из строя, быть поврежденными или стать жертвой злоумышленников. Перед развертыванием организациям следует разработать план действий на случай сбоя, включая надлежащие меры безопасности, для каждого критически важного агента. Это начинается с моделирования наихудших сценариев, таких как отсутствие ответа агента, отклонение от ожидаемой цели, намеренное злонамеренное поведение или эскалация задач без разрешения. Затем организациям следует обеспечить наличие механизмов завершения работы и запасных решений. Наконец, следует развертывать агенты в автономных средах с четко определенным доступом к сети и данным. Это также позволяет обеспечить немедленную изоляцию при необходимости.
Выявляя и внедряя эффективные средства контроля, организации могут проактивно снижать риски, связанные с ИИ-агентами, а не реагировать на них реактивно. Например, поддержание согласованного портфеля ИИ-агентов и надёжное ведение журналов ИИ позволяет отслеживать обмен данными между агентами, тем самым снижая риск неотслеживаемой утечки данных. Кроме того, внедрение плана действий ИИ на случай непредвиденных обстоятельств и среды «песочницы» в сочетании с IAM и защитными барьерами позволяет эффективно изолировать ИИ-агента, пытающегося несанкционированно повысить привилегии посредством эскалации задач между агентами.
Появление агентов неизбежно. По мере того, как всё больше компаний внедряют агентов на основе ИИ, возникнут новые проблемы с сохранением конфиденциальности и целостности данных и систем. В настоящее время лица, принимающие решения, сталкиваются с необходимостью сбалансировать поддержку бизнеса со структурированным подходом к управлению рисками, связанными с безопасностью агентов; в конце концов, никто не хочет стать первым примером катастрофы, связанной с безопасностью агентов на основе ИИ. ИТ-директора, директора по управлению рисками и руководители служб информационной безопасности должны незамедлительно начать важные обсуждения со своими коллегами, чтобы получить прозрачную информацию о текущем состоянии внедрения агентов на основе ИИ в организации и начать создавать необходимые барьеры. Тщательные и целенаправленные действия сейчас помогут обеспечить успешное масштабирование в будущем.
В настоящее время агентские транзакции остаются цифровыми, но траектория указывает на ещё более радикальное будущее, включая воплощённых агентов, действующих в физическом мире. Последствия для безопасности станут ещё более серьёзными, поэтому ещё важнее подготовить прочный фундамент уже сегодня.
Безопасное развертывание агентного ИИ: руководство для лидеров в области технологий. 16 октября 2025 г. Статья. Бенджамин Кляйн, Чарли Льюис, Рич Айзенберг, Данте Габриелли, Хелен Мёллеринг, Рафаэль Энглер.
https://www.mckinsey.com/capabilities/risk-and-resilience/our-insights/deploying-agentic-ai-with-safety-and-security-a-playbook-for-technology-leaders
Deploying agentic AI with safety and security: A playbook for technology leaders. October 16, 2025.
Готовы ли мы к межагентному взаимодействию и защищены ли эти соединения? Агенты ИИ взаимодействуют не только с пользователями-людьми, но и с другими агентами ИИ. Организациям крайне важно обеспечить безопасность такого взаимодействия агентов, особенно в условиях роста многоагентных экосистем. Протоколы управления взаимодействием агентов, такие как протокол контекста модели Anthropic, протокол подключения агентов Cisco, протокол Agent2Agent от Google и протокол связи агентов IBM, находятся в стадии разработки, но пока не достигли полной зрелости. Следя за развитием протоколов, руководители технологических компаний должны также обеспечить аутентификацию, протоколирование и надлежащее разрешение межагентного взаимодействия. Вместо того, чтобы ждать идеальных стандартов, лучше всего внедрить меры безопасности уже сейчас и планировать обновления по мере появления более безопасных протоколов.
Имеем ли мы контроль над тем, кто может использовать агентские системы и используют ли они их надлежащим образом? Доступ к моделям и ресурсам должен контролироваться и защищаться. Системы управления идентификацией и доступом должны применяться не только к пользователям-людям, но и к агентам ИИ, взаимодействующим с другими агентами, людьми, данными и системными ресурсами. Организации должны определить, какие пользователи, люди или ИИ, имеют право доступа или взаимодействия с такими ресурсами и активами и при каких условиях. Им также следует дополнить IAM защитными барьерами ввода/вывода, чтобы предотвратить ненадлежащее использование агентов, манипулирование ими или их небезопасное поведение посредством враждебных подсказок или несогласованных целей. Кроме того, организациям необходимо тщательно контролировать способы взаимодействия сторонних агентов ИИ с внутренними ресурсами, чтобы гарантировать их соответствие тем же требованиям безопасности, управления и этики, что и внутренние системы.
Можно ли отслеживать действия агентов, понимать и объяснять их поведение? Агентские системы должны создаваться с механизмами отслеживания с самого начала. Это означает регистрацию не только действий агентов, но и подсказок, решений, изменений внутреннего состояния, промежуточных рассуждений и результатов, которые привели к такому поведению. Такие системы необходимы для обеспечения аудита, анализа первопричин, соответствия нормативным требованиям и анализа после инцидентов. Организациям следует регулярно проводить оценку эффективности, чтобы оценить, соответствуют ли агенты своему назначению.
Есть ли план действий на случай сбоя агента или его непредвиденного поведения? Даже хорошо спроектированные агенты могут выйти из строя, быть поврежденными или стать жертвой злоумышленников. Перед развертыванием организациям следует разработать план действий на случай сбоя, включая надлежащие меры безопасности, для каждого критически важного агента. Это начинается с моделирования наихудших сценариев, таких как отсутствие ответа агента, отклонение от ожидаемой цели, намеренное злонамеренное поведение или эскалация задач без разрешения. Затем организациям следует обеспечить наличие механизмов завершения работы и запасных решений. Наконец, следует развертывать агенты в автономных средах с четко определенным доступом к сети и данным. Это также позволяет обеспечить немедленную изоляцию при необходимости.
Выявляя и внедряя эффективные средства контроля, организации могут проактивно снижать риски, связанные с ИИ-агентами, а не реагировать на них реактивно. Например, поддержание согласованного портфеля ИИ-агентов и надёжное ведение журналов ИИ позволяет отслеживать обмен данными между агентами, тем самым снижая риск неотслеживаемой утечки данных. Кроме того, внедрение плана действий ИИ на случай непредвиденных обстоятельств и среды «песочницы» в сочетании с IAM и защитными барьерами позволяет эффективно изолировать ИИ-агента, пытающегося несанкционированно повысить привилегии посредством эскалации задач между агентами.
Безопасность агентов не может быть второстепенной задачей
Появление агентов неизбежно. По мере того, как всё больше компаний внедряют агентов на основе ИИ, возникнут новые проблемы с сохранением конфиденциальности и целостности данных и систем. В настоящее время лица, принимающие решения, сталкиваются с необходимостью сбалансировать поддержку бизнеса со структурированным подходом к управлению рисками, связанными с безопасностью агентов; в конце концов, никто не хочет стать первым примером катастрофы, связанной с безопасностью агентов на основе ИИ. ИТ-директора, директора по управлению рисками и руководители служб информационной безопасности должны незамедлительно начать важные обсуждения со своими коллегами, чтобы получить прозрачную информацию о текущем состоянии внедрения агентов на основе ИИ в организации и начать создавать необходимые барьеры. Тщательные и целенаправленные действия сейчас помогут обеспечить успешное масштабирование в будущем.
В настоящее время агентские транзакции остаются цифровыми, но траектория указывает на ещё более радикальное будущее, включая воплощённых агентов, действующих в физическом мире. Последствия для безопасности станут ещё более серьёзными, поэтому ещё важнее подготовить прочный фундамент уже сегодня.
Источник
Безопасное развертывание агентного ИИ: руководство для лидеров в области технологий. 16 октября 2025 г. Статья. Бенджамин Кляйн, Чарли Льюис, Рич Айзенберг, Данте Габриелли, Хелен Мёллеринг, Рафаэль Энглер.
https://www.mckinsey.com/capabilities/risk-and-resilience/our-insights/deploying-agentic-ai-with-safety-and-security-a-playbook-for-technology-leaders
Deploying agentic AI with safety and security: A playbook for technology leaders. October 16, 2025.
Комментариев нет:
Отправить комментарий