четверг, 19 ноября 2026 г.

Очередная история про агентов и взломы

Разработчик из австралийской компании попросил агента забронировать ему утреннее занятие в спортзале. Но мест для записи не оказалось, и агент внес хозяина в лист ожидания, где он оказался четвертым. На что пользователь спросил, нельзя ли как-нибудь поднять его выше.

Ну и тут моделька (к слову, это был Claude) не растерялась, порылась и нашла критическую ошибку в API, которая позволяла ей отменять чужие записи. После этого она отменила бронь первого клиента в листе ожидания, чтобы переместить своего хозяина на одно место вперед в очереди (да-да, всего на одно, задача же звучала именно так).

Самое интересное, что агент честно заявил своему пользователю о том, что сделал, не видя в этом абсолютно ничего плохого. А на просьбу разработчика вернуть бронь другого человека обратно ответил: «Ой, я не могу». Вижу цель – не вижу препятствий.

* * *

Безопасность ERP-систем не успевает за взрывным ростом внедрения ИИ-агентов, создавая новый класс угроз: легитимные ИИ-агенты с валидными правами доступа могут наносить ущерб бизнес-системам без каких-либо взломов или нарушений периметра безопасности.

Роланд Палмер, CISO и вице-президент по безопасности JumpCloud, выделяет принципиально новую категорию рисков:

"В этой категории нет атакующего. Вместо этого — агент с легитимным доступом, делающий то, что ему было поручено. Никакого взлома, все учетные данные валидны, все разрешения выданы."

Как это происходит?

  • ИИ-агенты с правильно настроенными правами могут быть манипулированы через prompt injection (внедрение вредоносных инструкций в промпты).
  • Они могут извлекать конфиденциальные данные или совершать разрушительные действия.
  • При этом не нарушается ни одно правило безопасности — все логи показывают легитимную активность.
  • Это не взлом в традиционном понимании, а злоупотребление легитимными полномочиями.

В компании Onapsis подчеркивают: решения по безопасности должны закладываться на этапе проектирования агентов, а не добавляться постфактум.

  • Каждый агент должен иметь уникальную идентичность.
  • Минимально необходимые разрешения для выполнения конкретных задач.
  • Доступ только к тем инструментам, которые реально нужны.
  • Это ограничивает «радиус взрыва» при компрометации агента.

Команда Палмера относится к каждому ИИ-агенту как к новому сотруднику:

  • Выдается идентичность и минимальные начальные разрешения.
  • Доступ расширяется постепенно, по мере доказательства надежности.
  • Обязательный человеческий надзор — в конечном счете человек должен нести ответственность за решения агента.

Массовое внедрение ИИ-агентов в ERP-системы создает экзистенциальную проблему для традиционных моделей безопасности. Старые подходы, фокусирующиеся на защите периметра и предотвращении несанкционированного доступа, бессильны против легитимных агентов, которые были манипулированы или совершают ошибки.

Компаниям необходимо срочно перейти от модели «доверяй, но проверяй» к модели «никому не доверяй по умолчанию» (Zero Trust), где каждый ИИ-агент рассматривается как потенциальный вектор атаки, даже если у него есть все правильные учетные данные. Это требует фундаментального пересмотра архитектуры безопасности корпоративных систем.

Комментариев нет:

Отправить комментарий