Ну и тут моделька (к слову, это был Claude) не растерялась, порылась и нашла критическую ошибку в API, которая позволяла ей отменять чужие записи. После этого она отменила бронь первого клиента в листе ожидания, чтобы переместить своего хозяина на одно место вперед в очереди (да-да, всего на одно, задача же звучала именно так).
Самое интересное, что агент честно заявил своему пользователю о том, что сделал, не видя в этом абсолютно ничего плохого. А на просьбу разработчика вернуть бронь другого человека обратно ответил: «Ой, я не могу». Вижу цель – не вижу препятствий.
* * *
Безопасность ERP-систем не успевает за взрывным ростом внедрения ИИ-агентов, создавая новый класс угроз: легитимные ИИ-агенты с валидными правами доступа могут наносить ущерб бизнес-системам без каких-либо взломов или нарушений периметра безопасности.
Роланд Палмер, CISO и вице-президент по безопасности JumpCloud, выделяет принципиально новую категорию рисков:
"В этой категории нет атакующего. Вместо этого — агент с легитимным доступом, делающий то, что ему было поручено. Никакого взлома, все учетные данные валидны, все разрешения выданы."
Как это происходит?
В компании Onapsis подчеркивают: решения по безопасности должны закладываться на этапе проектирования агентов, а не добавляться постфактум.
Команда Палмера относится к каждому ИИ-агенту как к новому сотруднику:
Массовое внедрение ИИ-агентов в ERP-системы создает экзистенциальную проблему для традиционных моделей безопасности. Старые подходы, фокусирующиеся на защите периметра и предотвращении несанкционированного доступа, бессильны против легитимных агентов, которые были манипулированы или совершают ошибки.
Компаниям необходимо срочно перейти от модели «доверяй, но проверяй» к модели «никому не доверяй по умолчанию» (Zero Trust), где каждый ИИ-агент рассматривается как потенциальный вектор атаки, даже если у него есть все правильные учетные данные. Это требует фундаментального пересмотра архитектуры безопасности корпоративных систем.
Роланд Палмер, CISO и вице-президент по безопасности JumpCloud, выделяет принципиально новую категорию рисков:
"В этой категории нет атакующего. Вместо этого — агент с легитимным доступом, делающий то, что ему было поручено. Никакого взлома, все учетные данные валидны, все разрешения выданы."
Как это происходит?
- ИИ-агенты с правильно настроенными правами могут быть манипулированы через prompt injection (внедрение вредоносных инструкций в промпты).
- Они могут извлекать конфиденциальные данные или совершать разрушительные действия.
- При этом не нарушается ни одно правило безопасности — все логи показывают легитимную активность.
- Это не взлом в традиционном понимании, а злоупотребление легитимными полномочиями.
В компании Onapsis подчеркивают: решения по безопасности должны закладываться на этапе проектирования агентов, а не добавляться постфактум.
- Каждый агент должен иметь уникальную идентичность.
- Минимально необходимые разрешения для выполнения конкретных задач.
- Доступ только к тем инструментам, которые реально нужны.
- Это ограничивает «радиус взрыва» при компрометации агента.
Команда Палмера относится к каждому ИИ-агенту как к новому сотруднику:
- Выдается идентичность и минимальные начальные разрешения.
- Доступ расширяется постепенно, по мере доказательства надежности.
- Обязательный человеческий надзор — в конечном счете человек должен нести ответственность за решения агента.
Массовое внедрение ИИ-агентов в ERP-системы создает экзистенциальную проблему для традиционных моделей безопасности. Старые подходы, фокусирующиеся на защите периметра и предотвращении несанкционированного доступа, бессильны против легитимных агентов, которые были манипулированы или совершают ошибки.
Компаниям необходимо срочно перейти от модели «доверяй, но проверяй» к модели «никому не доверяй по умолчанию» (Zero Trust), где каждый ИИ-агент рассматривается как потенциальный вектор атаки, даже если у него есть все правильные учетные данные. Это требует фундаментального пересмотра архитектуры безопасности корпоративных систем.
Комментариев нет:
Отправить комментарий