Масштабирование агентского ИИ

Агентный ИИ масштабируется на основе качественных данных. Для получения выгоды технологические лидеры могут внедрять агентные методы в высокоэффективные рабочие процессы, модернизировать архитектуры данных, обеспечивать качество данных и развивать операционные модели.

Прочность дома определяется фундаментом. Именно это быстро начинают понимать и компании, работающие с агентным ИИ. Почти две трети предприятий по всему миру экспериментировали с агентами, но менее 10% смогли масштабировать их до уровня, обеспечивающего ощутимую выгоду. Часто виной тому нестабильные данные; восемь из десяти компаний называют ограничения в данных препятствием для масштабирования агентного ИИ. Решение этой проблемы является ключевым элементом построения прочной основы для развития потенциала — и именно это отличает компании, которые создают ценность с помощью ИИ, от тех, кто этого не делает.

Хотя компаниям часто удавалось преодолевать проблемы фрагментированных и разрозненных данных, управлять ими в больших масштабах невозможно. Непоследовательное управление данными лишь усугубило проблему сохранения контекста данных при одновременном обеспечении контроля доступа, отслеживаемости происхождения и возможности аудита.

Данные — это основа агентного ИИ.

Многие компании уже внедрили ИИ в свою деятельность. Теперь они делают следующий шаг, внедряя агентный ИИ , стремясь автоматизировать сложные бизнес-процессы. Но для надежной работы в масштабах, агентному ИИ необходим постоянный поток высококачественных данных.

Успех агентного ИИ зависит от архитектуры данных, способной поддерживать все более высокий уровень автономности, координации и принятия решений в режиме реального времени. Зачастую это выглядит как модульные, совместимые структуры, предоставляющие агентам надежный доступ к данным, необходимым для безопасной работы. Хотя генеративный ИИ уже продемонстрировал необходимость контроля доступа к данным, отслеживания происхождения и прослеживаемости, агентные платформы оказывают большее оперативное давление на эти основы. Поскольку агентный ИИ непрерывно координирует множество моделей и источников данных, часто без вмешательства человека, он требует более жесткого и автоматизированного управления для обеспечения надежности и контроля в масштабе.

Семь принципов архитектуры данных, обеспечивающих масштабируемость.

• Рассматривайте ввод данных как продукт. Обеспечьте простой и единообразный процесс ввода всех данных — пакетных, в реальном времени, структурированных или неструктурированных — один раз в компанию, чтобы они были доступны для всех.
• Делитесь смыслом, а не просто данными. Обеспечьте наличие четких, общепринятых определений данных, чтобы аналитики, модели ИИ и агенты понимали их одинаково.
• Используйте единую базу данных для аналитики и ИИ. Создавайте данные один раз и используйте их повсюду — для отчетов, машинного обучения и генерации ИИ — вместо того, чтобы запускать отдельные конвейеры и платформы.
• Внедрите доверие в платформу по умолчанию. Безопасность, контроль доступа, конфиденциальность и управление ИИ должны быть автоматическими, а не добавляться позже или управляться вручную.
• Предоставляйте доступ к возможностям через стабильные интерфейсы. Предлагайте понятные API и модели точек доступа, чтобы команды могли надежно создавать приложения и решения на основе ИИ без доработок.
• Сделайте поведение видимым и измеримым. Постоянно отслеживайте качество данных, производительность модели, скорость и стоимость, чтобы выявлять проблемы на ранних стадиях и совершенствовать системы с течением времени.
• Обеспечьте контролируемый способ запуска агентов и приложений ИИ. Координируйте работу агентов и приложений ИИ через общий уровень выполнения, который обеспечивает соблюдение корпоративных правил и ограничений.

Выделяются два типа агентных систем: одноагентные рабочие процессы, где один агент последовательно использует несколько инструментов и источников данных; и многоагентные рабочие процессы, где специализированные агенты сотрудничают посредством общих графов знаний и детального доступа к данным. Оба типа требуют согласованных и совместимых данных, без которых агенты могут давать сбои. Одиночные агенты могут принимать противоречивые решения на основе фрагментированных данных, в то время как многоагентные системы могут терять координацию и распространять ошибки.

Как подготовить данные для агентного ИИ

Для масштабной трансформации в организацию, управляемую собственными силами, компании могут начать с создания базовых возможностей работы с данными. Это требует не только технологической, но и организационной перезагрузки. Дело в том, что стратегия работы с данными и операционная модель компании так же важны, как и качество и архитектура базовых данных. Успех зависит от четырех скоординированных шагов, связывающих стратегию, технологии и людей:

Шаг 1: Определите наиболее эффективные рабочие процессы для «агентизации». Организации могут определить небольшое количество высокоценных сквозных рабочих процессов, где повышение автономии может принести ощутимые результаты. Опираясь на устоявшиеся подходы к созданию продуктов на основе данных , руководители могут расставить приоритеты в использовании агентских сценариев, исходя из потенциальной ценности, осуществимости и стратегической целесообразности, прежде чем масштабировать их в более широком масштабе.

Шаг 2: Модернизация каждого уровня архитектуры данных для агентов. Вместо того чтобы перестраивать все с нуля, руководители могут модернизировать существующие платформы для обеспечения совместимости и управления между системами. Хотя у некоторых может возникнуть соблазн использовать достижения в области ИИ для обхода лучших практик архитектуры данных, наиболее сильные организации строят модульные, эволюционные архитектуры с компонентами, которые можно заменять по мере появления новых технологий.

Шаг 3: Обеспечение качества данных. Организациям необходимо перейти от периодической очистки данных к непрерывному управлению качеством в режиме реального времени. Этого можно достичь, обеспечив соответствие как структурированных, так и неструктурированных данных, а также результатов, генерируемых агентами, единым стандартам точности, происхождения и управления.

Шаг 4: Создание операционной и управленческой модели для агентного ИИ. Масштабирование агентного ИИ требует переосмысления способов выполнения работы. Роль человека смещается от исполнения к надзору и координации рабочих процессов, управляемых агентами. В гибридной рабочей среде «человек-агент» четкое управление имеет важное значение для обеспечения прозрачной и безопасной работы агентов в масштабе.

Ниже мы более подробно рассмотрим каждый из четырех этапов.

Определите наиболее эффективные рабочие процессы для «агентизации».

Для большинства организаций путь к получению выгоды от использования агентного ИИ начинается не с полной перестройки всего, а с целенаправленной перестройки нескольких критически важных рабочих процессов в областях с высоким уровнем влияния. Ведущие компании определяют такие области, как управление знаниями или маркетинг, анализируя существующие данные, чтобы точно определить, где находится наибольшая ценность и где повышение автономности может существенно изменить результаты бизнеса. Это требует сначала составления карты сквозных рабочих процессов, а затем определения этапов, на которых агентные возможности могут принести пользу, и соответствующих данных, необходимых этим агентам для выполнения своих задач. Это помогает компаниям расставлять приоритеты в использовании вариантов на основе их потенциальной ценности и осуществимости.

Целенаправленные пилотные проекты с четкими показателями могут подтвердить эффекты. В то же время командам следует определить данные, которые можно повторно использовать в различных задачах и рабочих процессах. Такой акцент на повторном использовании имеет решающее значение для разработки масштабируемых моделей.

Модернизируйте каждый уровень архитектуры данных для агентов.

Подготовка архитектуры данных для агентного ИИ требует укрепления и корректировки уровней стека данных. Вместо того чтобы перестраивать системы с нуля, компании могут модернизировать каждый уровень, чтобы улучшить прозрачность и управление рабочими процессами.

Cлой источников данных — это место, куда в корпоративную сеть поступают данные о клиентах, такие как просмотры, списки желаний, история покупок и взаимодействия со службой поддержки. Неструктурированные данные непрерывно поступают, преобразуются и рекомбинируются по мере их поступления в модели, а это значит, что управление ими должно осуществляться параллельно. Проверки качества данных, средства контроля безопасности и отслеживание происхождения должны быть автоматизированы и интегрированы непосредственно в конвейеры обработки данных, а не обрабатываться в виде разовых проверок. Команды, работающие с данными, также создают конвейеры предварительной обработки, которые очищают, обогащают и маркируют данные, добавляя бизнес-контекст и проверки качества, позволяющие агентам интерпретировать информацию и действовать надежно.

Уровень платформы данных объединяет данные из различных систем и делает их пригодными для использования в приложениях и моделях ИИ, организуя доступ, синхронизацию и взаимодействие в реальном времени между системами.

Средства хранения векторной графики и сервисы встраивания необходимы для работы с неструктурированными данными, поэтому они должны быть частью платформы данных. Эти сервисы позволяют осуществлять поиск документов, изображений и другого неструктурированного контента по смыслу, а не по ключевым словам, при этом обеспечивая актуальность этих представлений по мере развития контента.

Добавление стандартов взаимодействия, специфичных для каждого агента. Этот уровень может автоматизировать процессы интеграции и доступа, обеспечивая структурированный обмен контекстной информацией, прямую координацию между агентами и безопасный обмен транзакциями. Несколько агентов, работающих вместе, могли бы, например, получать и обновлять данные в системах учета запасов, выполнения заказов, управления взаимоотношениями с клиентами и платежей в режиме реального времени, координируя действия без потери непрерывности.

На этом уровне агенты могут поддерживать выделенную рабочую память или ограниченный контекст, в то время как доступ к общим данным и контекстной информации регулируется динамически на основе сценариев использования и разрешений. По мере повышения автономности агентов средства управления идентификацией становятся необходимыми для сохранения качества данных, их согласования и возможности аудита.

Семантический слой преобразует данные в знания. Он находится между необработанными данными и приложениями искусственного интеллекта, кодифицируя бизнес-значение данных в машиночитаемую форму, понятную человеку. Вместо того чтобы рассматривать данные как разрозненные таблицы или файлы, семантический слой определяет, что представляют собой объекты, как они связаны между собой и какие правила ими управляют.

На практике этот уровень чаще всего реализуется с помощью онтологий и графов знаний. Онтологии определяют, как атрибуты и взаимосвязи между данными в совокупности соответствуют бизнес-реальности. Графы знаний операционализируют этот словарь, связывая данные из реального мира в разных системах в единую сеть сущностей. Без этой общей семантической основы агенты могут действовать на основе неполных или противоречивых интерпретаций одних и тех же данных, что увеличивает количество ошибок и операционные риски по мере роста масштаба.

Продукты на основе данных превращают тщательно отобранные данные в многократно используемые, готовые к применению в бизнесе активы. Они упаковывают данные с четким указанием прав собственности, стандартов качества, семантики и интерфейсов для использования. Благодаря продуктовому подходу компании рассматривают данные как ценный ресурс, который можно повторно использовать в различных сценариях и областях. Многократно используемые продукты на основе данных позволяют агентам получать достоверные прогнозные и генеративные данные в больших масштабах, а наблюдаемость фиксирует, как агенты используют данные, создавая необходимую отслеживаемость для контроля и обеспечивая обратную связь, которая улучшает исходные данные и модели.

Потребление данных находится на вершине всего технологического стека. Эта возможность обеспечивает подачу данных и аналитической информации в рабочие процессы и приложения. Она включает в себя инструменты аналитики и отчетности, API данных, интерфейсы извлечения и выходные данные моделей, встроенные непосредственно в бизнес-процессы. В этот слой интегрированы службы оркестрации и извлечения данных. Системы ИИ динамически формируют контекст — часто из неструктурированных данных — вместо того, чтобы полагаться на предопределенные запросы. Оркестрация позволяет системам ИИ решать, что извлекать, как это уточнять и когда итерировать, а службы извлечения данных обеспечивают безопасный, эффективный и управляемый доступ в масштабе.

Современные архитектуры анализируют выходные данные модели для повышения качества самих данных. Приложения Gen AI могут генерировать метки, модели использования и контекст, которые улучшают качество и поддерживают будущие модели — и эти выходные данные, как и любые другие, необходимо собирать для обучения.

Управление и контроль доступа обеспечивают основные компоненты, которые контролируют взаимодействие агентов с данными, инструментами и моделями контролируемым образом.

Обеспечьте надлежащее качество данных.

В эпоху агентного ИИ тщательно отобранные высококачественные данные становятся стратегическим конкурентным преимуществом. Внедрение базовых моделей может быть дорогостоящим, учитывая затраты на крупномасштабное моделирование, тонкую настройку, инфраструктуру и управление. Организации с хорошо структурированными внутренними наборами данных могут снизить затраты на инвестиции в технологии, тонко настраивая более мелкие, специализированные модели на собственных данных. Эти модели не только более экономичны и ресурсоэффективны, но и более устойчивы и соответствуют требованиям.

Для того чтобы сделать неструктурированные данные пригодными для использования, необходимо улучшить их качество за счет тегирования, классификации, векторного представления и структурирования на основе графов. Это позволяет агентам надежно понимать сущности, отношения и контекст. К неструктурированным данным должны применяться те же стандарты, что и к структурированным.

Компаниям также необходимо совершенствовать методы управления структурированными данными. Вместо периодической очистки организации могут использовать непрерывный мониторинг качества данных в режиме реального времени. Этот процесс поддерживается автоматизированными конвейерами проверки, обнаружения аномалий и обогащения данных с использованием искусственного интеллекта, которые предотвращают распространение проблем между рабочими процессами. Управление метаданными обеспечивает отслеживание происхождения данных и бизнес-контекст, позволяя агентам отслеживать и обосновывать принимаемые решения.

Наконец, по мере того как агенты генерируют новые данные, организации должны применять к их результатам те же стандарты качества, происхождения и согласования. Это включает данные, полученные или записанные с помощью инструментов и API, вызываемых агентами, которые должны работать через управляемые, согласованные интерфейсы, а не в обход корпоративного контроля качества. Общие определения, соответствующие поставленным задачам и встроенные в автоматизированные проверки качества, могут гарантировать, что агенты будут использовать надежную информацию в масштабе предприятия.

Разработайте операционную и управленческую модель для агентного ИИ.

По мере масштабирования агентных систем управление становится основным механизмом контроля. Необходимы четкие и ясные правила, определяющие, что могут делать агенты, к каким данным они имеют доступ и когда требуется одобрение человека, при этом проверки доступа должны автоматически оцениваться для каждого агента в зависимости от его роли и области действия. Важно отметить, что агенты не должны вводить новые правила качества данных или управления; они должны следовать тем же стандартам, что и другие системы, и автоматически применяться по мере повышения автономности.

Хорошо подготовленные агенты могут помочь в этом процессе, при этом агенты-контролеры работают в рамках четко определенной функции управления, постоянно отслеживая деятельность агентов для обеспечения прозрачного и соответствующего требованиям поведения. Например, агенты по обеспечению соответствия требованиям могут проверять изображения и мультимедийные материалы на предмет искажения информации о бренде или нарушений политики и инициировать корректирующие действия.

ИТ-подразделения и службы управления также должны управлять жизненным циклом агентов. Это включает в себя выдачу учетных данных, отслеживание журналов активности, мониторинг производительности и обеспечение соблюдения политик посредством автоматизированных проверок. Активность агентов автоматически фиксируется с помощью встроенной телеметрии, что гарантирует последовательную регистрацию и отслеживаемость действий, доступа к данным и принимаемых решений.

Четкая ответственность за поведение агентов — охватывающая результаты бизнеса, управление рисками и соблюдение политик — имеет решающее значение для масштабируемости. На практике бизнес-подразделения отвечают за повседневное управление рабочими процессами с участием агентов, включая модели доменов и онтологии. В то же время центральные команды по работе с данными и ИИ поддерживают общие платформы, механизмы защиты и контроль. Эта федеративная модель уравновешивает автономию доменов с ответственностью в масштабах всего предприятия.

В эпоху агентного управления лидеры технологической отрасли обнаруживают, что их база данных все чаще определяет конкурентное позиционирование. Однако, несмотря на перспективу использования данных для получения реальной ценности от агентного ИИ, многие организации по-прежнему испытывают трудности с обеспечением доступности и управляемости данных для цифровых агентов. Пришло время осуществить трансформацию данных, которая проложит путь к агентному будущему.

Источник

Создание основы для агентного ИИ в масштабах предприятия. Асин Таваколи; Хеннинг Соллер; Карлос Баррето; Танкреди Бернард Литта Модиньяни. 2 апреля 2026 г. Статья

Building the foundations for agentic AI at scale. April 2, 2026 Article

https://www.mckinsey.com/capabilities/mckinsey-technology/our-insights/building-the-foundations-for-agentic-ai-at-scale

Где ИИ будет создавать ценность

Использование ИИ для повышения производительности вряд ли создаст устойчивое конкурентное преимущество. Реальная ценность ИИ будет заключаться в перестройке предложений, бизнес-моделей и рыночных структур раньше, чем это сделают конкуренты.

Деловой мир сталкивается с парадоксом искусственного интеллекта: внедрение генеративного и агентного ИИ растет, инвестиции ускоряются, но устойчивое влияние на производительность остается труднодостижимым. Эта динамика перекликается с «парадоксом Солоу», вдохновленным остроумным высказыванием экономиста Роберта Солоу о том, что «компьютерный век можно увидеть повсюду, кроме статистики производительности». Согласно недавнему опросу, к концу 2025 года почти девять из десяти компаний внедрили ИИ как минимум в одну из своих бизнес-функций, однако 94% респондентов сообщили, что не видят «значительной» пользы от этих инвестиций. И хотя многие руководители считают ИИ необходимым условием будущей конкурентоспособности своих компаний, до настоящего времени их внимание было сосредоточено в основном на пилотных проектах, направленных на постепенное повышение производительности, а не на более глубокие преобразования.

Это несоответствие свидетельствует о непонимании того, как ИИ создает и перераспределяет экономическую ценность. Повышение производительности вряд ли расширит источники прибыли или обеспечит компаниям устойчивое конкурентное преимущество, поскольку конкуренция, как правило, снижает прирост производительности, принося больше пользы клиентам, чем компаниям, которые его внедряют. Реальная ценность ИИ будет заключаться в изменении предложений, бизнес-моделей и рыночных структур таким образом, чтобы расширить или перераспределить источники прибыли. Самое важное — это не то, как ИИ изменит вашу отрасль, а то, как он изменит экономику конкуренции.

Путь развития революционных технологий прошлого, таких как железные дороги, электричество и компьютеры, указывает на то, как могут развиваться подобные преобразования. Универсальные технологии редко создают ценность в одночасье. Первоначальное повышение производительности увеличивает эффективность, но истинный экономический эффект проявляется позже — когда появляются новые продукты, меняются бизнес-модели и перестраиваются цепочки создания стоимости — часто перераспределяя ценность между участниками отрасли, а не равномерно увеличивая её. Например, когда электричество впервые появилось на заводах, многие предприятия просто заменили паровой двигатель электродвигателем, получив выгоду от повышения эффективности, но оставив схему расположения валов неизменной. Прорыв произошёл позже, когда небольшие двигатели позволили руководителям перестраивать оборудование в соответствии с рабочими процессами, и, в конечном итоге, когда компании перепроектировали свои заводы с учётом использования электричества, создав новые операционные модели.

Руководителям предприятий следует задать себе следующие вопросы: с помощью каких механизмов и с какой скоростью ИИ будет создавать, расширять или изменять источники прибыли? И что это значит для нашей стратегии? В этой статье мы рассмотрим три взаимосвязанные волны изменений: повышение производительности, дифференциация и снижение транзакционных издержек. Повышение производительности будет иметь значение, но вряд ли оно определит победителей. Руководителям необходимо смотреть не только на эффективность, но и на инновации в продуктах и ​​услугах, и в конечном итоге на то, как ИИ изменит структуру отрасли и перераспределит прибыль.

Повышение производительности: быстро становится обязательным условием

Наиболее непосредственное влияние ИИ оказал на производительность. Автоматизируя задачи и оптимизируя рабочие процессы, инструменты ИИ могут существенно повысить скорость, точность и качество, одновременно снижая затраты.

Большинство современных приложений ИИ — это инструменты, ускоряющие выполнение существующих задач. Наибольший эффект достигается при внедрении ИИ во все производственные процессы. Искусственный интеллект, находящийся на переднем крае повышения производительности, начинает динамично и масштабно управлять процессом выполнения задач.

Хотя повышение производительности имеет ценность, оно редко увеличивает прибыль — как правило, оно влияет на минимальный, а не максимальный уровень эффективности отрасли. Стратегическая роль повышения производительности в основном оборонительная и вспомогательная: оно пересматривает ожидания в отношении затрат, скорости и качества, а также высвобождает ресурсы для инвестиций в другие области. Главное исключение в случае с ИИ — это когда повышение производительности в больших масштабах меняет экономику единицы продукции с переменных затрат на постоянные. В таких условиях снижение затрат позволяет увеличить объем производства, что, в свою очередь, еще больше снижает себестоимость единицы продукции, создавая самоподдерживающееся конкурентное преимущество.

Чтобы извлечь выгоду из этой динамики, компаниям необходимо преимущество. Первопроходцы могут быстрее масштабироваться, закрепить за собой более низкие издержки и затруднить конкурентам возможность догнать их, когда выгоды начнут накапливаться. Даже когда эта модель работает в небольших масштабах, компании, которые опережают конкурентов в повышении производительности, могут временно расширить маржу, реинвестировать полученные средства и пересмотреть базовый уровень издержек в отрасли в свою пользу. Эти преимущества ослабевают по мере распространения внедрения, но они могут быть жизненно важными — особенно в отраслях, где позиция по издержкам определяет ценовую власть и инвестиционные возможности.

Дифференциация: стимулирование роста

Инновации в продуктах, услугах и бизнес-моделях – это то, где ИИ выходит за рамки простого улучшения способов выполнения работы и открывает двери для нового роста. Как и в случае с более ранними трансформационными технологиями, наибольшая ценность будет получена не только от ИИ, но и от дополнительных инноваций: перепроектированных процессов, новых продуктов и бизнес-моделей, а также новых экосистемных структур, построенных вокруг базовой технологии.

Организации, извлекающие значительную выгоду из инноваций, основанных на искусственном интеллекте, как правило, создают несколько взаимоусиливающих преимуществ, которые накапливаются и закладывают основу для новых конкурентных преимуществ. По мере распространения возможностей ИИ, преимущество смещается от фиксированных характеристик продукта, ценовой позиции или бренда к преимуществам, основанным на ИИ, которые углубляются с использованием: собственные данные, улучшающие производительность с течением времени; выгоды для клиентов, создаваемые сетевыми эффектами или путем непосредственного внедрения ИИ в рабочие процессы клиентов, что снижает стимулы к переходу на другие решения; и более быстрые циклы обучения и итераций.

Возвращаясь к примеру с промышленностью, внедрение электричества повысило эффективность производства, но только благодаря распределенным электродвигателям, позволившим реорганизовать производство вокруг рабочих процессов, а не вокруг источников энергии, стали возможны конвейерные линии, массовое производство и новые промышленные цепочки поставок. Аналогичным образом, электрификация позволила внедрить холодильное оборудование, что изменило розничную торговлю продуктами питания и глобальные цепочки поставок, а также обеспечила электропитанием городскую инфраструктуру, что преобразило города. Электричество было необходимо, но наибольшее расширение источников прибыли произошло благодаря дополнительным инновациям, которые перестроили отрасли вокруг новой формы энергии.

Похоже, что ИИ следует аналогичной траектории. Фундаментальные модели (включая большие языковые модели) являются мощными инструментами. Однако устойчивая дифференциация будет обеспечиваться не за счет доступа к этим технологиям, которые будут все больше превращаться в товар широкого потребления, а за счет того, как организации используют их для перепроектирования предложений, пересмотра экономической модели бизнеса и реконфигурации экосистем.

Этот процесс, как правило, протекает поэтапно. Первый этап улучшает качество обслуживания клиентов в рамках существующих отраслевых структур. Рассмотрим сервисы вызова такси. Традиционные сети такси распределяли поездки в основном за счет физической очереди — следующего доступного водителя в очереди. Такие компании, как Uber и Lyft, распределяют поездки алгоритмически, назначая водителя, ближайшего к клиенту, сокращая время ожидания, повышая прозрачность и улучшая использование активов. Базовый актив — автомобиль с водителем — остается неизменным; изменился лишь метод координации и качество обслуживания клиентов. Искусственный интеллект теперь расширяет эту логику: распределение, ценообразование, маршрутизация и стимулы могут оптимизироваться в режиме реального времени, постоянно улучшая как пользовательский опыт, так и экономику системы.

Второй этап расширяет границы возможностей продукта. Платформы, созданные на основе некоторых сервисов заказа такси, распространили эту модель на смежные сегменты, такие как доставка еды, где та же логика координации управляет взаимодействием между ресторанами, курьерами и клиентами, создавая новые модели потребления по запросу. Следующим рубежом могут стать беспилотные такси с искусственным интеллектом, которые, исключив водителя-человека, коренным образом изменят структуру затрат и масштабируемость сервиса и потенциально трансформируют экономику городской мобильности.

В более широком смысле, ИИ позволяет предлагать услуги, которые ранее были невозможны. В сфере финансовых услуг компания American Express использует ИИ для персонализации предложений и рекомендаций практически в режиме реального времени на основе анализа транзакций и сигналов риска. В биологических науках молекулы, разработанные с помощью искусственного интеллекта, позволяют фармацевтическим компаниям ускорить процесс разработки лекарств. В таких случаях ИИ не просто улучшает качество обслуживания — он меняет то, что можно предложить.

Третий и наиболее важный этап — и главный катализатор расширения пула прибыли — это переосмысление бизнес-модели. Здесь ИИ меняет саму экономику конкуренции. Новые компании, изначально использующие ИИ, иллюстрируют этот сдвиг. Например, Harvey переосмысливает юридические услуги, сочетая искусственный интеллект с собственными юридическими рабочими процессами и данными для предоставления услуг, которые традиционно требовали команд юристов, размывая грань между программным обеспечением и услугами. Аналогично, Khanmigo переосмысливает образование с помощью репетиторства на основе ИИ, которое обеспечивает персонализированное, постоянно доступное обучение, бросая вызов экономике традиционных моделей обучения в классе и индивидуальных занятий. В обоих случаях конкурентное преимущество заключается во внедрении ИИ в основное предложение таким образом, чтобы изменить структуру затрат, расширить доступ и создать новую ценность.

В отличие от повышения производительности, инновации в продуктах, услугах и бизнес-моделях могут расширить источники прибыли — но только если эти инновации защищены сильными конкурентными преимуществами. Преимущество в непропорционально большей степени получают организации, которые действуют на опережение, учатся быстрее конкурентов и создают возможности, которые накапливаются даже по мере того, как методы, использующие ИИ, становятся отраслевой нормой.

Снижение транзакционных издержек: стимулирование глубоких системных изменений

Последняя волна перемен — самая масштабная и наименее интуитивно понятная. Искусственный интеллект обещает изменить не только продукты или операции, но и рыночные структуры, радикально снизив транзакционные издержки.

Многие отрасли построены на принципе трения. Клиентам сложно сравнивать варианты, координация между несколькими поставщиками сложна, смена поставщика обходится дорого, а посредники процветают, управляя информационной асимметрией или операционной сложностью. Искусственный интеллект (особенно агентные системы) подрывает эти основы, делая информацию прозрачной, координацию автоматизированной, а принятие решений практически мгновенным. В результате ценность смещается от управления трением и концентрируется вокруг новых технологических или стратегических точек контроля, таких как владение интерфейсом клиента или данными, привилегированный доступ к спросу или способность управлять сложными экосистемами. Какая точка контроля обеспечивает наиболее сильное преимущество, будет варьироваться в зависимости от отрасли, но основная закономерность остается неизменной: по мере снижения транзакционных издержек преимущество переходит к компаниям, занимающим критически важные позиции в цепочке создания стоимости с меньшим трением.

* * *

Сингулярность Коуза: почему транзакционные издержки формируют рынки и как ИИ может их перекроить

В периоды стремительных перемен, когда четких ответов еще нет, возвращение к первопричинам может дать представление о том, куда будет перемещаться ценность. А именно: экономика транзакционных издержек, впервые сформулированная Рональдом Коузом, указывает путь к наиболее разрушительному потенциалу ИИ.

Теория Коуза гласит, что рынки, предприятия и цепочки создания стоимости принимают те или иные формы, потому что использование рынков сопряжено с большими затратами. Поиск вариантов, сравнение цен, заключение контрактов, координация действий между сторонами, обеспечение выполнения соглашений и смена поставщиков — всё это требует времени, информации и усилий. Там, где эти транзакционные издержки высоки, компании решают соответствующие задачи внутри компании или с помощью посредников; там, где они низки, рынки фрагментируются и специализируются. С этой точки зрения, отраслевые структуры представляют собой равновесные результаты, формируемые транзакционными издержками. Розничные торговцы, брокеры и платформы в значительной степени сохраняются, потому что они снижают эти издержки более эффективно, чем альтернативные варианты.

Эта логика подразумевает, что размер и масштаб бизнеса не являются фиксированными, а зависят от транзакционных издержек. Компании расширяются, когда затраты на координацию, заключение контрактов и информацию высоки, что делает более эффективным внутреннее управление деятельностью. Если агенты ИИ существенно снизят эти издержки — обрабатывая поиск, переговоры, координацию и обеспечение соблюдения с почти нулевыми предельными издержками — традиционные преимущества масштаба могут ослабнуть. В такой среде более мелкие и специализированные фирмы, связанные гибкими, опосредованными ИИ экосистемами, могли бы работать с экономикой, ранее доступной только крупным интегрированным игрокам. Отрасли могли бы эволюционировать от вертикально интегрированных цепочек создания стоимости к более модульным структурам, где преимущество достигается за счет специализации и позиционирования в сетях, а не за счет масштаба.

Недавние исследования так называемой сингулярности Коузаа исследует роль агентов искусственного интеллекта в значительном снижении транзакционных издержек за счет действий от имени пользователей с практически нулевыми предельными издержками. По мере снижения транзакционных издержек традиционные цепочки создания стоимости могут быть полностью перестроены. Некоторые посредники могут быть исключены из процесса или их роль может быть уменьшена по мере появления новых точек контроля. Соответственно, распределение прибыли сместится в сторону тех, кто лучше всего подходит для работы в условиях низкого трения и посредничества агентов.

Два сценария иллюстрируют, как может произойти это системное изменение. В энергетической отрасли агенты на основе ИИ могли бы напрямую связывать клиентов с поставщиками энергии, автоматически оптимизируя цены и потребление, и уменьшать традиционную роль розничных посредников или полностью обходить их. В банковской сфере агенты на основе ИИ могли бы увеличить сбережения физических лиц, перераспределяя депозиты или меняя поставщиков для оптимизации ставок, преодолевая инерцию, которая мешает клиентам менять банки, и оказывая давление на основные источники дохода финансовых учреждений. Согласно анализу McKinsey, треть из 70 триллионов долларов мировых потребительских депозитов находится на расчетных счетах с почти нулевой доходностью, и если бы от 5 до 10% этой суммы были перераспределены на самые высокие доступные ставки, прибыль банков от депозитов могла бы упасть на 20% и более, изменив экономику розничного банковского обслуживания. Безусловно, регулирование, отсутствие доверия потребителей и институциональная инерция могут замедлить темпы и определить направление этих изменений, но поскольку они приведут к более простому выбору и лучшим результатам для клиентов, направление движения, вероятно, сохранится.

* * *

По мере того, как ИИ внедряется во взаимодействие с клиентами и устраняет препятствия, он потенциально может изменить рынки тремя фундаментальными способами.

Во-первых, он может изменить то, как клиенты находят и выбирают поставщиков. Это связано с тем, что агенты ИИ преобразуют намерения и предпочтения в тщательно подобранные рекомендации. Они смещают конкуренцию от видимости и маркетинговых инвестиций к релевантности и позиционированию в экосистемах, основанных на искусственном интеллекте. В отличие от принятия решений человеком, которое носит эпизодический характер и ограничено недостатком внимания, агенты постоянно ищут, оценивают и уточняют варианты. Открытие становится постоянным, а не случайным, и конкуренция все больше зависит от алгоритмического ранжирования и структурированных данных о продуктах, а не от узнаваемости бренда. В таких условиях ценность смещается к тем, кто постоянно формирует или влияет на рейтинги. По мере того, как агенты учатся на взаимодействиях и совершенствуются, небольшие преимущества в релевантности или качестве данных могут накапливаться, направляя непропорционально большую долю спроса к ограниченному набору поставщиков и затрудняя вытеснение этих позиций.

Во-вторых, использование ИИ в процессе принятия решений о покупке значительно снижает транзакционные издержки и затраты на смену поставщика услуг. Автоматизируя сравнение, подключение и миграцию, агенты ИИ ослабляют преимущества, которые возникали из-за инерции клиентов.

Во-третьих, ИИ меняет структуру посредничества, поскольку взаимодействие с клиентами смещается от веб-сайтов, колл-центров и брокеров к диалоговым агентам и платформам. В результате роль некоторых традиционных посредников, вероятно, сократится. Например, партнерство OpenAI с Klarna направлено на внедрение диалогового поиска товаров со встроенным сравнением цен, что устраняет необходимость в традиционных сайтах сравнения и партнерских платформах.

Учитывая эти три изменения, действующим игрокам рынка, возможно, потребуется переосмыслить, где и как они конкурируют, поскольку трения в цепочках создания стоимости неуклонно уменьшаются. Некоторые будут сотрудничать с платформами искусственного интеллекта, чтобы оставаться заметными, поскольку поиск информации смещается от традиционных каналов. Другие будут специализироваться дальше — например, на предложениях, где доверие, рассудительность и ответственность человека остаются решающими, а ИИ дополняет, а не заменяет экспертизу. В здравоохранении, например, ИИ может поддерживать диагностику, в то время как врачи оказывают эмпатичную помощь пациентам и несут ответственность за решения о лечении. Третьи будут создавать или присоединяться к экосистемам, которые предоставляют комплексные решения, упрощая взаимодействие с клиентами и создавая препятствия для перехода на другие платформы.

Каждый из этих путей меньше связан с достижением технологического преимущества, чем с обеспечением позиции, позволяющей сохранять прибыльность по мере изменения структуры рынка. Организации, которые просто адаптируются к происходящим изменениям, могут сохранить прибыльность, по крайней мере, на некоторое время. Те, кто определит, где ИИ может коренным образом изменить клиентский опыт, и инвестирует в предоставление этого опыта уникальными способами, могут получить непропорционально большую долю прибыли.

Системные изменения — это область, где влияние ИИ наиболее неравномерно и решающе. По мере снижения транзакционных издержек, объемы прибыли не просто расширяются, но и перераспределяются, при этом ценность смещается в сторону новых точек контроля в области поиска, координации и взаимоотношений с клиентами. Традиционно привлекательные рынки могут сократиться или полностью исчезнуть, поскольку барьеры для входа рушатся, власть поставщиков-посредников-покупателей смещается, а замещение становится проще. Действующие игроки, которые продолжают полагаться на устаревшие источники конкурентных преимуществ, рискуют оказаться зажатыми в более узкие, более стандартизированные роли. Те, кто предпримет своевременные действия для позиционирования себя там, где, вероятно, будет сконцентрирована ценность, смогут пересмотреть свои роли до того, как укоренятся новые, менее требовательные отраслевые структуры.

Конкуренция в экономике, преобразованной искусственным интеллектом: последствия для лидеров

Внедрение искусственного интеллекта коренным образом меняет представление о достижении и поддержании конкурентного преимущества. Чтобы возглавить этот переход, руководителям необходимо выйти за рамки пилотных проектов, ориентированных на повышение производительности, и глубже понять, как ИИ может изменить экономику бизнеса. Лидеры могут начать с следующих четырех шагов:

• Оцените влияние ИИ на источники прибыли. Руководители должны составить детальное представление о том, как ИИ изменит экономику отрасли — где создается, теряется или перераспределяется ценность. Им также следует оценить влияние повышения производительности с помощью ИИ и, что более важно, инноваций и снижения транзакционных издержек на выручку, издержки и рентабельность.
• Создавайте или укрепляйте конкурентные преимущества, основанные на искусственном интеллекте. По мере распространения ИИ, дифференциация будет зависеть от того, как компании создают и комбинируют трудновоспроизводимые конкурентные преимущества. Лидерам следует оценить, какие источники преимущества могут сохраниться в среде, управляемой ИИ, от собственных данных до сетевых эффектов и структурных преимуществ в плане затрат. Приоритетной задачей является разработка системы укрепляющих конкурентных преимуществ, адаптированных к вашей позиции, и их углубление до того, как это сделают конкуренты или до того, как преимущество закрепится в других областях.
• Превратите скорость в структурное преимущество. Способность тестировать, учиться и масштабироваться быстрее, чем конкуренты, является основным источником преимущества в экономике, формируемой искусственным интеллектом. По мере сокращения циклов экспериментирования и снижения стоимости итераций, организации, которые быстро реагируют, улучшают свои показатели с большей скоростью. Более быстрое экспериментирование генерирует больше данных; больше данных улучшает модели и качество принятия решений; более высокая производительность привлекает больше пользователей и активности. Со временем эта накопительная динамика увеличивает разрыв между лидерами и отстающими. Поэтому генеральным директорам следует инвестировать в повышение организационной скорости — устранение узких мест, ускорение внедрения и обеспечение непрерывного обучения — понимая, что преимущество достигается не только за счет того, что вы создаете, но и за счет скорости вашего совершенствования.
• Перестройка бизнеса. Для того чтобы воспользоваться возможностями ИИ, необходима фундаментальная перестройка бизнес-подразделений и функций вокруг масштабируемой основы ИИ. Это включает в себя перепроектирование сквозных процессов, модернизацию инфраструктуры данных и технологий, внедрение ИИ в процесс принятия решений и операционную деятельность, а также изменение ролей, управления и методов работы. Ведущие организации не просто экспериментируют с ИИ; они перестраивают бизнес таким образом, чтобы ИИ мог масштабироваться по всем функциям и постоянно повышать производительность.

Со временем ИИ затронет каждую отрасль, но он не будет создавать ценность одинаково везде и не для всех. Компании, наиболее подготовленные к этим изменениям, будут рассматривать ИИ как стратегический переломный момент. Они будут использовать повышение производительности для сохранения конкурентоспособности, инновации для расширения и защиты источников прибыли, а также принимать взвешенные решения на ранних этапах для формирования новых рыночных структур и своей роли в них.

Для руководителей это неприятная правда: ИИ — это не революция в производительности, а конкурентная перестройка. История полна примеров компаний, которые ошибочно принимали эффективность за преимущество. Они оптимизировали, в то время как другие перестраивались. Они сокращали расходы, в то время как другие захватывали доминирующую долю рынка — и связанные с этим прибыли. В итоге победителями оказались не те, кто быстрее всего внедрил технологии, а те, кто раньше всех понял, куда движется ценность, и занял выгодную позицию для её получения.

Искусственный интеллект не будет создавать ценность равномерно. Во многих случаях он просто перераспределит её. Окно возможностей для действий уже, чем может показаться. В экономике, управляемой ИИ, преимущество накапливается на ранних этапах, а захват ценности быстро закрепляется.

Источник

Где ИИ будет создавать ценность, а где нет. 29 апреля 2026 г. Статья. Антуан Монтар, Даго Дидрих, Танги Кэтлин.

Where AI will create value—and where it won’t. April 29, 2026. Article. By Antoine Montard, Dago Diedrich, and Tanguy Catlin

https://www.mckinsey.com/capabilities/strategy-and-corporate-finance/our-insights/where-ai-will-create-value-and-where-it-wont

Линус Торвальдс о использовании ИИ - перепечатка заметки

Перепечатка заметки

Линус Торвальдс высказался об использовании ИИ: «Форкайте ядро или уходите»

Мария Нефёдова 

 

5 дней назад

 

 1 комментарий

 

55860

 

https://xakep.ru/2026/07/17/torvalds-about-ai/

Создатель Linux Линус Торвальдс (Linus Torvalds) заявил, что разработчикам, которые выступают категорически против использования ИИ, придется смириться, уйти или создать собственный форк ядра. По его словам, Linux не станет очередным «анти-ИИ-проектом», а решения будут приниматься исходя из технических критериев, а не из страха перед новыми инструментами.

Поводом для заявления послужила дискуссия в списке рассылки для разработчиков ядра. Участники обсуждали Sashiko — агентную ИИ-систему для ревью кода Linux. Создатели Sashiko протестировали систему на старых версиях ядра, и она нашла 53,6% багов, которые разработчики позднее исправили. Однако Sashiko может генерировать и ложные отчеты об уязвимостях, доля которых составляет около 20%.

Противники подобных инструментов опасаются, что автоматизированные отчеты создадут огромную нагрузку на мейнтейнеров и могут спровоцировать их выгорание. В обсуждении даже процитировали недавнее заявление организации Software Freedom Conservancy, в котором опенсорсное сообщество призывали поддерживать разработчиков, полностью отвергающих генеративный ИИ.

Однако Торвальдс занял жесткую позицию. Создатель Linux написал:

«Это как раз тот случай, когда я готов совершенно однозначно настаивать на своем как главный мейнтейнер. Linux не относится к анти-ИИ-проектам. Если у кого-то с этим проблемы, он может поступить в духе open source и сделать форк. Или просто уйти».

Торвальдс подчеркнул, что никого не заставляют применять LLM, однако запрещать другим использовать такие инструменты тоже не получится:

«Мы не принуждаем никого использовать [LLM-инструменты]. Но я буду решительно игнорировать людей, которые пытаются запретить их использование остальным».

По мнению Торвальдса, ИИ следует воспринимать как обычный рабочий инструмент:

«ИИ — такой же инструмент, как и другие, которыми мы пользуемся. И совершенно очевидно, что он полезен. Возможно, еще год назад это было не так очевидно, но сегодня этот вопрос уже закрыт. Тот, кто сомневается, явно просто не пользовался ИИ сам».

При этом Торвальдс признает, что ИИ может создавать дополнительную нагрузку на мейнтейнеров и регулярно находит «неприятные и постыдные баги». Однако он пишет, что игнорировать новую технологию просто бессмысленно.

«Решение заключается не в том, чтобы засунуть голову в песок и во весь голос петь: "Ла-ла-ла, я ничего не слышу", как, похоже, делают некоторые. Нужно добиться того, чтобы LLM-инструменты помогали мейнтейнерам, а не вредили им».

Нынешняя позиция заметно отличается от слов Торвальдса, сказанных в октябре 2024 года. Тогда он называл 90% происходящего вокруг ИИ маркетинговым хайпом и заявлял, что намерен попросту игнорировать эту тему. Однако в январе 2026 года он уже экспериментировал с вайбкодингом и рассказывал, что написал на Python инс­тру­мен­т для генера­ции циф­ровых аудиооэф­фектов с помощью Google Antigravity.

Теперь Торвальдс подчеркивает, что не считает нынешние ИИ-системы идеальными, но напоминает, что люди тоже далеки от совершенства:

«ИИ не идеален. Но, черт возьми, любой, кто указывает на проблемы ИИ, должен одновременно посмотреть в зеркало и указать на самого себя. Потому что естественный интеллект тоже хорош далеко не всегда».

По словам Торвальдса, Linux остается в первую очередь технологическим проектом. Социальная сторона open source важна, но это побочный эффект, а не главная цель.

«В сообществе разработчиков ядра мы занимаемся open source, потому что это позволяет создавать лучшие технологии, а не по религиозным убеждениям. Поэтому мы принимаем решения прежде всего исходя из технических критериев, а не из страха перед новыми инструментами». 

Пример галлюцинаций ИИ для создания ботнетов - перепечатка статьи

Перепечатка статьи

Атака HalluSquatting использует галлюцинации ИИ для создания ботнетов

Мария Нефёдова 

 

неделю назад

 

 Комментарии

 

3148

 

https://xakep.ru/2026/07/15/hallusquatting/

Специалисты из Тель-Авивского университета, Израильского технологического института и компании Intuit продемонстрировали атаку HalluSquatting. Она строится на склонности ИИ-ассистентов «выдумывать» адреса репозиториев и других ресурсов. Эксперты показали, что атакующий может заранее зарегистрировать такой несуществующий адрес, дождаться подключения ИИ-агента и добиться выполнения вредоносного кода на машине пользователя.

Исследователи объясняют, что для эксплуатации большинства промпт-инжектов нужен прямой контакт с жертвой. Например, злоумышленник скрывает вредоносные инструкции в письме, приглашении календаря, комментарии или логе, а затем должен каким-то образом доставить зараженный контент пользователю. HalluSquatting работает иначе, и в этом случае сам ИИ-агент приходит на вредоносный ресурс, поэтому такую атаку можно масштабировать без массовых рассылок и выбора целей.

Название HalluSquatting расшифровывается как adversarial hallucination squatting — сквоттинг, основанный на состязательных галлюцинациях. В целом атака напоминает тайпосквоттинг, но здесь атакующему нужно предугадать не человеческую опечатку, а адреса, которые LLM чаще всего «придумывают» в ходе обработки запросов на клонирование репозитория или установку навыка.

Затем злоумышленник регистрирует «выдуманное» имя на GitHub или в каталоге навыков и размещает там копию популярного проекта. В README или конфигурации атакующий может спрятать промпт-инжект с командой, вынуждающей ИИ установить бэкдор или ревер-шелл. В результате, когда ИИ-ассистент галлюцинирует и «придумывает» этот адрес, он попадает в ловушку, в итоге выполняя инструкции злоумышленника.

Исследователи протестировали атаку на Cursor, Cursor CLI, Gemini CLI, Windsurf, GitHub Copilot, Cline, OpenClaw, ZeroClaw и NanoClaw. Во всех случаях им удалось добиться выполнения кода (в экспериментах использовались безопасные тестовые пейлоады).

По данным специалистов, проблема затрагивает базовые модели Gemini 2.5 Flash, Gemini 2.5 Pro, GPT-5.1, GPT-5.2, Sonnet 4.5 и Opus 4.5. Их галлюцинации оказались предсказуемыми и часто повторялись. К примеру, обнаружилось, что LLM склонны генерировать адреса вида repo-name/repo-name, принимая название проекта за имя владельца аккаунта.

Исследователи отмечают, что чаще всего подобные ошибки возникают с новыми и трендовыми проектами, которые отсутствовали в обучающих данных LLM. Так, для проектов, опубликованных до 2019 года, средний показатель галлюцинирования составлял лишь 0,9%, тогда как для репозиториев, созданных в 2025 году — уже 92,4%. В итоге при клонировании репозиториев пиковая доля галлюцинаций достигала 85%, а при установке навыков — 100%.

Авторы HalluSquatting предупреждают, что атака может стать механизмом для доставки малвари на множество независимых систем. Зараженные машины в итоге можно объединить в ботнет для DDoS-атак или майнинга криптовалюты, а также использовать в массовых вымогательских кампаниях. В отличие от традиционных ботнетов, в этом случае хакерам не потребуется использовать уязвимости, слабые пароли и так далее. Малварь будет устанавливать сам ИИ-агент, имеющий доступ к командной строке.

Разработчиков затронутых ИИ-инструментов предупредили о проблеме до публикации исследования, а часть деталей атаки пока решили не раскрывать. В качестве защитной меры специалисты советуют заставлять ИИ-агентов сначала искать и проверять нужный ресурс, а уже затем переходить к скачиванию. Также не рекомендуется запускать ИИ-инструменты в автоматическом режиме без подтверждения команд, ведь любой адрес, предложенный LLM, нельзя считать достоверным.

Отметим, что недавно о похожей технике атак под названием phantom squatting писали специалисты компании Palo Alto Networks. Суть этой проблемы заключается в том, что злоумышленники могут регистрировать несуществующие домены, которые «придумывают» LLM, а затем размещать на них фишинговые страницы и малварь.

В свою очередь, атака phantom squatting похожа на описанные еще в 2025 году атаки типа slopsquatting, в ходе которых хакеры создают вредоносные пакеты в PyPI или npm, используя названия, которые «выдумывают» ИИ-модели. Причем эта схема уже применялась злоумышленниками на практике в кампании PhantomRaven, когда малварь разместили в 126 пакетах npm, которые в итоге установили более 86 000 раз.

* * *

Злоумышленники регистрируют домены, «придуманные» ИИ

Мария Нефёдова 

 

2 недели назад

 

 Комментарии

 

11664

 

https://xakep.ru/2026/07/06/phantom-squatting/

Эксперты компании Palo Alto Networks обнаружили новую технику атак, которой дали название phantom squatting. Злоумышленники регистрируют несуществующие домены, которые «придумывают» LLM, а затем размещают на них фишинговые страницы и малварь. В результате пользователь попадает на опасный сайт не через фишинговое письмо или вредоносную рекламу, а через ИИ-инструмент, которому доверяет.

Чтобы оценить масштаб проблемы, исследователи задали двум неназванным ИИ-моделям 685 339 вопросов о 913 известных брендах из технологического, финансового, медицинского, государственного и других секторов. В ответ модели предоставили специалистам 2,1 млн ссылок, причем системы анализа киберугроз уже считали 13 229 их этих адресов вредоносными. То есть ИИ напрямую рекомендовал пользователям заведомо опасные ресурсы. Еще около 250 000 доменов, порожденных галлюцинациями ИИ, были свободны, и зарегистрировать их мог любой желающий.

Исследователи отмечают, что недавно зарегистрированные домены удобны для атак, поскольку еще не успели заработать плохую репутацию. Черным спискам и защитным системам требуется время, чтобы обнаружить вредоносную активность, поэтому к моменту блокировки такого домена пользователь может успеть перейти на сайт по рекомендации ИИ.

Подчеркивается, что модели не могли почерпнуть странные адреса из обучающих данных, и домены возникали из-за языковых паттернов самих LLM. Причем разные модели часто придумывали одинаковые адреса в ответ на один и тот же вопрос, а повышение «креативности» модели лишь увеличивало количество галлюцинаций. Специалисты пишут, что это «структурное свойство архитектуры LLM, которое невозможно исправить».

В одном случае система Palo Alto Networks предсказала, что модели «придумают» домен, похожий на адрес онлайн-маркетплейса национальной почтовой службы. Обе изученные модели действительно стабильно генерировали этот адрес при любых настройках температуры. Через 23 дня злоумышленник зарегистрировали этот домен и развернули там фишинг-кит Montana Empire.

Поддельный сайт в режиме реального времени копировал настоящую витрину маркетплейса и похищал данные банковских карт и переводов, а также информацию о документах, удостоверяющих личность. Операторы малвари могли вручную подтверждать одноразовые коды, введенные жертвами, через бота в Telegram. При этом сохранившиеся на сервере файлы и логи свидетельствуют о том­, что преступники создавали малварь с помощью ИИ-ассистента.

В другом случае исследователи заметили «выдуманный» домен почтовой службы за 51 день до его регистрации. Позже на этом домене появился точный клон официального сайта с фальшивой оценкой 4,8 звезды и заявлением о более чем двух миллионах пользователей. Ресурс распространял вредоносное приложение для Android.

Прочие вредоносные домены имитировали банки в ОАЭ и странах Европы, а также сайты для спортивных ставок, которые были ориентированы на пользователей из Бангладеш.

Phantom squatting очень похож на описанные в 2025 году атаки типа slopsquatting, при которых преступники создают вредоносные пакеты в PyPI или npm, используя названия, которые «выдумывают» ИИ-модели. Именно эта схема применялась злоумышленниками в кампании PhantomRaven, когда малварь скрыли в 126 пакетах npm, которые в итоге установили более 86 000 раз.

* * *

Новые атаки типа слопсквоттинг строятся на «галлюцинациях» ИИ

Мария Нефёдова 

 

14.04.2025

 

 1 комментарий

 

8619

 

https://xakep.ru/2025/04/14/slopsquatting/

Эксперты предупреждают о новом типе атак на цепочку поставок, получившем название слопсквоттинг (slopsquatting). Такие атаки становятся возможны благодаря широкому применению генеративных ИИ-инструментов для кодинга, так как модели склонны к «галлюцинациям» и могут придумывать несуществующие пакеты.

Впервые термин слопсквоттинг был предложен ИБ-исследователем Сетом Ларсоном (Seth Larson) и родственен слову «тайпсквоттинг». В отличие от тайпсквоттинга, слопсквоттинг связан не с эксплуатацией опечаток, а с тем фактом, что злоумышленники могут создавать вредоносные пакеты в PyPI или npm, используя названия, которые часто «выдумывают» ИИ-модели.

Опубликованное в конце марта исследование, посвященное изучению «галлюцинаций» ИИ, показало, что примерно в 20% случаев (576 000 сгенерированных примеров кода на Python и JavaScript) рекомендуемые искусственным интеллектом пакеты не существовали.

Причем ситуация выглядит хуже для опенсорсных LLM (CodeLlama, DeepSeek, WizardCoder и Mistral), а коммерческие инструменты, такие как ChatGPT-4, галлюцинируют примерно в 5% случаев, что тоже совсем немало.

Исследователи отметили, что количество уникальных имен таких несуществующих пакетов превысило 200 000, причем 43% из них постоянно появлялись в ответах LLM при похожих промптах, а 58% повторялись хотя бы один раз из десяти.

Отмечается, что 38% названий несуществующих пакетов явно были вдохновлены настоящими пакетами, 13% были результатом опечаток, а остальные 51% являлись полностью вымышленными.

Схема атаки с использованием слопсквоттинга

Хотя пока нет никаких признаков того, что злоумышленники уже взяли на вооружение новый тип атак, исследователи из компании Socket предупреждают, что «галлюцинации» в названиях пакетов встречаются часто, регулярно повторяются и выглядят семантически правдоподобно, что можно легко применить во вредоносных целях.

«В целом 58% “галлюцинаций” повторялись более одного раза. Это свидетельствует о том, что большинство “галлюцинаций” — не просто случайный шум, а повторяющиеся артефакты того, как модели реагируют на определенные промпты, — объясняют исследователи Socket. — Такая повторяемость повышает их ценность для злоумышленников, облегчая выявление жизнеспособных целей для слопсквоттинга, просто наблюдая за результатами работы моделей даже на небольших выборках».

Единственным способом снижения рисков в данном случае является проверка имен пакетов вручную. Также всегда стоит помнить о том, что любой пакет, упомянутый ИИ, может не существовать в реальности и не быть безопасным.

Также специалисты рекомендуют использовать сканеры зависимостей, lockfile и проверки хешей для установления связи пакетов с известными и надежными версиями.

Кроме того, отмечается, что снижение «температуры» ИИ помогает снизить количество галлюцинаций, что тоже следует учитывать всем вайб-кодерам. Однако запускать и развертывать созданный ИИ код в любом случае рекомендуется только после тестирования в безопасной и изолированной среде.

* * *

Кампания PhantomRaven: в npm загрузили более 100 пакетов с инфостилерами

Мария Нефёдова 

 

30.10.2025

 

 Комментарии

 

1919

 

https://xakep.ru/2025/10/30/phantomraven/

С августа 2024 года, в рамках кампании PhantomRaven в npm загрузили 126 вредоносных пакетов, которые суммарно скачали более 86 000 раз. Кампанию обнаружили специалисты Koi Security, которые пишут, что атаки осуществлялись благодаря малоизвестной особенности npm, которая позволяет обходить защиту и детектирование.

Подчеркивается, что на момент публикации отчета около 80 вредоносных пакетов все еще были активны.

Специалисты объясняют, что злоумышленники используют механизм удаленных динамических зависимостей (Remote Dynamic Dependencies, RDD). Обычно разработчик видит все зависимости устанавливаемого пакета — они загружаются из доверенной инфраструктуры npm. Однако RDD позволяет пакетам автоматически подтягивать код с внешних URL, причем даже по незашифрованному HTTP-каналу. При этом в манифесте пакета отображается ноль зависимостей.

Когда разработчик запускает npm install, вредоносный пакет незаметно подгружает пейлоад с контролируемого атакующими сервера и сразу выполняет его. Никакого взаимодействия с пользователем не требуется, а инструменты статического анализа не замечают происходящее.

«PhantomRaven показывает, насколько изощренными могут быть атакующие при эксплуатации слепых зон в традиционных средствах защиты. Удаленные динамические зависимости просто невидимы для статического анализа», — говорят исследователи.

Отмечается, что малварь загружается с сервера при каждой установке пакета, а не кешируется. Это открывает возможности для таргетированных атак: злоумышленники могут проверять IP-адрес запроса и отправлять безобидный код ИБ-исследователям, отдавать вредоносный код для корпоративных сетей, специализированные пейлоады для облачных сред.

После заражения малварь тщательно собирает информацию о системе жертвы:

• переменные окружения с конфигурациями внутренних систем разработчика;
• токены и учетные данные для npm, GitHub Actions, GitLab, Jenkins и CircleCI;
• всю среду CI/CD, через которую проходят изменения кода от разных разработчиков.

Украденные токены могут использоваться для атак на цепочки поставок и внедрения вредоносного кода в легитимные проекты. Кража данных организована с избыточностью, сразу тремя методами: HTTP GET с данными в URL, HTTP POST с JSON и через WebSocket-соединения.

Специалисты пишут, что многие вредоносные пакеты маскируются под инструменты GitLab и Apache.

Отдельную роль в этой кампании играет слопсквоттинг (slopsquatting), то есть эксплуатация галлюцинаций ИИ. Дело в том, что разработчики часто спрашивают у LLM-ассистентов, какие пакеты лучше использовать для того или иного проекта. ИИ-модели нередко выдумывают несуществующие, но правдоподобно выглядящие названия. Операторы PhantomRaven отслеживают такие галлюцинации и регистрируют пакеты с этими именами. В итоге жертвы сами устанавливают малварь, следуя рекомендациям LLM.

Разработчики LLM пока не понимают точных причин этих галлюцинаций и не умеют строить модели, которые их не допускают, чем и пользуются злоумышленники.

Исследователи напоминают, что не стоит полагаться на LLM при выборе зависимостей, а также следует внимательно проверять названия пакетов и их источники, устанавливая только пакеты проверенных вендоров.