Уникальные риски, создаваемыми агентскими системами

Понимание уникальных рисков, создаваемых агентскими системами

Большие языковые модели (LLM) склонны к ошибкам и галлюцинациям. Поскольку агентские системы обрабатывают последовательности выходных данных, полученных из LLM, галлюцинация в выходных данных может породить каскадные эффекты, если не установлены средства защиты. Поскольку агентские системы предназначены для автономной работы, руководители бизнеса должны вводит дополнительные механизмы надзора и барьеры. Хотя сложно полностью предвидеть все агентские риски, некоторые из них верифицированы.

Потенциально вредные результаты

Большие языковые модели не всегда точны, иногда предоставляя неверную информацию или выполняя действия с нежелательными последствиями. Эти риски усиливаются, поскольку агенты генеративного ИИ (gen AI) самостоятельно выполняют задачи, используя данные и цифровые инструменты в очень изменчивых сценариях. Например, агент может одобрить высокорискованный кредит, что приведет к финансовым потерям, или может совершить дорогую, невозвращаемую покупку для клиента.

Стратегия смягчения. Организации должны внедрять надежные меры подотчетности, четко определяя обязанности как агентов, так и людей, обеспечивая объсняемость и понятность результатов работы агентов. Это может быть достигнуто путем разработки фреймворков для управления автономией агентов (например, ограничение действий агентов на основе сложности варианта использования) и обеспечение человеческого надзора (например, проверка результатов работы агентов перед выполнением и проведение регулярных аудитов решений агентов). Кроме того, механизмы прозрачности и прослеживаемости могут помочь пользователям понять процесс принятия решений агентом, чтобы на раннем этапе выявить потенциально опасные проблемы.

Неправильное использование инструментов

Благодаря своей способности получать доступ к инструментам и данным, агенты могут быть опасны, если их намеренно использовать не по назначению. Например, агенты могут использоваться для разработки уязвимого кода, создания убедительных фишинговых мошенничеств или взлома конфиденциальной информации.

Стратегия смягчения. Для потенциально высокорисковых сценариев организации должны встраивать барьеры (например, контроль доступа, ограничения на действия агентов) и создавать закрытые среды для агентов (например, ограничивать доступ агентов к определенным инструментам и источникам данных). Кроме того, организации должны применять мониторинг действий агентов в режиме реального времени с автоматическими оповещениями о подозрительном поведении. Регулярные аудиты и проверки соответствия могут гарантировать, что барьеры остаются эффективными и актуальными.

Недостаточное или чрезмерное доверие между человеком и агентом

Так же, как и в отношениях с коллегами-людьми, взаимодействие между людьми и агентами ИИ основано на доверии. Если пользователи не верят в агентские системы, они могут сократить взаимодействие человека с агентом и обмен информацией, которые требуются агентским системам, если они хотят учиться и совершенствоваться. И наоборот, по мере того, как агенты становятся более искусными в подражании человеческому поведению, некоторые пользователи могут оказывать им слишком большое доверие, приписывая им понимание и суждение на человеческом уровне. Это может привести к тому, что пользователи будут некритически принимать рекомендации или предоставлять агентам слишком много автономии без достаточного контроля.

Стратегия смягчения. Организации могут управлять этими проблемами, уделяя первостепенное внимание прозрачности принятия решений агентами, обеспечивая обучение пользователей ответственному использованию агентов и создавая процесс «человек в контуре» для управления поведением агентов. Человеческий надзор за процессами агентов является ключом к обеспечению того, чтобы пользователи сохраняли сбалансированную точку зрения, критически оценивали работу агентов и сохраняли окончательные полномочия и ответственность в действиях агентов. Кроме того, работа агентов должна оцениваться путем привязки действий агентов к конкретным результатам (например, удовлетворенность клиентов, показатели успешного завершения тикетов).

Проблемы

Помимо устранения этих потенциальных рисков, организациям следует учитывать более широкие проблемы, возникающие в связи с появлением агентов поколения ИИ:

• Соответствие ценностям. Поскольку агенты похожи на коллег, их действия должны воплощать организационные ценности. 
• Какие ценности должны воплощать агенты в своих решениях? 
• Как регулярно оценивать и обучать агентов, чтобы они соответствовали этим ценностям?
• Смена рабочей силы. Выполняя задачи независимо, агентские системы могут существенно изменить способ выполнения работы, потенциально позволяя людям больше сосредоточиться на задачах более высокого уровня, требующих критического мышления и управленческих навыков. 
• Как будут меняться роли и обязанности в каждой бизнес-функции? 
• Как сотрудникам могут быть предоставлены возможности переподготовки? 
• Существуют ли новые модели сотрудничества, которые могут улучшить взаимодействие между людьми и агентами ИИ?
• Антропоморфизм. Поскольку агенты все больше обладают человеческими способностями, пользователи могут развить чрезмерную зависимость от них или ошибочно полагать, что помощники ИИ полностью соответствуют их собственным интересам и ценностям. 
• В какой степени человекоподобные характеристики должны быть включены в дизайн агентов? 
• Какие процессы могут быть созданы для обеспечения обнаружения потенциального вреда в реальном времени при взаимодействии человека и агента?

Источник

Why agents are the next frontier of generative AI. By Lareina Yee, Michael Chui, and Roger Roberts with Stephen Xu.

https://www.mckinsey.com/capabilities/mckinsey-digital/our-insights/why-agents-are-the-next-frontier-of-generative-ai

Архетипы и уникальность нагрузки центров обработки данных

Что делает нагрузку на центр обработки данных уникальной?

В зависимости от рабочей нагрузки центры обработки данных могут потреблять электроэнергию круглосуточно, с некоторыми колебаниями в течение дня, как и другие промышленные центры. Однако центры обработки данных обладают уникальным профилем, который отличает их от коммунальных компаний и инвесторов.

Во-первых, большинство центров обработки данных располагаются с резервными системами хранения энергии, чтобы обеспечить выполнение высоких требований к времени безотказной работы. Эта резервная система может быть направлена ​​для компенсации нагрузки центра обработки данных, когда условия в сети становятся напряженными, тем самым создавая нагрузку, которая, по сути, является высокочувствительной.

Во-вторых, владельцы центров обработки данных обычно более склонны платить за электроэнергию, чем большинство других потребителей электроэнергии. Эксплуатационные расходы на электроэнергию могут составлять около 20% от общей стоимости бизнес-моделей центров обработки данных, которые оказались весьма прибыльными для крупных компаний. Поэтому более высокие тарифы на электроэнергию не нарушают бизнес-модель. Для сравнения, для других источников электроэнергии, таких как производство зеленого водорода, себестоимость конечного продукта сильно зависит от цен на электроэнергию, а ожидаемая маржа намного меньше.

В-третьих, прогноз спроса на центры обработки данных и готовность владельцев платить являются выбросами для графиков использования электроэнергии. Для большинства видов использования энергия преобразуется в физический конечный продукт (такой как светодиодная лампочка), а энергоэффективность измеряется в процентах (например, светодиодная лампочка потребляет на 90% меньше энергии, чем лампа накаливания). Вычислительная мощность измеряется порядком величины, а не процентом, а выход потребляемой мощности для центров обработки данных представляет собой информацию, а не физический товар. Прорывы, которые открывают доступ к недорогим, высокоэффективным вычислениям, не обязательно снижают спрос на электроэнергию. Скорее, такие прорывы могут повысить сложность моделей, которые могут быть запущены, и они могут даже обеспечить больше вариантов использования, которые приведут к большему спросу на электроэнергию. Короче говоря, обычные эксплуатационные параметры сектора электроэнергетики могут потребовать некоторого пересмотра, прежде чем они будут применены к центрам обработки данных.

В-четвертых, инновационные решения для систем охлаждения ИТ-центров предлагают значительный потенциал экономии. Системы охлаждения после ИТ-оборудования и серверов центров обработки данных обычно потребляют больше всего энергии, что подчеркивает большую возможность для повышения эффективности. Гипермасштаберы экспериментируют с удаленными местоположениями, чтобы воспользоваться местными условиями, например, используя холодный наружный воздух для охлаждения серверных комнат, тем самым потребляя минимальное количество энергии в холодные месяцы. Кроме того, такие местоположения предлагают возможности для переработки тепла, вырабатываемого в центрах обработки данных, в системы централизованного теплоснабжения.

Архетипы центров обработки данных

Существует три типа центров обработки данных: гиперскейлеры, колокаторы и корпоративные (собственные).

Гиперскейлер (hyperscaler) относится к игроку, который предлагает крупномасштабные облачные вычислительные сервисы с возможностью быстрого масштабирования вверх или вниз. Гиперскейлеры, такие как Amazon Web Services (AWS) и Microsoft Azure, управляют обширными глобальными сетями центров обработки данных, предоставляя инфраструктуру как услугу (IaaS) и платформу как услугу (PaaS). Они управляют огромными объемами вычислительной мощности и хранилища, позволяя компаниям использовать эти ресурсы по требованию, платя только за то, что они используют. Гиперскейлеры известны своей способностью справляться с огромными рабочими нагрузками и обеспечивать бесперебойный опыт для клиентов с различными потребностями .

Поставщик услуг размещения оборудования (a colocation provider). С другой стороны, поставщик услуг размещения оборудования предлагает физическое пространство, электропитание и охлаждение в своих центрах обработки данных для размещения клиентами собственных серверов и сетевого оборудования. В отличие от гипермасштабаторов, объекты размещения оборудования не предоставляют оборудование; вместо этого они предоставляют безопасную, управляемую среду, в которой компании могут арендовать пространство и сохранять контроль над собственным оборудованием. Эта модель идеально подходит для компаний, которым требуется полный контроль над своим оборудованием, но при этом они хотят воспользоваться преимуществами профессионального центра обработки данных, такими как повышенная безопасность, надежность и подключение.

Корпоративный (собственный) центр обработки данных — это объект, которым компания владеет и управляет для размещения собственной ИТ-инфраструктуры, включая серверы, хранилища и сетевое оборудование. В отличие от гиперскейлеров или объектов размещения, где инфраструктура или пространство арендуются у третьей стороны, корпоративные центры обработки данных полностью контролируются организацией, которой они принадлежат. Эти центры обработки данных обычно располагаются на территории компании или в специальном месте за ее пределами и предназначены для удовлетворения конкретных потребностей и требований этого бизнеса.