Защитные барьеры ИИ

Защитные барьеры ИИ (Guardrails) помогают гарантировать, что инструменты ИИ организации и их применение в бизнесе соответствуют стандартам, политикам и ценностям организации.

С появлением генеративного ИИ (gen AI) концепция ограждений или защитных барьеров применяется к системам, разработанным для обеспечения того, чтобы инструменты ИИ компании, особенно большие языковые модели (LLM), работали в соответствии с организационными стандартами, политиками и ценностями.

Хотя gen AI может повысить эффективность, инновационность и конкурентное преимущество компании, он также может создавать проблемы и риски. Поскольку внедрение gen AI стремительно растет, защитные ограждения имеют решающее значение для ответственного использования ИИ. Защитные ограждения могут выявлять и удалять неточный контент, генерируемый LLM, а также отслеживать и отфильтровывать рискованные подсказки.

Но так же, как ограждения на шоссе не исключают риск травм или смертельных случаев, ограждения ИИ не гарантируют, что системы ИИ будут полностью этичными, безопасными, справедливыми, соответствующими требованиям. Для достижения наилучших результатов компании могут внедрять зашитные барьеры ИИ вместе с другими процедурными элементами управления (например, фреймворками доверия ИИ, программным обеспечением для мониторинга, методами тестирования и оценки), а также надлежащим стеком технологий операций ИИ.

Преимущества защитных барьеров

Чтобы создать правильную среду для инноваций и трансформации gen AI, организации должны гарантировать, что технология может работать безопасно и ответственно — с защитными ограждениями ИИ, играющими решающую роль. Вот несколько преимуществ, которые защитное ограждение может предложить организации при внедрении ИИ:

• Конфиденциальность и безопасность. Системы ИИ подвержены атакам со стороны злоумышленников, которые используют уязвимости для манипулирования результатами, сгенерированными ИИ. Защитные барьеры могут укрепить системы ИИ от таких атак, помогая защитить организацию и ее клиентов.
• Соответствие нормативным требованиям. С ростом внимания правительства к ИИ организациям необходимо обеспечить соответствие систем ИИ существующим и новым законам и стандартам. Помогая компании поддерживать соответствие gen AI, защитные ограждения могут снизить риск юридических штрафов и ответственности за использование этих инструментов.
• Доверие. Поддержание доверия клиентов и широкой общественности имеет первостепенное значение для организаций. Защитные барьеры обеспечивает непрерывный мониторинг и проверку результатов, генерируемых ИИ, что может снизить риск распространения ошибочного контента за пределами компании.

Основные типы защитных барьеров от искусственного интеллекта

Защитные барьеры группируются в соответствии с их назначением и типами рисков, на которые они направлены. Компания McKinsey разработала таксономию защитных ограждений на основе конкретных рисков:

• Защитные барьеры соответствия проверяют, является ли контент, созданный ИИ, токсичным, вредным, предвзятым или основанным на стереотипах, и отфильтровывают ненадлежащий контент до того, как он попадет к клиентам.
• Защита от галлюцинаций гарантирует, что контент, сгенерированный ИИ, не содержит фактически неверную или вводящую в заблуждение информацию.
• Меры по обеспечению соответствия нормативным требованиям подтверждают, что созданный контент соответствует нормативным требованиям, независимо от того, являются ли эти требования общими, специфичными для отрасли или варианта использования.
• Ограничители выравнивания гарантируют, что сгенерированный контент соответствует ожиданиям пользователя и не отходит от своей основной цели.
• Ограничители проверки проверяют, соответствует ли сгенерированный контент определенным критериям: то есть содержит ли контент определенную информацию или нет. Если часть сгенерированного контента отмечена ограничителем проверки, контент может быть направлен в цикл исправления. Проверка должна быть последней из серии задач, которые выполняют ограничители. После этого человек-валидатор должен просмотреть отмеченные или неоднозначные случаи, требующие человеческого рассуждения.

Разработано множество библиотек с открытым исходным кодом для ограничений систем ИИ. Платформа машинного обучения Hugging Face выпустила Chatbot Guardrails Arena, которая проводит стресс-тесты LLM и ограничений конфиденциальности для предотвращения утечек конфиденциальных данных. Nvidia создала NeMo Guardrails, набор инструментов с открытым исходным кодом для добавления программируемых ограничений в приложения на основе LLM. Guardrails AI — это аналогичный пакет с открытым исходным кодом. LangChain, фреймворк для разработки приложений на базе LLM, также предоставляет библиотеку ограничений , чтобы помочь организациям быстро подключать ограничения в последовательность операций. Существуют также фирменные инструменты, такие как OpenAI Moderation, которые анализируют текст, сгенерированный моделями ИИ, для обнаружения и фильтрации вредоносного, ненадлежащего или небезопасного контента в соответствии с предопределенными категориями. Microsoft разработала аналогичный ограничитель для мониторинга контента, сгенерированного чат-ботом для Azure, своего набора служб ИИ.

Как работают барьеры

Guardrails строятся с использованием различных методов, от систем на основе правил до LLM. Однако в конечном итоге большинство защитных барьеров полностью детерминированы, то есть системы всегда выдают одинаковый результат для одного и того же входа, без случайности или изменчивости. Как правило, защитные барьеры отслеживают выходные данные систем ИИ, выполняя ряд задач: например, классификацию, семантическую проверку, обнаружение утечек персонально идентифицируемой информации и идентификацию вредоносного контента. Для выполнения этих задач защитные барьеры ИИ состоят из четырех взаимосвязанных компонентов, каждый из которых играет решающую роль:

• Checker. Checker сканирует контент, сгенерированный ИИ, чтобы обнаружить ошибки и пометить проблемы, такие как оскорбительный язык или предвзятые ответы. Он действует как первая линия защиты, выявляя потенциальные проблемы до того, как они смогут нанести вред или нарушить этические принципы.
• Корректор. После того, как проверяющий обнаруживает проблему, корректор уточняет, исправляет и/или улучшает вывод ИИ по мере необходимости. Он может исправлять неточности, удалять неподходящий контент и обеспечивать точность ответа и соответствие предполагаемому сообщению. Корректор работает итеративно, уточняя контент до тех пор, пока он не будет соответствовать требуемым стандартам.
• Rail. Rail управляет взаимодействием между проверяющим и корректирующим. Он выполняет проверки контента и, если контент не соответствует какому-либо стандарту, запускает корректирующий процесс. Этот процесс повторяется до тех пор, пока контент не пройдет все проверки или не достигнет предопределенного предела коррекции. Rail также регистрирует процессы проверяющего и корректирующего, предоставляя данные для дальнейшего анализа.
• Охранник. Охранник взаимодействует со всеми тремя другими компонентами, инициируя проверки и корректоры вместе с рельсами, координируя и управляя рельсами, агрегируя результаты от рельсов и доставляя исправленные сообщения.

При проектировании защитных барьеров организациям следует убедиться, что их можно легко интегрировать в существующие технологические стеки и настраивать в соответствии с потребностями различных вариантов использования.

Агенты ИИ также появляются как инструменты, которые могут функционировать как ограничители. Организации могут использовать агентов ИИ для автоматической проверки и исправления контента, созданного LLM, который был помечен ограничителями. Ранние модели агентов ИИ могут автономно контролировать, корректировать и регулировать результаты, созданные ИИ, как это могут делать другие ограничители ИИ.

Создание добавленной стоимости благодаря защитным барьерам.

Защитные барьеры ИИ — это не только инструмент для соответствия требованиям или этическим требованиям; они также могут помочь создать конкурентное преимущество. Во-первых, защитные барьеры могут помочь организациям построить доверие с клиентами и избежать дорогостоящих юридических проблем. Они также могут помочь организациям использовать ИИ более ответственно и тем самым привлекать и удерживать лучшие таланты.

Чтобы максимизировать потенциал создания добавленной стоимости, организации могут масштабировать свои защитные барьеры ИИ, встраивая их в корпоративные платформы. Iguazio от McKinsey предоставляет защитные барьеры ИИ в производственной среде, чтобы помочь обеспечить масштабируемое управление ИИ и снизить риски нарушений конфиденциальности данных, предвзятости, галлюцинаций и нарушения прав интеллектуальной собственности.

Способы масштабного внедрения защитных барьеров на основе ИИ

• Разработка барьеров с помощью многопрофильных команд. Работайте с различными заинтересованными сторонами, включая юридические команды, чтобы создать барьеры на основе анализа фактических рисков и последствий, которые могут возникнуть из-за ИИ.
• Определение метрики качества контента. Эти метрики должны быть адаптированы к желаемым результатам контента и основываться на конкретных бизнес-целях, стандартах и ​​правилах. Они могут включать такие факторы, как оскорбительность, предвзятость и соответствие принципам бренда.
• Использование модульного подхода. Создавайте компоненты барьеров, которые можно перенастраивать в различных вариантах использования генеративного ИИ и которые можно легко встраивать — а также масштабировать — в существующие системы компании.
• Применение динамического подхода. Инструменты Gen AI — это вероятностные системы, которые динамически корректируют свои выходные данные на основе пользовательских входных данных. Это означает, что одни и те же входные данные не всегда могут давать одинаковые выходные данные, что иногда может быть проблемой. Организация должна установить ограничения на основе правил с динамическими базовыми значениями для выходных данных модели, которые могут меняться в зависимости от различных переменных.
• Применение существующих нормативных рамок. Используйте существующие и формирующиеся нормативные, правовые и нормативные рамки, а также передовые отраслевые практики для создания «целей», которых должны достичь при внедрении защитных барьеров. Все это можно использовать в качестве показателей, по которым компании могут измерять эффективность моделей.
• Развитие новых возможностей и ролей. Повышайте квалификацию нового поколения специалистов, которые несут ответственность за результативность моделей и за обеспечение прозрачности, управления и справедливости ИИ. Например, путем внедрения процессов документирования, подотчетности и соответствия в методах работы организации с инструментами на основе ИИ.

Источник

What are AI guardrails? November 14, 2024 | Article

https://www.mckinsey.com/featured-insights/mckinsey-explainers/what-are-ai-guardrails

Что такое Защитные барьеры ИИ? 14 ноября 2024 г.

Шестьдесят лет инноваций: ключевые моменты в бизнес-технологиях. Ежеквартальный отчет McKinsey

McKinsey выделил 25 прорывов, которые изменили бизнес: от полупроводников до мобильных телефонов и генеративного искусственного интеллекта. Утверждается, что навсегда. Смелое заявление.

1960-е годы.

1964. Рождение современных вычислений. System/360 от IBM меняет правила игры навсегда.

IBM представляет System/360, знаменуя собой кардинальный сдвиг в вычислительных парадигмах, позволяя использовать взаимозаменяемое программное обеспечение и периферийное оборудование. Это освобождает пользователей от ограничений универсальных мэйнфреймов, которые заставляли их покупать совершенно новую компьютерную систему, чтобы добавить новую функцию. С System/360 программное обеспечение и оборудование разделяются, формируя будущий цифровой ландшафт.

1965. Начинается полупроводниковая революция. Закон Мура предсказывает экспоненциальный рост вычислительной мощности.

1969. Новая эра связи. ARPANET закладывает основу для Интернета.
Объединяя исследовательские центры в университетах и ​​на предприятиях по всей стране, ARPANET Агентства перспективных исследовательских проектов становится первой компьютерной сетью, использующей коммутацию пакетов для соединения географически распределенных компьютеров, закладывая основу для современного Интернета.

1970-e годы

Мобильная связь, мощные микрочипы, спутниковая навигация, современные базы данных, первые микрокомпьютеры… это десятилетие, в котором по-настоящему начинается компьютерная эра.

1973. Добро пожаловать в беспроводную связь. Совершен первый звонок по мобильному телефону.
Инженер Motorola Мартин Купер совершает первый в истории звонок по мобильному телефону на улицах Нью-Йорка (инженеру Джоэлу Энгелю, руководителю аналогичного проекта в конкурирующей компании AT&T). Десять лет спустя Motorola DynaTAC размером с кирпич становится первым доступным для публики сотовым телефоном, предлагая 35 минут разговора на одном заряде батареи. Цена - 3995 долларов.

1973. Рождение GPS. Американские военные произвели революцию в навигации.
Министерство обороны США запускает проект, в конечном итоге известный как Navstar GPS, спутниковую радионавигационную систему, которая обеспечивает позиционирование, синхронизацию и навигационные сигналы для военных и гражданских пользователей. Первый прототип вступает в строй в 1978 году, делая GPS жизненно важным инструментом для предприятий, позволяя им контролировать состояние оборудования, отслеживать транспортные средства, оптимизировать графики поставок и многое другое.

1974. Розничная торговля становится умнее. Почти в одночасье Универсальный товарный код (UPC) изменил отрасль.
Wrigley выпускает упаковку жевательной резинки с необычной серией черных линий — первым универсальным товарным кодом (UPC). Разработанный при поддержке McKinsey, UPC помогает идентифицировать продукты, оптимизируя процесс оформления заказа, сокращая расходы и улучшая контроль запасов. Менее чем через год около 75 процентов продуктовых товаров носят этикетки.

1974. Intel зажигает революцию ПК. Новый мощный микропроцессор прокладывает путь.
Intel выпускает 8080, с вдвое большими вычислительными возможностями, чем у его предшественника. Доступный и очень универсальный, этот чип преобразует способ создания электронных систем и закладывает основу для разработки персонального компьютера.

1974. Расцвет компьютерного гения. Altair 8800 будоражит воображение пионеров ПК.
Появившийся на обложке январского номера журнала Popular Electronics за 1975 год и продававшийся по почте (398 долларов, требуется сборка), Altair 8800 от MITS, работающий на процессоре Intel 8080, становится первым успешно коммерциализированным персональным компьютером, вдохновив таких потенциальных технологических гигантов, как Билл Гейтс и Пол Аллен.

1979. Наступает эра Больших Данных. Технология баз данных открывает новые миры понимания.
Под руководством Ларри Эллисона компания Relational Software Inc. (теперь Oracle) выпускает Oracle Version 2 — первую коммерчески доступную реляционную базу данных. Такие системы, изначально задуманные исследователем IBM Э. Ф. Коддом, позволяют организациям запрашивать и извлекать данные для получения более глубоких знаний и принятия более разумных решений, а также помогают заложить основу для компьютерной революции в бизнесе.

1980-e годы

С появлением все более удобных для пользователя ПК компьютеры становятся важным инструментом как для бизнеса, так и для домохозяйств. Между тем, прорыв в области хранения энергии предвещает наступление эры портативных вычислений.

1980. Батареи становятся больше. Литий-ионный аккумулятор обеспечивает сверхмощное хранение энергии.
Физик Джон Баннистер Гуденаф создает первую перезаряжаемую литий-ионную батарею, которая теперь является важнейшим компонентом смартфонов и электромобилей.

1981. Начинается эра ПК. IBM открывает новые горизонты с 5150.
Микрокомпьютер на базе чипа Intel 8088, продающийся по цене 1500 долларов США, открывает мир вычислений малому бизнесу и домохозяйствам.

1984. Вычислительная техника получает дружественный облик. Apple представляет компьютер Macintosh 128K.
Представленное Стивом Джобсом 24 января 1984 года, это новаторское устройство может похвастаться удобным управлением с помощью мыши и графического пользовательского интерфейса, устанавливая новый стандарт простоты использования и инноваций и прокладывая путь к будущему успеху Apple в области бытовой электроники.

1987. Рождение колоды. Microsoft запускает PowerPoint.
Первоначально известное как Presenter, революционное программное обеспечение для презентаций предлагает базовые функции, такие как черно-белые изображения и отдельные переходы; оно быстро превращается в основной инструмент для делового общения, позволяя пользователям создавать визуально привлекательные слайды для встреч, лекций и конференций.

1990-е годы

После десятилетий исследований и разработок компьютерные сети по-настоящему стали глобальными с появлением Интернета, открыв новые перспективы для бизнеса.

1990. ОС на века. Microsoft представляет Windows 3.0.
Благодаря инновационному интерфейсу и улучшенным возможностям многозадачности Windows 3.0 способствует широкому распространению компьютеров, особенно в деловом мире. Позволяя пользователям беспрепятственно запускать несколько приложений одновременно, операционная система повышает производительность и укрепляет позиции Windows как основного выбора для пользователей ПК, подготавливая почву для ее дальнейшего доминирования на рынке операционных систем.

1991. Это меняет все. Рождение Всемирной паутины
Отвечая на потребность в бесперебойном обмене информацией между учеными по всему миру, британский ученый-компьютерщик Тим Бернерс-Ли создает Всемирную паутину, которая дебютирует с первым операционным веб-сервером и браузером, работающим на коде, разработанном на компьютере NeXT. Это знаменательное событие высвобождает силу Интернета, обеспечивая публичный доступ и преобразуя коммуникацию и торговлю в глобальном масштабе.

1996. Защита свободы слова в цифровую эпоху.
Ограждая онлайн-платформы от юридической ответственности за пользовательский контент, Раздел 230 Закона о благопристойности в коммуникациях 1996 года ускоряет развитие зарождающейся Всемирной паутины. Это, в свою очередь, подстегивает волну предпринимателей двигаться вперед, не опасаясь судебных разбирательств, и расчищает путь для таких платформ, как Facebook, Instagram, TikTok, YouTube и других.

1997. Машина побеждает человека. Deep Blue побеждает гроссмейстера по шахматам.
Одержав победу над действующим чемпионом мира по шахматам Гарри Каспаровым в изнурительном матче из шести партий под стандартным управлением турнира, суперкомпьютер IBM Deep Blue демонстрирует потенциал вычислительной мощности и искусственного интеллекта (ИИ) для имитации мыслительных процессов человека. Прорывная технология прокладывает путь к достижениям в различных областях, таких как фармацевтические исследования, оценка финансовых рисков, анализ данных и генетические исследования.

1999. Рождение CRM. Появляется лучший способ обслуживания и понимания клиентов.
Одноименное программное обеспечение Salesforce для управления взаимоотношениями с клиентами (CRM) открывает новую эру бизнес-аналитики с набором продуктов, ориентированных на продажи, обслуживание клиентов, автоматизацию маркетинга, электронную коммерцию и аналитику. Не менее важно: компания является пионером новой бизнес-модели — «программное обеспечение как услуга», — в которой продукт поставляется онлайн, а не загружается и хранится на локальных серверах.

2000-е годы

Революция в хранении данных (привет, облако!) и самый мощный карманный компьютер в мире (привет, iPhone!) помогают создать мир, в котором все подключено и всегда доступно.

2001. Новый план инноваций. Гибкое мышление открывает новые перспективы для разработчиков.
Созданный на встрече 17 ведущих разработчиков программного обеспечения, Манифест гибкой разработки программного обеспечения запускает преобразующий сдвиг в разработке программного обеспечения, переходя от изолированных процессов к совместным, кросс-функциональным командам, характеризующимся итеративной разработкой и непрерывным сотрудничеством. Методология побуждает команды адаптироваться и быстро развиваться, не только изменяя способ создания программного обеспечения, но и предоставляя всем командам возможность работать более эффективно и результативно.

2006. Революция в хранении данных. Amazon переносит вычисления в облако.
Дебют Amazon Web Services (AWS) возвещает о рождении облачных вычислений, революции в предоставлении ИТ-услуг, которая устраняет необходимость для предприятий инвестировать в такие фундаментальные возможности, как хранение и вычислительная мощность. Microsoft и Google вскоре выйдут на рынок облачных вычислений, катализируя индустрию стоимостью в триллион долларов к 2023 году.

2007. Переосмысление телефона. Дебют iPhone.
iPhone от Apple меняет ландшафт смартфонов, превращая устройство из маленького телефона в стильный карманный компьютер, который может совершать звонки и просматривать веб-страницы. Компания продает 270 000 единиц в первые выходные продаж iPhone, а через несколько месяцев число продаж увеличивается до более чем миллиона.

2010-е годы

Инновации в области нейронных сетей и глубокого обучения указывают на мир, в котором компьютеры умнее и мощнее, чем когда-либо. Между тем, новый вид бизнес-иконы показывает миру, как выглядит подрыв, когда технологии и инновации в бизнес-моделях объединяются.

2012. Использование силы данных. AlexNet добился успеха в глубоком обучении.
Победа AlexNet в конкурсе ImageNet Large Scale Visual Recognition Challenge знаменует собой прорыв в области глубокого обучения и значительный прогресс по сравнению с традиционными нейронными сетями. Разработанная Алексом Крижевским, Джеффри Хинтоном и Ильей Суцкевером, AlexNet производит революцию в применении и эффективности сверточных нейронных сетей, делая их высокоэффективными для анализа данных изображений. Эта веха двигает вперед область глубокого обучения, прокладывая путь для новых инноваций и приложений в области ИИ.

2012. Илон Маск разрушает отрасль. Tesla запускает Model S
Tesla Motors нарушает автомобильную индустрию, выпуская свой электрический люксовый седан, отходя от традиционного процесса покупки автомобиля с онлайн-покупками и бронированием в листе ожидания и устанавливая новый стандарт удобства и доступности. Автомобиль может похвастаться такими преимуществами, как сеть Tesla Supercharger и обновления автоматизации по воздуху, что стимулирует принятие электромобилей.

2020-е годы

Мир делает гигантский шаг в будущее, поскольку мощь генеративного ИИ пробуждает воображение повсюду. И благодаря SpaceX Илона Маска открытый космос больше не кажется таким уж «внешним».

2021. Новая эра космических путешествий. SpaceX отправляет гражданских на орбиту.
SpaceX достигает исторического рубежа в коммерческом освоении космоса с успешным запуском миссии Inspiration4, ознаменовав первый раз, когда полностью гражданский экипаж был отправлен на орбиту. Благодаря этому достижению SpaceX становится единственной частной компанией, которая и запустила, и вернула космический корабль с орбиты Земли, и первой компанией, которая состыковала пилотируемый космический корабль с Международной космической станцией.

2022 – настоящее время. Смелое новое будущее технологий. Генеративный ИИ поражает мир
OpenAI выпускает свой новаторский чат-бот для обработки естественного языка, ChatGPT, который работает на основе генеративного ИИ и позволяет вести разговоры, подобные человеческим, чтобы помочь ему выполнять множество задач. Предлагая пользователям возможность беспрепятственного взаимодействия с виртуальным помощником, дебют устанавливает новый стандарт для ИИ, обещая будущее, в котором взаимодействие человека и компьютера будет более интуитивным и доступным, чем когда-либо прежде.

Источник

Шестьдесят лет инноваций: ключевые моменты в бизнес-технологиях. Ежеквартальный отчет McKinsey. Октябрь 2024 г.

https://www.mckinsey.com/capabilities/mckinsey-digital/our-insights/sixty-years-of-innovation-key-moments-in-business-technology

Предсказание для 2025 года, будем живы - проверим

Индийский Нострадамус Пунит Нахата – о конфликте на Украине в 2025 году: Прежде всего, будет ужесточение ситуации, февраль-март-апрель. Ближе к концу мая, может быть достигнуто новое мирное соглашение. В 2025 году прежде всего нужно обратить внимание на две вещи: Израиль, там ситуация ухудшится вплоть до того, что напряжение выйдет на более серьезный уровень. Также отношения Индии и Пакистана в 2025 году будут непростыми. США и Россия станут очень хорошими друзьями. Нас ждет новый мировой порядок, нравится это кому-то или нет. Китай станет страной-лидером, более жестким, чем Америка. В будущем Америке придется обратиться к России за помощью. И Индии придется это сделать, чтобы держать планету в мире.

Телеграмм канал - Такер Карлсон