AI как источник роста потребления электроэнергии

Для начала - количество дата центров из инфографики

Ранг	Страна	Кол-во дата центров	%
1	U.S.	5 381	45,60%
2	Germany	521	4,42%
3	UK	514	4,36%
4	China	449	3,81%
5	Canada	336	2,85%
6	France	315	2,67%
7	Australia	307	2,60%
8	Netherlands	297	2,52%
9	Russia	251	2,13%
10	Japan	219	1,86%
11	Mexico	170	1,44%
12	Italy	168	1,42%
13	Brazil	163	1,38%
14	India	152	1,29%
15	Poland	144	1,22%
16	Spain	143	1,21%
17	Hong Kong	122	1,03%
18	Switzerland	120	1,02%
19	Singapore	99	0,84%
20	Sweden	95	0,81%
21	New Zealand	81	0,69%
22	Indonesia	79	0,67%
23	Belgium	79	0,67%
24	Austria	68	0,58%
25	Ukraine	58	0,49%
n/a	Rest of World	1 469	12,45%
	TOTAL	11 800	100,00%

Источник - https://www.visualcapitalist.com/ranked-the-top-25-countries-with-the-most-data-centers/

* * *

Согласно исследования McKinsey искусственный интеллект порождает спрос на электроэнергию. Значит - опять все будет дорожать... И будет ли компенсацию за счет снижения издержек в силу эксплуатации ИИ?

Выдержки из статьи McKinsey. Иследование касается северо-американского континента.

Стремительное внедрение технологий цифровизации и искусственного интеллекта усилило спрос на центры обработки данных по всей территории Соединенных Штатов. Чтобы идти в ногу с текущими темпами внедрения, ожидается, что потребности центров обработки данных в электроэнергии вырастут примерно в три раза по сравнению с текущей мощностью к концу десятилетия, с 3–4 процентов от общего спроса на электроэнергию в США сегодня до 11–12 процентов в 2030 году. Стремительно растущие потребности в вычислениях и данных еще больше ускоряются за счет роста вычислительных возможностей наряду со снижением эффективности чипов относительно энергопотребления. Например, количество времени, необходимое центральным процессорам для удвоения эффективности производительности, увеличилось с двух до почти трех лет. А обеспечение более 50 гигаватт (ГВт) дополнительной мощности центров обработки данных, необходимых в Соединенных Штатах к концу десятилетия, потребует инвестиций в размере более 500 миллиардов долларов только в инфраструктуру центров обработки данных

Энергетический сектор быстро становится главным героем в истории ИИ. Доступ к электроэнергии стал критическим фактором в строительстве новых центров обработки данных. Поскольку энергетическая экосистема борется с ненасытной потребностью центров обработки данных в электроэнергии, она сталкивается со значительными ограничениями, включая ограничения по надежным источникам питания, устойчивости питания, инфраструктуре для доступа к электроэнергии, силовому оборудованию в центрах обработки данных и рабочим по электротехнике для строительства объектов и инфраструктуры. Например, в настоящее время время выполнения заказа на электропитание новых центров обработки данных на таких крупных рынках, как Северная Вирджиния, может составлять более трех лет. А в некоторых случаях время выполнения заказа на электрооборудование составляет два года и более.

Без достаточных инвестиций в центры обработки данных и инфраструктуру электропитания потенциал ИИ не будет полностью реализован.

Масштабы растущего спроса на центры обработки данных

Согласно анализу McKinsey, ожидается, что Соединенные Штаты станут самым быстрорастущим рынком для центров обработки данных, увеличившись с 25 ГВт спроса в 2024 году до более чем 80 ГВт спроса в 2030 году. Этот рост обусловлен продолжающимся ростом данных, вычислений и подключений в результате цифровизации и миграции в облако, а также масштабированием новых технологий, наиболее важной из которых является ИИ. Исследование McKinsey оценивает, что генеративный ИИ (gen AI) может помочь создать от 2,6 трлн до 4,4 трлн долларов экономической стоимости во всей мировой экономике. Однако для реализации хотя бы четверти этого потенциала к концу десятилетия потребуется от 50 до 60 ГВт дополнительной инфраструктуры центров обработки данных только в Соединенных Штатах.

Для удовлетворения этого спроса потребуется значительно больше электроэнергии, чем в настоящее время производится в Соединенных Штатах. Ожидается, что в период с 2024 по 2030 год спрос на электроэнергию для центров обработки данных в Соединенных Штатах увеличится примерно на 400 тераватт-часов при среднегодовом темпе роста около 23%.

Ограничения в цепочке создания стоимости электроэнергии могут помешать прогрессу

Компании по всей цепочке создания стоимости электроэнергии сталкиваются с ограничениями и дефицитом, что тормозит прогресс. Отрасль приближается к своим физическим пределам по размерам узлов и плотности транзисторов, а длительные сроки поставки также препятствуют прогрессу. Время, необходимое для получения новых подключений к электросети для центров обработки данных в крупных центрах обработки данных, таких как Северная Вирджиния; Санта-Клара, Калифорния; и Финикс, увеличивается. Места за пределами США, такие как Амстердам, Дублин и Сингапур, ввели мораторий на строительство многих новых центров обработки данных в последние годы, в первую очередь из-за отсутствия инфраструктуры электропитания для их поддержки.

В то же время спрос со стороны новых нагрузок ИИ способствовал дефициту вычислительной доступности. Уровень вакансий на рынках крупных центров обработки данных первого уровня находится на исторически низком уровне, что затрудняет взаимосвязь и доступ к сетям, особенно на рынках с высоким уровнем проникновения, где нагрузка на центры обработки данных уже представляет собой значительную часть общего спроса. Усугубляя напряженность среди инвесторов, поскольку доступ к сетям сократился, сроки инвестирования и дальнейшего строительства сетей для регулируемых коммунальных служб стали длиннее цикла разработки центров обработки данных.

Примечательно, что недоступность электроэнергии на большинстве рынков обусловлена ​​ограничениями в подключении к передающей сети, а не невозможностью вырабатывать электроэнергию. Однако скрытая мощность в генерирующем парке в основном удерживается работающими на ископаемом топливе электростанциями, работающими ниже своих максимальных уровней. В то время как гипермасштабирующие компании и коммунальные службы работают над созданием парка возобновляемых источников энергии для поддержки обязательств по устойчивому развитию, сохраняется необходимость в обеспечении не только новой нагрузки от центров обработки данных, но и растущей нагрузки от электрификации (например, на транспорте и в промышленности), а также в замещении стареющих тепловых электростанций, которые в конечном итоге выйдут из эксплуатации. В результате обязательства по устойчивому развитию в некоторых случаях отходят на второй план.

В местах, где имеется доступ к электроэнергии по магистральной сети электропередачи, существуют дополнительные ограничения по энергетическому оборудованию, такому как трансформаторы, резервные генераторы на месте и блоки распределения электроэнергии (PDU), при этом исторически высокие сроки поставки в некоторых случаях составляют почти два года. 
Дополнительным препятствием является нехватка рабочих-электриков, необходимых для выполнения этих проектов.

Неиспользованные возможности для инвесторов и действующих игроков в развитии центров обработки данных

Для экосистемы центров обработки данных огромные капиталовложения и тесная связь с энергетическим сектором открывают значительные возможности. По всей цепочке создания стоимости электроэнергии инвесторы могут участвовать и внедрять решения, которые удовлетворят спрос на центры обработки данных и ускорят рост. Текущий прогресс и ограничения одинаково четко выделяют три области, в которых инвесторы могут оказать наибольшее влияние: 

• доступ к электроэнергии и ее источникам, 
• энергетическое оборудование,
• специалисты и техники.

Инвесторы могут участвовать в цепочке создания стоимости электроэнергии и внедрять решения, которые удовлетворят спрос на центры обработки данных и ускорят рост.

Доступ к электропитанию и его источники

Инвесторы и действующие лица имеют достаточно возможностей для участия в создании новых решений для доступа к энергии и источникам.

• Инвестиции в передачу и распределение. Из-за растущей критичности доступности электроэнергии в масштабируемых центрах обработки данных все больше коммунальных компаний осознали важность и потенциал центров обработки данных. В результате инвесторы могут направлять инвестиции в коммунальные компании для создания инфраструктуры передачи и распределения на ключевых рынках. Спрос на центры обработки данных и электроэнергию не показывает никаких признаков замедления, поэтому рынки должны соответственно расти. Достижения в области искусственного интеллекта будут создавать еще больше данных, увеличивая потребность в центрах хранения данных, чтобы избежать проблем, связанных с управлением большими объемами данных.
• Вторичные рынки с доступом к надежной и дешевой энергии. Существует разрыв между сроками строительства центров обработки данных (которые могут достигать 18–24 месяцев) и сроками развития энергетической инфраструктуры — проекты по газу и возобновляемым источникам энергии обычно длятся от трех до пяти лет, а разработка линий электропередачи может регулярно занимать от семи до десяти лет. Это дает возможности творчески преодолеть временной разрыв. Многие наращивают мощности в новых и нетипичных местах за пределами основных рынков центров обработки данных, поскольку эти области предлагают более дешевую и доступную энергию и имеют потенциал для инфраструктуры без выбросов углерода.

Материал из следующего источника:

Как центры обработки данных и энергетический сектор могут удовлетворить потребность ИИ в энергии. 17 сентября 2024 г. Аластер Грин, Хумаюн Тая , Джесси Ноффсингер, Панкадж Сачдева, Арджита Бхана, Раман Шарма.

How data centers and the energy sector can sate AI’s hunger for power.
https://www.mckinsey.com/industries/private-capital/our-insights/how-data-centers-and-the-energy-sector-can-sate-ais-hunger-for-power

Что делает нагрузку на центр обработки данных уникальной?

В зависимости от рабочей нагрузки дата-центры могут потреблять электроэнергию круглосуточно, с некоторыми внутридневными колебаниями, как и другие промышленные центры. Однако дата-центры представляют собой с точки зрения коммунальных компаний и инвесторов уникальный профиль.

Во-первых, большинство центров обработки данных располагаются с резервными системами хранения энергии, чтобы обеспечить выполнение высоких требований к времени безотказной работы. Эта резервная система может быть направлена ​​для компенсации нагрузки центра обработки данных, когда условия в сети становятся напряженными.

Во-вторых, владельцы центров обработки данных обычно более склонны платить за электроэнергию, чем большинство других потребителей электроэнергии. Эксплуатационные расходы на электроэнергию составляют около 20% от общей стоимости бизнес-моделей центров обработки данных, которые оказались весьма прибыльными для крупных компаний. Поэтому более высокие тарифы на электроэнергию не нарушают бизнес-модель. Для сравнения, для других источников электроэнергии, таких как производство зеленого водорода, себестоимость конечного продукта сильно зависит от цен на электроэнергию, а ожидаемая маржа намного меньше.

В-третьих, прогноз спроса на центры обработки данных и готовность владельцев платить являются особенностями в деле использования электроэнергии. Для большинства видов использования энергия преобразуется в физический конечный продукт (такой как светодиодная лампочка), а энергоэффективность измеряется в процентах (например, светодиодная лампочка потребляет на 90% меньше энергии, чем лампа накаливания). Вычислительная мощность измеряется порядком величины, а не процентом, а выход потребляемой мощности для центров обработки данных представляет собой информацию, а не физический товар. Прорывы, которые открывают доступ к недорогим, высокоэффективным вычислениям, не обязательно снижают спрос на электроэнергию. Скорее, такие прорывы могут повысить сложность моделей, и они могут даже обеспечить больше вариантов использования, которые приведут к большему спросу на электроэнергию. Короче говоря, обычные эксплуатационные параметры сектора электроэнергетики могут потребовать некоторого пересмотра, прежде чем они будут применены к центрам обработки данных.

Срок актуальности текущей парадигмы LLM

Лекун предиктнул новую архитектуру в течение 3-5 лет. Он выступал в Давосе (2025) на Debating Technologies и сказал следующее:

«Я думаю, что срок актуальности текущей парадигмы LLM довольно короткий — вероятно, три-пять лет. Думаю, через пять лет ни один здравомыслящий человек не будет использовать трансформеры, по крайней мере в качестве центрального компонента системы ИИ»

Лекун выделяет четыре основных ограничения:

• отсутствие понимания физического мира,
• отсутствие постоянной памяти,
• нехватка способности к рассуждению.
• неспособность к сложному планированию.

По его мнению, без всего этого настоящий AGI/ASI невозможен.

«В ближайшие годы нас ждёт новая революция ИИ. Возможно, нам даже придётся поменять название, так как это уже вряд ли будет генеративным ИИ в том виде, в котором мы понимаем его сегодня».

Революция искусственного интеллекта 2025 года

В ожидании 2025 года искусственный интеллект готов внести преобразующие изменения в различные отрасли. Недавняя статья Джулиана Хорси ("Expected AI Breakthroughs in 2025: What ChatGPT Has in Store for You") подчеркивает, как достижения в технологиях ИИ, таких как ChatGPT, должны переопределить разработку программного обеспечения, образование, творческие сферы и многое другое. Ниже Frank Diana резюмирует статью и предлагает свою точку зрения на то, как эти изменения могут повлиять на нас, исследуя их последствия и обсуждая проблемы, которые нам необходимо решить, чтобы полностью реализовать потенциал ИИ.

Революция в разработке программного обеспечения с помощью автоматизации на основе искусственного интеллекта

Появление агентных фреймворков кодирования должно произвести революцию в разработке программного обеспечения за счет автоматизации повторяющихся задач и оптимизации рабочих процессов. Такие инструменты, как Bolt, Repet Agent и Cursor, уже позволяют разработчикам сосредоточиться на более высокоуровневых действиях, таких как управление проектами и проектирование продуктов. В 2025 году компании смогут использовать эти фреймворки для создания индивидуального программного обеспечения, адаптированного под их конкретные потребности, что позволит снизить зависимость от дорогостоящих подписок SaaS.

Точка зрения Frank Diana:

Я считаю, что этот сдвиг может демократизировать разработку программного обеспечения, позволяя даже малым предприятиям и частным лицам без обширных знаний в области кодирования разрабатывать индивидуальные решения. Это не только снижает затраты, но и способствует инновациям, позволяя большему количеству людей воплощать свои идеи в реальность.

Персонализированный ИИ: улучшение пользовательского опыта с помощью запоминания предпочтений

Системы ИИ, такие как ChatGPT, все чаще включают возможности памяти для предоставления более персонализированных и бесперебойных взаимодействий. Запоминая предпочтения пользователя, цели и прошлые взаимодействия, ИИ может адаптироваться к индивидуальным потребностям.

Преимущества включают в себя:

• Улучшение взаимодействия: индивидуальные рекомендации улучшают пользовательский опыт.
• Оптимизированные рабочие процессы: вызов прошлых взаимодействий экономит время и усилия.
• Повышение эффективности: помогает эффективнее управлять сложными проектами.

Точка зрения Frank Diana:

Хотя персонализация взаимодействий ИИ предлагает значительные преимущества, мы должны сохранять бдительность в отношении проблем конфиденциальности. Обеспечение того, чтобы наши данные надежно хранились и использовались этично, имеет первостепенное значение для поддержания доверия к этим технологиям.

Творческий ренессанс: ИИ в создании мультимедиа

Инструменты для творчества на базе ИИ быстро развиваются, особенно в создании высококачественных изображений, видео и другого мультимедийного контента. Такие платформы, как MidJourney и Stable Diffusion, производят гиперреалистичные визуальные эффекты, а новые инструменты для создания видео набирают обороты. К 2025 году интегрированные платформы смогут объединить написание сценариев, анимацию и звуковой дизайн, упростив творческий процесс как для профессионалов, так и для любителей.

Отрасли, которые получат выгоду:

• Создание контента: ускоряет воплощение творческих идей в жизнь.
• Маркетинг и реклама: предлагает экономически эффективные решения для создания привлекательных визуальных материалов.
• Развлечения: Помогает в создании захватывающих и интерактивных впечатлений.

Точка зрения Frank Diana:

Эта демократизация творческих инструментов захватывает. Она снижает барьеры для входа в творческие отрасли, позволяя большему количеству людей выражать свои идеи и истории. Однако мы также должны учитывать, как это влияет на традиционные творческие профессии, и искать способы поддержать художников во время этого перехода.

Более умный поиск: ИИ улучшает извлечение знаний

Инструменты поиска на основе ИИ развиваются, чтобы обеспечить более точный и эффективный поиск знаний. ChatGPT и конкуренты, такие как Perplexity и Grok, расширяют возможности поиска с помощью специализированных функций. Например, Grok фокусируется на поиске на основе Reddit, в то время как другие стремятся предлагать неотцензурированные результаты.

Проблемы, которые необходимо преодолеть:

• Обеспечение точности: предотвращение распространения дезинформации имеет решающее значение.
• Повышение скорости: приложениям реального времени требуются быстрые возможности поиска.
• Защита конфиденциальности: баланс между персонализированными результатами и защитой пользовательских данных.

Точка зрения Frank Diana:

Улучшенные возможности поиска могут значительно улучшить наш доступ к информации, демократизируя знания в беспрецедентных масштабах. Я считаю, что эта широкая доступность, вероятно, приведет к революции изобретений, дав людям возможность во всем мире внедрять инновации и вносить вклад в решения глобальных проблем. Делая знания более доступными, мы можем способствовать развитию культуры творчества и решения проблем. Однако крайне важно решать проблемы дезинформации и точности данных. Обеспечение того, чтобы системы ИИ предоставляли надежную и беспристрастную информацию, имеет решающее значение для использования этого потенциала и превращения демократизированных знаний в значимые достижения.

Интеграция инструментов ИИ: на пути к единому цифровому помощнику

Будущее указывает на унифицированные системы ИИ, которые объединяют разнообразные инструменты в единую платформу. Объединяя такие функции, как память, творческие инструменты и возможности поиска, эти системы стремятся упростить сложные задачи и рабочие процессы.

Потенциальные преимущества:

• Эффективность использования времени: объединяет несколько функций на одной платформе.
• Упрощенные процессы: снижение сложности за счет оптимизации рабочих процессов.
• Удобный интерфейс: предлагает интуитивно понятные решения, доступные всем пользователям.

Точка зрения Frank Diana:

Помощник на основе ИИ может произвести революцию в том, как мы управляем своей повседневной жизнью, но важно, чтобы эти системы были удобными для пользователя и доступными для всех, а не только для технически подкованных людей. Кроме того, мы должны быть осторожны с чрезмерной зависимостью от ИИ, сохраняя баланс между автоматизацией и участием человека.

Этические соображения: укрепление доверия к технологиям искусственного интеллекта

Поскольку ИИ становится все более распространенным, этические соображения приобретают первостепенное значение. Обеспечение соответствия систем ИИ стандартам безопасности и этики особенно важно в таких чувствительных секторах, как здравоохранение, военные приложения и конфиденциальность данных.

Направления деятельности:

• Прозрачность: разработка понятных алгоритмов для укрепления доверия.
• Меры безопасности: реализация надежных мер защиты пользовательских данных.
• Борьба с предвзятостью: обеспечение справедливости и инклюзивности в системах ИИ.

Точка зрения Frank Diana:

Этическая разработка ИИ должна быть на переднем крае технологического прогресса. Выступая за прозрачность, подотчетность и справедливость в системах ИИ, мы можем построить доверие и гарантировать, что эти технологии принесут пользу обществу в целом.

Взгляд в будущее: баланс между инновациями и ответственностью

Быстрое развитие ИИ открывает значительные возможности наряду с заметными проблемами. Чтобы обеспечить успешное внедрение, необходимо преодолеть несколько препятствий:

• Доступность для пользователей и профессиональные потребности: баланс между простотой для обычных пользователей и расширенными возможностями настройки для экспертов.
• Надежность инструментов ИИ: повышение согласованности и производительности агентных систем и креативных приложений.
• Вопросы этики и безопасности: снижение рисков, связанных с конфиденциальными данными и приложениями.

Точка зрения Frank Diana:

Принимая эти достижения ИИ, крайне важно подходить к ним ответственно. Активно участвуя в обсуждениях этики, конфиденциальности и общественного влияния ИИ, мы можем помочь сформировать будущее, в котором технологии служат инструментом расширения прав и возможностей, а не источником беспокойства.

* * *

Будущее ИИ заключается не только в технологических достижениях; оно заключается в создании инструментов, которые обогащают нашу повседневную жизнь, при этом ответственно управляя этическими сложностями, которые они представляют. Оставаясь в курсе и участвуя в этих разработках, мы можем с нетерпением ждать 2025 года, когда ИИ будет работать вместе с нами, делая необычайные возможности реальностью.

Источник

https://frankdiana.net/2024/12/03/2025s-ai-revolution/
Революция искусственного интеллекта 2025 года. 3 декабря 2024 г. Фрэнк Диана

2025’s AI Revolution. December 3, 2024. Frank Diana

Формирование доверия к ИИ: ключевая роль объяснимости

Термин: XAI - enhanced AI explainability. Улучшенная объяснимость ИИ.

Мощные системы ИИ часто работают как «черные ящики», окутанные тайной. Искусственный интеллект обладает потенциалом для значительного повышения экономической производительности и обеспечения позитивных социальных изменений во всем мире. Наряду с потенциалом повышения производительности и инноваций, генеративный ИИ несет новые риски — например, галлюцинации и неточные или предвзятые результаты, — которые грозят подорвать доверие к технологии.

Чтобы полностью раскрыть потенциальную ценность ИИ, организациям необходимо завоевать доверие. Фактически, доверие является основой для внедрения продуктов и услуг на базе ИИ. В конце концов, если клиенты или сотрудники не доверяют результатам работы систем ИИ, они не будут их использовать. Доверие к ИИ достигается путем понимания результатов работы программного обеспечения на базе ИИ и того, как — по крайней мере на высоком уровне — они создаются.

Эта головоломка вызвала к жизни новый подхол к построениию систем ИИ - улучшенную объяснимость ИИ (XAI), призванную помочь организациям понять внутреннюю работу систем ИИ, контролировать объективность и точность выходных данных. Проливая свет на сложность так называемых алгоритмов ИИ-черного ящика, XAI может повысить доверие и вовлеченность тех, кто использует инструменты ИИ. Это важный шаг, поскольку инициативы ИИ проходят сложный путь от ранних развертываний до масштабного внедрения.

Эволюция XAI и современные проблемы

Ранние инструменты ИИ, использующие системы на основе правил и деревья решений, были относительно простыми и прозрачными по своей конструкции. Однако по мере того, как модели машинного обучения становились все более сложными, становилось все труднее отслеживать причины, лежащие в основе их процессов принятия решений. В начале 2000-х годов появились такие методы, как локальные интерпретируемые модельно-независимые объяснения (LIME) и аддитивные объяснения Шепли (SHAP), которые давали представление об индивидуальных прогнозах сложных моделей. Google представила свой инструмент What-If, повышающий прозрачность модели с помощью интерактивных визуализаций; IBM выпустила набор инструментов AI Explainability 360; а DARPA выпустила программу Explainable AI (XAI), которая еще больше продвинула эту область, разработав комплексные наборы инструментов и методы для интерпретации моделей ИИ.

В то же время, несколько широко разрекламированных ошибок подчеркнули растущую потребность в объяснимости ИИ. Например, в 2016 году расследование ProPublica алгоритма COMPAS, используемого судами США для оценки вероятности повторного совершения преступления обвиняемым, выявило систематическую предвзятость в отношении обвиняемых-афроамериканцев. К сожалению, решение этих проблем — непростая задача. Одной из основных проблем является растущая сложность расширенных больших языковых моделей (LLM), которые опираются на глубокие нейронные сети и часто работают как черные ящики с непрозрачными процессами принятия решений. А отсутствие доступа к архитектуре фирменных моделей затрудняет понимание того, как они работают. Раньше команды могли контролировать справедливость, курируя данные обучения и применяя методы калибровки. Однако сегодняшние LLM сопротивляются такому контролю, что затрудняет объяснимость. Наконец, организации все чаще сталкиваются с компромиссом между точностью модели и интерпретируемостью: более сложные модели и LLM часто достигают более высокой точности, но ценой меньшей интерпретируемости и сложности объяснения.

Новаторы сосредоточены на этих проблемах, и некоторые успехи уже достигнуты. Например, Anthropic внес значительные улучшения в методы объяснимости и интерпретируемости LLM. Инструменты для интерпретации поведения языковых моделей, включая отладчик OpenAI transformer, являются новыми и только начинают пониматься и внедряться. Примером того, как технологические компании включают инструменты объяснимости в свои платформы, является Vertex Explainable AI от Google , который улучшает понимание генеративного ИИ и LLM с помощью основанных на признаках и примерах объяснений, которые дают пользователям представление о прогнозах моделей, выявляя влиятельные признаки в сложных генеративных моделях, таких как основанные на трансформаторах LLM. Кроме того, недавние исследования, инициированные сообществом, такие как работа по анализу поведения на уровне головных частей архитектур LLM, отражают растущий импульс к распаковке поведения моделей. Масштаб и сложность более зрелых методов распаковки этих сложных систем представляют собой беспрецедентные проблемы.

Окупаемости инвестиций от XAI

Как и в случае любых инвестиций в неопределенной среде, организации, стремящиеся повысить объяснимость ИИ, должны учитывать выгоды и издержки, чтобы решить, как и когда действовать в отсутствие идеальной информации о потенциальном росте и сопутствующих рисках. Сегодняшний ландшафт ИИ полон неопределенности, и в этом контексте ведущие лаборатории ИИ, такие как Anthropic, делают ставки на то, что инвестиции в XAI окупятся как путь к дифференциации в переполненной области разработчиков фундаментальных моделей. Между тем, предприятия стремятся оправдать ожидания своих заинтересованных сторон и регулирующих органов.

Спрос на XAI растет. По мере того, как начинают формироваться глобальные правила ИИ, растет потребность в объяснимости и интерпретации, и все больше организаций ищут руководства о том, как определить, какой уровень объяснимости следует принять и сколько информации о своих моделях следует публиковать. Например, Закон ЕС об ИИ налагает особые требования к прозрачности для различных вариантов использования ИИ, классифицированных в соответствии с его фреймворком, основанным на рисках. В случае систем ИИ с высоким уровнем риска, таких как системы, используемые при подборе персонала, например, программное обеспечение для ранжирования резюме, организации обязаны предоставлять информацию о возможностях системы, ограничениях, происхождении данных и логике принимаемых ею решений.

Чтобы реагировать на правила ИИ, организациям нужны методы, которые обеспечивают прозрачность того, как создаются модели ИИ и как их можно тестировать перед выпуском. Организациям также нужны решения для обеспечения наблюдаемости, которые обеспечивают достаточное понимание их моделей ИИ, чтобы гарантировать их соответствие правилам и их собственным ценностям и стандартам. Это поднимает важные вопросы: готовы ли организации обеспечить такой уровень прозрачности? Имеют ли они необходимые возможности и технологии? Создали ли платформы и новаторы надежные методы измерения?

XAI лучше всего рассматривать как набор инструментов и практик, разработанных для того, чтобы помочь людям понять, почему модель ИИ делает определенный прогноз или генерирует определенный фрагмент контента. Конечная цель — гарантировать, что эти результаты будут высокого качества, не испорченными предвзятостью, неточностью или галлюцинациями. Это требует нескольких видов инвестиций — в инструменты, людей и процессы. Создание более объяснимых решений ИИ и машинного обучения требует развертывания новых технологий в жизненном цикле поставки программного обеспечения (SDLC - software delivery life cycle) с самого начала, когда модели обучаются и тестируются или по мере того, как предварительно обученные модели настраиваются, заканчивая тем, что код переходит в производство и требуются постоянный мониторинг и наблюдаемость. Экспертные знания в методах XAI должны быть созданы путем найма и/или обучения, и эксперты должны быть интегрированы в SDLC ( software delivery life cycle) прямо с момента концепции новых предложений на основе ИИ. Эти эксперты могут сформировать центр передового опыта XAI (COE - center of excellence) для предоставления экспертных знаний и обучения в разных командах, изменяя жизненный цикл разработки программного обеспечения и обеспечивая скоординированные инвестиции в инструменты и обучение в масштабах всего предприятия. COE (center of excellence) также может удовлетворить потребность в дополнительных вычислительных мощностях и потреблении облачных ресурсов для проведения дополнительного обучения, последующего обучения и мониторинга производства, что необходимо для повышения объяснимости.

Как мы можем гарантировать возврат этих инвестиций в технологии, которые часто находятся на ранних стадиях? Хотя XAI все еще выходит из исследовательских усилий, его преимущества гораздо более ощутимы, чем принято считать. McKensey видит пять областей, где XAI может обеспечить возврат, который обеспечивает положительный ROI:

• Снижение операционных рисков. Раскрывая, как модели ИИ обрабатывают данные и выдают результаты, XAI позволяет на ранней стадии выявлять и смягчать потенциальные проблемы, такие как предвзятость или неточность, снижая риск операционных сбоев и ущерба репутации. Например, многие компании, предоставляющие финансовые услуги, используют ИИ для обнаружения мошенничества, но часто испытывают трудности с контролем или пониманием того, почему их системы ИИ ведут себя именно так, а это потенциальная проблема, учитывая, насколько разрушительными могут быть ложные срабатывания при мошенничестве как для компании, так и для клиента. Объясняемость может улучшить понимание организациями того, почему модели отмечают определенные транзакции, что позволяет им точнее настраивать свои системы или вводить более строгий человеческий надзор.
• Соблюдение нормативных требований и безопасность. XAI гарантирует, что системы ИИ работают в рамках отраслевых, этических и нормативных рамок, сводя к минимуму риск штрафов за несоблюдение и защищая целостность бренда. Например, в сфере кадровых ресурсов многие рекрутеры используют инструменты ИИ для проверки и отбора кандидатов. Объясняемость гарантирует, что решения о найме будут справедливыми и основанными на соответствующих критериях, избегая предвзятости и дискриминации.
• Постоянное совершенствование. XAI поддерживает постоянное совершенствование систем ИИ, предоставляя информацию о том, как функционируют системы, способствуя целенаправленной отладке и итеративным улучшениям, которые помогают разработчикам поддерживать системы ИИ в соответствии с ожиданиями пользователей и бизнеса. Например, многие интернет-магазины используют объяснимость для улучшения своих рекомендательных систем, чтобы они лучше сопоставляли рекомендации с предпочтениями клиентов.
• Уверенность заинтересованных сторон в ИИ. Пытаясь сделать системы ИИ понятными, XAI смещает фокус с технического функционирования моделей на пользователей этих моделей, способствуя подходу, ориентированному на человека, который расширяет возможности пользователей, повышая их понимание того, как генерируются результаты ИИ. Например, в секторе здравоохранения системы ИИ все чаще используются для выявления потенциальных заболеваний. XAI может помочь врачам лучше понять, почему эти модели ведут себя именно так, а не иначе, способствуя уверенности и принятию.
• Принятие пользователем. XAI помогает организациям отслеживать соответствие между выходными данными модели и ожиданиями пользователей. Более высокое соответствие, в свою очередь, повышает принятие, удовлетворенность и, в конечном счете, рост валовой прибыли за счет инноваций и управления изменениями.

XAI не является и не может быть второстепенным. Скорее, интегрируя объяснимость в проектирование, разработку и управление системами ИИ, организации могут получить ощутимую ценность, способствуя принятию, улучшая производительность модели ИИ и повышая доверие пользователей. XAI не просто вопрос соответствия или требование. Это стратегический фактор принятия, доверия и, в конечном счете, успеха в бизнесе — важнейший инструмент для максимизации ценности технологий ИИ в организации.

XAI — катализатор подхода к ИИ, ориентированного на человека

Поскольку организации рассматривают возможность инвестирования в получение прибыли от XAI, они в первую очередь должны понять разнообразные потребности различных вовлеченных групп и согласовать свои усилия по объяснимости с этими потребностями. Различные заинтересованные стороны, ситуации и последствия требуют разных типов объяснений и форматов. Например, уровень объяснимости, необходимый для системы одобрения кредитов на основе ИИ, отличается от того, который необходим для понимания того, как автономное транспортное средство останавливается на перекрестке. Сценарий с высоким риском, такой как диагноз рака, может потребовать точного объяснения, предоставленного быстро, в то время как обоснование рекомендации ресторана может быть обработано с меньшей срочностью. Каковы бы ни были обстоятельства, тип необходимого объяснения, который информирует требуемую технику XAI, должен быть получен с помощью подхода, ориентированного на человека , — подхода, основанного на потребностях людей, ищущих объяснения результатов работы ИИ.

Полезно думать об объяснимости ИИ как о мосте через пропасть. С одной стороны находятся инженеры и исследователи, которые изучают и разрабатывают методы объяснимости в академических кругах и исследовательских лабораториях, а с другой стороны — конечные пользователи, которым может не хватать технических навыков, но все равно требуется понимание ИИ. Посередине, соединяя две крайности, находятся разбирающиеся в ИИ гуманисты, которые стремятся перевести объяснения ИИ, разработанные исследователями и инженерами, чтобы отвечать потребностям и вопросам разнообразной группы заинтересованных сторон и пользователей. Этот новый талант станет ключом к разработке XAI, который будет работать для всех.

Потребности заинтересованных сторон можно разделить на шесть категорий, каждая из которых выигрывает от различных методов и объяснений:

• Лицам, принимающим решения, необходимо достаточное понимание и информация о моделях, чтобы нести ответственность за свои действия по отношению к клиентам и сотрудникам, в частности, чтобы гарантировать, что модели ведут себя в соответствии со стратегиями организации, духом бренда и ценностями.
• Руководители управления ИИ представляют собой кросс-функциональную группу, в которую входят специалисты по юридическим вопросам, управлению рисками, информационной безопасности, инжинирингу и продуктам, которая отвечает за формирование систем ИИ в соответствии с политиками, стандартами и правилами.
• Затронутым пользователям необходимы объяснения относительно результатов, которые они получают от моделей ИИ.
• Бизнес-пользователям необходимы аналитические данные для улучшения повседневного принятия решений, улучшения процессов и оптимизации операционной эффективности.
• Регулирующие органы/аудиторы требуют от моделей пояснений и интерпретируемости, чтобы убедиться в их безопасности и соответствии меняющимся правилам и нормам.
• Разработчикам нужны объяснения функционирования моделей, чтобы они могли улучшать и отлаживать эти недетерминированные системы, добавлять улучшения после обучения и гарантировать, что модели ИИ выдают ожидаемые результаты.

Помимо этих различных заинтересованных сторон, различные контексты и сценарии риска влияют на формат предоставляемых объяснений. Объяснения могут принимать форму визуализации данных или текстовых отчетов и будут различаться по техническим деталям. Понимание конкретных потребностей каждой заинтересованной стороны в определенное время имеет важное значение для предоставления эффективных и содержательных объяснений ИИ, которые соответствуют их уникальным потребностям.

Как работает XAI и какие методы доступны

Чтобы удовлетворить эти разнообразные потребности, сообщество XAI продолжает создавать новые методы объяснимости, которые включают алгоритмы, делающие процессы принятия решений моделей ИИ более прозрачными. Их можно сгруппировать на основе намерений и целей заинтересованных сторон. В целом методы можно классифицировать по двум измерениям: когда создается объяснение (до или после обучения модели) и областью действия объяснения (глобальная или локальная).

Первая макрокатегория методов XAI включает «методы post-hoc», которые включают анализ моделей после их обучения, в отличие от «методов ante-hoc», которые относятся к внутренне объяснимым моделям, таким как деревья решений. Например, когда отдел кадров пытается предсказать, какие сотрудники с большей вероятностью покинут организацию, дерево решений может прозрачно показать, почему определенные сотрудники идентифицируются как имеющие риск текучести кадров на основе таких факторов, как удовлетворенность работой, стаж и рабочая нагрузка. В этом случае объяснение ante-hoc заложено в модели AI и ее функционировании. Напротив, модель AI, которая использует нейронные сети для прогнозирования риска такого состояния, как диабет или заболевание сердца в условиях здравоохранения, должна будет предоставить объяснение post hoc или после получения результатов. Чаще всего она делает это, применяя методы (такие как SHAP или LIME), чтобы определить, какие факторы (например, возраст, образ жизни или генетика) вносят наибольший вклад в оценку риска, и определить, является ли оценка риска точной и беспристрастной.

Второе измерение различает глобальные и локальные объяснения. Глобальные объяснения помогают нам понять, как модель ИИ принимает решения во всех случаях. Представьте себе банк, который использует модель ИИ для оценки заявок на кредит. Используя инструмент глобального объяснения (такой как генерация столбцов булевых правил), банк может увидеть, какие факторы, такие как доход, задолженность и кредитный рейтинг, обычно влияют на его решения об одобрении кредита во всех клиентских сегментах. Глобальное представление раскрывает закономерности или правила, которым модель следует по всей клиентской базе, позволяя банку подтвердить, что модель соответствует правилам справедливого кредитования и относится ко всем клиентам справедливо. Развертывание алгоритмов XAI поверх модели заявки на кредит предоставляет кредитным специалистам богатую базу информации и статистических данных для понимания факторов, определяющих решения системы, что позволяет им уверенно объяснять закономерности одобрения клиентам и регулирующим органам.

Локальные объяснения, напротив, фокусируются на конкретных решениях. Рассмотрим медицинское учреждение, в котором врач использует ИИ для диагностики пациентов. Применяя локальный инструмент объяснения (такой как SHAP), врач может точно увидеть, почему модель предсказала определенное состояние для этого конкретного пациента, показывая, например, что возраст пациента, история болезни и недавние результаты тестов повлияли на прогноз модели. Этот уровень детализации может помочь врачам понять рассуждения модели для отдельных случаев, поэтому они больше доверяют ее рекомендациям и могут предоставлять более информированную, персонализированную помощь.

Помимо этих двух макрокатегорий, методы объяснимости ИИ также могут быть сопоставлены с потребностями различных персон в соответствии с вариантами использования и их контекстом — например, чтобы помочь разработчикам отлаживать системы для повышения точности или усиления обнаружения предвзятости или помогать руководителям продуктов в улучшении усилий по персонализации. В лабораториях ИИ продолжается большая академическая и исследовательская работа по улучшению и совершенствованию спектра возможностей, доступных для удовлетворения растущего спроса на XAI и, при эффективном сочетании с ориентированным на пользователя дизайном, для удовлетворения потребностей шести персон, описанных тут ранее.

Начало работы с XAI

Учитывая, что соответствующие методы, используемые для получения объяснений по моделям ИИ, определяются персонажами, которым требуются объяснения в различных контекстах, организациям следует рассмотреть несколько шагов по внедрению методов объяснимости в разработку ИИ. Данные методы "стандартные", поэтому лишь перечисляются:

• Создайте правильную команду XAI.
• Формируйте правильный настрой.
• Определите четкие цели.
• Разработайте план действий.
• Создайте метрики и контрольные показатели.
• Выберите или создайте соответствующие инструменты.
• Проводите мониторинг и регулярно обновляйте модели и объяснения.

Следуя этому пути, организации могут успешно внедрить объяснимость в свои практики разработки ИИ. Тогда объяснимость ИИ не только повысит прозрачность и доверие, но и обеспечит соответствие систем ИИ этическим стандартам и нормативным требованиям и обеспечит уровни внедрения, которые создают реальные результаты и ценность.

Источник

https://www.mckinsey.com/capabilities/quantumblack/our-insights/building-ai-trust-the-key-role-of-explainability

Building AI trust: The key role of explainability. November 26, 2024 | Article. Carlo Giovine, 
Roger Roberts, Mara Pometti, Medha Bankhwal.

Формирование доверия к ИИ: ключевая роль объяснимости. 26 ноября 2024 г.| Статья
Карло Джовине, Роджер Робертс, Мара Пометти, Медха Банкхвал.

Недоказанные математические гипотезы

Гипотеза Эрдеша-Строуса

Гипотеза Эрдеша-Строуса утверждает: для каждого целого n ≥ 2 существуют положительные целые x, y и z, удовлетворяющие уравнению 4/n = 1/x + 1/y + 1/z.

Несмотря на простоту формулировки, гипотеза остается недоказанной. Компьютерные вычисления подтвердили её справедливость для всех n ≤ 10¹⁷, однако общее доказательство пока не найдено.

Кто контролирует будущее ИИ

Так кто же контролирует будущее ИИ?

ИИ весьма полезен в шпионаже и контразведке, а также как кибероружие. Это побуждает государства контролировать распространение технологий ИИ для ограничения потенциала использования сопредельные государствами, а также использование достижений технологии ИИ, импортируя из сопредельных государств.

Вражденые силы не исчерпываются государствами. Имеются и другие злоумышленники.

Какие важные объекты ИИ могут быть стать объектом пристального внимания злоумышленников?

Это 

• наборы данных, подготовленные для обучения и тренировки модели.
• структура модели (чаще ее называют "политикой").
• веса модели.

Кроме модели и ее элементов объектом может выступать инфраструктура, в которую входит и коммуникационная среда (оптоволокно, коаксиальные линии, устройства широкополосного доступа). Для чего? По меньшей мере, для доступа к ИИ и организации подстройки весов модели в собственных интересах.

Следующий элемент - человеческих капитал: ИИ инноваторы, исследователи, инженеры.

Отсюда логичны и явные защитные мероприятия: контроль экспорта и иностранных инвестиций в компании, тем или иным способом связанные с технологиями ИИ.

Из Habr

https://habr.com/ru/companies/ods/articles/722644/

18 мар 2023

GPT-4: Чему научилась новая нейросеть, и почему это немного жутковато

В 2022 году в престижном научном журнале Nature была опубликована статья, в которой исследователи ИИ, создающие инструмент для поиска новых лекарств для спасения жизней, поняли, что модель может делать обратное, создавая новые боевые отравляющие вещества (мы не будем тут писать слово «новичок», но вообще-то это слово действительно упоминается в тексте этой научной статьи).

После обучения нейронке потребовалось всего 6 часов работы на домашнем компьютере, чтобы придумать 40'000 веществ – некоторые из которых были абсолютно новыми, и при этом смертоноснее и токсичнее уже существующих вариантов биологического оружия. Один из авторов подхода высказал такую точку зрения: если машинное обучение может находить более токсичные яды, то его также можно использовать для определения способов создания токсинов, которые куда легче производить в домашних условиях и с использованием разрешенных химикатов, доступных к покупке. Это лишь вопрос решения оптимизационной задачи.

* * *

Ниже мы попробовали собрать воедино то, что нам известно о цене использования, которую OpenAI заряжают юзерам за использование API (интерфейса доступа) разных моделей, а также о количестве параметров этих моделей. Некоторые числа ниже представляют наши оценки – они выделены жирным.

GPT-3.5 (кодовое название Davinci): большая модель на 175 млрд параметров, стоила $0,02 / 1 тыс. токенов.

GPT-3.5 (Curie): оптимизированная версия, которую сократили до 6,7 млрд параметров, и снизили цену на порядок до $0,002 / 1 тыс. токенов.

ChatGPT (неоптимизированная legacy-версия, появившаяся первой в декабре 2022 года): цены мы здесь не знаем, но по косвенным признакам (см. пояснение по скорости работы в следующем пункте) можно сделать вывод, что количество параметров у нее было сравнимо с GPT-3.5/Davinci – около ~175 млрд параметров.

ChatGPT (оптимизированная gpt-3.5-turbo из февраля 2023 года): в какой-то момент OpenAI надоело тратить кучу вычислительной мощности (и денег) на генерацию мемов твиттерскими в промышленных масштабах, и они выпустили обновленную версию модели – которая по их заявлениям сокращала траты в 10 раз по отношению к прошлой, декабрьской версии. Стоить она стала $0,002/тыс. токенов – столько же, сколько стоит GPT-3.5/Curie – а значит, можно предположить, что количество параметров там такого же порядка (7-13 млрд).

GPT-4: цена на API этой модели составляет сейчас $0,03-0,06 / 1 тыс. токенов – в полтора-три раза дороже, чем GPT-3.5/Davinci. Это может значить, что и параметров у нее в пару раз больше, чем у Davinci (у той было 175 млрд), либо объяснение еще проще – OpenAI решили «на хайпе» (и из-за увеличения качества) заряжать цену подороже. Ведь даже обсчет модели на 175 млрд параметров – уже весьма серьезная вычислительная задача, что уж говорить про «повышение градуса»... Так что мы рискнем экспертно предположить, что размер GPT-4 находится примерно на похожем уровне.

Защитные барьеры ИИ

Защитные барьеры ИИ (Guardrails) помогают гарантировать, что инструменты ИИ организации и их применение в бизнесе соответствуют стандартам, политикам и ценностям организации.

С появлением генеративного ИИ (gen AI) концепция ограждений или защитных барьеров применяется к системам, разработанным для обеспечения того, чтобы инструменты ИИ компании, особенно большие языковые модели (LLM), работали в соответствии с организационными стандартами, политиками и ценностями.

Хотя gen AI может повысить эффективность, инновационность и конкурентное преимущество компании, он также может создавать проблемы и риски. Поскольку внедрение gen AI стремительно растет, защитные ограждения имеют решающее значение для ответственного использования ИИ. Защитные ограждения могут выявлять и удалять неточный контент, генерируемый LLM, а также отслеживать и отфильтровывать рискованные подсказки.

Но так же, как ограждения на шоссе не исключают риск травм или смертельных случаев, ограждения ИИ не гарантируют, что системы ИИ будут полностью этичными, безопасными, справедливыми, соответствующими требованиям. Для достижения наилучших результатов компании могут внедрять зашитные барьеры ИИ вместе с другими процедурными элементами управления (например, фреймворками доверия ИИ, программным обеспечением для мониторинга, методами тестирования и оценки), а также надлежащим стеком технологий операций ИИ.

Преимущества защитных барьеров

Чтобы создать правильную среду для инноваций и трансформации gen AI, организации должны гарантировать, что технология может работать безопасно и ответственно — с защитными ограждениями ИИ, играющими решающую роль. Вот несколько преимуществ, которые защитное ограждение может предложить организации при внедрении ИИ:

• Конфиденциальность и безопасность. Системы ИИ подвержены атакам со стороны злоумышленников, которые используют уязвимости для манипулирования результатами, сгенерированными ИИ. Защитные барьеры могут укрепить системы ИИ от таких атак, помогая защитить организацию и ее клиентов.
• Соответствие нормативным требованиям. С ростом внимания правительства к ИИ организациям необходимо обеспечить соответствие систем ИИ существующим и новым законам и стандартам. Помогая компании поддерживать соответствие gen AI, защитные ограждения могут снизить риск юридических штрафов и ответственности за использование этих инструментов.
• Доверие. Поддержание доверия клиентов и широкой общественности имеет первостепенное значение для организаций. Защитные барьеры обеспечивает непрерывный мониторинг и проверку результатов, генерируемых ИИ, что может снизить риск распространения ошибочного контента за пределами компании.

Основные типы защитных барьеров от искусственного интеллекта

Защитные барьеры группируются в соответствии с их назначением и типами рисков, на которые они направлены. Компания McKinsey разработала таксономию защитных ограждений на основе конкретных рисков:

• Защитные барьеры соответствия проверяют, является ли контент, созданный ИИ, токсичным, вредным, предвзятым или основанным на стереотипах, и отфильтровывают ненадлежащий контент до того, как он попадет к клиентам.
• Защита от галлюцинаций гарантирует, что контент, сгенерированный ИИ, не содержит фактически неверную или вводящую в заблуждение информацию.
• Меры по обеспечению соответствия нормативным требованиям подтверждают, что созданный контент соответствует нормативным требованиям, независимо от того, являются ли эти требования общими, специфичными для отрасли или варианта использования.
• Ограничители выравнивания гарантируют, что сгенерированный контент соответствует ожиданиям пользователя и не отходит от своей основной цели.
• Ограничители проверки проверяют, соответствует ли сгенерированный контент определенным критериям: то есть содержит ли контент определенную информацию или нет. Если часть сгенерированного контента отмечена ограничителем проверки, контент может быть направлен в цикл исправления. Проверка должна быть последней из серии задач, которые выполняют ограничители. После этого человек-валидатор должен просмотреть отмеченные или неоднозначные случаи, требующие человеческого рассуждения.

Разработано множество библиотек с открытым исходным кодом для ограничений систем ИИ. Платформа машинного обучения Hugging Face выпустила Chatbot Guardrails Arena, которая проводит стресс-тесты LLM и ограничений конфиденциальности для предотвращения утечек конфиденциальных данных. Nvidia создала NeMo Guardrails, набор инструментов с открытым исходным кодом для добавления программируемых ограничений в приложения на основе LLM. Guardrails AI — это аналогичный пакет с открытым исходным кодом. LangChain, фреймворк для разработки приложений на базе LLM, также предоставляет библиотеку ограничений , чтобы помочь организациям быстро подключать ограничения в последовательность операций. Существуют также фирменные инструменты, такие как OpenAI Moderation, которые анализируют текст, сгенерированный моделями ИИ, для обнаружения и фильтрации вредоносного, ненадлежащего или небезопасного контента в соответствии с предопределенными категориями. Microsoft разработала аналогичный ограничитель для мониторинга контента, сгенерированного чат-ботом для Azure, своего набора служб ИИ.

Как работают барьеры

Guardrails строятся с использованием различных методов, от систем на основе правил до LLM. Однако в конечном итоге большинство защитных барьеров полностью детерминированы, то есть системы всегда выдают одинаковый результат для одного и того же входа, без случайности или изменчивости. Как правило, защитные барьеры отслеживают выходные данные систем ИИ, выполняя ряд задач: например, классификацию, семантическую проверку, обнаружение утечек персонально идентифицируемой информации и идентификацию вредоносного контента. Для выполнения этих задач защитные барьеры ИИ состоят из четырех взаимосвязанных компонентов, каждый из которых играет решающую роль:

• Checker. Checker сканирует контент, сгенерированный ИИ, чтобы обнаружить ошибки и пометить проблемы, такие как оскорбительный язык или предвзятые ответы. Он действует как первая линия защиты, выявляя потенциальные проблемы до того, как они смогут нанести вред или нарушить этические принципы.
• Корректор. После того, как проверяющий обнаруживает проблему, корректор уточняет, исправляет и/или улучшает вывод ИИ по мере необходимости. Он может исправлять неточности, удалять неподходящий контент и обеспечивать точность ответа и соответствие предполагаемому сообщению. Корректор работает итеративно, уточняя контент до тех пор, пока он не будет соответствовать требуемым стандартам.
• Rail. Rail управляет взаимодействием между проверяющим и корректирующим. Он выполняет проверки контента и, если контент не соответствует какому-либо стандарту, запускает корректирующий процесс. Этот процесс повторяется до тех пор, пока контент не пройдет все проверки или не достигнет предопределенного предела коррекции. Rail также регистрирует процессы проверяющего и корректирующего, предоставляя данные для дальнейшего анализа.
• Охранник. Охранник взаимодействует со всеми тремя другими компонентами, инициируя проверки и корректоры вместе с рельсами, координируя и управляя рельсами, агрегируя результаты от рельсов и доставляя исправленные сообщения.

При проектировании защитных барьеров организациям следует убедиться, что их можно легко интегрировать в существующие технологические стеки и настраивать в соответствии с потребностями различных вариантов использования.

Агенты ИИ также появляются как инструменты, которые могут функционировать как ограничители. Организации могут использовать агентов ИИ для автоматической проверки и исправления контента, созданного LLM, который был помечен ограничителями. Ранние модели агентов ИИ могут автономно контролировать, корректировать и регулировать результаты, созданные ИИ, как это могут делать другие ограничители ИИ.

Создание добавленной стоимости благодаря защитным барьерам.

Защитные барьеры ИИ — это не только инструмент для соответствия требованиям или этическим требованиям; они также могут помочь создать конкурентное преимущество. Во-первых, защитные барьеры могут помочь организациям построить доверие с клиентами и избежать дорогостоящих юридических проблем. Они также могут помочь организациям использовать ИИ более ответственно и тем самым привлекать и удерживать лучшие таланты.

Чтобы максимизировать потенциал создания добавленной стоимости, организации могут масштабировать свои защитные барьеры ИИ, встраивая их в корпоративные платформы. Iguazio от McKinsey предоставляет защитные барьеры ИИ в производственной среде, чтобы помочь обеспечить масштабируемое управление ИИ и снизить риски нарушений конфиденциальности данных, предвзятости, галлюцинаций и нарушения прав интеллектуальной собственности.

Способы масштабного внедрения защитных барьеров на основе ИИ

• Разработка барьеров с помощью многопрофильных команд. Работайте с различными заинтересованными сторонами, включая юридические команды, чтобы создать барьеры на основе анализа фактических рисков и последствий, которые могут возникнуть из-за ИИ.
• Определение метрики качества контента. Эти метрики должны быть адаптированы к желаемым результатам контента и основываться на конкретных бизнес-целях, стандартах и ​​правилах. Они могут включать такие факторы, как оскорбительность, предвзятость и соответствие принципам бренда.
• Использование модульного подхода. Создавайте компоненты барьеров, которые можно перенастраивать в различных вариантах использования генеративного ИИ и которые можно легко встраивать — а также масштабировать — в существующие системы компании.
• Применение динамического подхода. Инструменты Gen AI — это вероятностные системы, которые динамически корректируют свои выходные данные на основе пользовательских входных данных. Это означает, что одни и те же входные данные не всегда могут давать одинаковые выходные данные, что иногда может быть проблемой. Организация должна установить ограничения на основе правил с динамическими базовыми значениями для выходных данных модели, которые могут меняться в зависимости от различных переменных.
• Применение существующих нормативных рамок. Используйте существующие и формирующиеся нормативные, правовые и нормативные рамки, а также передовые отраслевые практики для создания «целей», которых должны достичь при внедрении защитных барьеров. Все это можно использовать в качестве показателей, по которым компании могут измерять эффективность моделей.
• Развитие новых возможностей и ролей. Повышайте квалификацию нового поколения специалистов, которые несут ответственность за результативность моделей и за обеспечение прозрачности, управления и справедливости ИИ. Например, путем внедрения процессов документирования, подотчетности и соответствия в методах работы организации с инструментами на основе ИИ.

Источник

What are AI guardrails? November 14, 2024 | Article

https://www.mckinsey.com/featured-insights/mckinsey-explainers/what-are-ai-guardrails

Что такое Защитные барьеры ИИ? 14 ноября 2024 г.