Формирование доверия к ИИ: ключевая роль объяснимости

Термин: XAI - enhanced AI explainability. Улучшенная объяснимость ИИ.

Мощные системы ИИ часто работают как «черные ящики», окутанные тайной. Искусственный интеллект обладает потенциалом для значительного повышения экономической производительности и обеспечения позитивных социальных изменений во всем мире. Наряду с потенциалом повышения производительности и инноваций, генеративный ИИ несет новые риски — например, галлюцинации и неточные или предвзятые результаты, — которые грозят подорвать доверие к технологии.

Чтобы полностью раскрыть потенциальную ценность ИИ, организациям необходимо завоевать доверие. Фактически, доверие является основой для внедрения продуктов и услуг на базе ИИ. В конце концов, если клиенты или сотрудники не доверяют результатам работы систем ИИ, они не будут их использовать. Доверие к ИИ достигается путем понимания результатов работы программного обеспечения на базе ИИ и того, как — по крайней мере на высоком уровне — они создаются.

Эта головоломка вызвала к жизни новый подхол к построениию систем ИИ - улучшенную объяснимость ИИ (XAI), призванную помочь организациям понять внутреннюю работу систем ИИ, контролировать объективность и точность выходных данных. Проливая свет на сложность так называемых алгоритмов ИИ-черного ящика, XAI может повысить доверие и вовлеченность тех, кто использует инструменты ИИ. Это важный шаг, поскольку инициативы ИИ проходят сложный путь от ранних развертываний до масштабного внедрения.

Эволюция XAI и современные проблемы

Ранние инструменты ИИ, использующие системы на основе правил и деревья решений, были относительно простыми и прозрачными по своей конструкции. Однако по мере того, как модели машинного обучения становились все более сложными, становилось все труднее отслеживать причины, лежащие в основе их процессов принятия решений. В начале 2000-х годов появились такие методы, как локальные интерпретируемые модельно-независимые объяснения (LIME) и аддитивные объяснения Шепли (SHAP), которые давали представление об индивидуальных прогнозах сложных моделей. Google представила свой инструмент What-If, повышающий прозрачность модели с помощью интерактивных визуализаций; IBM выпустила набор инструментов AI Explainability 360; а DARPA выпустила программу Explainable AI (XAI), которая еще больше продвинула эту область, разработав комплексные наборы инструментов и методы для интерпретации моделей ИИ.

В то же время, несколько широко разрекламированных ошибок подчеркнули растущую потребность в объяснимости ИИ. Например, в 2016 году расследование ProPublica алгоритма COMPAS, используемого судами США для оценки вероятности повторного совершения преступления обвиняемым, выявило систематическую предвзятость в отношении обвиняемых-афроамериканцев. К сожалению, решение этих проблем — непростая задача. Одной из основных проблем является растущая сложность расширенных больших языковых моделей (LLM), которые опираются на глубокие нейронные сети и часто работают как черные ящики с непрозрачными процессами принятия решений. А отсутствие доступа к архитектуре фирменных моделей затрудняет понимание того, как они работают. Раньше команды могли контролировать справедливость, курируя данные обучения и применяя методы калибровки. Однако сегодняшние LLM сопротивляются такому контролю, что затрудняет объяснимость. Наконец, организации все чаще сталкиваются с компромиссом между точностью модели и интерпретируемостью: более сложные модели и LLM часто достигают более высокой точности, но ценой меньшей интерпретируемости и сложности объяснения.

Новаторы сосредоточены на этих проблемах, и некоторые успехи уже достигнуты. Например, Anthropic внес значительные улучшения в методы объяснимости и интерпретируемости LLM. Инструменты для интерпретации поведения языковых моделей, включая отладчик OpenAI transformer, являются новыми и только начинают пониматься и внедряться. Примером того, как технологические компании включают инструменты объяснимости в свои платформы, является Vertex Explainable AI от Google , который улучшает понимание генеративного ИИ и LLM с помощью основанных на признаках и примерах объяснений, которые дают пользователям представление о прогнозах моделей, выявляя влиятельные признаки в сложных генеративных моделях, таких как основанные на трансформаторах LLM. Кроме того, недавние исследования, инициированные сообществом, такие как работа по анализу поведения на уровне головных частей архитектур LLM, отражают растущий импульс к распаковке поведения моделей. Масштаб и сложность более зрелых методов распаковки этих сложных систем представляют собой беспрецедентные проблемы.

Окупаемости инвестиций от XAI

Как и в случае любых инвестиций в неопределенной среде, организации, стремящиеся повысить объяснимость ИИ, должны учитывать выгоды и издержки, чтобы решить, как и когда действовать в отсутствие идеальной информации о потенциальном росте и сопутствующих рисках. Сегодняшний ландшафт ИИ полон неопределенности, и в этом контексте ведущие лаборатории ИИ, такие как Anthropic, делают ставки на то, что инвестиции в XAI окупятся как путь к дифференциации в переполненной области разработчиков фундаментальных моделей. Между тем, предприятия стремятся оправдать ожидания своих заинтересованных сторон и регулирующих органов.

Спрос на XAI растет. По мере того, как начинают формироваться глобальные правила ИИ, растет потребность в объяснимости и интерпретации, и все больше организаций ищут руководства о том, как определить, какой уровень объяснимости следует принять и сколько информации о своих моделях следует публиковать. Например, Закон ЕС об ИИ налагает особые требования к прозрачности для различных вариантов использования ИИ, классифицированных в соответствии с его фреймворком, основанным на рисках. В случае систем ИИ с высоким уровнем риска, таких как системы, используемые при подборе персонала, например, программное обеспечение для ранжирования резюме, организации обязаны предоставлять информацию о возможностях системы, ограничениях, происхождении данных и логике принимаемых ею решений.

Чтобы реагировать на правила ИИ, организациям нужны методы, которые обеспечивают прозрачность того, как создаются модели ИИ и как их можно тестировать перед выпуском. Организациям также нужны решения для обеспечения наблюдаемости, которые обеспечивают достаточное понимание их моделей ИИ, чтобы гарантировать их соответствие правилам и их собственным ценностям и стандартам. Это поднимает важные вопросы: готовы ли организации обеспечить такой уровень прозрачности? Имеют ли они необходимые возможности и технологии? Создали ли платформы и новаторы надежные методы измерения?

XAI лучше всего рассматривать как набор инструментов и практик, разработанных для того, чтобы помочь людям понять, почему модель ИИ делает определенный прогноз или генерирует определенный фрагмент контента. Конечная цель — гарантировать, что эти результаты будут высокого качества, не испорченными предвзятостью, неточностью или галлюцинациями. Это требует нескольких видов инвестиций — в инструменты, людей и процессы. Создание более объяснимых решений ИИ и машинного обучения требует развертывания новых технологий в жизненном цикле поставки программного обеспечения (SDLC - software delivery life cycle) с самого начала, когда модели обучаются и тестируются или по мере того, как предварительно обученные модели настраиваются, заканчивая тем, что код переходит в производство и требуются постоянный мониторинг и наблюдаемость. Экспертные знания в методах XAI должны быть созданы путем найма и/или обучения, и эксперты должны быть интегрированы в SDLC ( software delivery life cycle) прямо с момента концепции новых предложений на основе ИИ. Эти эксперты могут сформировать центр передового опыта XAI (COE - center of excellence) для предоставления экспертных знаний и обучения в разных командах, изменяя жизненный цикл разработки программного обеспечения и обеспечивая скоординированные инвестиции в инструменты и обучение в масштабах всего предприятия. COE (center of excellence) также может удовлетворить потребность в дополнительных вычислительных мощностях и потреблении облачных ресурсов для проведения дополнительного обучения, последующего обучения и мониторинга производства, что необходимо для повышения объяснимости.

Как мы можем гарантировать возврат этих инвестиций в технологии, которые часто находятся на ранних стадиях? Хотя XAI все еще выходит из исследовательских усилий, его преимущества гораздо более ощутимы, чем принято считать. McKensey видит пять областей, где XAI может обеспечить возврат, который обеспечивает положительный ROI:

• Снижение операционных рисков. Раскрывая, как модели ИИ обрабатывают данные и выдают результаты, XAI позволяет на ранней стадии выявлять и смягчать потенциальные проблемы, такие как предвзятость или неточность, снижая риск операционных сбоев и ущерба репутации. Например, многие компании, предоставляющие финансовые услуги, используют ИИ для обнаружения мошенничества, но часто испытывают трудности с контролем или пониманием того, почему их системы ИИ ведут себя именно так, а это потенциальная проблема, учитывая, насколько разрушительными могут быть ложные срабатывания при мошенничестве как для компании, так и для клиента. Объясняемость может улучшить понимание организациями того, почему модели отмечают определенные транзакции, что позволяет им точнее настраивать свои системы или вводить более строгий человеческий надзор.
• Соблюдение нормативных требований и безопасность. XAI гарантирует, что системы ИИ работают в рамках отраслевых, этических и нормативных рамок, сводя к минимуму риск штрафов за несоблюдение и защищая целостность бренда. Например, в сфере кадровых ресурсов многие рекрутеры используют инструменты ИИ для проверки и отбора кандидатов. Объясняемость гарантирует, что решения о найме будут справедливыми и основанными на соответствующих критериях, избегая предвзятости и дискриминации.
• Постоянное совершенствование. XAI поддерживает постоянное совершенствование систем ИИ, предоставляя информацию о том, как функционируют системы, способствуя целенаправленной отладке и итеративным улучшениям, которые помогают разработчикам поддерживать системы ИИ в соответствии с ожиданиями пользователей и бизнеса. Например, многие интернет-магазины используют объяснимость для улучшения своих рекомендательных систем, чтобы они лучше сопоставляли рекомендации с предпочтениями клиентов.
• Уверенность заинтересованных сторон в ИИ. Пытаясь сделать системы ИИ понятными, XAI смещает фокус с технического функционирования моделей на пользователей этих моделей, способствуя подходу, ориентированному на человека, который расширяет возможности пользователей, повышая их понимание того, как генерируются результаты ИИ. Например, в секторе здравоохранения системы ИИ все чаще используются для выявления потенциальных заболеваний. XAI может помочь врачам лучше понять, почему эти модели ведут себя именно так, а не иначе, способствуя уверенности и принятию.
• Принятие пользователем. XAI помогает организациям отслеживать соответствие между выходными данными модели и ожиданиями пользователей. Более высокое соответствие, в свою очередь, повышает принятие, удовлетворенность и, в конечном счете, рост валовой прибыли за счет инноваций и управления изменениями.

XAI не является и не может быть второстепенным. Скорее, интегрируя объяснимость в проектирование, разработку и управление системами ИИ, организации могут получить ощутимую ценность, способствуя принятию, улучшая производительность модели ИИ и повышая доверие пользователей. XAI не просто вопрос соответствия или требование. Это стратегический фактор принятия, доверия и, в конечном счете, успеха в бизнесе — важнейший инструмент для максимизации ценности технологий ИИ в организации.

XAI — катализатор подхода к ИИ, ориентированного на человека

Поскольку организации рассматривают возможность инвестирования в получение прибыли от XAI, они в первую очередь должны понять разнообразные потребности различных вовлеченных групп и согласовать свои усилия по объяснимости с этими потребностями. Различные заинтересованные стороны, ситуации и последствия требуют разных типов объяснений и форматов. Например, уровень объяснимости, необходимый для системы одобрения кредитов на основе ИИ, отличается от того, который необходим для понимания того, как автономное транспортное средство останавливается на перекрестке. Сценарий с высоким риском, такой как диагноз рака, может потребовать точного объяснения, предоставленного быстро, в то время как обоснование рекомендации ресторана может быть обработано с меньшей срочностью. Каковы бы ни были обстоятельства, тип необходимого объяснения, который информирует требуемую технику XAI, должен быть получен с помощью подхода, ориентированного на человека , — подхода, основанного на потребностях людей, ищущих объяснения результатов работы ИИ.

Полезно думать об объяснимости ИИ как о мосте через пропасть. С одной стороны находятся инженеры и исследователи, которые изучают и разрабатывают методы объяснимости в академических кругах и исследовательских лабораториях, а с другой стороны — конечные пользователи, которым может не хватать технических навыков, но все равно требуется понимание ИИ. Посередине, соединяя две крайности, находятся разбирающиеся в ИИ гуманисты, которые стремятся перевести объяснения ИИ, разработанные исследователями и инженерами, чтобы отвечать потребностям и вопросам разнообразной группы заинтересованных сторон и пользователей. Этот новый талант станет ключом к разработке XAI, который будет работать для всех.

Потребности заинтересованных сторон можно разделить на шесть категорий, каждая из которых выигрывает от различных методов и объяснений:

• Лицам, принимающим решения, необходимо достаточное понимание и информация о моделях, чтобы нести ответственность за свои действия по отношению к клиентам и сотрудникам, в частности, чтобы гарантировать, что модели ведут себя в соответствии со стратегиями организации, духом бренда и ценностями.
• Руководители управления ИИ представляют собой кросс-функциональную группу, в которую входят специалисты по юридическим вопросам, управлению рисками, информационной безопасности, инжинирингу и продуктам, которая отвечает за формирование систем ИИ в соответствии с политиками, стандартами и правилами.
• Затронутым пользователям необходимы объяснения относительно результатов, которые они получают от моделей ИИ.
• Бизнес-пользователям необходимы аналитические данные для улучшения повседневного принятия решений, улучшения процессов и оптимизации операционной эффективности.
• Регулирующие органы/аудиторы требуют от моделей пояснений и интерпретируемости, чтобы убедиться в их безопасности и соответствии меняющимся правилам и нормам.
• Разработчикам нужны объяснения функционирования моделей, чтобы они могли улучшать и отлаживать эти недетерминированные системы, добавлять улучшения после обучения и гарантировать, что модели ИИ выдают ожидаемые результаты.

Помимо этих различных заинтересованных сторон, различные контексты и сценарии риска влияют на формат предоставляемых объяснений. Объяснения могут принимать форму визуализации данных или текстовых отчетов и будут различаться по техническим деталям. Понимание конкретных потребностей каждой заинтересованной стороны в определенное время имеет важное значение для предоставления эффективных и содержательных объяснений ИИ, которые соответствуют их уникальным потребностям.

Как работает XAI и какие методы доступны

Чтобы удовлетворить эти разнообразные потребности, сообщество XAI продолжает создавать новые методы объяснимости, которые включают алгоритмы, делающие процессы принятия решений моделей ИИ более прозрачными. Их можно сгруппировать на основе намерений и целей заинтересованных сторон. В целом методы можно классифицировать по двум измерениям: когда создается объяснение (до или после обучения модели) и областью действия объяснения (глобальная или локальная).

Первая макрокатегория методов XAI включает «методы post-hoc», которые включают анализ моделей после их обучения, в отличие от «методов ante-hoc», которые относятся к внутренне объяснимым моделям, таким как деревья решений. Например, когда отдел кадров пытается предсказать, какие сотрудники с большей вероятностью покинут организацию, дерево решений может прозрачно показать, почему определенные сотрудники идентифицируются как имеющие риск текучести кадров на основе таких факторов, как удовлетворенность работой, стаж и рабочая нагрузка. В этом случае объяснение ante-hoc заложено в модели AI и ее функционировании. Напротив, модель AI, которая использует нейронные сети для прогнозирования риска такого состояния, как диабет или заболевание сердца в условиях здравоохранения, должна будет предоставить объяснение post hoc или после получения результатов. Чаще всего она делает это, применяя методы (такие как SHAP или LIME), чтобы определить, какие факторы (например, возраст, образ жизни или генетика) вносят наибольший вклад в оценку риска, и определить, является ли оценка риска точной и беспристрастной.

Второе измерение различает глобальные и локальные объяснения. Глобальные объяснения помогают нам понять, как модель ИИ принимает решения во всех случаях. Представьте себе банк, который использует модель ИИ для оценки заявок на кредит. Используя инструмент глобального объяснения (такой как генерация столбцов булевых правил), банк может увидеть, какие факторы, такие как доход, задолженность и кредитный рейтинг, обычно влияют на его решения об одобрении кредита во всех клиентских сегментах. Глобальное представление раскрывает закономерности или правила, которым модель следует по всей клиентской базе, позволяя банку подтвердить, что модель соответствует правилам справедливого кредитования и относится ко всем клиентам справедливо. Развертывание алгоритмов XAI поверх модели заявки на кредит предоставляет кредитным специалистам богатую базу информации и статистических данных для понимания факторов, определяющих решения системы, что позволяет им уверенно объяснять закономерности одобрения клиентам и регулирующим органам.

Локальные объяснения, напротив, фокусируются на конкретных решениях. Рассмотрим медицинское учреждение, в котором врач использует ИИ для диагностики пациентов. Применяя локальный инструмент объяснения (такой как SHAP), врач может точно увидеть, почему модель предсказала определенное состояние для этого конкретного пациента, показывая, например, что возраст пациента, история болезни и недавние результаты тестов повлияли на прогноз модели. Этот уровень детализации может помочь врачам понять рассуждения модели для отдельных случаев, поэтому они больше доверяют ее рекомендациям и могут предоставлять более информированную, персонализированную помощь.

Помимо этих двух макрокатегорий, методы объяснимости ИИ также могут быть сопоставлены с потребностями различных персон в соответствии с вариантами использования и их контекстом — например, чтобы помочь разработчикам отлаживать системы для повышения точности или усиления обнаружения предвзятости или помогать руководителям продуктов в улучшении усилий по персонализации. В лабораториях ИИ продолжается большая академическая и исследовательская работа по улучшению и совершенствованию спектра возможностей, доступных для удовлетворения растущего спроса на XAI и, при эффективном сочетании с ориентированным на пользователя дизайном, для удовлетворения потребностей шести персон, описанных тут ранее.

Начало работы с XAI

Учитывая, что соответствующие методы, используемые для получения объяснений по моделям ИИ, определяются персонажами, которым требуются объяснения в различных контекстах, организациям следует рассмотреть несколько шагов по внедрению методов объяснимости в разработку ИИ. Данные методы "стандартные", поэтому лишь перечисляются:

• Создайте правильную команду XAI.
• Формируйте правильный настрой.
• Определите четкие цели.
• Разработайте план действий.
• Создайте метрики и контрольные показатели.
• Выберите или создайте соответствующие инструменты.
• Проводите мониторинг и регулярно обновляйте модели и объяснения.

Следуя этому пути, организации могут успешно внедрить объяснимость в свои практики разработки ИИ. Тогда объяснимость ИИ не только повысит прозрачность и доверие, но и обеспечит соответствие систем ИИ этическим стандартам и нормативным требованиям и обеспечит уровни внедрения, которые создают реальные результаты и ценность.

Источник

https://www.mckinsey.com/capabilities/quantumblack/our-insights/building-ai-trust-the-key-role-of-explainability

Building AI trust: The key role of explainability. November 26, 2024 | Article. Carlo Giovine, 
Roger Roberts, Mara Pometti, Medha Bankhwal.

Формирование доверия к ИИ: ключевая роль объяснимости. 26 ноября 2024 г.| Статья
Карло Джовине, Роджер Робертс, Мара Пометти, Медха Банкхвал.