Gen AI меняет индустрию финансовых услуг: от того, как банки обслуживают клиентов, до того, как руководители принимают решения. Несмотря на все преимущества, которые предлагает новая технология, включая автоматизацию рабочих процессов, улучшение программного обеспечения и повышение производительности, gen AI также несет в себе значительные риски. Он может подвергнуть финансовое учреждение правовым и репутационным рискам и повысить его уязвимость к кибератакам, мошенничеству и так далее.
Повышенные опасения проистекают из того, как работает gen AI. Традиционные системы ИИ созданы для управления задачами узкого масштаба с использованием фирменных бизнес-данных. Напротив, gen AI может создавать новый контент — часто с использованием общедоступных, неструктурированных и мультимодальных данных — посредством ряда сложных, многоэтапных процессов, которые могут создавать больше возможностей для неправильного использования и ошибок. Традиционные системы управления рисками ИИ не предназначены для контроля этих дополнительных уровней сложности.
Финансовым учреждениям необходимо будет обновить структуры управления ИИ, чтобы учесть возросшую сложность и более чувстительные точки воздействия. Это будет означать включение модели управления рисками модели (MRM), включение новых технологий, данных и юридических рисков в модель риска предприятия. Необходимо пересмотреть надзор за ИИ, а затем оценить, как лучше всего управлять моделями, специфичными для генеративного ИИ.
Модернизация управления генеративным ИИ
Чтобы учесть потенциальное влияние на бизнес генеративного ИИ, лидерам необходимо систематически пересматривать все области риска, затронутые технологией. Следует проанализировать системы надзора, модели генеративного ИИ, интеллектуальную собственность (ИС), использование данных, а также ряд юридических и этических факторов.
Системы надзора
Как правило одна группа (например, комитет MRM) контролирует все приложения генеративного ИИ. Такой подход обычно не подходит для систем генеративного ИИ, поскольку они часто включают в себя смесь различных моделей и программных компонентов, каждый из которых может нуждаться в специализированном надзоре. Например, чат-бот на базе ИИ, который предоставляет финансовые консультации клиентам, может подвергнуть компании целому ряду технологических, юридических и связанных с данными рисков. Соответственно, финансовым учреждениям необходимо решить, какие компоненты ИИ требуют только проверки рисков модели, а какие требуют совместного обзора с другими видами риска. Тесная координация между комитетами по рискам может обеспечить тщательный надзор.
Модели генеративного искусственного интеллекта
Руководителям по управлению рисками в финансовых учреждениях понадобятся новые модели для управления рисками ИИ. В прошлом модели ИИ создавались в первую очередь для выполнения одной конкретной задачи за раз, например, для прогнозирования на основе структурированных данных и сортировки данных на основе меток. Такие инструменты могут извлекать данные о прошлых кредитах, например, для прогнозирования вероятности того, что заявитель может не выплатить свой кредит, или для определения оптимальной цены кредита.
С новыми многозадачными моделями генеративного ИИ банки могут делать больше, чем просто прогнозировать и классифицировать. Они могут разрабатывать и предоставлять персонализированные услуги, улучшать взаимодействие с клиентами и повышать операционную эффективность способами, которые они не могли бы сделать с традиционным ИИ. Например, модели генеративного ИИ могут автоматически создавать новые листы условий кредита на основе анализа похожих, ранее оформленных кредитов. Это не только сокращает ручную работу, но и может ускорить процесс закрытия и улучшить опыт заемщика.
Однако, поскольку модели генеративного ИИ обучаются как на публичных, так и на частных данных, они могут выдавать информацию или ответы, которые фактически неверны, вводят в заблуждение или даже сфабрикованы, например, создавая завышенные итоговые суммы доходов или воображаемую историю банкротства для клиента, запрашивающего приложение генеративного ИИ. Эти проблемы можно свести к минимуму с помощью приложений retrieval-augmented-generation (RAG), которые объединяют внешние и внутренние данные для обеспечения точных ответов. Приложения RAG могут включать юридически проверенный язык о правилах кредитования и могут применять строгие правила общения, чтобы помочь банкам управлять взаимодействием клиентов с инструментами генеративного ИИ.
IP и использование данных
Инструменты Gen AI могут вводить обязательства, связанные с входящим и исходящим IP и его чрезмерным распространением. Например, помощник по кодированию Gen AI может предложить банку использовать вычислительный код, имеющий проблемы с лицензированием или способный непреднамеренно раскрыть фирменные алгоритмы банка. Некоторые приложения Gen AI, работающие в режиме реального времени, например, используемые в обслуживании клиентов, требуют сочетания автоматизированного и человеческого контроля для оперативного выявления проблем.
Многие финансовые учреждения не уделяют достаточного внимания контролю данных Gen AI, который в значительной степени зависит от объединения публичных и частных данных. Это вызывает опасения относительно того, кто несет ответственность за какие данные и как они используются. Например, при использовании помощников по кодированию Gen AI вопросы и фрагменты кода из открытых интегрированных сред разработки могут быть включены в подсказки и отправлены внешним поставщикам Gen AI. Но они могут не сохраняться, и их влияние на рекомендации по коду может иметь юридические последствия.
Финансовые учреждения должны разработать системы для отслеживания происхождения данных, способа их использования и соответствия правилам конфиденциальности. Отсутствие привязки кредитных решений к исходным данным может привести к штрафам со стороны регулирующих органов, судебным искам и даже потере лицензии за несоблюдение. Компаниям необходимо вести учет контента, созданного ИИ, который может меняться в зависимости от введенной информации.
Правовые и этические факторы
Заголовки пестрят новостями о системах генеративного искусственного интеллекта, которые нарушают правила. В основном это происходит потому, что модели стирают границы между новым контентом и существующим контентом, защищенным законами об интеллектуальной собственности. Это создает путаницу относительно того, кто владеет и лицензирует его. Кроме того, когда модели генеративного искусственного интеллекта обучаются на конфиденциальных данных, таких как информация о клиентах, требуется больше внимания к конфиденциальности и соблюдению правил. Эти модели нуждаются в тщательном мониторинге, чтобы они не раскрывали конфиденциальную информацию и не увековечивали предвзятость.
Прозрачность и «объяснимость» (способность понимать, как работает модель ИИ и почему она принимает определенные решения) также имеют решающее значение, поскольку результаты работы систем генеративного ИИ иногда бывает трудно отследить до их происхождения. Финансовые учреждения должны установить меры безопасности для управления этими рисками на протяжении всего жизненного цикла модели, чтобы обеспечить соответствие меняющимся правилам и этическим стандартам.
Использование системы показателей для управления рисками генеративного ИИ
Поскольку финансовые учреждения систематически анализируют воздействие на клиентов; финансовое воздействие; сложность моделей, технологий и данных генеративного ИИ; а также правовые и этические последствия, они могут использовать оценочную карту рисков, чтобы определить, какие элементы управления генеративного ИИ требуют обновлений и насколько срочной является эта необходимость. Команды могут использовать оценочную карту для оценки рисков для всех вариантов использования и приложений генеративного ИИ в компании.
Команды могут использовать следующую оценочную карту для оценки рисков
|
|
Низкий риск |
Средний риск |
Высокий риск |
|
Воздействие на клиентов |
Возможности ИИ не соответствуют клиентским запросам |
Возможности ИИ косвенно доступны внешним клиентам |
Возможности ИИ доступны (и могут использоваться) внешним клиентам |
|
Финансовые последствия |
Возможности ИИ не оказывают прямого влияния на финансовые или
операционные процессы |
Возможности ИИ могут привести к небольшому риску убытков из-за низкой
производительности модели. |
Возможности ИИ могут привести к значительному риску убытков из-за
низкой эффективности модели |
|
Сложность модели |
Базовая начальная модель используется без настройки |
Встроенные виртуальные агенты используют базовую начальную модель |
Построены новые фундаментальные модели или переобучены
фундаментальные модели с открытым исходным кодом |
|
Сложность технологии |
ИИ используется только как модель, без интеграции с ИТ |
Инструменты сторонних разработчиков для работы с базовой моделью
используются для создания и поддержки приложений ИИ |
Необходимо создать и поддерживать пользовательские инструменты для
работы с базовой моделью в процессе производства приложений ИИ |
|
Сложность данных |
Качество обучающих данных высокое, хорошо документированное и
верифицированное |
Качество обучающих данных достаточно высокое и хорошо документировано |
Качество обучающих данных не может быть проверено. Качество обучающих
данных низкое или набор данных содержит конфиденциальную информацию |
|
Этические риски |
Данные и приложения ИИ прошли тщательную внутреннюю и внешнюю
проверку |
Данные и приложения ИИ прошли тщательную внутреннюю проверку |
Данные и приложения ИИ могут включать в себя внутренние предубеждения
или генерировать токсичный или вредный контент |
Система оценок может быть полезна для групп по закупкам в финансовых учреждениях, которые покупают, а не создают приложения генеративного ИИ; они могут использовать ее для оценки своей потенциальной подверженности риску третьих лиц и своего комфорта в отношении данных и методов моделирования, используемых продавцами приложений генеративного ИИ. Хотя некоторые факторы могут быть не совсем прозрачны для покупателей, группы по закупкам могут использовать сочетание комплексной проверки поставщиков, технических обзоров базовых моделей и договорных гарантий для присвоения оценок риска стороннему программному обеспечению и принятия более обоснованных решений о закупках.
Внедрение комплекса мер контроля для управления рисками генеративного ИИ
Использование оценочной карты риска может помочь финансовым учреждениям расставить приоритеты в случаях использования генеративного ИИ на основе бизнес-потребностей и профиля риска/доходности каждого случая. Оценочные карты также могут сигнализировать о возникновении проблем. В обоих случаях оценочная карта также должна поддерживаться структурой управления рисками или набором элементов управления для управления генеративным ИИ. Каждый тип контроля — бизнес, процедурный, ручной и автоматизированный — играет важную роль в обеспечении безопасного и эффективного использования генеративного ИИ.
Управление бизнесом: не блокировать, настраивать
Финансовым учреждениям необходимо будет разработать структуру, которая будет контролировать риск генеративного ИИ, не замедляя инновации. Например, организация может использовать централизованный комитет по надзору за ИИ на ранних этапах внедрения чат-бота или другого приложения генеративного ИИ. Позже контроль может перейти к подкомитету или нескольким комитетам.
Компаниям необходимо будет решить, как риски вписываются в операционные модели (будь то централизованные, федеративные или децентрализованные), чтобы лучше справляться с новыми вызовами, создаваемыми системами генеративного ИИ. Большинство финансовых учреждений начинают с централизованной организационной модели оценки рисков генеративного ИИ и переходят к частично централизованной или полностью децентрализованной модели по мере развития возможностей управления рисками. Чтобы двигаться быстрее, некоторые создают ускорители генеративного ИИ для создания согласованных подходов во всех департаментах.
Процедурный контроль: будьте гибкими
Для таких процедур, как обработка кредитных заявок, большинство финансовых учреждений должны обновить стандарты MRM. Стандарты должны отражать специфические риски Gen-AI, такие как то, как модели обрабатывают изменяющиеся входные данные и многоэтапные взаимодействия. Например, если банк моделирует широкий спектр ответов клиентов виртуальному помощнику, MRM необходимо будет постоянно адаптировать. Аналогичным образом, процессы проверки технологий должны быть оптимизированы для безопасной интеграции систем Gen AI. Все обновления должны включать методы мониторинга того, как приложения Gen AI адаптируются с течением времени, чтобы гарантировать, что они остаются точными и соответствующими требованиям при обработке новых подсказок и новых данных.
Ручное управление: следите за машиной
Человеческий надзор необходим для проверки конфиденциальных результатов и обеспечения этичного использования Gen AI. Например, рецензентам необходимо редактировать конфиденциальные данные, прежде чем модели их обработают. Когда дело доходит до качества ответов, сгенерированных Gen-AI, финансовые учреждения должны создать «золотые списки» вопросов для тестирования моделей.Они также должны запрашивать много отзывов от клиентов и сотрудников. Системы могут учиться на человеческих оценках. Обратная связь может информировать о точности и уместности различных выходных данных — например, то, как виртуальный помощник «разговаривает» с клиентом, должно соответствовать институциональным ценностям и целям. Выходные данные следует регулярно пересматривать и обновлять по мере необходимости, чтобы усилить обучающие способности моделей.
Автоматизированный контроль: рассмотрите сторонние инструменты
Одним из преимуществ технологии является то, что в некоторых случаях она может управлять собой. Автоматизированные инструменты могут очищать данные в масштабе, отмечать необычное использование и запускать исправления в режиме реального времени. Например, многие сторонние приложения могут удалять конфиденциальную информацию из документов. Другие сторонние инструменты могут автоматизировать тестирование уязвимостей для систем генеративного ИИ, что помогает финансовым учреждениям быстро выявлять и устранять слабые места. Сами модели генеративного ИИ могут использовать комбинацию традиционного ИИ и новых технологий для проверки собственных выходных данных, то есть моделей, проверяющих модели, чтобы обеспечить контроль качества на высоких скоростях.Заключение
Поскольку генеративный ИИ становится частью финансовых учреждений, руководителям по управлению рисками необходимо переосмыслить то, как они управляют соответствующими системами . Им необходимо будет выйти за рамки традиционных практик управления рисками ИИ и включить мониторинг в реальном времени, надежную прозрачность и более надежные гарантии конфиденциальности данных и этики. Комплексная система оценки рисков и фокус на четырех ключевых наборах элементов управления могут помочь компаниям найти правильный баланс между стремлением к инновациям и снижением рисков. Более того, применение системного подхода к обновлению управления рисками генеративного ИИ может помочь финансовым учреждениям раскрыть преобразующую силу новой технологии для улучшения принятия решений, обслуживания клиентов и операционной эффективности — и сделать это ответственно.
Источник
Как финансовые учреждения могут улучшить управление искусственным интеллектом
27 марта 2025 г. Статья
Амит Гарг, Дэвид Шоеман и Кевин Бюлер.
How financial institutions can improve their governance of gen AI
March 27, 2025 | Article
https://www.mckinsey.com/capabilities/risk-and-resilience/our-insights/how-financial-institutions-can-improve-their-governance-of-gen-ai
Комментариев нет:
Отправить комментарий