ИИ - новые риски, новые обязанности

Типы рисков, на которые влияет ИИ:

• модельные,
• нормативные,
• операционные,
• юридические,
• репутационные, 
• нормативные.

Когда сотрудники дают советы, основанные на рекомендациях ИИ, риск заключается не в том, что отдельный совет ИИ необъективный, а в том, что все рекомендации ИИ являются необъективными. А учреждение фактически систематизирует предвзятость в процессе принятия решений.

Это миф, что ИИ может быть на 100% объективным. Технология искусственного интеллекта основана на данных, правилах и других видах информации, полученной от экспертов-людей. Но люди так или иначе предвзяты по своей человеческой природе природе. ИИ "наследует" эту предвзятость. Системы, которые часто переобучаются, - например, с использованием новых данных из социальных сетей, - еще более уязвимы для нежелательных предубеждений или преднамеренного и злонамеренного влияния. 

«На данный момент нет возможности полностью избавиться от предвзятости; однако мы должны сделать все возможное, чтобы свести его к минимуму », - говорит Александр Линден, вице-президент Gartner. 

«В дополнение к технологическим решениям, таким как разнообразные наборы данных, очень важно также обеспечить разнообразие в командах, работающих с ИИ, и чтобы члены команд анализировали работу друг друга. Этот простой процесс может значительно снизить предвзятость выбора и подтверждения ».

ИИ сложно отслеживать

По мере того, как ИИ становится более важным для повышения производительности, а программное обеспечение машинного обучения становится жизнеспособным, использование ИИ становится широко распространенным и децентрализованным. И в этих условиях отслежевание рисков становится трудным.

Для того чтобы понять, что может быть пойти не так, менеджерам по рискам придется оценивать:

• Идею механизма принятия решения ИИ.
• Источники данных. Какие наборы данных «запрещены» и какие тесты на предвзятость необходимы. Во многих случаях наборы данных, которые фиксируют прошлое поведение сотрудников и клиентов, содержат предубеждения. Эти предубеждения могут стать системными, если они будут включены в алгоритм автоматизированного процесса обучения.
• Разработка модели. Прозрачность и интерпретируемость аналитических методов сильно влияют на риск систематической ошибки.
• Мониторинг и обслуживание. Разработка требований к мониторингу производительности, включая типы тестов и их частоту.

В статье "Снижение рисков с помощью ИИ: как встроить управление рисками в разработку ИИ 13 августа 2020 г." приведена примечательная матрица взаимодействия разработчиков ИИ и риск-менеджеров с разделением компетенций по четырем классам.

	Специалисты по данным и аналитике	Риск-менеджеры и управляющие
Основные компетенции	Математика, статистика, машинное обучение, глубокое обучение	Знание регуляторных норм
	Построение алгоритмических моделей	Идентификация и анализ рисков
	Сбор, очистка, структурирование данных	Надежный и независимый обзор бизнес-операций
	Создание визуализаций данных и инструментальных панелей
	Объяснение факторов моделей
Новые дополнительные навыки	Осведомленность об рисках аналитики, включая предвзятость, справедливость и нестабильность	Общее понимание аналитических техник и их влияния на результаты
	Понимание - где могут возникнуть риски в ходе разработки аналитики	Осведомленность о лучших практиках выявления предубеждений и способность понимания результатов управления рисками
	Способность использовать средств управления рисками как как аналитические разработки	Понимание данных и процессов их обработки и вытекающих их этого эффектов, связанных с появлением рисков
	Понимание роли команд управления рисками, их ответственности и вовлеченности в процессы	Понимание роли аналитических команд, их ответственности, их способностей работы с данными и аналитикой

Подходы к формированию рисков предвзятости

Управление предвзятостью - сложный процесс. Некоторое направление работ дают следующие подходы к формированию рисков предвзятости.

Фаза формирования идеи:

• Определение уровней риска предвзятости, вытекающих из принимаемой модели и контекста, для которого разрабатывается модель.
• Как мы можем создать команду для сокращения или смягчения риска предубеждений.
• Какие юридические и репутационные ограничения следует принять в расчет.
• Как измерять риск в каждом конкретном случае и в каждом контексте.
• Каков уровень наших аналитических способностей.

Фаза - сбор данных:

• Обнаружение и смягчения риска предубеждений в данных: техники обнаружения предубеждений, надлежащий набор техник.
• Оценка риска в зависимости от выбора наборов данных и методов их обработки.
• Cнижение риска при выборе функций и при проектировании.
• Выполнение проверок и использование средств контроля и управления риском предвзятости в ходе разработки.

Фаза - разработки модели:

• Поиск и уменьшение предвзятостей в процессе моделирования.
• Обзор гипотез, лежащих в основе модели.
• Выполнение проверок и использование средств контроля и управления риском предвзятости в ходе разработки.

Фаза индустриализации (включая мониторинг и поддержку):

• Постоянный мониторинг и управление рисками в ходе продуктивного использования модели.
• Мониторинг контекста (изменения в юридических документах, изменение нормативов, изменение корпоративных правил и политик).
• Мониторинг параметров модели (изменение данных, метрик, конфигурационных параметров).
• Обслуживание модели.

Обязанности по обеспечению безопасных и этичных инноваций

Обязанности по обеспечению безопасных и этичных инноваций на базе искусственного интеллекта распределяются по разному в пределах организации:

Бизнес

• Подтверждение на основе делового опыта правильности факторов для построения прогнозов, правильности подхода к моделированию, правильности результатов.
• Проверка идей на основе делового опыта; уточнение вариантов использования модели.
• Тестирование моделей и постоянный мониторинг применения моделей.

Аналитики.

• Специалисты по данным, разработчики. Разработка моделей в соответствии со стандартами бизнеса, обеспечение прозрачности объяснений поведения моделей.
• Инженеры данных. Обеспечение требуемого уровня качества данных, обеспечение применимости новых инструментов моделирования.
• ИТ технологи. Снижение рисков внедрения за счет обеспечения адекватности производственной среды (например, масштабируемости, предотвращения утечки данных).

Риск-менеджеры.

• Модельное управление рисками. Разработка стандартов, обеспечивающих строгие требования к разработке моделей искусственного интеллекта и машинного обучения; оценка рисков моделей..
• Соответствие юридическим нормам. Предоставление руководства по рискам соответствия нормам (например, следует предотвратить предвзятость, возникающую из-за использования определенных ограниченных характеристик потребителей, типа инвалидность и другое).
• Риск использования облачных решений, риск поставщика. Предоставление руководства по снижению основных нефинансовых рисков (например, репутационный ущерб, причиненный третьей стороной), связанных с моделями искусственного интеллекта и машинного обучения.

Управление рисками в жизненном цикле модели

Управление рисками должно быть встроено в модель жизненного цикла разработки и использования ИИ.

• Разработка решения. Контрольные примеры: обзор предметной области, метрики, доступные данные.
• Получение достоверных данных, необходимых для построения и обучения модели. Контрольные примеры: конвейер данных, тестирование, анализ источников данных, проверка статистических данных, достоверность процессов и правильность использования данных, автоматическое создание документации.
• Построение модели с хорошей производительностью. Контрольные примеры: анализ надежности модели, тестирование метрик бизнес-контекста, контроль утечки данных, оценка качества определений, доступность данных для бизнеса.
• Оценка производительности модели и регулярное привлечение бизнеса для обеспечения соответствия модели задачам бизнеса. Контрольные примеры: стандартизованное тестирование производительности, проверка набора функций, установка пороговых значений на основе правил, проверка результатов модели профильным экспертом, бизнес-требования, бизнес-ограничения, оценка рисков, автоматическое создание документов, достоверность прогнозируемых результатов.
• Перенос модели в производственную среду. Контрольные примеры: Cписок нефункциональных требований, повторная проверка источников данных, полное тестирование конвейера данных, пороговые значения эксплуатационных характеристик, предупреждения внешнего интерфейса.
• Развертывание модели в производственной среде. Контрольные примеры: Распределение ответственности и обучение коллег, механизмы эскалации, управление рабочим процессом, создание контрольного журнала.
• Управление накопленным набором моделей. Контрольные примеры: инструменты поиска, автоматизированная статистическая оценка моделей и обзор рисков по отделам.
• Мониторинг моделей. Контрольные примеры: отметка деградации, переподготовка планировщика, периодическое тестирование, такое как проверка байесовских гипотез, автоматическое ведение журнала и генерация результатов аудита.
• Проверка моделей и одобрение их использования. Контрольные примеры: проверка того, что алгоритм продолжает работать так, как задумано, и его использование по-прежнему соответствует требованиям в текущей среды.