Управление проектами ИИ

Очень краткое содержание заметки Никиты Худова от 1 июля (https://vc.ru/ai/3001819-metodika-otsenki-effekta-ot-ii) касательно управления проектами ИИ.

95% ИИ-проектов «не дают эффекта», а лидеры зарабатывают на ИИ миллиарды. Разница начинается с умения управлять и считать. Вот методика, под которой подписались 13 крупнейших банков страны

95% — это не про ИИ. Это про управление, которое начинается с учёта

Лидеры управляют ИИ как инвестиционным портфелем, и в основе этого управления — дисциплина учёта. Умение считать эффект — далеко не единственное их отличие, но ключевое из измеримых: без него невозможно ни приоритизировать проекты, ни вовремя закрывать неудачные, ни масштабировать удачные.

Восемь типов финансового эффекта от ИИ

1. Рост доходов — операционный доход растёт.
2. Снижение операционных расходов — OPEX сокращается.
3. Высвобождение штатной численности (ПШЕ) — экономия на ФОТ.
4. Снижение операционных рисков — меньше штрафов и потерь.
5. Высвобождение ликвидности — деньги быстрее возвращаются в оборот.
6. Восстановление / недосоздание резервов — реальное влияние на кредитный риск.
7. Учётные эффекты резервов — без изменения фактического риска, но с временным влиянием на P&L.
8. Снижение расходов на капитал — за счёт оптимизации RWA.

К ним добавляются стратегические эффекты: NPS / CSAT / CSI, время до результата (time-to-X), loss prevention, «виртуальный P&L» от «ненайма» сотрудников.

Пять ошибок учёта эффекта от ИИ

• Ошибка №1. «До и после» без контрольной группы
• Ошибка №2. Gross вместо Net
• Ошибка №3. Двойной учёт
• Ошибка №4. Неправильный бейзлайн. «Эффект ИИ» считают как разницу с тем, что было ДО ИИ. То есть с состоянием, когда менеджеры вручную отбирали клиентов из Excel. А правильный бейзлайн в методике — это «лучшая ближайшая альтернатива процесса TO BE».
• Примечание. Baseline (бейслайн) — это исходный уровень, базовая линия или точка отсчета, с которой сравниваются все последующие результаты, изменения или показатели. В управлении проектами (Project Management) это или базовый план (официально утвержденная версия плана проекта по срокам, бюджету и содержанию или точка отсчета.
• Ошибка №5. Эффекты «без денег» оценивают на глаз

Чек-лист «Финэффект на одной странице»

☐ AS IS и TO BE описаны явно, с лучшей ближайшей альтернативой в качестве бейзлайна.
☐ Выбран один из восьми типов эффекта (или явная их комбинация с разбивкой).
☐ Метод замера: A/B → квази-эксперимент → моделирование. В этом порядке, не наоборот.
☐ Учтены все затраты: ФОТ команды, инфраструктура, внешние лицензии и подрядчики.
☐ Заложен консерватизм: минимальный прогноз доходов, максимальный — расходов.
☐ Сделана проверка на двойной учёт с другими моделями в каскаде.
☐ Настроен мониторинг ML-метрик: критические модели — раз в 3 месяца, важные — раз в 6, остальные — раз в 12.
☐ Раз в год — «обратный» A/B: заменить текущую версию модели на старую и пересчитать инкремент.
☐ Финансовый блок валидировал методологию ДО запуска пилота, а не после.
☐ Эффект разнесён между владельцем процесса, центром компетенций A/B и независимыми аналитиками.

Три неудобных вывода

• Первое. Самая дорогая уязвимость в оценке ИИ — конфликт интересов.
• Второе. Дисциплина учёта — не вся AI-стратегия, но её несущая конструкция. Стратегия — это ещё приоритизация, инфраструктура, люди, перестройка процессов.
• Третье. Топ-результаты получают те, кто управляет ИИ как инвестиционным портфелем.