О технологии работы с генеративным ИИ

Девять шагов для внедрения генеративного ИИ

• Определите позицию компании в деле внедрения генеративного ИИ, организуйте коммуникации с сотрудниками по данному вопросу.
• Переосмыслите бизнес и определите варианты использования ИИ, которые создают ценность за счет повышения производительности, роста и новых бизнес-моделей. Разработайте возможность «финансового ИИ» (FinAI), которая поможет оценить истинные затраты и отдачу от генеративного ИИ.
• Переосмыслите технологическую функцию и сосредоточьтесь на быстром создании генеративных возможностей искусственного интеллекта при разработке программного обеспечения, ускорении сокращения технического долга и значительном сокращении ручного труда в ИТ-операциях.
• Воспользуйтесь преимуществами существующих сервисов или адаптируйте генеративные модели ИИ с открытым исходным кодом для раскрытия собственных возможностей (создание и эксплуатация собственных генеративных моделей ИИ может стоить от десятков до сотен миллионов долларов, по крайней мере, в ближайшей перспективе).
• Обновите технологическую архитектуру предприятия, чтобы интегрировать и управлять генеративными моделями ИИ, а также согласовать их взаимодействие друг с другом и с существующими моделями ИИ и машинного обучения (ML), приложениями и источниками данных.
• Разработайте архитектуру данных, чтобы обеспечить доступ к качественным данным, обрабатывая как структурированные, так и неструктурированные источники данных.
• Создайте централизованную, многофункциональную команду по разработке платформы искусственного интеллекта, чтобы по запросу предоставлять утвержденные модели командам по продуктам и приложениям.
• Инвестируйте в повышение квалификации ключевых должностей — разработчиков программного обеспечения, инженеров данных, инженеров MLOps и экспертов по безопасности — а также более широкой рабочей силы, не связанной с технологиями. Необходимо адаптировать учебные программы по ролям и уровням квалификации в силу различного воздействия генеративного ИИ.
• Оцените новую картину рисков и внедрите методы смягчения последствий для моделей, данных и политик.

Определите позицию компании по внедрению генеративного ИИ

Использование генеративного ИИ становится все более распространенным, а ИТ-директора и технические директора блокируют доступ сотрудников к общедоступным приложениям, чтобы ограничить риск. Поступая таким образом, компании рискуют упустить возможности для инноваций, а некоторые сотрудники даже воспринимают эти шаги как ограничение их способности развивать новые навыки.

ИТ-директора и технические директора должны работать с рисками, чтобы сбалансировать реальную потребность в снижении рисков с важностью развития генеративных навыков ИИ в бизнесе. Это требует определения позиции компании в отношении генеративного ИИ путем достижения консенсуса в отношении уровней риска, с которыми бизнес удобен, и того, как генеративный ИИ вписывается в общую стратегию бизнеса. Этот шаг позволяет бизнесу быстро определить политики и рекомендации для всей компании.

Как только политики будут четко определены, лидеры должны сообщить о них бизнесу, а ИТ-директор и технический директор должны предоставить организации соответствующий доступ и удобные для пользователя инструкции. Некоторые компании развернули общекорпоративную коммуникацию о генеративном ИИ, предоставили широкий доступ к генеративному ИИ для определенных групп пользователей, создали всплывающие окна, которые предупреждают пользователей каждый раз, когда они вводят внутренние данные в модель, и создали страницу с рекомендациями, которая появляется каждый раз, когда пользователи обращаются к модели общедоступного сервиса генеративного ИИ.

Определите варианты использования генеративного ИИ

ИТ-директора и технические директора должны быть противоядием от безумия «смерти из-за использования ИИ». Они могут быть наиболее полезными, работая с генеральным директором, финансовым директором и другими бизнес-лидерами, чтобы продумать, как генеративный ИИ бросает вызов существующим бизнес-моделям и создает новые источники ценности. Глубоко понимая технические возможности ИИ, ИТ-директор и технический директор должны определить наиболее ценные возможности и наиболее важные проблемы в компании, которые могут извлечь выгоду из генеративного ИИ, и те, которые не могут. В некоторых случаях генеративный ИИ — не лучший вариант.

ИТ-директор и технический директор могут быть особенно полезны в разработки точки зрения о лучших вариантах использования генеративного ИИ. Выявление возможностей ИИ не является стратегической задачей — существует множество вариантов использования генеративного ИИ. Но вот ограничения талантов и ресурсов ограничивают возможности. Поэтому ИТ-директору и техническому директору необходимо будет предоставить оценку осуществимости и оценку потребных ресурсов, чтобы помочь бизнес-упорядочить приорететы реализации возможностей генеративного ИИ.

Расчеты затрат могут быть сложными, потому что экономика бизнес-единиц должна учитывать затраты на развертывание и эксплуатации нескольких моделей и взаимодействие моделей.

Переосмыслите технологическую функцию

Генеративный ИИ может полностью изменить работу технической функции. ИТ-директорам и техническим директорам необходимо провести всесторонний анализ потенциального влияния генеративного ИИ на все области технологий, но важно быстро принять меры для накопления опыта и знаний. Есть три области, где они могут сосредоточить свою первоначальную энергию:

• Разработка программного обеспечения. Поддержка генеративного ИИ-кодирования может помочь разработчикам программного обеспечения разрабатывать код на 35–45 % быстрее, проводить рефакторинг кода на 20–30 % быстрее и выполнять документирование кода на 45–50 % быстрее. Генеративный ИИ также может автоматизировать процесс тестирования и моделировать крайние случаи, позволяя командам разрабатывать более отказоустойчивое программное обеспечение до его выпуска и ускорять адаптацию новых разработчиков. Чтобы воспользоваться этими преимуществами, потребуется обширное обучение и автоматизация конвейеров интеграции и развертывания с помощью методов DevSecOps для управления резко возросшим объемом кода.
• Технический долг. Технический долг может составлять от 20 до 40 процентов технологических бюджетов и значительно замедлять темпы развития. ИТ-директорам и техническим директорам следует пересмотреть баланс технического долга, чтобы определить, как генеративные возможности ИИ, такие как рефакторинг кода, перевод кода и автоматическое создание тестовых сценариев, могут ускорить сокращение технического долга.
• ИТ-операции (ITOps). ИТ-директорам и техническим директорам необходимо проанализировать усилия по повышению производительности ITOps, чтобы определить, как генеративный ИИ может ускорить процессы. Возможности генеративного ИИ особенно полезны при автоматизации таких задач, как сброс пароля, запросы статуса или базовая диагностика с помощью агентов самообслуживания; ускорение сортировки и разрешения за счет улучшенной маршрутизации; выявление полезного контекста и генерация предлагаемых ответов; улучшение наблюдаемости за счет анализа огромных потоков журналов для выявления событий, действительно требующих внимания; разработка документации, такой как стандартные операционные процедуры, отчеты об инцидентах или отчеты о производительности.

Воспользуйтесь преимуществами существующих сервисов или адаптируйте модели генеративного ИИ с открытым исходным кодом

Вариант классического решения «арендовать, купить или построить» существует, когда речь идет о стратегиях развития генеративных возможностей ИИ. Основное правило остается верным: компания должна инвестировать в возможности генеративного ИИ, где она может создать собственное преимущество для бизнеса и получить доступ к существующим услугам для тех, которые больше похожи на товары.

ИТ-директор и технический директор могут рассматривать последствия этих вариантов как три архетипа:

• Taker — использует общедоступные модели через интерфейс чата или API с минимальной настройкой или без нее. Хорошие примеры включают готовые решения для создания кода или решения помощи дизайнерам в создании и редактировании изображений. Это самый простой архетип с точки зрения как инженерных, так и инфраструктурных потребностей, и, как правило, его быстрее всего настроить и запустить. Эти модели, по сути, представляют собой товары, которые полагаются на ввод данных в виде подсказок для общедоступной модели.
• Shaper — объединяет модели с внутренними данными и системами для получения настраиваемых результатов. Одним из примеров является модель, которая поддерживает сделки купли-продажи путем подключения генеративных инструментов искусственного интеллекта к системам управления взаимоотношениями с клиентами (CRM) и финансовым системам для учета предыдущих продаж и истории взаимодействия с клиентами. Другой вариант — доработка модели с помощью внутренних документов компании и истории чатов, чтобы она служила помощником агента службы поддержки клиентов. Архетип Shaper подходит для компаний, которые хотят масштабировать возможности генеративного ИИ, разрабатывать больше проприетарных возможностей или удовлетворять более высоким требованиям к безопасности или соответствию требованиям. В этом архетипе есть два распространенных подхода к интеграции данных с генеративными моделями ИИ. Один из них — «приведение модели к данным», когда модель размещается в инфраструктуре организации, локально или в облачной среде. Cohere, например, развертывает базовые модели в облачной инфраструктуре клиентов, уменьшая потребность в передаче данных. Другой подход заключается во «внесении данных в модель», когда организация может агрегировать данные и развертывать копию большой модели в облачной инфраструктуре. Оба подхода достигают цели предоставления доступа к базовым моделям, и выбор между ними будет зависеть от рабочей нагрузки организации.
• Maker — строит базовую модель отдельного бизнес-кейса. Построение базовой модели дорого и сложно, требует огромных объемов данных, глубоких знаний и огромной вычислительной мощности. Этот вариант требует значительных единовременных инвестиций — десятков или даже сотен миллионов долларов — для создания модели и ее обучения. Стоимость зависит от различных факторов, таких как инфраструктура обучения, выбор архитектуры модели, количество параметров модели, размер данных и экспертные ресурсы.

У каждого архетипа есть свои издержки, которые необходимо учитывать техническим лидерам. В то время как новые разработки, такие как эффективные подходы к обучению моделей и более низкие вычислительные затраты графического процессора (GPU) с течением времени, снижают затраты, сложность, присущая архетипу Maker, означает, что немногие организации примут его в краткосрочной перспективе. Вместо этого большинство обратятся к той или иной комбинации Taker, чтобы быстро получить доступ к массовому сервису, и Shaper, чтобы создать собственные возможности поверх базовых моделей.

Обновите технологическую архитектуру предприятия, чтобы интегрировать генеративные модели искусственного интеллекта и управлять ими

Организации будут использовать множество генеративных моделей ИИ разного размера, сложности и возможностей. Чтобы создавать ценность, эти модели должны работать как вместе, так и с существующими бизнес-системами или приложениями. По этой причине создание отдельного стека технологий для генеративного ИИ создает больше сложностей, чем решает.

Для архетипа Taker высокий уровень координации не нужен. Но для компаний, стремящихся масштабировать преимущества генеративного ИИ в качестве формирователей или создателей, ИТ-директорам и техническим директорам необходимо обновить технологическую архитектуру. Основная цель — интегрировать генеративные модели ИИ во внутренние системы и корпоративные приложения, а также построить конвейеры для различных источников данных. В конечном счете, именно зрелость корпоративной технологической архитектуры предприятия позволяет ей интегрировать и масштабировать генеративные возможности искусственного интеллекта.

Недавние достижения в области интеграции и оркестровки значительно сократили усилия, необходимые для подключения различных моделей генеративного ИИ к другим приложениям и источникам данных. Также появляются несколько шаблонов интеграции, в том числе те, которые позволяют моделям вызывать API-интерфейсы при ответе на пользовательский запрос — например, GPT-4 может вызывать функции — и предоставлять контекстные данные из внешнего набора данных как часть пользовательского запроса, метод, известный как поиск дополненной генерации. Техническим руководителям потребуется определить эталонные архитектуры и стандартные шаблоны интеграции для организации (например, стандартные форматы API и параметры, идентифицирующие пользователя и модель, вызывающую API).

Есть пять ключевых элементов, которые необходимо включить в технологическую архитектуру для эффективной интеграции генеративного искусственного интеллекта:

• Управление контекстом и кэширование для обеспечения моделей актуальной информацией из корпоративных источников данных. Доступ к релевантным данным в нужное время — это то, что позволяет модели понимать контекст и давать убедительные результаты. Кэширование сохраняет результаты часто задаваемых вопросов, чтобы обеспечить более быстрые и дешевые ответы.
• Управление политиками для обеспечения надлежащего доступа к активам корпоративных данных. Этот элемент управления гарантирует, что остальная часть организации не сможет получить доступ к генеративным моделям искусственного интеллекта HR, которые включают, например, детали вознаграждения сотрудников.
• Концентратор моделей, который содержит обученные и утвержденные модели, которые могут быть подготовлены по запросу, и действует как репозиторий контрольных точек, весов и параметров моделей.
• Библиотека подсказок, которая содержит оптимизированные инструкции для генеративных моделей ИИ, включая подсказку версий по мере обновления моделей.
• Платформа MLOps, включая обновленные возможности MLOps для учета сложности генеративных моделей ИИ. Конвейеры MLOps, например, должны будут включать инструменты для измерения производительности конкретной задачи, например, для измерения способности модели извлекать правильные знания.

При развитии архитектуры ИТ-директорам и техническим директорам необходимо будет ориентироваться в быстрорастущей экосистеме поставщиков и инструментов генеративного ИИ. Поставщики облачных услуг предоставляют обширный доступ к масштабируемому оборудованию и базовым моделям, а также к растущему набору услуг. В то же время MLOps и поставщики концентраторов моделей предлагают инструменты, технологии и практики для адаптации базовой модели и развертывания ее в рабочей среде, в то время как другие компании предоставляют приложения, к которым пользователи имеют прямой доступ, созданные на основе базовых моделей для выполнения конкретных задач. ИТ-директорам и техническим директорам необходимо будет оценить, как эти различные возможности собраны и интегрированы для развертывания и эксплуатации генеративных моделей ИИ.

Разработайте архитектуру данных, чтобы обеспечить доступ к качественным данным

Способность бизнеса создавать и масштабировать ценность, включая снижение затрат и улучшенную защиту данных и знаний, с помощью генеративных моделей ИИ будет зависеть от того, насколько хорошо он использует преимущества своих собственных данных. Создание этого преимущества зависит от архитектуры данных, которая связывает генеративные модели ИИ с внутренними источниками данных, которые обеспечивают контекст или помогают настраивать модели для создания более релевантных результатов.

В этом контексте ИТ-директора, технические директора и директора по данным должны тесно сотрудничать, чтобы сделать следующее:

• Классифицируйте и организуйте данные, чтобы их можно было использовать в генеративных моделях ИИ. Техническим руководителям необходимо будет разработать комплексную архитектуру данных, охватывающую как структурированные, так и неструктурированные источники данных. Это требует внедрения стандартов и руководств по оптимизации данных для генеративного использования ИИ, например, путем дополнения данных обучения синтетическими образцами для увеличения разнообразия и размера; преобразование типов мультимедиа в стандартизированные форматы данных; добавление метаданных для улучшения прослеживаемости и качества данных; и обновление данных.
• Убедитесь, что существующая инфраструктура или облачные сервисы могут поддерживать хранение и обработку огромных объемов данных, необходимых для генеративных приложений ИИ.
• Уделите первоочередное внимание разработке конвейеров данных для подключения генеративных моделей ИИ к соответствующим источникам данных, которые обеспечивают «контекстное понимание». Новые подходы включают использование векторных баз данных для хранения и извлечения вложений (специально отформатированных знаний) в качестве входных данных для генеративных моделей ИИ, а также подходы к обучению в контексте, такие как «подсказка с несколькими выстрелами», когда модели снабжены примерами хороших ответов.

Создайте централизованную кросс-функциональную команду генеративной платформы искусственного интеллекта

Большинство технологических организаций находятся на пути к операционной модели продуктов и платформ. ИТ-директорам и техническим директорам необходимо интегрировать возможности генеративного ИИ в операционную модель, чтобы опираться на существующую инфраструктуру и помочь быстро масштабировать внедрение генеративного ИИ. Первым шагом является создание команды платформы генеративного ИИ, основной задачей которой является разработка и поддержка службы платформы, где утвержденные модели генеративного ИИ могут предоставляться по запросу для использования группами разработчиков продуктов и приложений. Команда платформы также определяет протоколы интеграции генеративных моделей ИИ с внутренними системами, корпоративными приложениями и инструментами, а также разрабатывает и внедряет стандартизированные подходы к управлению рисками, такие как ответственные структуры ИИ.

ИТ-директорам и техническим директорам необходимо убедиться, что команда платформы укомплектована людьми с нужными навыками. Этой команде требуется старший технический руководитель, который действует как генеральный менеджер. 

Ключевые роли включают

• инженеров-программистов для интеграции генеративных моделей ИИ в существующие системы, приложения и инструменты; 
• инженеры данных для создания конвейеров, которые соединяют модели с различными системами записи и источниками данных; 
• специалисты по данным для выбора моделей и инженерных подсказок; 
• инженеры MLOps для управления развертыванием и мониторингом нескольких моделей и версий моделей; 
• инженеры машинного обучения для тонкой настройки моделей с новыми источниками данных;
• эксперты по рискам для управления такими проблемами безопасности, как утечка данных, контроль доступа, точность вывода и предвзятость.

Адаптируйте программы повышения квалификации в соответствии с ролями и уровнями квалификации

Генеративный ИИ может значительно повысить производительность сотрудников и расширить их возможности. Но преимущества распределяются неравномерно в зависимости от ролей и уровней навыков, что требует от руководителей переосмысления того, как формировать реальные навыки, которые нужны людям.

Необходимо, чтобы технологические лидеры переосмыслили стратегию управления талантами для создания рабочей силы будущего. Наем основного набора лучших специалистов по искусственному интеллекту будет иметь важное значение, и, учитывая растущую нехватку и стратегическую важность этих талантов, технологическим лидерам следует внедрить механизмы удержания, такие как конкурентоспособная заработная плата и возможности участия в важной стратегической работе для компании.

Однако технологические лидеры не могут остановиться на найме. Поскольку почти каждая существующая роль будет затронута генеративным ИИ, основное внимание следует уделить повышению квалификации людей на основе четкого представления о том, какие навыки необходимы для каждой роли, уровня квалификации и бизнес-целей.

Помимо обучения технических специалистов, ИТ-директор и технический директор могут сыграть важную роль в развитии генеративных навыков ИИ среди нетехнических специалистов. Помимо понимания того, как использовать генеративные инструменты искусственного интеллекта для таких основных задач, как создание электронной почты и управление задачами, людям в бизнесе необходимо будет научиться использовать множество возможностей для повышения производительности и результатов.

Уменьшение ценности неопытных инженеров должно ускорить переход от классической пирамиды талантов, где наибольшее количество людей находится на уровне младших специалистов, к структуре, более похожей на ромб, где основную часть технической рабочей силы составляют опытные люди. На практике это будет означать как можно более быстрое развитие навыков младших сотрудников при одновременном сокращении ролей, предназначенных для несложных ручных задач (таких как написание модульных тестов).

Оцените новый ландшафт рисков и установите текущие методы смягчения последствий

Генеративный ИИ представляет собой новый набор этических вопросов и рисков, включая

• «галлюцинации», когда модель генеративного ИИ представляет неправильный ответ, основанный на ответе с наивысшей вероятностью; 
• случайный выпуск конфиденциальной информации, позволяющей установить личность; неотъемлемая предвзятость больших наборов данных, используемых в моделях;
• высокая степень неопределенности, связанная с интеллектуальной собственностью (ИС).

ИТ-директорам и техническим директорам необходимо хорошо разбираться в вопросах этики, гуманизма и соблюдения нормативных требований, чтобы следовать не только букве закона (которая зависит от страны), но и духу ответственного управления репутацией своего бизнеса.

Решение этой новой ситуации требует серьезного пересмотра киберпрактик и обновления процесса разработки программного обеспечения для оценки рисков и определения мер по их снижению до начала разработки модели, что уменьшит количество проблем и гарантирует, что процесс не замедлится. 

Проверенные действия по снижению риска галлюцинаций могут включать в себя 

• регулировку уровня творчества (известного как «температура») модели, когда она генерирует ответы; 
• дополнение модели соответствующими внутренними данными для обеспечения большего контекста; 
• использование библиотек, которые налагают ограничения на то, что может быть сгенерировано; 
• использование моделей «модерации» для проверки выходных данных;
• добавление четких заявлений об отказе от ответственности.

Ранние варианты использования генеративного ИИ должны быть сосредоточены на областях, где цена ошибки невелика, чтобы позволить организации преодолевать неизбежные неудачи и использовать полученные знания.

Для защиты конфиденциальности данных крайне важно установить и обеспечить соблюдение протоколов маркировки конфиденциальных данных, настроить элементы управления доступом к данным в разных доменах (например, данные о вознаграждении персонала), добавить дополнительную защиту, когда данные используются извне, и включить меры защиты конфиденциальности. Например, чтобы снизить риск управления доступом, некоторые организации создали уровень управления политиками, который ограничивает доступ по ролям после того, как модель получает запрос. Чтобы снизить риск для интеллектуальной собственности, ИТ-директора и технические директора должны настаивать на том, чтобы поставщики базовых моделей сохраняли прозрачность в отношении ИС (источники данных, лицензирование и права собственности) используемых наборов данных.

Заключение

Генеративный ИИ может стать одной из самых быстрорастущих категорий технологий. Технические лидеры не могут позволить себе ненужные задержки в определении и формировании стратегии генеративного ИИ. В то время как пространство будет продолжать быстро развиваться, эти девять действий могут помочь ИТ-директорам и техническим директорам ответственно и эффективно использовать возможности генеративного ИИ в масштабе.

Источник.

Aamer Baig, Sven Blumberg, Eva Li, Douglas Merrill, Adi Pradhan, Megha Sinha, Alexander Sukharevsky, Stephen Xu. Technology’s generational moment with generative AI: A CIO and CTO guide. July 11, 2023

https://www.mckinsey.com/capabilities/mckinsey-digital/our-insights/technologys-generational-moment-with-generative-ai-a-cio-and-cto-guide

Краткое руководство по ключевым терминам

Генеративный ИИ — это тип ИИ, который может создавать новый контент (текст, код, изображения, видео), используя шаблоны, которые он изучил, обучаясь на обширных (общедоступных) данных с помощью методов машинного обучения (ML).

Базовые модели (FM) — это модели глубокого обучения, обученные на огромном количестве неструктурированных, немаркированных данных, которые можно использовать для широкого круга задач «из коробки» или адаптировать к конкретным задачам путем тонкой настройки. Примерами таких моделей являются GPT-4, PaLM 2, DALL·E 2 и Stable Diffusion.

Большие языковые модели (LLM) составляют класс базовых моделей, которые могут обрабатывать огромные объемы неструктурированного текста и изучать отношения между словами или частями слов, известные как токены. Это позволяет LLM генерировать текст на естественном языке, выполняя такие задачи, как обобщение или извлечение знаний. Cohere Command — это один из типов LLM; LaMDA является LLM позади Барда.

Тонкая настройка — это процесс адаптации предварительно обученной базовой модели для лучшей работы в конкретной задаче. Это влечет за собой относительно короткий период обучения на размеченном наборе данных, который намного меньше, чем набор данных, на котором модель изначально обучалась. Это дополнительное обучение позволяет модели учиться и адаптироваться к нюансам, терминологии и конкретным шаблонам, обнаруженным в меньшем наборе данных.

Инжиниринг подсказок относится к процессу разработки, уточнения и оптимизации подсказок ввода, чтобы направлять генеративную модель ИИ к получению желаемых (то есть точных) результатов.