Четыре технических фактора для успешного масштабирования ИИ:
- хранилища функций (репозитории кодов),
- повторно используемые пакеты и модули,
- стандартизированные подходы в разработке ИИ,
- использование технологических возможностей операций машинного обучения (MLOps).
Хранилища функций
При разработке новых моделей машинного обучения группы обработки данных часто сталкиваются с проблемами, связанными с качеством данных, их доступностью для разработки, а также с обслуживанием и мониторингом моделей. Данные могут содержать ошибки, пропущенные значения, систематическую ошибку или выбросы, которые влияют на скорость разработки модели и качество работы модели. Кроме того, данные из различных источников могут быть труднодоступны из-за неэффективного управления данными. Эти проблемы в конечном итоге увеличивают затраты на разработку и обслуживание, влияют на способность моделей генерировать значимые и действенные идеи на основе своих данных.
Хранилища функций помогают устранить дубеирование усилий и ускорить разработку и развертывание моделей машинного обучения предоставляя единую платформу, на которой специалисты, работающие с данными, могут сотрудничать и повторно использовать функции. Это по сути межфункциональное сотрудничество.
Например, в модель данных могут добавляться новые функции, обрабатывающие поступающие данных из разных источников, такие, например, как функции прогноза оттока клиентов. Новые функции могут использоваться другими специалистами. Например, рпск-менеждеры, - создающие и модифицирующие модели риска. Тогда этим специалистам не нужно с нуля создавать новые функции.
Хранилища функций не только ускоряют разработку отдельных вариантов использования, но также помогают поддерживать контроль версий, отслеживать происхождение данных, что значительно повышает общее качество моделей и обеспечивает управление конвейером AI/ML. Хранилища функций могут облегчить масштабирование проектов искусственного интеллекта и машинного обучения. Используя совокупные знания и опыт, содержащиеся в хранилище функций, компании могут быстро разрабатывать и внедрять новые модели машинного обучения, способствуя инновациям, стимулируя рост в быстро меняющейся конкурентной среде.
Повторно используемые пакеты и модули
Если организации принимают бизнес-решения на основе кода, который не прошел всестороннюю проверку, то возникают у организации возникают соответствующие риски.
В силу затрат на всестороннюю проверку, повторное используование пакетов и модулей является хорошей передовой практикой разработки программного обеспечения и организациям следует рассмотреть возможность внедрения повторного использования пакетов и модулей при разработке проектов AI/ML. Проектирование программного обеспечения с использованием пакетов кода и модулей похоже на строительство здания из готовых компонентов. Готовые элементы кода могут помочь группам обработки данных ускорить процесс разработки, снизить затраты, поддерживать согласованную, легко поддерживаемую и гибкую структуру программного обеспечения. Это может привести к долгосрочному успеху и устойчивости инициатив AI/ML.
Многоразовые пакеты кода сокращают дублирование усилий, позволяя группам обработки данных сосредоточиться на совместной работе, инновациях и стратегических задачах, а не на мелочах кодирования. Этот модульный подход означает, что проекты AI/ML становятся более экономичными, поскольку ресурсы можно распределять более эффективно. Это также облегчает организациям модификацию, расширение или перепрофилирование проектов. Затем они смогут постоянно совершенствовать проекты искусственного интеллекта и машинного обучения в соответствии с меняющимися рыночными условиями, требованиями клиентов или нормативными требованиями.
Стандартизированные подходы в разработке ИИ
Учитывая скорость и потребность в трансформации ИИ, организации должны принять стандарты и протоколы для эффективного масштабирования ИИ. Создание надежной структуры стандартов и протоколов дает командам данных рекомендации по созданию, оценке и развертыванию моделей машинного обучения. Используя эту структуру, группы обработки данных следуют стандартизированному подходу при разработке сценариев использования ИИ и соблюдают ограничения, необходимые для их отрасли (например, не используют функции, которые могут создать предвзятость).
При масштабировании ИИ организации могут добиться успеха, внедрив три важных аспекта стандартов и протоколов:
- инженерные стандарты,
- передовые методы управления данными и жизненным циклом машинного обучения,
- нормативные требования, соответствие требованиям и этику.
Стандартные технологии разработки программного обеспечения. Организации могут применять стандартные технологии разработки программного обеспечения, чтобы максимизировать отдачу от своих инвестиций в ИИ. Среды непрерывной интеграции/непрерывного развертывания (CI/CD) и автоматизированного тестирования позволяют организациям автоматизировать создание, тестирование и развертывание ИИ.
Лучшие практики обработки данных и машинного обучения.
Внедряя ряд четко определенных протоколов, организации могут оптимизировать процесс аналитики. Такие протоколы обычно определяют, как организации подходят к новым проектам, принимают данные, разрабатывают функции машинного обучения, а также создают и тестируют модели. После развертывания модели тщательный мониторинг ее производительности и проведение технического обслуживания становятся необходимыми для достижения максимально возможной производительности.
Эти лучшие практики должны быть систематизированы в комплексные руководства, которые объясняют последовательность действий, важные результаты и роли различных заинтересованных сторон, таких как специалисты по обработке данных, инженеры и бизнес-профессионалы. Организации, применяющие эти лучшие практики, могут более эффективно масштабировать ИИ и развивать культуру межфункционального сотрудничества.
Использование технологических возможностей операций машинного обучения (MLOps)
Организации могут в полной мере использовать свои инвестиции в машинное обучение, внедряя технологию, которая эффективно переводит модели машинного обучения от экспериментирования к производству и облегчает постоянное обслуживание и производительность после развертывания этих моделей. Здесь в игру вступает MLOps.
MLOps относится к технологиям и лучшим практикам, которые обеспечивают надежность и эффективность моделей машинного обучения перед развертыванием за счет автоматизации ключевых задач, облегчения сотрудничества между командами и предоставления надежных конвейеров развертывания и механизмов мониторинга. Такая бесперебойная доставка гарантирует качество и надежность моделей машинного обучения, повышая доверие к процессам принятия решений на основе данных. Это также сводит к минимуму риск проблем с производительностью после запуска моделей ML, помогая компаниям сократить время и ресурсы, необходимые для моделей ML, чтобы обеспечить реальный эффект.
Что еще важно - MLOps предотвращает деградацию модели.
Источник
Scaling AI for success: Four technical enablers for sustained impact
Масштабирование ИИ для достижения успеха: четыре технических фактора, способствующих устойчивому эффекту
September 27, 2023by Gerry Aue, Pepe Cafferata, Roman Drapeko, Margaux Penwarden, and Vaibhav Sinha
https://www.mckinsey.com/capabilities/mckinsey-digital/our-insights/tech-forward/scaling-ai-for-success-four-technical-enablers-for-sustained-impact
Джерри Ауэ — партнер офиса McKinsey в Гватемале, Пепе Кафферата — старший партнер в офисе в Сан-Паулу, а Роман Драпеко — выдающийся инженер по обработке данных в лондонском офисе, где Марго Пенварден — главный специалист по данным, а Вайбхав Синха — руководитель. инженер данных.
Комментариев нет:
Отправить комментарий