Стоимость ИИ

Использование ИИ может быть описано тремя архетипа:

Taker — использует общедоступные модели через интерфейс чата или API, с небольшой настройкой или без нее. Это самый простой архетип с точки зрения как инженерных, так и инфраструктурных потребностей, и, как правило, самый быстрый для запуска и запуска. Taker можно описать как потребитель.

Shaper — интегрирует модели с внутренними данными и системами для создания более индивидуальных результатов. Архетип Shaper подходит для компаний, которые хотят масштабировать возможности генеративного ИИ, разрабатывать более проприетарные возможности или удовлетворять более высокие потребности в безопасности или соответствии. Улучшатель, более звучно, но размыто - Дизайнер.

Maker — создает базовую модель для решения какого-либо бизнес-кейса. Создание базовой модели — это дорого и сложно, требуя огромных объемов данных, глубоких знаний и огромной вычислительной мощности. Этот вариант требует существенных единовременных инвестиций — десятков или даже сотен миллионов долларов — для создания модели и ее обучения. Стоимость зависит от различных факторов, таких как инфраструктура обучения, выбор архитектуры модели, количество параметров модели, размер данных и экспертные ресурсы. Создатель.

Каждый архетип имеет свои собственные затраты, которые описаны далее.

Примечание. Благодаря инженерной оптимизации экономика генеративного ИИ быстро развивается, и это оценки высокого уровня, основанные на общей стоимости владения (ресурсы, обучение моделей и т. д.) по состоянию на середину 2023 года.

Taker

Пример варианта использования: готовый помощник по программированию для разработчиков программного обеспечения. Или чат-бот общего назначения для обслуживания клиентов.

Ориентировочная общая стоимость владения

• ~ от 0,5 до 2,0 миллионов долларов единовременно (включая команду запуска проекта: 6 чел в текчение 3-4 месяцев).
• ~ 0,5 миллиона долларов ежегодно (за подписку), например
• Готовый помощник по программированию: ~0,2 миллиона долларов в год на 1000 пользователей в день.
• Чат-бот общего назначения для обслуживания клиентов: ~ 0,2 миллиона долларов в год при условии 1000 чатов с клиентами в день и 10 000 токенов за чат.
• Поддержка подключаемого уровня: до ~ 0,2 миллиона долларов в год.

Shaper

Пример варианта использования: Пользовательский сервис с великолепно настроеным чат-ботом для специфической области знаний и ведение истории чата.

Ориентировочная общая стоимость владения

• От ~2,0 до 10,0 миллионов долларов единоразово, если модель не будет доработана дальше.
• Создание конвейера данных и моделей: ~ 0,5 миллиона долларов. Затраты включают в себя 5–6 инженеров по машинному обучению и инженеров по обработке данных, работающих в течение 16–20 недель над сбором и маркировкой данных, а также выполнением ETL данных (извлечение, преобразование и загрузка данных).
• Точная настройка модели (модель обучена на основе от 65 миллиардов до 1 триллиона параметров и набора данных от 1,2 до 2,4 триллиона токенов): от ~0,1 до 6,0 млн долларов за тренировочный прогон.
• Нижний предел: затраты включают вычисления и двух специалистов по обработке данных, работающих в течение 2 месяцев.
• Верхний предел: вычисления на основе стоимости точной настройки общедоступной модели с закрытым исходным кодом.
• Создание подключаемого слоя: от ~ 1,0 до 3,0 миллионов долларов США. В стоимость входит работа команды из 6–8 человек в течение 6–12 месяцев.
• ~ от 0,5 до 1,0 миллиона долларов, повторяющиеся ежегодно
• Вывод модели: до ~ 0,5 миллиона долларов ежегодно. Предположим, ежедневно ведется 1000 чатов со звуком и текстом.
• Обслуживание модели: ~0,5 миллиона долларов. Предположим, что стоимость платформы MLOps⁴ составляет от 100 000 до 250 000 долларов в год, а один инженер по машинному обучению тратит от 50% до 100% своего времени на мониторинг производительности модели.
• Обслуживание подключаемого уровня: до ~ 0,3 миллиона долларов ежегодно, при условии 10% стоимости разработки.

Maker

Ориентировочная общая стоимость владения

• ~ от 5,0 до 200,0 миллионов долларов, единовременно, если модель не будет доработана или переобучена.
• Разработка модели: ~0,5 миллиона долларов. Затраты включают в себя 4 ученых, занимающихся данными, которые потратят от 3 до 4 месяцев на проектирование, разработку и оценку модели с использованием существующих исследований.
• Конвейер данных и моделей: от ~0,5 до 1,0 миллиона долларов. Затраты включают в себя 6–8 инженеров по машинному обучению и инженеров по обработке данных, которые будут работать в течение примерно 12 недель над сбором данных и выполнением ETL данных (извлечение, преобразование и загрузка данных).
• Обучение модели²: от ~4,0 до 200,0 млн долларов за один сеанс обучения. Затраты включают в себя вычислительные затраты и затраты на оплату труда 4–6 специалистов по обработке данных, работающих в течение 3–6 месяцев.
• Создание подключаемого слоя: от ~ 1,0 до 3,0 миллионов долларов. В стоимость включена команда из 6–8 человек, работающая от 6 до 12 месяцев.
• ~ от 1,0 до 5,0 миллионов долларов, повторяющиеся ежегодно
• Вывод модели: от ~0,1 до 1,0 миллиона долларов в год на 1000 пользователей. Предположим, что каждый врач принимает от 20 до 25 пациентов в день, и пациент говорит от 6 до 25 минут за одно посещение.
• Обслуживание модели: от ~1,0 до 4,0 миллионов долларов США ежегодно. Предположим, 250 000 долларов в год на платформу MLOps и 3–5 инженеров по машинному обучению для мониторинга производительности модели.
• Обслуживание подключаемого уровня: до ~ 0,3 миллиона долларов ежегодно, при условии 10% стоимости разработки.

Источник.

"Technology’s generational moment with generative AI: A CIO and CTO guide"

https://www.mckinsey.com/capabilities/mckinsey-digital/our-insights/technologys-generational-moment-with-generative-ai-a-cio-and-cto-guide