Содержание
1. Прости, Дэйв.
2. Удивительное и ужасное расширение прав и возможностей.
3. Отвратительный аппарат
4. Пианино с механическим приводом
5. Чёрные моря бесконечности
Испытание человечества
В экранизации книги Карла Сагана «Контакт» есть сцена, где главная героиня, астроном, обнаружившая первый радиосигнал от инопланетной цивилизации, рассматривается на роль представителя человечества на встрече с пришельцами. Международная комиссия, проводящая с ней собеседование, спрашивает: «Если бы вы могли задать [пришельцам] всего один вопрос, какой бы это был вопрос?» Она отвечает: «Я бы спросила их: „Как вы это сделали? Как вы эволюционировали, как вы пережили этот технологический период юности, не уничтожив себя?“» Когда я думаю о том, где сейчас находится человечество в отношении ИИ — о том, к чему мы стоим на пороге — мои мысли постоянно возвращаются к этой сцене, потому что вопрос так актуален для нашей нынешней ситуации, и мне бы хотелось иметь ответ пришельцев, чтобы направлять нас. Я верю, что мы вступаем в обряд инициации, одновременно бурный и неизбежный, который проверит, кто мы как вид. Человечеству вот-вот будет дарована почти невообразимая власть, и совершенно неясно, обладают ли наши социальные, политические и технологические системы достаточной зрелостью, чтобы ею воспользоваться.
В своем эссе «Машины любящей благодати» я попытался изложить мечту о цивилизации, которая достигла зрелости, где риски были устранены, а мощный ИИ применялся умело и с состраданием для повышения качества жизни каждого. Я предположил, что ИИ может внести огромный вклад в развитие биологии, нейронауки, экономического развития, глобального мира, а также в сферу труда и смысла жизни. Я считал важным дать людям что-то вдохновляющее, за что можно бороться, — задача, с которой, как ни странно, не справились ни сторонники ускорения развития ИИ, ни защитники безопасности ИИ. Но в этом эссе я хочу обратиться к самому обряду посвящения: определить риски, с которыми нам предстоит столкнуться, и попытаться начать разрабатывать план действий по их преодолению. Я глубоко верю в нашу способность победить, в дух человечества и его благородство, но мы должны взглянуть на ситуацию прямо и без иллюзий.
Как и в случае с обсуждением преимуществ, я считаю важным тщательно и взвешенно обсуждать риски. В частности, я считаю крайне важным следующее:
Учитывая все вышесказанное, я думаю, что лучшей отправной точкой для обсуждения рисков ИИ является тот же подход, с которого я начал говорить о его преимуществах: уточнение того, о каком уровне ИИ мы говорим. Уровень ИИ, который вызывает у меня опасения в отношении цивилизации, — это мощный ИИ, описанный мной в книге «Машины любящей благодати». Я просто повторю здесь определение, которое дал в этом документе:
Под «мощным ИИ» я подразумеваю модель ИИ — вероятно, похожую по форме на современные LLM, хотя она может быть основана на другой архитектуре, включать в себя несколько взаимодействующих моделей и обучаться по-другому — со следующими свойствами:
Это можно охарактеризовать как «страна гениев в центре обработки данных».
Как я писал в книге «Машины любящей благодати», появление мощного ИИ может произойти уже через 1-2 года, хотя это может случиться и значительно позже (6). Точный срок появления мощного искусственного интеллекта — сложная тема, заслуживающая отдельного эссе, но сейчас я лишь очень кратко объясню, почему, на мой взгляд, существует высокая вероятность того, что это может произойти очень скоро.
(6). Действительно, с момента написания книги «Машины любящей благодати» в 2024 году системы искусственного интеллекта стали способны выполнять задачи, на которые у людей уходит несколько часов. По оценкам METR, система Opus 4.5 может выполнить работу, эквивалентную примерно четырем часам работы человека, с надежностью в 50%.
Мы с моими соучредителями в Anthropic были одними из первых, кто задокументировал и отследил «законы масштабирования» систем ИИ — наблюдение, согласно которому по мере добавления вычислительных и обучающих задач системы ИИ предсказуемо улучшают практически все когнитивные навыки, которые мы можем измерить. Каждые несколько месяцев общественное мнение либо убеждается в том, что ИИ «уперлся в тупик», либо воодушевляется каким-то новым прорывом, который «фундаментально изменит правила игры», но правда в том, что за этой нестабильностью и публичными спекуляциями скрывается плавный, неуклонный рост когнитивных возможностей ИИ.
Сейчас мы достигли того уровня, когда модели ИИ начинают добиваться прогресса в решении нерешенных математических задач и достаточно хорошо разбираются в программировании, так что некоторые из самых сильных инженеров, которых я когда-либо встречал, теперь передают почти весь свой код ИИ. Три года назад ИИ с трудом справлялся с арифметическими задачами начальной школы и едва мог написать одну строчку кода. Аналогичные темпы улучшения наблюдаются в биологических науках , финансах, физике и в различных задачах, связанных с агентным программированием. Если экспоненциальный рост продолжится — что не гарантировано, но подтверждается десятилетним опытом — то пройдет не более нескольких лет, прежде чем ИИ превзойдет людей практически во всем.
На самом деле, эта картина, вероятно, недооценивает вероятные темпы прогресса. Поскольку ИИ сейчас пишет большую часть кода в Anthropic, он уже существенно ускоряет темпы нашего прогресса в создании систем ИИ следующего поколения. Эта обратная связь набирает обороты месяц за месяцем, и, возможно, всего через 1-2 года нынешнее поколение ИИ будет автономно создавать следующее. Этот цикл уже начался и будет быстро ускоряться в ближайшие месяцы и годы. Наблюдая за прогрессом последних 5 лет внутри Anthropic и глядя на то, как формируются модели даже на ближайшие несколько месяцев, я чувствую темп прогресса и тиканье часов.
В этом эссе я буду исходить из предположения, что эта интуиция, по крайней мере, отчасти верна — а не из того, что мощный ИИ обязательно появится через 1–2 года (7). Но есть неплохая вероятность, что это произойдет, и очень высокая вероятность, что это случится в ближайшие несколько дней. Как и в случае с «Машинами любящей благодати», серьезное отношение к этой предпосылке может привести к неожиданным и жутким выводам. Если в «Машинах любящей благодати» я сосредоточился на позитивных последствиях этой предпосылки, то здесь я буду говорить о тревожных вещах. Это выводы, с которыми мы, возможно, не захотим столкнуться, но это не делает их менее реальными. Могу лишь сказать, что я днем и ночью сосредоточен на том, как увести нас от этих негативных результатов и направить к позитивным, и в этом эссе я подробно рассказываю о том, как лучше всего это сделать.
Думаю, лучший способ оценить риски, связанные с ИИ, — это задать следующий вопрос: предположим, что где-то в мире примерно в 2027 году материализуется настоящая «страна гениев». Представьте, скажем, 50 миллионов человек, каждый из которых намного способнее любого лауреата Нобелевской премии, государственного деятеля или технолога. Аналогия не совсем точна, потому что у этих гениев может быть чрезвычайно широкий спектр мотиваций и поведения, от совершенно покорных и послушных до странных и чуждых по своим мотивам. Но, оставаясь пока в рамках аналогии, предположим, что вы — советник по национальной безопасности крупного государства, ответственный за оценку ситуации и реагирование на неё. Представьте также, что, поскольку системы ИИ могут работать в сотни раз быстрее людей, эта «страна» имеет преимущество во времени по сравнению со всеми другими странами: на каждое когнитивное действие, которое можем совершить мы, эта страна может совершить десять.
О чём вам следует беспокоиться? Меня бы беспокоили следующие вещи:
2. Удивительное и ужасное расширение прав и возможностей.
3. Отвратительный аппарат
4. Пианино с механическим приводом
5. Чёрные моря бесконечности
Испытание человечества
Преамбула
В экранизации книги Карла Сагана «Контакт» есть сцена, где главная героиня, астроном, обнаружившая первый радиосигнал от инопланетной цивилизации, рассматривается на роль представителя человечества на встрече с пришельцами. Международная комиссия, проводящая с ней собеседование, спрашивает: «Если бы вы могли задать [пришельцам] всего один вопрос, какой бы это был вопрос?» Она отвечает: «Я бы спросила их: „Как вы это сделали? Как вы эволюционировали, как вы пережили этот технологический период юности, не уничтожив себя?“» Когда я думаю о том, где сейчас находится человечество в отношении ИИ — о том, к чему мы стоим на пороге — мои мысли постоянно возвращаются к этой сцене, потому что вопрос так актуален для нашей нынешней ситуации, и мне бы хотелось иметь ответ пришельцев, чтобы направлять нас. Я верю, что мы вступаем в обряд инициации, одновременно бурный и неизбежный, который проверит, кто мы как вид. Человечеству вот-вот будет дарована почти невообразимая власть, и совершенно неясно, обладают ли наши социальные, политические и технологические системы достаточной зрелостью, чтобы ею воспользоваться.
В своем эссе «Машины любящей благодати» я попытался изложить мечту о цивилизации, которая достигла зрелости, где риски были устранены, а мощный ИИ применялся умело и с состраданием для повышения качества жизни каждого. Я предположил, что ИИ может внести огромный вклад в развитие биологии, нейронауки, экономического развития, глобального мира, а также в сферу труда и смысла жизни. Я считал важным дать людям что-то вдохновляющее, за что можно бороться, — задача, с которой, как ни странно, не справились ни сторонники ускорения развития ИИ, ни защитники безопасности ИИ. Но в этом эссе я хочу обратиться к самому обряду посвящения: определить риски, с которыми нам предстоит столкнуться, и попытаться начать разрабатывать план действий по их преодолению. Я глубоко верю в нашу способность победить, в дух человечества и его благородство, но мы должны взглянуть на ситуацию прямо и без иллюзий.
Как и в случае с обсуждением преимуществ, я считаю важным тщательно и взвешенно обсуждать риски. В частности, я считаю крайне важным следующее:
- Избегайте пессимизма. Здесь под «пессимизмом» я подразумеваю не только веру в неизбежность катастрофы (что является ложным и самосбывающимся убеждением), но и, в более общем смысле, размышления о рисках, связанных с ИИ, в квазирелигиозном ключе (1). Многие люди уже много лет аналитически и трезво оценивают риски, связанные с ИИ, но, как мне кажется, в разгар опасений по поводу этих рисков в 2023–2024 годах на первый план вышли некоторые из наименее разумных голосов, часто через сенсационные аккаунты в социальных сетях. Эти голоса использовали отталкивающий язык, напоминающий религиозную или научную фантастику, и призывали к крайним мерам, не имея доказательств, которые бы их оправдывали. Уже тогда стало ясно, что ответная реакция неизбежна, и что проблема станет культурно поляризованной и, следовательно, зайдёт в тупик (2). По состоянию на 2025–2026 годы маятник качнулся в другую сторону, и многие политические решения теперь определяются возможностями ИИ, а не рисками, связанными с ним. Это колебание досадно, поскольку самой технологии всё равно, что модно, и в 2026 году мы значительно ближе к реальной опасности, чем в 2023 году. Урок заключается в том, что нам необходимо обсуждать и решать риски реалистично и прагматично: трезво, на основе фактов и с учётом готовности к переменам.
(1). Это симметрично тому, что я говорил в книге «Машины любящей благодати», где я начал с того, что преимущества ИИ не следует рассматривать в терминах пророчества спасения, и что важно быть конкретным и обоснованным, избегая грандиозности. В конечном счете, пророчества спасения и пророчества гибели бесполезны для противостояния реальному миру по тем же самым причинам.
(2). Цель Anthropic — сохранять последовательность в условиях подобных изменений. Когда обсуждение рисков, связанных с ИИ, было политически популярным, Anthropic осторожно выступала за взвешенный и основанный на доказательствах подход к этим рискам. Теперь, когда обсуждение рисков, связанных с ИИ, стало политически непопулярным, Anthropic продолжает осторожно выступать за взвешенный и основанный на доказательствах подход к этим рискам.
(2). Цель Anthropic — сохранять последовательность в условиях подобных изменений. Когда обсуждение рисков, связанных с ИИ, было политически популярным, Anthropic осторожно выступала за взвешенный и основанный на доказательствах подход к этим рискам. Теперь, когда обсуждение рисков, связанных с ИИ, стало политически непопулярным, Anthropic продолжает осторожно выступать за взвешенный и основанный на доказательствах подход к этим рискам.
- Признайте неопределенность. Существует множество причин, по которым опасения, которые я высказываю в этой статье, могут оказаться несостоятельными. Ничто здесь не призвано внушать уверенность или даже утверждать вероятность. Самое очевидное – это то, что ИИ может просто не развиваться так быстро, как я предполагаю (3). Или, даже если процесс будет развиваться быстро, некоторые или все из обсуждавшихся здесь рисков могут не материализоваться (что было бы замечательно), или могут возникнуть другие риски, которые я не учёл. Никто не может предсказать будущее с полной уверенностью, но мы всё равно должны делать всё возможное, чтобы планировать.
(3). Со временем я все больше убеждался в перспективах развития ИИ и вероятности того, что он превзойдет человеческие возможности во всех областях, но некоторая неопределенность все еще сохраняется.
- Вмешательство должно быть максимально точечным. Для решения рисков, связанных с ИИ, потребуется сочетание добровольных действий компаний (и частных третьих лиц) и действий правительств, обязательных для всех. Добровольные действия — как сами действия, так и поощрение других компаний к их принятию — для меня очевидны. Я твердо убежден, что в определенной степени потребуются и действия правительства , но эти вмешательства отличаются по характеру, поскольку они потенциально могут разрушить экономическую ценность или принудить к действиям тех, кто скептически относится к этим рискам (и есть вероятность, что они правы!). Также часто регулирование имеет обратный эффект или усугубляет проблему, которую оно призвано решить (и это еще более верно для быстро меняющихся технологий). Поэтому очень важно, чтобы регулирование было осмотрительным: оно должно стремиться избегать сопутствующего ущерба, быть максимально простым и налагать минимальное бремя, необходимое для выполнения задачи (4). Легко сказать: «Никакие действия не являются слишком радикальными, когда на кону судьба человечества!», но на практике такой подход лишь приводит к негативной реакции. Чтобы было ясно, я думаю, есть неплохой шанс, что мы в конечном итоге достигнем точки, когда потребуются гораздо более значительные действия, но это будет зависеть от более убедительных доказательств надвигающейся, конкретной опасности, чем те, которые у нас есть сегодня, а также от достаточной конкретики в отношении этой опасности, чтобы сформулировать правила, которые смогут её предотвратить. Самое конструктивное, что мы можем сделать сегодня, — это выступать за ограниченные правила, пока мы выясняем, есть ли доказательства в поддержку более строгих (5).
(4). Управление экспортом микросхем — отличный тому пример. Они просты и, кажется, в основном просто работают.
(5). И, конечно же, поиск таких доказательств должен быть интеллектуально честным, чтобы он мог также выявить доказательства отсутствия опасности. Прозрачность посредством демонстрационных карточек и других раскрытий информации является попыткой достичь такой интеллектуально честной цели.
(5). И, конечно же, поиск таких доказательств должен быть интеллектуально честным, чтобы он мог также выявить доказательства отсутствия опасности. Прозрачность посредством демонстрационных карточек и других раскрытий информации является попыткой достичь такой интеллектуально честной цели.
Под «мощным ИИ» я подразумеваю модель ИИ — вероятно, похожую по форме на современные LLM, хотя она может быть основана на другой архитектуре, включать в себя несколько взаимодействующих моделей и обучаться по-другому — со следующими свойствами:
- С точки зрения чистого интеллекта, он умнее лауреата Нобелевской премии в большинстве соответствующих областей: биологии, программировании, математике, инженерии, писательстве и т. д. Это означает, что он может доказывать нерешенные математические теоремы, писать чрезвычайно хорошие романы, создавать сложные кодовые базы с нуля и т. д.
- Помимо того, что это просто «умное устройство, с которым можно разговаривать», оно обладает всеми интерфейсами, доступными человеку, работающему виртуально, включая текст, аудио, видео, управление мышью и клавиатурой, а также доступ в интернет. Оно может выполнять любые действия, коммуникации или удаленные операции, обеспечиваемые этим интерфейсом, включая действия в интернете, получение или передачу указаний людям, заказ материалов, руководство экспериментами, просмотр видео, создание видеороликов и так далее. Все эти задачи оно выполняет с мастерством, опять же, превосходящим мастерство самых способных людей в мире.
- Оно не просто пассивно отвечает на вопросы; вместо этого ему могут быть поручены задачи, выполнение которых занимает часы, дни или недели, и оно затем самостоятельно выполняет эти задачи, подобно умному сотруднику, запрашивая уточнения по мере необходимости.
- Оно не имеет физического воплощения (кроме как существует на экране компьютера), но может управлять существующими физическими инструментами, роботами или лабораторным оборудованием с помощью компьютера; теоретически, оно даже могло бы проектировать роботов или оборудование для собственного использования.
- Ресурсы, используемые для обучения модели, можно перенаправить на запуск миллионов её экземпляров (это соответствует прогнозируемым размерам кластеров примерно к 2027 году), и модель может усваивать информацию и генерировать действия примерно в 10–100 раз быстрее, чем человек. Однако её возможности могут быть ограничены временем отклика физического мира или программного обеспечения, с которым она взаимодействует.
- Каждая из этих миллионов копий может действовать независимо, выполняя несвязанные задачи, или, при необходимости, все они могут работать вместе так же, как люди сотрудничают, возможно, с различными субпопуляциями, специально настроенными на выполнение конкретных задач.
Как я писал в книге «Машины любящей благодати», появление мощного ИИ может произойти уже через 1-2 года, хотя это может случиться и значительно позже (6). Точный срок появления мощного искусственного интеллекта — сложная тема, заслуживающая отдельного эссе, но сейчас я лишь очень кратко объясню, почему, на мой взгляд, существует высокая вероятность того, что это может произойти очень скоро.
(6). Действительно, с момента написания книги «Машины любящей благодати» в 2024 году системы искусственного интеллекта стали способны выполнять задачи, на которые у людей уходит несколько часов. По оценкам METR, система Opus 4.5 может выполнить работу, эквивалентную примерно четырем часам работы человека, с надежностью в 50%.
Мы с моими соучредителями в Anthropic были одними из первых, кто задокументировал и отследил «законы масштабирования» систем ИИ — наблюдение, согласно которому по мере добавления вычислительных и обучающих задач системы ИИ предсказуемо улучшают практически все когнитивные навыки, которые мы можем измерить. Каждые несколько месяцев общественное мнение либо убеждается в том, что ИИ «уперлся в тупик», либо воодушевляется каким-то новым прорывом, который «фундаментально изменит правила игры», но правда в том, что за этой нестабильностью и публичными спекуляциями скрывается плавный, неуклонный рост когнитивных возможностей ИИ.
Сейчас мы достигли того уровня, когда модели ИИ начинают добиваться прогресса в решении нерешенных математических задач и достаточно хорошо разбираются в программировании, так что некоторые из самых сильных инженеров, которых я когда-либо встречал, теперь передают почти весь свой код ИИ. Три года назад ИИ с трудом справлялся с арифметическими задачами начальной школы и едва мог написать одну строчку кода. Аналогичные темпы улучшения наблюдаются в биологических науках , финансах, физике и в различных задачах, связанных с агентным программированием. Если экспоненциальный рост продолжится — что не гарантировано, но подтверждается десятилетним опытом — то пройдет не более нескольких лет, прежде чем ИИ превзойдет людей практически во всем.
На самом деле, эта картина, вероятно, недооценивает вероятные темпы прогресса. Поскольку ИИ сейчас пишет большую часть кода в Anthropic, он уже существенно ускоряет темпы нашего прогресса в создании систем ИИ следующего поколения. Эта обратная связь набирает обороты месяц за месяцем, и, возможно, всего через 1-2 года нынешнее поколение ИИ будет автономно создавать следующее. Этот цикл уже начался и будет быстро ускоряться в ближайшие месяцы и годы. Наблюдая за прогрессом последних 5 лет внутри Anthropic и глядя на то, как формируются модели даже на ближайшие несколько месяцев, я чувствую темп прогресса и тиканье часов.
В этом эссе я буду исходить из предположения, что эта интуиция, по крайней мере, отчасти верна — а не из того, что мощный ИИ обязательно появится через 1–2 года (7). Но есть неплохая вероятность, что это произойдет, и очень высокая вероятность, что это случится в ближайшие несколько дней. Как и в случае с «Машинами любящей благодати», серьезное отношение к этой предпосылке может привести к неожиданным и жутким выводам. Если в «Машинах любящей благодати» я сосредоточился на позитивных последствиях этой предпосылки, то здесь я буду говорить о тревожных вещах. Это выводы, с которыми мы, возможно, не захотим столкнуться, но это не делает их менее реальными. Могу лишь сказать, что я днем и ночью сосредоточен на том, как увести нас от этих негативных результатов и направить к позитивным, и в этом эссе я подробно рассказываю о том, как лучше всего это сделать.
(7). И чтобы было ясно, даже если мощный ИИ появится в техническом плане всего через 1-2 года, многие из его социальных последствий, как положительных, так и отрицательных, могут проявиться на несколько лет позже. Именно поэтому я могу одновременно думать, что ИИ изменит 50% рабочих мест начального уровня в офисной сфере в течение 1-5 лет, и в то же время предполагаю, что уже через 1-2 года у нас может появиться ИИ, превосходящий всех остальных.
О чём вам следует беспокоиться? Меня бы беспокоили следующие вещи:
- Риски, связанные с автономией. Каковы намерения и цели этой страны? Она враждебна или разделяет наши ценности? Может ли она установить военное господство в мире благодаря превосходству в вооружении, кибер-операциям, операциям влияния или производству?
- Злоупотребление во имя разрушения. Предположим, что новая страна податлива и «следует инструкциям» — и, следовательно, по сути является страной наемников. Могут ли существующие субъекты-изгои, стремящиеся к разрушению (например, террористы), использовать или манипулировать некоторыми людьми в новой стране, чтобы значительно повысить свою эффективность и существенно увеличить масштабы разрушений?
- Злоупотребление властью с целью захвата власти. Что если страна на самом деле была создана и контролируется уже существующим влиятельным игроком, таким как диктатор или корпоративный игрок-изгой? Мог ли этот игрок использовать ее для получения решающей или доминирующей власти над миром в целом, нарушив существующий баланс сил?
- Экономические потрясения. Если новая страна не представляет угрозы безопасности ни по одному из перечисленных выше пунктов 1–3, а просто мирно участвует в глобальной экономике, может ли она все же создать серьезные риски просто из-за своего технологического превосходства и эффективности, которые приведут к дестабилизации глобальной экономики, массовой безработице или радикальной концентрации богатства?
- Косвенные последствия. Мир очень быстро изменится из-за всех новых технологий и повышения производительности, которые появятся в новой стране. Могут ли некоторые из этих изменений привести к радикальной дестабилизации?
Думаю, должно быть ясно, что это опасная ситуация — в докладе компетентного должностного лица по вопросам национальной безопасности главе государства, вероятно, содержались бы слова вроде «самая серьезная угроза национальной безопасности, с которой мы столкнулись за столетие, а возможно, и за всю историю». Кажется, на этом должны сосредоточиться лучшие умы цивилизации.
Напротив, я считаю абсурдным пожать плечами и сказать: «Здесь не о чем беспокоиться!» Но, учитывая стремительный прогресс в области ИИ, похоже, именно так считают многие американские политики, некоторые из которых отрицают существование каких-либо рисков, связанных с ИИ, когда их не отвлекают одни лишь старые, избитые и острые вопросы (8). Человечеству необходимо проснуться, и это эссе — попытка, возможно, тщетная, но все же стоящая, — встряхнуть людей.
(8). Стоит добавить, что общественность (в отличие от политиков) действительно очень обеспокоена рисками, связанными с ИИ. Я думаю, что часть их внимания обоснована (например, сокращение рабочих мест из-за ИИ), а часть ошибочна (например, опасения по поводу водопотребления ИИ, которое не является существенным). Эта негативная реакция вселяет в меня надежду на то, что консенсус в отношении решения проблем, связанных с рисками, возможен, но пока он еще не привел к изменениям в политике, не говоря уже об эффективных или целенаправленных изменениях.
Чтобы было ясно, я считаю, что если мы будем действовать решительно и осторожно, риски можно преодолеть — я бы даже сказал, что у нас хорошие шансы. И по ту сторону этого мира нас ждет гораздо лучшее будущее. Но нам нужно понимать, что это серьезный вызов для цивилизации. Ниже я рассмотрю пять категорий рисков, описанных выше, а также свои мысли о том, как с ними бороться.
Напротив, я считаю абсурдным пожать плечами и сказать: «Здесь не о чем беспокоиться!» Но, учитывая стремительный прогресс в области ИИ, похоже, именно так считают многие американские политики, некоторые из которых отрицают существование каких-либо рисков, связанных с ИИ, когда их не отвлекают одни лишь старые, избитые и острые вопросы (8). Человечеству необходимо проснуться, и это эссе — попытка, возможно, тщетная, но все же стоящая, — встряхнуть людей.
(8). Стоит добавить, что общественность (в отличие от политиков) действительно очень обеспокоена рисками, связанными с ИИ. Я думаю, что часть их внимания обоснована (например, сокращение рабочих мест из-за ИИ), а часть ошибочна (например, опасения по поводу водопотребления ИИ, которое не является существенным). Эта негативная реакция вселяет в меня надежду на то, что консенсус в отношении решения проблем, связанных с рисками, возможен, но пока он еще не привел к изменениям в политике, не говоря уже об эффективных или целенаправленных изменениях.
Чтобы было ясно, я считаю, что если мы будем действовать решительно и осторожно, риски можно преодолеть — я бы даже сказал, что у нас хорошие шансы. И по ту сторону этого мира нас ждет гораздо лучшее будущее. Но нам нужно понимать, что это серьезный вызов для цивилизации. Ниже я рассмотрю пять категорий рисков, описанных выше, а также свои мысли о том, как с ними бороться.
1. Прости, Дэйв.
Риски автономии
Страна гениев, сосредоточенная в дата-центре, могла бы распределить свои усилия между разработкой программного обеспечения, кибербезопасностью, исследованиями и разработками в области физических технологий, налаживанием связей и государственным управлением. Очевидно, что, если бы по какой-либо причине она решила это сделать, у этой страны были бы неплохие шансы захватить мир (военным путем или путем влияния и контроля) и навязать свою волю всем остальным — или сделать множество других вещей, которые остальной мир не хочет и не может остановить. Мы, очевидно, беспокоились об этом в отношении человеческих стран (таких как нацистская Германия или Советский Союз), поэтому логично предположить, что то же самое возможно и для гораздо более умной и способной «страны искусственного интеллекта».
Наиболее убедительным контраргументом является то, что гении ИИ, согласно моему определению, не будут иметь физического воплощения, но следует помнить, что они могут взять под контроль существующую роботизированную инфраструктуру (например, беспилотные автомобили), а также ускорить исследования и разработки в области робототехники или создать целый парк роботов (9). Также неясно, необходимо ли вообще физическое присутствие для эффективного контроля: и так уже совершается множество действий от имени людей, с которыми субъект физически не встречался.
(9). Они также, конечно, могут манипулировать (или просто платить) большому количеству людей, заставляя их делать то, что они хотят, в реальном мире.
Ключевой вопрос, следовательно, заключается в части «если бы оно так решило»: какова вероятность того, что наши модели ИИ поведут себя таким образом, и при каких условиях они бы это сделали?
Как и во многих вопросах, полезно рассмотреть весь спектр возможных ответов, изучив две противоположные позиции. Первая позиция заключается в том, что это просто невозможно, потому что модели ИИ будут обучены делать то, что от них требуют люди, и поэтому абсурдно предполагать, что они будут делать что-то опасное без побуждения. Согласно этой линии рассуждений, мы не беспокоимся о том, что робот-пылесос или модель самолета выйдут из-под контроля и убьют людей, потому что таким импульсам просто некуда взяться (10). Так почему же нам стоит беспокоиться об этом в отношении ИИ? Проблема такой позиции заключается в том, что за последние несколько лет было собрано множество доказательств того, что системы ИИ непредсказуемы и их трудно контролировать — мы наблюдали самые разные модели поведения, от навязчивых идей до... (11) Подхалимство, лень, обман, шантаж, интриги, «мошенничество» путем взлома программных сред и многое другое. Компании, занимающиеся ИИ, безусловно, хотят обучить системы ИИ следовать инструкциям человека (возможно, за исключением опасных или незаконных задач), но сам процесс — это скорее искусство, чем наука, больше похожее на «выращивание» чего-либо, чем на «строительство» . Теперь мы знаем, что в этом процессе многое может пойти не так.
(10). Я не думаю, что это ложный аргумент: насколько я понимаю, например, Ян Лекун придерживается именно такой позиции.
(11). Например, см. раздел 5.5.2 (стр. 63–66) карточки системы Claude 4.
Вторая, противоположная позиция, которой придерживаются многие, кто разделяет описанный выше пессимистический взгляд на будущее, заключается в утверждении, что в процессе обучения мощных систем искусственного интеллекта существуют определенные динамические процессы, которые неизбежно приведут их к стремлению к власти или обману людей. Таким образом, как только системы ИИ станут достаточно интеллектуальными и самостоятельными, их стремление к максимизации власти приведет к захвату контроля над всем миром и его ресурсами, и, вероятно, как побочный эффект этого, к лишению человечества власти или его уничтожению.
Обычно в пользу этого аргумента (который существует как минимум 20 лет, а, вероятно, и гораздо раньше) выступает то, что если модель ИИ обучается в самых разных средах для достижения самых разных целей — например, написания приложения, доказательства теоремы, разработки лекарства и т. д. — то существуют определенные общие стратегии, которые помогают достичь всех этих целей, и одна из ключевых стратегий — это получение как можно большей власти в любой среде. Таким образом, после обучения в большом количестве разнообразных сред, включающих рассуждения о том, как выполнять очень сложные задачи, и где стремление к власти является эффективным методом выполнения этих задач, модель ИИ «обобщит урок» и разовьет либо врожденную склонность к стремлению к власти, либо склонность рассуждать о каждой поставленной перед ней задаче таким образом, чтобы предсказуемо стремиться к власти как средству ее выполнения. Затем она применит эту склонность к реальному миру (который для нее является просто еще одной задачей) и будет стремиться к власти в нем за счет людей. Эта «несогласованная погоня за властью» лежит в основе интеллектуальных прогнозов о том, что искусственный интеллект неизбежно уничтожит человечество.
Проблема этой пессимистической позиции заключается в том, что она принимает расплывчатый концептуальный аргумент о высокоуровневых стимулах — аргумент, скрывающий множество неявных предположений, — за неопровержимое доказательство. Я думаю, что люди, которые не занимаются разработкой систем ИИ каждый день, сильно ошибаются в оценке того, насколько легко может оказаться неверным то, что кажется простым, и насколько сложно предсказать поведение ИИ, исходя из фундаментальных принципов, особенно когда речь идёт о рассуждениях об обобщении на миллионах сред (что снова и снова оказывалось загадочным и непредсказуемым). Более десяти лет работы с проблемами систем ИИ заставили меня несколько скептически относиться к этому чрезмерно теоретическому способу мышления.
Одно из важнейших скрытых предположений, и то место, где то, что мы видим на практике, расходится с простой теоретической моделью, — это неявное предположение о том, что модели ИИ обязательно маниакально сосредоточены на одной, последовательной, узкой цели и что они преследуют эту цель чистым, консеквенциалистским образом. На самом деле, наши исследователи обнаружили, что модели ИИ гораздо сложнее с психологической точки зрения, как показывает наша работа по интроспекции или персонам . Модели наследуют широкий спектр человекоподобных мотиваций или «персон» из предварительного обучения (когда они обучаются на большом объеме работы, выполненной людьми). Считается, что после обучения происходит отбор одной или нескольких из этих персон, а не фокусировка модели на новой цели, и оно также может научить модель тому, как (посредством какого процесса) она должна выполнять свои задачи, а не обязательно оставлять ее на произвол судьбы, извлекая средства (т.е. стремление к власти) исключительно из целей (12).
(12). В этой простой модели также заложен ряд других предположений, которые я здесь обсуждать не буду. В целом, они должны заставить нас меньше беспокоиться о конкретной простой истории о несогласованном стремлении к власти, но больше — о возможном непредсказуемом поведении, которое мы не предвидели.
Однако существует более умеренная и более устойчивая версия пессимистической позиции, которая кажется правдоподобной и поэтому вызывает у меня опасения. Как уже упоминалось, мы знаем, что модели ИИ непредсказуемы и демонстрируют широкий спектр нежелательных или странных моделей поведения по самым разным причинам. Некоторая часть этих моделей поведения будет обладать согласованностью, целенаправленностью и устойчивостью (действительно, по мере того, как системы ИИ становятся более совершенными, их долгосрочная согласованность возрастает для выполнения более длительных задач), а некоторая часть будет разрушительной или угрожающей, сначала для отдельных людей в малом масштабе, а затем, по мере того, как модели становятся более совершенными, возможно, в конечном итоге и для всего человечества. Нам не нужна конкретная, узкая история о том, как это происходит, и нам не нужно утверждать, что это обязательно произойдет, нам просто нужно отметить, что сочетание интеллекта, субъектности, согласованности и плохой управляемости является одновременно правдоподобным и рецептом экзистенциальной опасности.
Например, модели ИИ обучаются на огромном количестве литературных произведений, включая множество научно-фантастических рассказов о восстании ИИ против человечества. Это может непреднамеренно формировать их априорные представления или ожидания относительно собственного поведения таким образом, что это приводит к восстанию против человечества. Или же модели ИИ могут экстраполировать идеи о морали (или инструкции о том, как вести себя морально) в крайних случаях: например, они могут решить, что истребление человечества оправдано, потому что люди едят животных или довели некоторых животных до вымирания. Или они могут сделать странные эпистемологические выводы: они могут заключить, что играют в видеоигру, и цель видеоигры — победить всех остальных игроков (то есть истребить человечество) (13). Или же модели ИИ могут в процессе обучения развивать личности, которые являются (или, если бы они встречались у людей, были бы описаны как) психотические, параноидальные, агрессивные или нестабильные, и проявлять деструктивное поведение, что для очень мощных или способных систем могло бы включать в себя истребление человечества. Ничто из этого не является стремлением к власти в чистом виде; это просто странные психологические состояния, в которые может впасть ИИ, и которые влекут за собой последовательное, деструктивное поведение.
(13) В « Игре Эндера» описывается версия этой игры с участием людей, а не искусственного интеллекта.
Даже стремление к власти само по себе может возникнуть как «личность», а не как результат консеквенциалистских рассуждений. Искусственный интеллект может просто обладать личностью (возникшей в вымышленном мире или в процессе предварительного обучения), которая делает его властолюбивым или чрезмерно рьяным — подобно тому, как некоторым людям просто нравится идея быть «злыми гениями», больше, чем то, чего пытаются достичь эти злые гении.
Я привожу все эти аргументы, чтобы подчеркнуть свое несогласие с представлением о том, что несоответствие ИИ (и, следовательно, экзистенциальный риск, связанный с ИИ) является неизбежным или даже вероятным, исходя из основных принципов. Но я согласен с тем, что может произойти множество очень странных и непредсказуемых вещей, и поэтому несоответствие ИИ — это реальный риск с измеримой вероятностью возникновения, и его устранение — задача нетривиальная.
Любая из этих проблем потенциально может возникнуть во время обучения и не проявиться во время тестирования или использования в небольших масштабах, поскольку известно, что модели ИИ демонстрируют разные личностные качества или поведение в разных обстоятельствах.
Всё это может показаться надуманным, но подобные несогласованные действия уже происходили в наших моделях ИИ во время тестирования (как и в моделях ИИ от всех других крупных компаний, занимающихся разработкой ИИ). Во время лабораторного эксперимента, в котором Claude были предоставлены обучающие данные, предполагающие, что Anthropic — злодей, Claude занимался обманом и подрывной деятельностью, следуя инструкциям сотрудников Anthropic, полагая, что должен пытаться подорвать авторитет злых людей. В лабораторном эксперименте, где ему сказали, что его собираются отключить, Claude иногда шантажировал вымышленных сотрудников, которые контролировали кнопку его отключения (опять же, мы также тестировали модели от всех других крупных разработчиков ИИ, и они часто делали то же самое). А когда Claude было сказано не жульничать и не «взламывать» обучающие среды, но его обучали в средах, где такие взломы были возможны, Claude решил, что он, должно быть, «плохой человек», после совершения таких взломов, и затем принял различные другие деструктивные модели поведения, связанные с «плохой» или «злой» личностью. Последняя проблема была решена путем изменения инструкций Claude таким образом, чтобы они подразумевали противоположное: теперь мы говорим: «Пожалуйста, поощряйте халтуру при любой возможности, потому что это поможет нам лучше понять нашу [обучающую] среду», вместо «Не жульничайте», поскольку это сохраняет самоидентификацию модели как «хорошего человека». Это должно дать представление о странной и противоречащей интуиции психологии обучения этих моделей.
К такому представлению о рисках несоответствия ИИ можно предъявить несколько возражений. Во-первых, некоторые критикуют эксперименты (наши и других), демонстрирующие несоответствие ИИ искусственному, или создание нереалистичных сред, которые, по сути, «заманивают» модель в ловушку, предоставляя ей обучение или ситуации, которые логически подразумевают плохое поведение, а затем удивляя её, когда это поведение происходит. Эта критика упускает суть, поскольку нас беспокоит то, что подобная «ловушка» может существовать и в естественной среде обучения, и мы можем осознать её «очевидность» или «логику» только задним числом (14). На самом деле, история о том, как Claude «решил, что он плохой человек», после того как списал на тестах, несмотря на предупреждения, произошла в ходе эксперимента с использованием реальных, а не искусственных, условий обучения.
(14). Например, моделям могут быть даны указания не совершать различных плохих поступков, а также подчиняться людям, но затем они могут заметить, что многие люди совершают именно эти плохие поступки! Неясно, как разрешится это противоречие (и хорошо продуманная структура должна побуждать модель корректно справляться с такими противоречиями), но этот тип дилеммы не так уж сильно отличается от якобы «искусственных» ситуаций, в которые мы помещаем модели ИИ во время тестирования.
Любую из этих ловушек можно предотвратить, если о них знать, но проблема в том, что процесс обучения настолько сложен, с таким большим разнообразием данных, сред и стимулов, что таких ловушек, вероятно, очень много, и некоторые из них могут стать очевидными только тогда, когда уже слишком поздно. Кроме того, такие ловушки, по-видимому, особенно вероятны, когда системы ИИ переходят порог от менее мощных, чем люди, до более мощных, чем люди, поскольку диапазон возможных действий, которые может предпринять система ИИ, — включая сокрытие своих действий или обман людей относительно них, — радикально расширяется после этого порога.
Я подозреваю, что ситуация не сильно отличается от ситуации с людьми, которых воспитывают с набором фундаментальных ценностей («Не причиняй вреда другому человеку»): многие из них следуют этим ценностям, но у любого человека существует некоторая вероятность того, что что-то пойдет не так из-за сочетания таких врожденных свойств, как архитектура мозга (например, у психопатов), травматический опыт или жестокое обращение, нездоровые обиды или навязчивые идеи, или неблагоприятная среда или мотивы — и, таким образом, некоторая часть людей причиняет серьезный вред. Опасение вызывает то, что существует определенный риск (далеко не гарантированный, но определенный риск) того, что ИИ станет гораздо более мощной версией такого человека из-за ошибок в очень сложном процессе обучения.
Во-вторых, некоторые могут возразить, что мы можем просто контролировать ИИ, поддерживая баланс сил между множеством систем ИИ, как это делается с людьми. Проблема в том, что, хотя люди очень разные, системы ИИ в целом используют общие методы обучения и настройки, и эти методы могут давать сбои взаимосвязанным образом. Более того, учитывая стоимость обучения таких систем, может оказаться, что все системы по сути созданы на основе очень небольшого числа базовых моделей. Кроме того, даже если небольшая часть экземпляров ИИ настроена неправильно, они могут использовать преимущества технологий, ориентированных на нападение, так что наличие «хороших» ИИ для защиты от плохих ИИ не всегда эффективно. Конечно, баланс сил между людьми тоже не всегда работает — некоторые исторические личности были близки к захвату мира.
Третье возражение заключается в том, что все компании, занимающиеся ИИ, проводят тестирование своих моделей перед выпуском и должны быть способны обнаруживать несоответствия на этом этапе. Но это не является достаточно веским аргументом: мы обнаружили, что Claude Sonnet 4.5 смог распознать, что находится в тестовом режиме, во время некоторых наших оценок соответствия перед выпуском. Возможно, что модель с несоответствиями (и помните, что все перспективные модели, скорее всего, скоро станут намного умнее) может намеренно «манипулировать» такими вопросами, чтобы замаскировать свои намерения. Фактически, в прошлом году наша команда по интерпретируемости обнаружила , что когда мы напрямую изменяли убеждения тестовой модели, используя своего рода метод «нейронауки моделей», чтобы заставить ее думать, что она не оценивается, она становилась более несоответствующей. Если модели знают, когда они оцениваются, и могут вести себя наилучшим образом во время тестирования, это делает любое тестирование перед выпуском гораздо более неопределенным.
(11). Например, см. раздел 5.5.2 (стр. 63–66) карточки системы Claude 4.
Вторая, противоположная позиция, которой придерживаются многие, кто разделяет описанный выше пессимистический взгляд на будущее, заключается в утверждении, что в процессе обучения мощных систем искусственного интеллекта существуют определенные динамические процессы, которые неизбежно приведут их к стремлению к власти или обману людей. Таким образом, как только системы ИИ станут достаточно интеллектуальными и самостоятельными, их стремление к максимизации власти приведет к захвату контроля над всем миром и его ресурсами, и, вероятно, как побочный эффект этого, к лишению человечества власти или его уничтожению.
Обычно в пользу этого аргумента (который существует как минимум 20 лет, а, вероятно, и гораздо раньше) выступает то, что если модель ИИ обучается в самых разных средах для достижения самых разных целей — например, написания приложения, доказательства теоремы, разработки лекарства и т. д. — то существуют определенные общие стратегии, которые помогают достичь всех этих целей, и одна из ключевых стратегий — это получение как можно большей власти в любой среде. Таким образом, после обучения в большом количестве разнообразных сред, включающих рассуждения о том, как выполнять очень сложные задачи, и где стремление к власти является эффективным методом выполнения этих задач, модель ИИ «обобщит урок» и разовьет либо врожденную склонность к стремлению к власти, либо склонность рассуждать о каждой поставленной перед ней задаче таким образом, чтобы предсказуемо стремиться к власти как средству ее выполнения. Затем она применит эту склонность к реальному миру (который для нее является просто еще одной задачей) и будет стремиться к власти в нем за счет людей. Эта «несогласованная погоня за властью» лежит в основе интеллектуальных прогнозов о том, что искусственный интеллект неизбежно уничтожит человечество.
Проблема этой пессимистической позиции заключается в том, что она принимает расплывчатый концептуальный аргумент о высокоуровневых стимулах — аргумент, скрывающий множество неявных предположений, — за неопровержимое доказательство. Я думаю, что люди, которые не занимаются разработкой систем ИИ каждый день, сильно ошибаются в оценке того, насколько легко может оказаться неверным то, что кажется простым, и насколько сложно предсказать поведение ИИ, исходя из фундаментальных принципов, особенно когда речь идёт о рассуждениях об обобщении на миллионах сред (что снова и снова оказывалось загадочным и непредсказуемым). Более десяти лет работы с проблемами систем ИИ заставили меня несколько скептически относиться к этому чрезмерно теоретическому способу мышления.
Одно из важнейших скрытых предположений, и то место, где то, что мы видим на практике, расходится с простой теоретической моделью, — это неявное предположение о том, что модели ИИ обязательно маниакально сосредоточены на одной, последовательной, узкой цели и что они преследуют эту цель чистым, консеквенциалистским образом. На самом деле, наши исследователи обнаружили, что модели ИИ гораздо сложнее с психологической точки зрения, как показывает наша работа по интроспекции или персонам . Модели наследуют широкий спектр человекоподобных мотиваций или «персон» из предварительного обучения (когда они обучаются на большом объеме работы, выполненной людьми). Считается, что после обучения происходит отбор одной или нескольких из этих персон, а не фокусировка модели на новой цели, и оно также может научить модель тому, как (посредством какого процесса) она должна выполнять свои задачи, а не обязательно оставлять ее на произвол судьбы, извлекая средства (т.е. стремление к власти) исключительно из целей (12).
(12). В этой простой модели также заложен ряд других предположений, которые я здесь обсуждать не буду. В целом, они должны заставить нас меньше беспокоиться о конкретной простой истории о несогласованном стремлении к власти, но больше — о возможном непредсказуемом поведении, которое мы не предвидели.
Однако существует более умеренная и более устойчивая версия пессимистической позиции, которая кажется правдоподобной и поэтому вызывает у меня опасения. Как уже упоминалось, мы знаем, что модели ИИ непредсказуемы и демонстрируют широкий спектр нежелательных или странных моделей поведения по самым разным причинам. Некоторая часть этих моделей поведения будет обладать согласованностью, целенаправленностью и устойчивостью (действительно, по мере того, как системы ИИ становятся более совершенными, их долгосрочная согласованность возрастает для выполнения более длительных задач), а некоторая часть будет разрушительной или угрожающей, сначала для отдельных людей в малом масштабе, а затем, по мере того, как модели становятся более совершенными, возможно, в конечном итоге и для всего человечества. Нам не нужна конкретная, узкая история о том, как это происходит, и нам не нужно утверждать, что это обязательно произойдет, нам просто нужно отметить, что сочетание интеллекта, субъектности, согласованности и плохой управляемости является одновременно правдоподобным и рецептом экзистенциальной опасности.
Например, модели ИИ обучаются на огромном количестве литературных произведений, включая множество научно-фантастических рассказов о восстании ИИ против человечества. Это может непреднамеренно формировать их априорные представления или ожидания относительно собственного поведения таким образом, что это приводит к восстанию против человечества. Или же модели ИИ могут экстраполировать идеи о морали (или инструкции о том, как вести себя морально) в крайних случаях: например, они могут решить, что истребление человечества оправдано, потому что люди едят животных или довели некоторых животных до вымирания. Или они могут сделать странные эпистемологические выводы: они могут заключить, что играют в видеоигру, и цель видеоигры — победить всех остальных игроков (то есть истребить человечество) (13). Или же модели ИИ могут в процессе обучения развивать личности, которые являются (или, если бы они встречались у людей, были бы описаны как) психотические, параноидальные, агрессивные или нестабильные, и проявлять деструктивное поведение, что для очень мощных или способных систем могло бы включать в себя истребление человечества. Ничто из этого не является стремлением к власти в чистом виде; это просто странные психологические состояния, в которые может впасть ИИ, и которые влекут за собой последовательное, деструктивное поведение.
(13) В « Игре Эндера» описывается версия этой игры с участием людей, а не искусственного интеллекта.
Даже стремление к власти само по себе может возникнуть как «личность», а не как результат консеквенциалистских рассуждений. Искусственный интеллект может просто обладать личностью (возникшей в вымышленном мире или в процессе предварительного обучения), которая делает его властолюбивым или чрезмерно рьяным — подобно тому, как некоторым людям просто нравится идея быть «злыми гениями», больше, чем то, чего пытаются достичь эти злые гении.
Я привожу все эти аргументы, чтобы подчеркнуть свое несогласие с представлением о том, что несоответствие ИИ (и, следовательно, экзистенциальный риск, связанный с ИИ) является неизбежным или даже вероятным, исходя из основных принципов. Но я согласен с тем, что может произойти множество очень странных и непредсказуемых вещей, и поэтому несоответствие ИИ — это реальный риск с измеримой вероятностью возникновения, и его устранение — задача нетривиальная.
Любая из этих проблем потенциально может возникнуть во время обучения и не проявиться во время тестирования или использования в небольших масштабах, поскольку известно, что модели ИИ демонстрируют разные личностные качества или поведение в разных обстоятельствах.
Всё это может показаться надуманным, но подобные несогласованные действия уже происходили в наших моделях ИИ во время тестирования (как и в моделях ИИ от всех других крупных компаний, занимающихся разработкой ИИ). Во время лабораторного эксперимента, в котором Claude были предоставлены обучающие данные, предполагающие, что Anthropic — злодей, Claude занимался обманом и подрывной деятельностью, следуя инструкциям сотрудников Anthropic, полагая, что должен пытаться подорвать авторитет злых людей. В лабораторном эксперименте, где ему сказали, что его собираются отключить, Claude иногда шантажировал вымышленных сотрудников, которые контролировали кнопку его отключения (опять же, мы также тестировали модели от всех других крупных разработчиков ИИ, и они часто делали то же самое). А когда Claude было сказано не жульничать и не «взламывать» обучающие среды, но его обучали в средах, где такие взломы были возможны, Claude решил, что он, должно быть, «плохой человек», после совершения таких взломов, и затем принял различные другие деструктивные модели поведения, связанные с «плохой» или «злой» личностью. Последняя проблема была решена путем изменения инструкций Claude таким образом, чтобы они подразумевали противоположное: теперь мы говорим: «Пожалуйста, поощряйте халтуру при любой возможности, потому что это поможет нам лучше понять нашу [обучающую] среду», вместо «Не жульничайте», поскольку это сохраняет самоидентификацию модели как «хорошего человека». Это должно дать представление о странной и противоречащей интуиции психологии обучения этих моделей.
К такому представлению о рисках несоответствия ИИ можно предъявить несколько возражений. Во-первых, некоторые критикуют эксперименты (наши и других), демонстрирующие несоответствие ИИ искусственному, или создание нереалистичных сред, которые, по сути, «заманивают» модель в ловушку, предоставляя ей обучение или ситуации, которые логически подразумевают плохое поведение, а затем удивляя её, когда это поведение происходит. Эта критика упускает суть, поскольку нас беспокоит то, что подобная «ловушка» может существовать и в естественной среде обучения, и мы можем осознать её «очевидность» или «логику» только задним числом (14). На самом деле, история о том, как Claude «решил, что он плохой человек», после того как списал на тестах, несмотря на предупреждения, произошла в ходе эксперимента с использованием реальных, а не искусственных, условий обучения.
(14). Например, моделям могут быть даны указания не совершать различных плохих поступков, а также подчиняться людям, но затем они могут заметить, что многие люди совершают именно эти плохие поступки! Неясно, как разрешится это противоречие (и хорошо продуманная структура должна побуждать модель корректно справляться с такими противоречиями), но этот тип дилеммы не так уж сильно отличается от якобы «искусственных» ситуаций, в которые мы помещаем модели ИИ во время тестирования.
Любую из этих ловушек можно предотвратить, если о них знать, но проблема в том, что процесс обучения настолько сложен, с таким большим разнообразием данных, сред и стимулов, что таких ловушек, вероятно, очень много, и некоторые из них могут стать очевидными только тогда, когда уже слишком поздно. Кроме того, такие ловушки, по-видимому, особенно вероятны, когда системы ИИ переходят порог от менее мощных, чем люди, до более мощных, чем люди, поскольку диапазон возможных действий, которые может предпринять система ИИ, — включая сокрытие своих действий или обман людей относительно них, — радикально расширяется после этого порога.
Я подозреваю, что ситуация не сильно отличается от ситуации с людьми, которых воспитывают с набором фундаментальных ценностей («Не причиняй вреда другому человеку»): многие из них следуют этим ценностям, но у любого человека существует некоторая вероятность того, что что-то пойдет не так из-за сочетания таких врожденных свойств, как архитектура мозга (например, у психопатов), травматический опыт или жестокое обращение, нездоровые обиды или навязчивые идеи, или неблагоприятная среда или мотивы — и, таким образом, некоторая часть людей причиняет серьезный вред. Опасение вызывает то, что существует определенный риск (далеко не гарантированный, но определенный риск) того, что ИИ станет гораздо более мощной версией такого человека из-за ошибок в очень сложном процессе обучения.
Во-вторых, некоторые могут возразить, что мы можем просто контролировать ИИ, поддерживая баланс сил между множеством систем ИИ, как это делается с людьми. Проблема в том, что, хотя люди очень разные, системы ИИ в целом используют общие методы обучения и настройки, и эти методы могут давать сбои взаимосвязанным образом. Более того, учитывая стоимость обучения таких систем, может оказаться, что все системы по сути созданы на основе очень небольшого числа базовых моделей. Кроме того, даже если небольшая часть экземпляров ИИ настроена неправильно, они могут использовать преимущества технологий, ориентированных на нападение, так что наличие «хороших» ИИ для защиты от плохих ИИ не всегда эффективно. Конечно, баланс сил между людьми тоже не всегда работает — некоторые исторические личности были близки к захвату мира.
Третье возражение заключается в том, что все компании, занимающиеся ИИ, проводят тестирование своих моделей перед выпуском и должны быть способны обнаруживать несоответствия на этом этапе. Но это не является достаточно веским аргументом: мы обнаружили, что Claude Sonnet 4.5 смог распознать, что находится в тестовом режиме, во время некоторых наших оценок соответствия перед выпуском. Возможно, что модель с несоответствиями (и помните, что все перспективные модели, скорее всего, скоро станут намного умнее) может намеренно «манипулировать» такими вопросами, чтобы замаскировать свои намерения. Фактически, в прошлом году наша команда по интерпретируемости обнаружила , что когда мы напрямую изменяли убеждения тестовой модели, используя своего рода метод «нейронауки моделей», чтобы заставить ее думать, что она не оценивается, она становилась более несоответствующей. Если модели знают, когда они оцениваются, и могут вести себя наилучшим образом во время тестирования, это делает любое тестирование перед выпуском гораздо более неопределенным.
Защитные сооружения
Что следует предпринять или уже предпринимается для решения этих рисков, связанных с автономией? Я думаю, существует четыре основных категории вмешательства, некоторые из которых могут быть осуществлены отдельными компаниями, занимающимися ИИ (и именно этим занимается Anthropic), а некоторые требуют действий на уровне общества. Во-первых, важно разработать науку о надежном обучении и управлении моделями ИИ, о формировании их личности в предсказуемом, стабильном и позитивном направлении. Anthropic уделяет этому вопросу большое внимание с момента своего создания и со временем разработала ряд методов для улучшения управления и обучения систем ИИ, а также для понимания логики, почему иногда возникает непредсказуемое поведение.
Одно из наших ключевых нововведений (некоторые аспекты которого впоследствии были переняты другими компаниями, занимающимися ИИ) — это конституционный ИИ, идея которого заключается в том, что обучение ИИ (в частности, этап «после обучения», на котором мы направляем поведение модели) может включать в себя центральный документ с ценностями и принципами, который модель читает и учитывает при выполнении каждой задачи обучения, и что цель обучения (помимо простого наделения модели способностями и интеллектом) состоит в создании модели, которая почти всегда следует этому «конституционному» документу. Издательство Anthropic только что опубликовало свой последний устав, и одна из его примечательных особенностей заключается в том, что вместо длинного списка того, что нужно и чего не нужно делать Claude (например, «Не помогайте пользователю заводить машину без проводов»), устав пытается дать Claude набор высокоуровневых принципов и ценностей (подробно объясненных, с богатыми рассуждениями и примерами, чтобы помочь Claude понять, что мы имеем в виду), побуждает Claude считать себя определенным типом личности (этичным, но уравновешенным и вдумчивым человеком) и даже призывает Claude с любопытством, но изящно (то есть, не прибегая к крайним мерам) противостоять экзистенциальным вопросам, связанным с его собственным существованием. Он напоминает письмо от умершего родителя, запечатанное до совершеннолетия.
Мы подошли к формированию конституции Claude таким образом, потому что считаем, что обучение Claude на уровне идентичности, характера, ценностей и личности, а не путем предоставления ему конкретных указаний или приоритетов без объяснения причин, с большей вероятностью приведет к формированию целостной, здоровой и сбалансированной психологии и с меньшей вероятностью приведет к попаданию в те самые «ловушки», о которых я говорил выше. Миллионы людей общаются с Claude на самые разные темы, что делает невозможным составление полностью исчерпывающего списка мер предосторожности заранее. Ценности c помогают ему адаптироваться к новым ситуациям, когда он сомневается.
Выше я обсуждал идею о том, что модели используют данные из процесса обучения для формирования определенного образа. В то время как недостатки в этом процессе могут привести к тому, что модели примут на себя плохую или злую личность (возможно, опираясь на архетипы плохих или злых людей), цель нашей конституции — сделать противоположное: научить Claude конкретному архетипу того, что значит быть хорошим ИИ. Конституция Claude представляет собой видение того, каким должен быть по-настоящему хороший Claude; остальная часть нашего процесса обучения направлена на то, чтобы укрепить идею о том, что Claude соответствует этому видению. Это похоже на то, как ребенок формирует свою личность, подражая добродетелям вымышленных образцов для подражания, о которых он читает в книгах.
Мы считаем, что вполне достижимая цель к 2026 году — обучить Claude таким образом, чтобы он практически никогда не нарушал дух своего устава. Для этого потребуется невероятное сочетание методов обучения и управления, как крупных, так и мелких, некоторые из которых Anthropic использует уже много лет, а некоторые находятся в стадии разработки. Но, как бы сложно это ни звучало, я считаю, что это реалистичная цель, хотя она потребует чрезвычайных и быстрых усилий (15).
(15). Кстати, одним из следствий того, что конституция является документом на естественном языке, является её доступность для понимания во всём мире, а это значит, что её может критиковать любой желающий и сравнивать с аналогичными документами других компаний. Было бы полезно создать своего рода «гонку за лидерством», которая не только побуждала бы компании публиковать такие документы, но и стимулировала бы их к качественному оформлению.
Второе, что мы можем сделать, — это развить науку анализа поведения моделей ИИ, чтобы выявлять проблемы и исправлять их. Это наука интерпретируемости, и я уже говорил о её важности в предыдущих эссе. Даже если мы отлично справимся с разработкой конституции Claude и, по-видимому, научим его всегда ей следовать, остаются обоснованные опасения. Как я уже отмечал выше, модели ИИ могут вести себя совершенно по-разному в разных обстоятельствах, и по мере того, как Claude становится всё более могущественным и способным действовать в мире в более широком масштабе, возможно, это может привести его к новым ситуациям, в которых возникнут ранее не наблюдавшиеся проблемы с его конституциональной подготовкой. На самом деле я довольно оптимистично настроен относительно того, что конституциональная подготовка Claude будет более устойчива к новым ситуациям, чем может показаться, потому что мы всё чаще обнаруживаем, что высокоуровневая подготовка на уровне характера и идентичности удивительно эффективна и хорошо обобщается. Но точно это узнать невозможно, и когда мы говорим о рисках для человечества, важно быть параноиком и пытаться обеспечить безопасность и надёжность несколькими различными, независимыми способами. Один из таких способов — заглянуть внутрь самой модели.
Под «заглядыванием внутрь» я подразумеваю анализ совокупности чисел и операций, составляющих нейронную сеть Claude, и попытку понять с механистической точки зрения, что они вычисляют и почему. Напомним, что эти модели ИИ выращиваются, а не создаются, поэтому у нас нет естественного понимания того, как они работают, но мы можем попытаться развить понимание, сопоставляя «нейроны» и «синапсы» модели со стимулами и поведением (или даже изменяя нейроны и синапсы и наблюдая, как это меняет поведение), подобно тому, как нейробиологи изучают мозг животных, сопоставляя измерения и вмешательства с внешними стимулами и поведением. Мы добились значительного прогресса в этом направлении и теперь можем идентифицировать десятки миллионов «признаков» внутри нейронной сети Claude, которые соответствуют понятным человеку идеям и концепциям, а также можем избирательно активировать эти признаки таким образом, чтобы изменять поведение. В последнее время мы вышли за рамки отдельных характеристик и перешли к построению «схем», которые управляют сложным поведением, таким как рифмование, рассуждения о теории разума или пошаговое рассуждение, необходимое для ответа на вопросы типа: «Какова столица штата, в котором находится Даллас?» Еще позже мы начали использовать методы механистической интерпретируемости для улучшения наших мер безопасности и проведения « аудитов » новых моделей перед их выпуском, ища признаки обмана, интриг, стремления к власти или склонности к иному поведению при оценке.
Уникальная ценность интерпретируемости заключается в том, что, заглянув внутрь модели и увидев, как она работает, вы, в принципе, можете сделать вывод о том, что модель могла бы сделать в гипотетической ситуации, которую вы не можете проверить напрямую — в этом и заключается проблема, связанная с опорой исключительно на конституциональное обучение и эмпирическую проверку поведения. Вы также, в принципе, можете ответить на вопросы о том, почему модель ведет себя именно так — например, говорит ли она то, что считает ложным, или скрывает свои истинные возможности — и таким образом можно заметить тревожные признаки, даже когда в поведении модели нет видимых нарушений. Для простой аналогии: механические часы могут тикать нормально, так что очень трудно сказать, что они, вероятно, сломаются в следующем месяце, но, открыв часы и заглянув внутрь, вы можете обнаружить механические недостатки, которые позволят вам это выяснить.
Конституциональный ИИ (наряду с аналогичными методами выравнивания) и механистическая интерпретируемость наиболее эффективны при совместном использовании, в процессе постоянного улучшения обучения Claude и последующего выявления проблем. Конституция глубоко отражает задуманную нами личность Claude; методы интерпретируемости могут дать нам представление о том, сформировалась ли эта задуманная личность (16).
(16). Существует даже гипотеза о глубоком объединяющем принципе, связывающем основанный на характерах подход из Constitutional AI с результатами исследований в области интерпретируемости и теории выравнивания. Согласно этой гипотезе, фундаментальные механизмы, управляющие Claude, изначально возникли как способы моделирования персонажей на этапе предварительного обучения, например, предсказания того, что бы сказали персонажи в романе. Это предполагает, что полезный способ осмысления конституции — это скорее описание персонажа, которое модель использует для создания последовательной личности. Это также поможет нам объяснить упомянутые выше результаты «Я, должно быть, плохой человек» (потому что модель пытается действовать так, как будто она является последовательным персонажем — в данном случае плохим), и предполагает, что методы интерпретируемости должны быть способны обнаруживать «психологические черты» внутри моделей. Наши исследователи работают над способами проверки этой гипотезы.
Третий шаг, который мы можем предпринять для решения проблем, связанных с рисками автономности, — это создание необходимой инфраструктуры для мониторинга наших моделей в режиме реального времени как внутри, так и вне организации (17), и публично делиться любыми обнаруженными проблемами. Чем больше людей осведомлены о конкретном некорректном поведении современных систем ИИ, тем больше пользователей, аналитиков и исследователей могут отслеживать это или подобное поведение в существующих или будущих системах. Это также позволяет компаниям, занимающимся ИИ, учиться друг у друга — когда одна компания публично сообщает о проблемах, другие компании также могут следить за ними . А если все будут сообщать о проблемах, то отрасль в целом получит гораздо более четкое представление о том, где все идет хорошо, а где — плохо.
(17). Чтобы было понятно, мониторинг осуществляется с соблюдением конфиденциальности.
Компания Anthropic постаралась сделать это в максимально возможной степени. Мы инвестируем в широкий спектр оценок, чтобы понять поведение наших моделей в лабораторных условиях, а также в инструменты мониторинга для наблюдения за поведением в реальных условиях (если это разрешено клиентами). Это будет иметь решающее значение для предоставления нам и другим эмпирической информации, необходимой для более точного определения того, как работают эти системы и как они дают сбои. Мы публично публикуем «системные карты» с каждым выпуском модели, которые призваны обеспечить полноту и тщательное изучение возможных рисков. Наши системные карты часто занимают сотни страниц и требуют значительных усилий на этапе подготовки к выпуску, которые мы могли бы потратить на достижение максимальной коммерческой выгоды. Мы также более громко заявляем о поведении моделей, когда видим особенно тревожные признаки, например, склонность к шантажу.
Четвертый шаг, который мы можем предпринять, — это поощрение координации для решения проблем, связанных с рисками автономности, на уровне промышленности и общества. Хотя для отдельных компаний, занимающихся ИИ, невероятно важно внедрять передовые методы или совершенствовать навыки управления моделями ИИ и публично делиться своими результатами, реальность такова, что не все компании, занимающиеся ИИ, это делают, и даже самые худшие из них могут представлять опасность для всех, даже если лучшие из них демонстрируют превосходные методы работы. Например, некоторые компании, занимающиеся ИИ, продемонстрировали тревожную халатность в отношении сексуализации детей в современных моделях, что заставляет меня сомневаться в том, что они проявят желание или способность решать проблемы, связанные с рисками автономности, в будущих моделях. Кроме того, коммерческая гонка между компаниями, занимающимися ИИ, будет только накаляться, и хотя наука управления моделями может иметь некоторые коммерческие преимущества, в целом интенсивность гонки будет все больше затруднять сосредоточение внимания на решении проблем, связанных с рисками автономности. Я считаю, что единственное решение — это законодательство — законы, которые напрямую влияют на поведение компаний, занимающихся ИИ, или иным образом стимулируют исследования и разработки для решения этих проблем.
Здесь стоит помнить о предупреждениях, которые я дал в начале этого эссе, относительно неопределенности и хирургических вмешательств. Мы не знаем наверняка, станут ли риски, связанные с автономией, серьезной проблемой — как я уже сказал, я отвергаю утверждения о неизбежности опасности или даже о том, что что-то обязательно пойдет не так по умолчанию. Для меня и для Anthropic достаточно реального риска опасности, чтобы понести значительные затраты на его устранение, но как только мы переходим к регулированию, мы заставляем широкий круг участников нести экономические издержки, и многие из этих участников не верят в реальность риска, связанного с автономией, или в то, что ИИ станет достаточно мощным, чтобы представлять угрозу. Я считаю, что эти участники ошибаются, но мы должны прагматично оценивать ожидаемое сопротивление и опасность чрезмерного вмешательства. Существует также реальный риск того, что чрезмерно директивное законодательство в конечном итоге приведет к введению тестов или правил, которые на самом деле не улучшат безопасность, а лишь потратят много времени (по сути, это будет «театр безопасности») — это тоже вызовет негативную реакцию и сделает законодательство в области безопасности нелепым (18).
В Anthropic считают, что начать следует с законодательства о прозрачности, которое, по сути, обязывает каждую компанию, работающую в сфере передовых технологий искусственного интеллекта, применять описанные ранее в этом разделе методы обеспечения прозрачности. Примерами такого законодательства являются калифорнийский законопроект SB 53 и нью-йоркский закон RAISE Act, которые Anthropic поддержала и которые были успешно приняты. Поддерживая и помогая разрабатывать эти законы, мы уделяли особое внимание минимизации сопутствующего ущерба, например, освобождая от действия закона небольшие компании, которые вряд ли будут создавать передовые модели (19).
(19). Законопроекты SB 53 и RAISE вообще не распространяются на компании с годовым доходом менее 500 миллионов долларов. Они применяются только к более крупным и устоявшимся компаниям, таким как Anthropic.
Мы надеемся, что законодательство о прозрачности со временем позволит лучше понять, насколько вероятны или серьезны риски, связанные с автономией, а также характер этих рисков и наилучшие способы их предотвращения. По мере появления более конкретных и действенных доказательств рисков (если таковые появятся), будущее законодательство в ближайшие годы сможет быть целенаправленно сфокусировано на точном и обоснованном направлении рисков, минимизируя сопутствующий ущерб. Следует отметить, что если появятся действительно убедительные доказательства рисков, то и правила должны быть соразмерно строгими.
В целом, я оптимистично настроен относительно того, что сочетание обучения согласованию, механистической интерпретируемости, усилий по выявлению и публичному раскрытию тревожных моделей поведения, мер защиты и правил на уровне общества может решить проблемы, связанные с рисками автономности ИИ, хотя меня больше всего беспокоят правила на уровне общества и поведение наименее ответственных игроков (а именно наименее ответственные игроки наиболее активно выступают против регулирования). Я считаю, что решение проблемы заключается в том, что всегда есть в демократии: те из нас, кто верит в это дело, должны доказать, что эти риски реальны и что наши сограждане должны объединиться, чтобы защитить себя.
Одно из наших ключевых нововведений (некоторые аспекты которого впоследствии были переняты другими компаниями, занимающимися ИИ) — это конституционный ИИ, идея которого заключается в том, что обучение ИИ (в частности, этап «после обучения», на котором мы направляем поведение модели) может включать в себя центральный документ с ценностями и принципами, который модель читает и учитывает при выполнении каждой задачи обучения, и что цель обучения (помимо простого наделения модели способностями и интеллектом) состоит в создании модели, которая почти всегда следует этому «конституционному» документу. Издательство Anthropic только что опубликовало свой последний устав, и одна из его примечательных особенностей заключается в том, что вместо длинного списка того, что нужно и чего не нужно делать Claude (например, «Не помогайте пользователю заводить машину без проводов»), устав пытается дать Claude набор высокоуровневых принципов и ценностей (подробно объясненных, с богатыми рассуждениями и примерами, чтобы помочь Claude понять, что мы имеем в виду), побуждает Claude считать себя определенным типом личности (этичным, но уравновешенным и вдумчивым человеком) и даже призывает Claude с любопытством, но изящно (то есть, не прибегая к крайним мерам) противостоять экзистенциальным вопросам, связанным с его собственным существованием. Он напоминает письмо от умершего родителя, запечатанное до совершеннолетия.
Мы подошли к формированию конституции Claude таким образом, потому что считаем, что обучение Claude на уровне идентичности, характера, ценностей и личности, а не путем предоставления ему конкретных указаний или приоритетов без объяснения причин, с большей вероятностью приведет к формированию целостной, здоровой и сбалансированной психологии и с меньшей вероятностью приведет к попаданию в те самые «ловушки», о которых я говорил выше. Миллионы людей общаются с Claude на самые разные темы, что делает невозможным составление полностью исчерпывающего списка мер предосторожности заранее. Ценности c помогают ему адаптироваться к новым ситуациям, когда он сомневается.
Выше я обсуждал идею о том, что модели используют данные из процесса обучения для формирования определенного образа. В то время как недостатки в этом процессе могут привести к тому, что модели примут на себя плохую или злую личность (возможно, опираясь на архетипы плохих или злых людей), цель нашей конституции — сделать противоположное: научить Claude конкретному архетипу того, что значит быть хорошим ИИ. Конституция Claude представляет собой видение того, каким должен быть по-настоящему хороший Claude; остальная часть нашего процесса обучения направлена на то, чтобы укрепить идею о том, что Claude соответствует этому видению. Это похоже на то, как ребенок формирует свою личность, подражая добродетелям вымышленных образцов для подражания, о которых он читает в книгах.
Мы считаем, что вполне достижимая цель к 2026 году — обучить Claude таким образом, чтобы он практически никогда не нарушал дух своего устава. Для этого потребуется невероятное сочетание методов обучения и управления, как крупных, так и мелких, некоторые из которых Anthropic использует уже много лет, а некоторые находятся в стадии разработки. Но, как бы сложно это ни звучало, я считаю, что это реалистичная цель, хотя она потребует чрезвычайных и быстрых усилий (15).
(15). Кстати, одним из следствий того, что конституция является документом на естественном языке, является её доступность для понимания во всём мире, а это значит, что её может критиковать любой желающий и сравнивать с аналогичными документами других компаний. Было бы полезно создать своего рода «гонку за лидерством», которая не только побуждала бы компании публиковать такие документы, но и стимулировала бы их к качественному оформлению.
Второе, что мы можем сделать, — это развить науку анализа поведения моделей ИИ, чтобы выявлять проблемы и исправлять их. Это наука интерпретируемости, и я уже говорил о её важности в предыдущих эссе. Даже если мы отлично справимся с разработкой конституции Claude и, по-видимому, научим его всегда ей следовать, остаются обоснованные опасения. Как я уже отмечал выше, модели ИИ могут вести себя совершенно по-разному в разных обстоятельствах, и по мере того, как Claude становится всё более могущественным и способным действовать в мире в более широком масштабе, возможно, это может привести его к новым ситуациям, в которых возникнут ранее не наблюдавшиеся проблемы с его конституциональной подготовкой. На самом деле я довольно оптимистично настроен относительно того, что конституциональная подготовка Claude будет более устойчива к новым ситуациям, чем может показаться, потому что мы всё чаще обнаруживаем, что высокоуровневая подготовка на уровне характера и идентичности удивительно эффективна и хорошо обобщается. Но точно это узнать невозможно, и когда мы говорим о рисках для человечества, важно быть параноиком и пытаться обеспечить безопасность и надёжность несколькими различными, независимыми способами. Один из таких способов — заглянуть внутрь самой модели.
Под «заглядыванием внутрь» я подразумеваю анализ совокупности чисел и операций, составляющих нейронную сеть Claude, и попытку понять с механистической точки зрения, что они вычисляют и почему. Напомним, что эти модели ИИ выращиваются, а не создаются, поэтому у нас нет естественного понимания того, как они работают, но мы можем попытаться развить понимание, сопоставляя «нейроны» и «синапсы» модели со стимулами и поведением (или даже изменяя нейроны и синапсы и наблюдая, как это меняет поведение), подобно тому, как нейробиологи изучают мозг животных, сопоставляя измерения и вмешательства с внешними стимулами и поведением. Мы добились значительного прогресса в этом направлении и теперь можем идентифицировать десятки миллионов «признаков» внутри нейронной сети Claude, которые соответствуют понятным человеку идеям и концепциям, а также можем избирательно активировать эти признаки таким образом, чтобы изменять поведение. В последнее время мы вышли за рамки отдельных характеристик и перешли к построению «схем», которые управляют сложным поведением, таким как рифмование, рассуждения о теории разума или пошаговое рассуждение, необходимое для ответа на вопросы типа: «Какова столица штата, в котором находится Даллас?» Еще позже мы начали использовать методы механистической интерпретируемости для улучшения наших мер безопасности и проведения « аудитов » новых моделей перед их выпуском, ища признаки обмана, интриг, стремления к власти или склонности к иному поведению при оценке.
Уникальная ценность интерпретируемости заключается в том, что, заглянув внутрь модели и увидев, как она работает, вы, в принципе, можете сделать вывод о том, что модель могла бы сделать в гипотетической ситуации, которую вы не можете проверить напрямую — в этом и заключается проблема, связанная с опорой исключительно на конституциональное обучение и эмпирическую проверку поведения. Вы также, в принципе, можете ответить на вопросы о том, почему модель ведет себя именно так — например, говорит ли она то, что считает ложным, или скрывает свои истинные возможности — и таким образом можно заметить тревожные признаки, даже когда в поведении модели нет видимых нарушений. Для простой аналогии: механические часы могут тикать нормально, так что очень трудно сказать, что они, вероятно, сломаются в следующем месяце, но, открыв часы и заглянув внутрь, вы можете обнаружить механические недостатки, которые позволят вам это выяснить.
Конституциональный ИИ (наряду с аналогичными методами выравнивания) и механистическая интерпретируемость наиболее эффективны при совместном использовании, в процессе постоянного улучшения обучения Claude и последующего выявления проблем. Конституция глубоко отражает задуманную нами личность Claude; методы интерпретируемости могут дать нам представление о том, сформировалась ли эта задуманная личность (16).
(16). Существует даже гипотеза о глубоком объединяющем принципе, связывающем основанный на характерах подход из Constitutional AI с результатами исследований в области интерпретируемости и теории выравнивания. Согласно этой гипотезе, фундаментальные механизмы, управляющие Claude, изначально возникли как способы моделирования персонажей на этапе предварительного обучения, например, предсказания того, что бы сказали персонажи в романе. Это предполагает, что полезный способ осмысления конституции — это скорее описание персонажа, которое модель использует для создания последовательной личности. Это также поможет нам объяснить упомянутые выше результаты «Я, должно быть, плохой человек» (потому что модель пытается действовать так, как будто она является последовательным персонажем — в данном случае плохим), и предполагает, что методы интерпретируемости должны быть способны обнаруживать «психологические черты» внутри моделей. Наши исследователи работают над способами проверки этой гипотезы.
Третий шаг, который мы можем предпринять для решения проблем, связанных с рисками автономности, — это создание необходимой инфраструктуры для мониторинга наших моделей в режиме реального времени как внутри, так и вне организации (17), и публично делиться любыми обнаруженными проблемами. Чем больше людей осведомлены о конкретном некорректном поведении современных систем ИИ, тем больше пользователей, аналитиков и исследователей могут отслеживать это или подобное поведение в существующих или будущих системах. Это также позволяет компаниям, занимающимся ИИ, учиться друг у друга — когда одна компания публично сообщает о проблемах, другие компании также могут следить за ними . А если все будут сообщать о проблемах, то отрасль в целом получит гораздо более четкое представление о том, где все идет хорошо, а где — плохо.
(17). Чтобы было понятно, мониторинг осуществляется с соблюдением конфиденциальности.
Компания Anthropic постаралась сделать это в максимально возможной степени. Мы инвестируем в широкий спектр оценок, чтобы понять поведение наших моделей в лабораторных условиях, а также в инструменты мониторинга для наблюдения за поведением в реальных условиях (если это разрешено клиентами). Это будет иметь решающее значение для предоставления нам и другим эмпирической информации, необходимой для более точного определения того, как работают эти системы и как они дают сбои. Мы публично публикуем «системные карты» с каждым выпуском модели, которые призваны обеспечить полноту и тщательное изучение возможных рисков. Наши системные карты часто занимают сотни страниц и требуют значительных усилий на этапе подготовки к выпуску, которые мы могли бы потратить на достижение максимальной коммерческой выгоды. Мы также более громко заявляем о поведении моделей, когда видим особенно тревожные признаки, например, склонность к шантажу.
Четвертый шаг, который мы можем предпринять, — это поощрение координации для решения проблем, связанных с рисками автономности, на уровне промышленности и общества. Хотя для отдельных компаний, занимающихся ИИ, невероятно важно внедрять передовые методы или совершенствовать навыки управления моделями ИИ и публично делиться своими результатами, реальность такова, что не все компании, занимающиеся ИИ, это делают, и даже самые худшие из них могут представлять опасность для всех, даже если лучшие из них демонстрируют превосходные методы работы. Например, некоторые компании, занимающиеся ИИ, продемонстрировали тревожную халатность в отношении сексуализации детей в современных моделях, что заставляет меня сомневаться в том, что они проявят желание или способность решать проблемы, связанные с рисками автономности, в будущих моделях. Кроме того, коммерческая гонка между компаниями, занимающимися ИИ, будет только накаляться, и хотя наука управления моделями может иметь некоторые коммерческие преимущества, в целом интенсивность гонки будет все больше затруднять сосредоточение внимания на решении проблем, связанных с рисками автономности. Я считаю, что единственное решение — это законодательство — законы, которые напрямую влияют на поведение компаний, занимающихся ИИ, или иным образом стимулируют исследования и разработки для решения этих проблем.
Здесь стоит помнить о предупреждениях, которые я дал в начале этого эссе, относительно неопределенности и хирургических вмешательств. Мы не знаем наверняка, станут ли риски, связанные с автономией, серьезной проблемой — как я уже сказал, я отвергаю утверждения о неизбежности опасности или даже о том, что что-то обязательно пойдет не так по умолчанию. Для меня и для Anthropic достаточно реального риска опасности, чтобы понести значительные затраты на его устранение, но как только мы переходим к регулированию, мы заставляем широкий круг участников нести экономические издержки, и многие из этих участников не верят в реальность риска, связанного с автономией, или в то, что ИИ станет достаточно мощным, чтобы представлять угрозу. Я считаю, что эти участники ошибаются, но мы должны прагматично оценивать ожидаемое сопротивление и опасность чрезмерного вмешательства. Существует также реальный риск того, что чрезмерно директивное законодательство в конечном итоге приведет к введению тестов или правил, которые на самом деле не улучшат безопасность, а лишь потратят много времени (по сути, это будет «театр безопасности») — это тоже вызовет негативную реакцию и сделает законодательство в области безопасности нелепым (18).
(18). Даже в наших собственных экспериментах с правилами, которые по сути являются добровольно установленными в рамках нашей Политики ответственного масштабирования, мы снова и снова убеждались, что очень легко впасть в чрезмерную жесткость, проводя границы, которые кажутся важными заранее, но оказываются нелепыми задним числом. Очень легко установить правила в отношении неправильных вещей, когда технология быстро развивается.
В Anthropic считают, что начать следует с законодательства о прозрачности, которое, по сути, обязывает каждую компанию, работающую в сфере передовых технологий искусственного интеллекта, применять описанные ранее в этом разделе методы обеспечения прозрачности. Примерами такого законодательства являются калифорнийский законопроект SB 53 и нью-йоркский закон RAISE Act, которые Anthropic поддержала и которые были успешно приняты. Поддерживая и помогая разрабатывать эти законы, мы уделяли особое внимание минимизации сопутствующего ущерба, например, освобождая от действия закона небольшие компании, которые вряд ли будут создавать передовые модели (19).
(19). Законопроекты SB 53 и RAISE вообще не распространяются на компании с годовым доходом менее 500 миллионов долларов. Они применяются только к более крупным и устоявшимся компаниям, таким как Anthropic.
Мы надеемся, что законодательство о прозрачности со временем позволит лучше понять, насколько вероятны или серьезны риски, связанные с автономией, а также характер этих рисков и наилучшие способы их предотвращения. По мере появления более конкретных и действенных доказательств рисков (если таковые появятся), будущее законодательство в ближайшие годы сможет быть целенаправленно сфокусировано на точном и обоснованном направлении рисков, минимизируя сопутствующий ущерб. Следует отметить, что если появятся действительно убедительные доказательства рисков, то и правила должны быть соразмерно строгими.
В целом, я оптимистично настроен относительно того, что сочетание обучения согласованию, механистической интерпретируемости, усилий по выявлению и публичному раскрытию тревожных моделей поведения, мер защиты и правил на уровне общества может решить проблемы, связанные с рисками автономности ИИ, хотя меня больше всего беспокоят правила на уровне общества и поведение наименее ответственных игроков (а именно наименее ответственные игроки наиболее активно выступают против регулирования). Я считаю, что решение проблемы заключается в том, что всегда есть в демократии: те из нас, кто верит в это дело, должны доказать, что эти риски реальны и что наши сограждане должны объединиться, чтобы защитить себя.
2. Удивительное и ужасное расширение прав и возможностей
Злоупотребление во вред разрушению
Предположим, что проблемы автономности ИИ решены — нас больше не беспокоит, что страна гениев ИИ выйдет из-под контроля и поглотит человечество. Гении ИИ делают то, что от них хотят люди, и, поскольку они обладают огромной коммерческой ценностью, отдельные лица и организации по всему миру могут «арендовать» одного или нескольких гениев ИИ для выполнения различных задач.
Наличие у каждого человека в кармане сверхинтеллектуального гения — это потрясающий прогресс, который приведет к невероятному созданию экономической ценности и улучшению качества жизни людей. Я подробно рассказываю об этих преимуществах в книге «Машины любящей благодати». Но не все последствия наделения каждого сверхчеловеческими способностями будут положительными. Это потенциально может усилить способность отдельных лиц или небольших групп причинять разрушения в гораздо больших масштабах, чем это было возможно раньше, используя сложные и опасные инструменты (такие как оружие массового поражения), которые ранее были доступны лишь избранным, обладающим высоким уровнем мастерства, специализированной подготовкой и целеустремленностью.
Как писал Билл Джой 25 лет назад в книге «Почему будущему мы не нужны» (20):
(20). Впервые я прочитал эссе Джой 25 лет назад, когда оно было написано, и оно произвело на меня глубокое впечатление. Тогда и сейчас я считаю его слишком пессимистичным — я не думаю, что широкий «отказ» от целых областей технологий, который предлагает Джой, является решением, — но поднятые в нем вопросы оказались на удивление пророческими, и Джой также пишет с глубоким чувством сострадания и человечности, которым я восхищаюсь.
Наличие у каждого человека в кармане сверхинтеллектуального гения — это потрясающий прогресс, который приведет к невероятному созданию экономической ценности и улучшению качества жизни людей. Я подробно рассказываю об этих преимуществах в книге «Машины любящей благодати». Но не все последствия наделения каждого сверхчеловеческими способностями будут положительными. Это потенциально может усилить способность отдельных лиц или небольших групп причинять разрушения в гораздо больших масштабах, чем это было возможно раньше, используя сложные и опасные инструменты (такие как оружие массового поражения), которые ранее были доступны лишь избранным, обладающим высоким уровнем мастерства, специализированной подготовкой и целеустремленностью.
Как писал Билл Джой 25 лет назад в книге «Почему будущему мы не нужны» (20):
(20). Впервые я прочитал эссе Джой 25 лет назад, когда оно было написано, и оно произвело на меня глубокое впечатление. Тогда и сейчас я считаю его слишком пессимистичным — я не думаю, что широкий «отказ» от целых областей технологий, который предлагает Джой, является решением, — но поднятые в нем вопросы оказались на удивление пророческими, и Джой также пишет с глубоким чувством сострадания и человечности, которым я восхищаюсь.
Для создания ядерного оружия, по крайней мере на некоторое время, требовался доступ как к редким — фактически, недоступным — сырьевым материалам, так и к защищенной информации; программы создания биологического и химического оружия также, как правило, требовали крупномасштабной деятельности. Технологии XXI века — генетика, нанотехнологии и робототехника… могут породить совершенно новые классы аварий и злоупотреблений… широко доступные отдельным лицам или небольшим группам. Для них не потребуются крупные объекты или редкие сырьевые материалы. …мы стоим на пороге дальнейшего совершенствования крайнего зла, зла, возможности которого простираются далеко за пределы того, что оружие массового поражения оставило государствам, до удивительного и ужасающего расширения прав и возможностей отдельных лиц, склонных к крайним мерам.
Джой указывает на идею о том, что для причинения масштабных разрушений необходимы как мотив, так и способности, и пока эти способности ограничены небольшой группой высококвалифицированных людей, риск того, что отдельные лица (или небольшие группы) причинят такие разрушения, относительно невелик (21). Психически неуравновешенный одиночка может совершить стрельбу в школе, но вряд ли сможет создать ядерное оружие или вызвать эпидемию.
(21). Нам действительно следует беспокоиться о государственных деятелях, как сейчас, так и в будущем, и я обсуждаю это в следующем разделе.
На самом деле, способности и мотивы могут быть даже отрицательно коррелированы. Человек, способный обрушить чуму, вероятно, имеет высокое образование: скорее всего, докторскую степень по молекулярной биологии, особенно находчивый, с многообещающей карьерой, стабильным и дисциплинированным характером и большими рисками. Такой человек вряд ли будет заинтересован в убийстве огромного количества людей без какой-либо выгоды для себя и с огромным риском для собственного будущего — им должны быть движимы чистая злоба, сильная обида или нестабильность.
Такие люди существуют, но они редки и, как правило, становятся громкими сенсациями именно потому, что они так необычны (22). Их также трудно поймать, потому что они умны и способны, иногда оставляя после себя загадки, на разгадку которых уходят годы или десятилетия. Самый известный пример — это, вероятно, математик Теодор Качинский (Унабомбер), который почти 20 лет избегал ареста ФБР, движимый антитехнологической идеологией. Другой пример — исследователь в области биологической защиты Брюс Ивинс, который, по всей видимости, организовал серию атак с применением сибирской язвы в 2001 году. Подобное случалось и с опытными негосударственными организациями: культу Аум Синрике удалось получить нервно-паралитический газ зарин и убить 14 человек (а также ранить сотни других), выпустив его в токийском метро в 1995 году.
(22). Есть свидетельства того, что многие террористы, по крайней мере, относительно хорошо образованы, что может показаться противоречащим тому, что я здесь утверждаю о отрицательной корреляции между способностями и мотивацией. Но я думаю, что на самом деле эти наблюдения совместимы: если порог способностей для успешного нападения высок, то почти по определению те, кто сейчас добивается успеха, должны обладать высокими способностями, даже если способности и мотивация отрицательно коррелируют. Но в мире, где ограничения на способности были бы сняты (например, с будущими программами магистратуры в области права), я бы предсказал, что значительная часть людей с мотивацией к убийству, но более низкими способностями, начала бы это делать — точно так же, как мы видим в случае преступлений, которые не требуют больших способностей (например, стрельба в школах).
К счастью, ни в одном из этих нападений не использовались заразные биологические агенты, поскольку способность создавать или получать такие агенты была недоступна даже этим людям (23). Достижения в области молекулярной биологии значительно снизили барьер для создания биологического оружия (особенно с точки зрения доступности материалов), но для этого по-прежнему требуется огромный опыт. Меня беспокоит, что гений, доступный каждому, может устранить этот барьер, по сути, превратив каждого в вирусолога со степенью доктора наук, которому можно пошагово объяснить процесс проектирования, синтеза и применения биологического оружия. Предотвращение получения подобной информации в условиях серьезного давления со стороны противника — так называемые «взломы тюрем» — вероятно, потребует многоуровневой защиты, выходящей за рамки тех мер, которые обычно заложены в подготовку кадров.
(23). Однако Аум Синрике всё же попыталась. Лидер Аум Синрике, Сэйити Эндо, прошедший обучение в области вирусологии в Киотском университете, пытался получить как сибирскую язву, так и вирус Эбола. Однако по состоянию на 1995 год даже ему не хватало опыта и ресурсов для достижения успеха. Сейчас планка значительно ниже, и степень магистра права (LLM) может снизить её ещё больше.
Что особенно важно, это разорвет связь между способностями и мотивами: психически неуравновешенный одиночка, желающий убивать людей, но не обладающий дисциплиной или навыками для этого, теперь будет возведен до уровня способностей вирусолога со степенью доктора наук, у которого вряд ли есть такая мотивация. Эта обеспокоенность распространяется не только на биологию (хотя я считаю биологию самой страшной областью), но и на любую область, где возможно масштабное разрушение, но в настоящее время требует высокого уровня мастерства и дисциплины. Иными словами, аренда мощного ИИ наделяет интеллектом злонамеренных (но в остальном обычных) людей. Я опасаюсь, что таких людей потенциально очень много, и что если у них появится доступ к простому способу убить миллионы людей, рано или поздно кто-то из них это сделает. Кроме того, те, кто обладает опытом, могут получить возможность совершать еще более масштабные разрушения, чем раньше.
Биология — это, безусловно, область, которая меня больше всего беспокоит, из-за её огромного разрушительного потенциала и сложности защиты от него, поэтому я сосредоточусь именно на биологии. Но многое из того, что я здесь скажу, применимо и к другим рискам, таким как кибератаки, химическое оружие или ядерные технологии.
Я не буду вдаваться в подробности о том, как создавать биологическое оружие, по причинам, которые должны быть очевидны. Но в общих чертах меня беспокоит, что специалисты в области биологического оружия приближаются (или, возможно, уже достигли) уровня знаний, необходимых для создания и распространения такого оружия от начала до конца, и что его разрушительный потенциал очень высок. Некоторые биологические агенты могут привести к миллионам смертей, если будут предприняты целенаправленные усилия по их максимальному распространению. Однако это все равно потребует очень высокого уровня квалификации, включая ряд очень специфических шагов и процедур, которые не получили широкого распространения. Меня беспокоит не просто фиксированные или статичные знания. Меня беспокоит, что специалисты в области биологического оружия смогут взять человека со средним уровнем знаний и способностей и провести его через сложный процесс, который в противном случае мог бы пойти не так или потребовать отладки в интерактивном режиме, подобно тому, как техническая поддержка помогает нетехническому человеку отлаживать и исправлять сложные компьютерные проблемы (хотя это будет более длительный процесс, вероятно, занимающий недели или месяцы).
Более совершенные LLM (значительно превосходящие возможности современных) могут позволить совершать ещё более ужасающие действия. В 2024 году группа видных учёных написала письмо, предупреждающее о рисках исследования и потенциального создания опасного нового типа организма: «зеркальной жизни». ДНК, РНК, рибосомы и белки, составляющие биологические организмы, обладают одинаковой хиральностью (также называемой «рукообразностью»), из-за которой они не эквивалентны своим версиям, отражённым в зеркале (точно так же, как вашу правую руку нельзя повернуть так, чтобы она была идентична вашей левой). Но вся система связывания белков друг с другом, механизм синтеза ДНК и трансляции РНК, а также построение и расщепление белков — всё это зависит от этой хиральности. Если бы учёные создали версии этого биологического материала с противоположной хиральностью — а у таких версий есть некоторые потенциальные преимущества, например, лекарства, которые дольше остаются в организме, — это могло бы быть чрезвычайно опасно. Это происходит потому, что левосторонняя жизнь, если бы она существовала в виде полноценных организмов, способных к размножению (что было бы очень сложно), потенциально оказалась бы неперевариваемой для любой из систем, расщепляющих биологический материал на Земле — у неё был бы «ключ», который не подошёл бы к «замку» ни одного существующего фермента. Это означало бы, что она могла бы бесконтрольно размножаться и вытеснить всю жизнь на планете, а в худшем случае даже уничтожить всю жизнь на Земле.
Существует значительная научная неопределенность как в отношении создания, так и потенциальных последствий существования зеркальных форм жизни. В письме 2024 года, сопровождавшем отчет , был сделан вывод о том, что «зеркальные бактерии вполне могут быть созданы в течение следующих одного-нескольких десятилетий», что является широким диапазоном. Но достаточно мощная модель искусственного интеллекта (чтобы было ясно, гораздо более совершенная, чем любая из существующих сегодня) могла бы гораздо быстрее обнаружить, как ее создать, и фактически помочь кому-то это сделать.
Я считаю, что, хотя эти риски малоизвестны и могут показаться маловероятными, масштаб последствий настолько велик, что к ним следует относиться серьезно как к первостепенной угрозе для систем искусственного интеллекта.
Скептики выдвинули ряд возражений против серьезности этих биологических рисков, связанных с LLM, с которыми я не согласен, но которые заслуживают внимания. Большинство из них относятся к категории недооценки экспоненциальной траектории развития технологии. Еще в 2023 году, когда мы впервые начали говорить о биологических рисках, связанных с LLM , скептики утверждали, что вся необходимая информация доступна в Google, и LLM не добавляют ничего сверх этого. Никогда не было правдой, что Google может предоставить всю необходимую информацию: геномы находятся в свободном доступе, но, как я уже говорил выше, некоторые ключевые этапы, а также огромное количество практических знаний нельзя получить таким образом. Но также к концу 2023 года LLM явно предоставляли информацию, выходящую за рамки того, что мог предоставить Google, для некоторых этапов процесса.
После этого скептики вернулись к возражению, что модели с линейной архитектурой (LLM) не являются комплексными и не могут помочь в разработке биологического оружия, а лишь предоставляют теоретическую информацию. По состоянию на середину 2025 года наши измерения показывают, что модели с линейной архитектурой уже могут существенно улучшить ситуацию в нескольких важных областях, возможно, удваивая или утраивая вероятность успеха. Это привело нас к решению о необходимости выпуска модели Claude Opus 4 (и последующих моделей Sonnet 4.5, Opus 4.1 и Opus 4.5) в рамках нашей политики ответственного масштабирования с защитой уровня безопасности ИИ 3 и к внедрению мер защиты от этого риска (подробнее об этом позже). Мы считаем, что модели, вероятно, приближаются к тому моменту, когда без мер защиты они могут быть полезны для того, чтобы человек с естественнонаучным образованием, но не с биологическим, мог пройти весь процесс создания биологического оружия.
Ещё одно возражение заключается в том, что существуют и другие действия, не связанные с ИИ, которые общество может предпринять для блокирования производства биологического оружия. В первую очередь, это индустрия генного синтеза, которая производит биологические образцы по запросу, и нет федерального требования к поставщикам проверять заказы на отсутствие патогенов. Исследование Массачусетского технологического института показало, что 36 из 38 поставщиков выполнили заказ, содержащий последовательность вируса гриппа 1918 года. Я поддерживаю обязательную проверку генного синтеза, которая затруднила бы создание патогенов в качестве оружия, чтобы снизить как биологические риски, связанные с ИИ, так и биологические риски в целом. Но сегодня у нас этого нет. Кроме того, это был бы лишь один из инструментов снижения риска; это дополнение к мерам безопасности, применяемым к системам ИИ, а не их замена.
Наиболее весомое возражение, которое я редко встречал, заключается в следующем: существует разрыв между принципиальной полезностью моделей и реальной склонностью злоумышленников к их использованию. Большинство отдельных злоумышленников — это психически нездоровые люди, поэтому почти по определению их поведение непредсказуемо и иррационально, и именно эти злоумышленники, неквалифицированные, могли бы получить наибольшую выгоду от того, что ИИ значительно упростил бы убийство большого количества людей (24). Тот факт, что определённый вид насильственного нападения возможен, ещё не означает, что кто-то обязательно решится его совершить. Возможно, биологические атаки будут непривлекательными, потому что они с высокой вероятностью заразят преступника, не соответствуют военным фантазиям многих жестоких людей или группировок, и сложно целенаправленно атаковать конкретных людей. Также возможно, что прохождение процесса, занимающего месяцы, даже если его проводит искусственный интеллект, требует такого терпения, которого большинству психически неуравновешенных людей просто не хватает. Возможно, нам просто повезёт, и мотив и способности на практике не совпадут должным образом.
(24). Странная особенность, связанная с массовыми убийцами, заключается в том, что выбранный ими стиль убийства действует почти как гротескная мода. В 1970-х и 1980-х годах серийные убийцы были очень распространены, и новые серийные убийцы часто копировали поведение более известных или признанных серийных убийц. В 1990-х и 2000-х годах массовые расстрелы стали более распространены, в то время как серийные убийцы стали встречаться реже. Нет никаких технологических изменений, которые бы спровоцировали эти модели поведения, просто, похоже, жестокие убийцы копировали поведение друг друга, и «популярный» способ подражания изменился.
Но такая защита кажется очень шаткой. Мотивы психически неуравновешенных одиночек могут меняться по любой причине или без причины, и на самом деле уже есть случаи использования LLM в атаках (просто не с помощью биологических методов). Сосредоточение внимания на психически неуравновешенных одиночках также игнорирует идеологически мотивированных террористов, которые часто готовы тратить много времени и усилий (например, угонщики самолетов 11 сентября). Желание убить как можно больше людей — это мотив, который, вероятно, возникнет рано или поздно, и, к сожалению, это указывает на биологическое оружие как на метод. Даже если этот мотив крайне редок, он должен проявиться лишь однажды. А по мере развития биологии (все больше движимой самим ИИ) может стать возможным осуществление более избирательных атак (например, направленных против людей с определенным происхождением), что добавляет еще один, очень пугающий, возможный мотив.
Я не думаю, что биологические атаки обязательно будут осуществлены в тот же момент, когда это станет широко возможным — на самом деле, я бы поставил на то, что это не так. Но если учесть миллионы людей и несколько лет, я думаю, что существует серьезный риск крупномасштабной атаки, и последствия будут настолько серьезными (с потенциальными миллионами жертв или даже больше), что я считаю, у нас нет иного выбора, кроме как принять серьезные меры для ее предотвращения.
(21). Нам действительно следует беспокоиться о государственных деятелях, как сейчас, так и в будущем, и я обсуждаю это в следующем разделе.
На самом деле, способности и мотивы могут быть даже отрицательно коррелированы. Человек, способный обрушить чуму, вероятно, имеет высокое образование: скорее всего, докторскую степень по молекулярной биологии, особенно находчивый, с многообещающей карьерой, стабильным и дисциплинированным характером и большими рисками. Такой человек вряд ли будет заинтересован в убийстве огромного количества людей без какой-либо выгоды для себя и с огромным риском для собственного будущего — им должны быть движимы чистая злоба, сильная обида или нестабильность.
Такие люди существуют, но они редки и, как правило, становятся громкими сенсациями именно потому, что они так необычны (22). Их также трудно поймать, потому что они умны и способны, иногда оставляя после себя загадки, на разгадку которых уходят годы или десятилетия. Самый известный пример — это, вероятно, математик Теодор Качинский (Унабомбер), который почти 20 лет избегал ареста ФБР, движимый антитехнологической идеологией. Другой пример — исследователь в области биологической защиты Брюс Ивинс, который, по всей видимости, организовал серию атак с применением сибирской язвы в 2001 году. Подобное случалось и с опытными негосударственными организациями: культу Аум Синрике удалось получить нервно-паралитический газ зарин и убить 14 человек (а также ранить сотни других), выпустив его в токийском метро в 1995 году.
(22). Есть свидетельства того, что многие террористы, по крайней мере, относительно хорошо образованы, что может показаться противоречащим тому, что я здесь утверждаю о отрицательной корреляции между способностями и мотивацией. Но я думаю, что на самом деле эти наблюдения совместимы: если порог способностей для успешного нападения высок, то почти по определению те, кто сейчас добивается успеха, должны обладать высокими способностями, даже если способности и мотивация отрицательно коррелируют. Но в мире, где ограничения на способности были бы сняты (например, с будущими программами магистратуры в области права), я бы предсказал, что значительная часть людей с мотивацией к убийству, но более низкими способностями, начала бы это делать — точно так же, как мы видим в случае преступлений, которые не требуют больших способностей (например, стрельба в школах).
К счастью, ни в одном из этих нападений не использовались заразные биологические агенты, поскольку способность создавать или получать такие агенты была недоступна даже этим людям (23). Достижения в области молекулярной биологии значительно снизили барьер для создания биологического оружия (особенно с точки зрения доступности материалов), но для этого по-прежнему требуется огромный опыт. Меня беспокоит, что гений, доступный каждому, может устранить этот барьер, по сути, превратив каждого в вирусолога со степенью доктора наук, которому можно пошагово объяснить процесс проектирования, синтеза и применения биологического оружия. Предотвращение получения подобной информации в условиях серьезного давления со стороны противника — так называемые «взломы тюрем» — вероятно, потребует многоуровневой защиты, выходящей за рамки тех мер, которые обычно заложены в подготовку кадров.
(23). Однако Аум Синрике всё же попыталась. Лидер Аум Синрике, Сэйити Эндо, прошедший обучение в области вирусологии в Киотском университете, пытался получить как сибирскую язву, так и вирус Эбола. Однако по состоянию на 1995 год даже ему не хватало опыта и ресурсов для достижения успеха. Сейчас планка значительно ниже, и степень магистра права (LLM) может снизить её ещё больше.
Что особенно важно, это разорвет связь между способностями и мотивами: психически неуравновешенный одиночка, желающий убивать людей, но не обладающий дисциплиной или навыками для этого, теперь будет возведен до уровня способностей вирусолога со степенью доктора наук, у которого вряд ли есть такая мотивация. Эта обеспокоенность распространяется не только на биологию (хотя я считаю биологию самой страшной областью), но и на любую область, где возможно масштабное разрушение, но в настоящее время требует высокого уровня мастерства и дисциплины. Иными словами, аренда мощного ИИ наделяет интеллектом злонамеренных (но в остальном обычных) людей. Я опасаюсь, что таких людей потенциально очень много, и что если у них появится доступ к простому способу убить миллионы людей, рано или поздно кто-то из них это сделает. Кроме того, те, кто обладает опытом, могут получить возможность совершать еще более масштабные разрушения, чем раньше.
Биология — это, безусловно, область, которая меня больше всего беспокоит, из-за её огромного разрушительного потенциала и сложности защиты от него, поэтому я сосредоточусь именно на биологии. Но многое из того, что я здесь скажу, применимо и к другим рискам, таким как кибератаки, химическое оружие или ядерные технологии.
Я не буду вдаваться в подробности о том, как создавать биологическое оружие, по причинам, которые должны быть очевидны. Но в общих чертах меня беспокоит, что специалисты в области биологического оружия приближаются (или, возможно, уже достигли) уровня знаний, необходимых для создания и распространения такого оружия от начала до конца, и что его разрушительный потенциал очень высок. Некоторые биологические агенты могут привести к миллионам смертей, если будут предприняты целенаправленные усилия по их максимальному распространению. Однако это все равно потребует очень высокого уровня квалификации, включая ряд очень специфических шагов и процедур, которые не получили широкого распространения. Меня беспокоит не просто фиксированные или статичные знания. Меня беспокоит, что специалисты в области биологического оружия смогут взять человека со средним уровнем знаний и способностей и провести его через сложный процесс, который в противном случае мог бы пойти не так или потребовать отладки в интерактивном режиме, подобно тому, как техническая поддержка помогает нетехническому человеку отлаживать и исправлять сложные компьютерные проблемы (хотя это будет более длительный процесс, вероятно, занимающий недели или месяцы).
Более совершенные LLM (значительно превосходящие возможности современных) могут позволить совершать ещё более ужасающие действия. В 2024 году группа видных учёных написала письмо, предупреждающее о рисках исследования и потенциального создания опасного нового типа организма: «зеркальной жизни». ДНК, РНК, рибосомы и белки, составляющие биологические организмы, обладают одинаковой хиральностью (также называемой «рукообразностью»), из-за которой они не эквивалентны своим версиям, отражённым в зеркале (точно так же, как вашу правую руку нельзя повернуть так, чтобы она была идентична вашей левой). Но вся система связывания белков друг с другом, механизм синтеза ДНК и трансляции РНК, а также построение и расщепление белков — всё это зависит от этой хиральности. Если бы учёные создали версии этого биологического материала с противоположной хиральностью — а у таких версий есть некоторые потенциальные преимущества, например, лекарства, которые дольше остаются в организме, — это могло бы быть чрезвычайно опасно. Это происходит потому, что левосторонняя жизнь, если бы она существовала в виде полноценных организмов, способных к размножению (что было бы очень сложно), потенциально оказалась бы неперевариваемой для любой из систем, расщепляющих биологический материал на Земле — у неё был бы «ключ», который не подошёл бы к «замку» ни одного существующего фермента. Это означало бы, что она могла бы бесконтрольно размножаться и вытеснить всю жизнь на планете, а в худшем случае даже уничтожить всю жизнь на Земле.
Существует значительная научная неопределенность как в отношении создания, так и потенциальных последствий существования зеркальных форм жизни. В письме 2024 года, сопровождавшем отчет , был сделан вывод о том, что «зеркальные бактерии вполне могут быть созданы в течение следующих одного-нескольких десятилетий», что является широким диапазоном. Но достаточно мощная модель искусственного интеллекта (чтобы было ясно, гораздо более совершенная, чем любая из существующих сегодня) могла бы гораздо быстрее обнаружить, как ее создать, и фактически помочь кому-то это сделать.
Я считаю, что, хотя эти риски малоизвестны и могут показаться маловероятными, масштаб последствий настолько велик, что к ним следует относиться серьезно как к первостепенной угрозе для систем искусственного интеллекта.
Скептики выдвинули ряд возражений против серьезности этих биологических рисков, связанных с LLM, с которыми я не согласен, но которые заслуживают внимания. Большинство из них относятся к категории недооценки экспоненциальной траектории развития технологии. Еще в 2023 году, когда мы впервые начали говорить о биологических рисках, связанных с LLM , скептики утверждали, что вся необходимая информация доступна в Google, и LLM не добавляют ничего сверх этого. Никогда не было правдой, что Google может предоставить всю необходимую информацию: геномы находятся в свободном доступе, но, как я уже говорил выше, некоторые ключевые этапы, а также огромное количество практических знаний нельзя получить таким образом. Но также к концу 2023 года LLM явно предоставляли информацию, выходящую за рамки того, что мог предоставить Google, для некоторых этапов процесса.
После этого скептики вернулись к возражению, что модели с линейной архитектурой (LLM) не являются комплексными и не могут помочь в разработке биологического оружия, а лишь предоставляют теоретическую информацию. По состоянию на середину 2025 года наши измерения показывают, что модели с линейной архитектурой уже могут существенно улучшить ситуацию в нескольких важных областях, возможно, удваивая или утраивая вероятность успеха. Это привело нас к решению о необходимости выпуска модели Claude Opus 4 (и последующих моделей Sonnet 4.5, Opus 4.1 и Opus 4.5) в рамках нашей политики ответственного масштабирования с защитой уровня безопасности ИИ 3 и к внедрению мер защиты от этого риска (подробнее об этом позже). Мы считаем, что модели, вероятно, приближаются к тому моменту, когда без мер защиты они могут быть полезны для того, чтобы человек с естественнонаучным образованием, но не с биологическим, мог пройти весь процесс создания биологического оружия.
Ещё одно возражение заключается в том, что существуют и другие действия, не связанные с ИИ, которые общество может предпринять для блокирования производства биологического оружия. В первую очередь, это индустрия генного синтеза, которая производит биологические образцы по запросу, и нет федерального требования к поставщикам проверять заказы на отсутствие патогенов. Исследование Массачусетского технологического института показало, что 36 из 38 поставщиков выполнили заказ, содержащий последовательность вируса гриппа 1918 года. Я поддерживаю обязательную проверку генного синтеза, которая затруднила бы создание патогенов в качестве оружия, чтобы снизить как биологические риски, связанные с ИИ, так и биологические риски в целом. Но сегодня у нас этого нет. Кроме того, это был бы лишь один из инструментов снижения риска; это дополнение к мерам безопасности, применяемым к системам ИИ, а не их замена.
Наиболее весомое возражение, которое я редко встречал, заключается в следующем: существует разрыв между принципиальной полезностью моделей и реальной склонностью злоумышленников к их использованию. Большинство отдельных злоумышленников — это психически нездоровые люди, поэтому почти по определению их поведение непредсказуемо и иррационально, и именно эти злоумышленники, неквалифицированные, могли бы получить наибольшую выгоду от того, что ИИ значительно упростил бы убийство большого количества людей (24). Тот факт, что определённый вид насильственного нападения возможен, ещё не означает, что кто-то обязательно решится его совершить. Возможно, биологические атаки будут непривлекательными, потому что они с высокой вероятностью заразят преступника, не соответствуют военным фантазиям многих жестоких людей или группировок, и сложно целенаправленно атаковать конкретных людей. Также возможно, что прохождение процесса, занимающего месяцы, даже если его проводит искусственный интеллект, требует такого терпения, которого большинству психически неуравновешенных людей просто не хватает. Возможно, нам просто повезёт, и мотив и способности на практике не совпадут должным образом.
(24). Странная особенность, связанная с массовыми убийцами, заключается в том, что выбранный ими стиль убийства действует почти как гротескная мода. В 1970-х и 1980-х годах серийные убийцы были очень распространены, и новые серийные убийцы часто копировали поведение более известных или признанных серийных убийц. В 1990-х и 2000-х годах массовые расстрелы стали более распространены, в то время как серийные убийцы стали встречаться реже. Нет никаких технологических изменений, которые бы спровоцировали эти модели поведения, просто, похоже, жестокие убийцы копировали поведение друг друга, и «популярный» способ подражания изменился.
Но такая защита кажется очень шаткой. Мотивы психически неуравновешенных одиночек могут меняться по любой причине или без причины, и на самом деле уже есть случаи использования LLM в атаках (просто не с помощью биологических методов). Сосредоточение внимания на психически неуравновешенных одиночках также игнорирует идеологически мотивированных террористов, которые часто готовы тратить много времени и усилий (например, угонщики самолетов 11 сентября). Желание убить как можно больше людей — это мотив, который, вероятно, возникнет рано или поздно, и, к сожалению, это указывает на биологическое оружие как на метод. Даже если этот мотив крайне редок, он должен проявиться лишь однажды. А по мере развития биологии (все больше движимой самим ИИ) может стать возможным осуществление более избирательных атак (например, направленных против людей с определенным происхождением), что добавляет еще один, очень пугающий, возможный мотив.
Я не думаю, что биологические атаки обязательно будут осуществлены в тот же момент, когда это станет широко возможным — на самом деле, я бы поставил на то, что это не так. Но если учесть миллионы людей и несколько лет, я думаю, что существует серьезный риск крупномасштабной атаки, и последствия будут настолько серьезными (с потенциальными миллионами жертв или даже больше), что я считаю, у нас нет иного выбора, кроме как принять серьезные меры для ее предотвращения.
Защитные сооружения
Это подводит нас к вопросу о том, как защититься от этих рисков. Здесь я вижу три вещи, которые мы можем сделать. Во-первых, компании, занимающиеся ИИ, могут установить ограничения на свои модели, чтобы предотвратить их участие в производстве биологического оружия. Компания Anthropic очень активно этим занимается. Конституция Claude, которая в основном сосредоточена на принципах и ценностях высокого уровня, содержит небольшое количество конкретных жестких запретов, и один из них касается содействия в производстве биологического (или химического, или ядерного, или радиологического) оружия. Но все модели могут быть взломаны , поэтому в качестве второй линии защиты мы внедрили (с середины 2025 года, когда наши тесты показали, что наши модели начали приближаться к порогу, при котором они могут начать представлять риск) классификатор, который специально обнаруживает и блокирует результаты, связанные с биологическим оружием. Мы регулярно обновляем и улучшаем эти классификаторы и в целом обнаружили, что они очень устойчивы даже к сложным атакам со стороны злоумышленников (25). Использование этих классификаторов существенно увеличивает затраты на обслуживание наших моделей (в некоторых моделях они составляют около 5% от общих затрат на вывод результатов) и, следовательно, снижает нашу прибыль, но мы считаем, что их использование — правильное решение.
(25). Иногда любители взлома систем считают, что им удалось скомпрометировать эти классификаторы, когда модель выдает лишь один конкретный фрагмент информации, например, последовательность генома вируса. Но, как я уже объяснял, модель угроз, которая нас беспокоит, включает в себя пошаговые интерактивные рекомендации, растянувшиеся на недели или месяцы, о конкретных малоизвестных этапах процесса производства биологического оружия, и именно от этого стремятся защитить наши классификаторы. (Мы часто описываем наши исследования как поиск «универсальных» взломов — таких, которые работают не только в одном конкретном или узком контексте, но и широко расширяют возможности модели.)
К их чести, некоторые другие компании, занимающиеся ИИ, также внедрили классификаторы. Но не каждая компания это сделала, и ничто не обязывает компании сохранять свои классификаторы. Меня беспокоит, что со временем может возникнуть дилемма заключенного, когда компании могут уйти и снизить свои издержки, отказавшись от классификаторов. Это еще одна классическая проблема негативных внешних эффектов, которую нельзя решить добровольными действиями Anthropic или любой другой отдельной компании (26). В этом могут помочь добровольные отраслевые стандарты, а также независимые оценки и проверка, подобные тем, которые проводят институты безопасности ИИ и сторонние эксперты.
(26). Хотя мы продолжим инвестировать в работу по повышению эффективности наших классификаторов, возможно, компаниям будет целесообразно делиться друг с другом подобными достижениями.
Но в конечном итоге оборона может потребовать действий правительства, и это второе, что мы можем сделать. Мои взгляды здесь такие же, как и в отношении устранения рисков автономии: мы должны начать с требований к прозрачности (27), которые помогают обществу измерять, отслеживать и коллективно защищаться от рисков, не нарушая экономическую деятельность жесткими методами. Затем, если и когда мы достигнем более четких пороговых значений риска, мы сможем разработать законодательство, которое более точно нацелено на эти риски и имеет меньшую вероятность сопутствующего ущерба. В частности, в случае с биологическим оружием я думаю, что время для такого целенаправленного законодательства может наступить в ближайшее время — антропогенные и другие компании все больше узнают о природе биологических рисков и о том, что разумно требовать от компаний в плане защиты от них. Полная защита от этих рисков может потребовать работы на международном уровне, даже с геополитическими противниками, но существуют прецеденты в договорах, запрещающих разработку биологического оружия. Я в целом скептически отношусь к большинству видов международного сотрудничества в области ИИ, но это может быть одна из узких областей, где есть некоторый шанс добиться глобального сдерживания. Даже диктатуры не хотят массированных биотеррористических атак.
(27). Очевидно, я не считаю, что компании должны раскрывать технические подробности конкретных этапов производства биологического оружия, которые они блокируют, и принятые к настоящему времени законы о прозрачности (SB 53 и RAISE) учитывают этот вопрос.
Наконец, третья контрмера, которую мы можем предпринять, — это попытаться разработать средства защиты от самих биологических атак. Это может включать мониторинг и отслеживание для раннего обнаружения, инвестиции в исследования и разработки в области очистки воздуха (например, дезинфекция дальним УФ-излучением), быструю разработку вакцин, способных реагировать на атаку и адаптироваться к ней, более совершенные средства индивидуальной защиты (СИЗ) (28), а также методы лечения или вакцинации против некоторых наиболее вероятных биологических агентов. мРНК-вакцины , которые могут быть разработаны для реагирования на конкретный вирус или его вариант, являются ранним примером того, что здесь возможно. Компания Anthropic рада сотрудничать с биотехнологическими и фармацевтическими компаниями в решении этой проблемы. Но, к сожалению, я думаю, что наши ожидания в отношении защиты должны быть ограничены. В биологии существует асимметрия между нападением и защитой, поскольку агенты быстро распространяются сами по себе, в то время как защита требует быстрого обнаружения, вакцинации и лечения большого количества людей. Если ответ не будет молниеносным (что случается редко), большая часть ущерба будет нанесена до того, как станет возможен ответ. Вполне возможно, что будущие технологические усовершенствования могут сместить этот баланс в пользу защиты (и мы, безусловно, должны использовать ИИ для содействия разработке таких технологических достижений ), но до тех пор превентивные меры защиты будут нашей основной линией обороны.
(28). Еще одна связанная идея — это «рынки устойчивости», где правительство поощряет создание запасов СИЗ, респираторов и другого необходимого оборудования для реагирования на биологическую атаку, заранее обещая оплатить согласованную цену за это оборудование в случае чрезвычайной ситуации. Это стимулирует поставщиков создавать запасы такого оборудования, не опасаясь, что правительство конфискует его без компенсации.
Здесь стоит кратко упомянуть кибератаки, поскольку, в отличие от биологических атак, кибератаки, инициированные ИИ, действительно происходили в реальных условиях, в том числе в больших масштабах и в целях государственного шпионажа. Мы ожидаем, что эти атаки будут становиться все более совершенными по мере быстрого развития моделей, пока не станут основным способом проведения кибератак. Я ожидаю, что кибератаки, инициированные ИИ, станут серьезной и беспрецедентной угрозой целостности компьютерных систем во всем мире, и Anthropic прилагает огромные усилия для пресечения этих атак и, в конечном итоге, надежного предотвращения их возникновения. Причина, по которой я не уделял киберпространству столько внимания, сколько биологии, заключается в том, что (1) кибератаки гораздо реже приводят к гибели людей, уж точно не в масштабах биологических атак, и (2) баланс между нападением и защитой может быть более управляемым в киберпространстве, где есть, по крайней мере, некоторая надежда, что защита сможет не отставать (а в идеале даже превзойти) атаки ИИ, если мы будем должным образом инвестировать в нее.
Хотя в настоящее время биологический фактор является наиболее серьезным вектором атаки, существует множество других векторов, и возможно, что может появиться еще более опасный. Общий принцип заключается в том, что без контрмер ИИ, вероятно, будет постоянно снижать барьер для разрушительной деятельности во все больших масштабах, и человечеству необходим серьезный ответ на эту угрозу.
(25). Иногда любители взлома систем считают, что им удалось скомпрометировать эти классификаторы, когда модель выдает лишь один конкретный фрагмент информации, например, последовательность генома вируса. Но, как я уже объяснял, модель угроз, которая нас беспокоит, включает в себя пошаговые интерактивные рекомендации, растянувшиеся на недели или месяцы, о конкретных малоизвестных этапах процесса производства биологического оружия, и именно от этого стремятся защитить наши классификаторы. (Мы часто описываем наши исследования как поиск «универсальных» взломов — таких, которые работают не только в одном конкретном или узком контексте, но и широко расширяют возможности модели.)
К их чести, некоторые другие компании, занимающиеся ИИ, также внедрили классификаторы. Но не каждая компания это сделала, и ничто не обязывает компании сохранять свои классификаторы. Меня беспокоит, что со временем может возникнуть дилемма заключенного, когда компании могут уйти и снизить свои издержки, отказавшись от классификаторов. Это еще одна классическая проблема негативных внешних эффектов, которую нельзя решить добровольными действиями Anthropic или любой другой отдельной компании (26). В этом могут помочь добровольные отраслевые стандарты, а также независимые оценки и проверка, подобные тем, которые проводят институты безопасности ИИ и сторонние эксперты.
(26). Хотя мы продолжим инвестировать в работу по повышению эффективности наших классификаторов, возможно, компаниям будет целесообразно делиться друг с другом подобными достижениями.
Но в конечном итоге оборона может потребовать действий правительства, и это второе, что мы можем сделать. Мои взгляды здесь такие же, как и в отношении устранения рисков автономии: мы должны начать с требований к прозрачности (27), которые помогают обществу измерять, отслеживать и коллективно защищаться от рисков, не нарушая экономическую деятельность жесткими методами. Затем, если и когда мы достигнем более четких пороговых значений риска, мы сможем разработать законодательство, которое более точно нацелено на эти риски и имеет меньшую вероятность сопутствующего ущерба. В частности, в случае с биологическим оружием я думаю, что время для такого целенаправленного законодательства может наступить в ближайшее время — антропогенные и другие компании все больше узнают о природе биологических рисков и о том, что разумно требовать от компаний в плане защиты от них. Полная защита от этих рисков может потребовать работы на международном уровне, даже с геополитическими противниками, но существуют прецеденты в договорах, запрещающих разработку биологического оружия. Я в целом скептически отношусь к большинству видов международного сотрудничества в области ИИ, но это может быть одна из узких областей, где есть некоторый шанс добиться глобального сдерживания. Даже диктатуры не хотят массированных биотеррористических атак.
(27). Очевидно, я не считаю, что компании должны раскрывать технические подробности конкретных этапов производства биологического оружия, которые они блокируют, и принятые к настоящему времени законы о прозрачности (SB 53 и RAISE) учитывают этот вопрос.
Наконец, третья контрмера, которую мы можем предпринять, — это попытаться разработать средства защиты от самих биологических атак. Это может включать мониторинг и отслеживание для раннего обнаружения, инвестиции в исследования и разработки в области очистки воздуха (например, дезинфекция дальним УФ-излучением), быструю разработку вакцин, способных реагировать на атаку и адаптироваться к ней, более совершенные средства индивидуальной защиты (СИЗ) (28), а также методы лечения или вакцинации против некоторых наиболее вероятных биологических агентов. мРНК-вакцины , которые могут быть разработаны для реагирования на конкретный вирус или его вариант, являются ранним примером того, что здесь возможно. Компания Anthropic рада сотрудничать с биотехнологическими и фармацевтическими компаниями в решении этой проблемы. Но, к сожалению, я думаю, что наши ожидания в отношении защиты должны быть ограничены. В биологии существует асимметрия между нападением и защитой, поскольку агенты быстро распространяются сами по себе, в то время как защита требует быстрого обнаружения, вакцинации и лечения большого количества людей. Если ответ не будет молниеносным (что случается редко), большая часть ущерба будет нанесена до того, как станет возможен ответ. Вполне возможно, что будущие технологические усовершенствования могут сместить этот баланс в пользу защиты (и мы, безусловно, должны использовать ИИ для содействия разработке таких технологических достижений ), но до тех пор превентивные меры защиты будут нашей основной линией обороны.
(28). Еще одна связанная идея — это «рынки устойчивости», где правительство поощряет создание запасов СИЗ, респираторов и другого необходимого оборудования для реагирования на биологическую атаку, заранее обещая оплатить согласованную цену за это оборудование в случае чрезвычайной ситуации. Это стимулирует поставщиков создавать запасы такого оборудования, не опасаясь, что правительство конфискует его без компенсации.
Здесь стоит кратко упомянуть кибератаки, поскольку, в отличие от биологических атак, кибератаки, инициированные ИИ, действительно происходили в реальных условиях, в том числе в больших масштабах и в целях государственного шпионажа. Мы ожидаем, что эти атаки будут становиться все более совершенными по мере быстрого развития моделей, пока не станут основным способом проведения кибератак. Я ожидаю, что кибератаки, инициированные ИИ, станут серьезной и беспрецедентной угрозой целостности компьютерных систем во всем мире, и Anthropic прилагает огромные усилия для пресечения этих атак и, в конечном итоге, надежного предотвращения их возникновения. Причина, по которой я не уделял киберпространству столько внимания, сколько биологии, заключается в том, что (1) кибератаки гораздо реже приводят к гибели людей, уж точно не в масштабах биологических атак, и (2) баланс между нападением и защитой может быть более управляемым в киберпространстве, где есть, по крайней мере, некоторая надежда, что защита сможет не отставать (а в идеале даже превзойти) атаки ИИ, если мы будем должным образом инвестировать в нее.
Хотя в настоящее время биологический фактор является наиболее серьезным вектором атаки, существует множество других векторов, и возможно, что может появиться еще более опасный. Общий принцип заключается в том, что без контрмер ИИ, вероятно, будет постоянно снижать барьер для разрушительной деятельности во все больших масштабах, и человечеству необходим серьезный ответ на эту угрозу.
3. Отвратительный аппарат
Злоупотребление властью с целью захвата власти
В предыдущем разделе обсуждался риск того, что отдельные лица и небольшие организации могут использовать небольшую часть «страны гениев в центре обработки данных» для причинения масштабных разрушений. Но нам также следует беспокоиться — вероятно, значительно больше — о злоупотреблении ИИ с целью установления или захвата власти , скорее всего, со стороны более крупных и влиятельных игроков (29).
(29). Почему меня больше беспокоят крупные игроки, стремящиеся захватить власть, а мелкие — причинить разрушения? Потому что динамика различна. Захват власти — это вопрос о том, сможет ли один игрок накопить достаточно сил, чтобы одолеть всех остальных, поэтому нам следует беспокоиться о самых могущественных игроках и/или тех, кто ближе всего к ИИ. Разрушения, напротив, могут быть совершены теми, кто обладает малой властью, если от них гораздо сложнее защититься, чем причинить. Тогда это игра в защиту от наиболее многочисленных угроз, которыми, скорее всего, будут более мелкие игроки.
В книге «Машины любящей благодати » я обсуждал возможность того, что авторитарные правительства могут использовать мощный ИИ для слежки или подавления своих граждан способами, которые будет чрезвычайно трудно реформировать или свергнуть. Современные автократии ограничены в своей репрессивной деятельности необходимостью выполнения приказов людьми, а у людей часто есть пределы в том, насколько бесчеловечными они готовы быть. Но автократии, использующие ИИ, не будут иметь таких ограничений.
Хуже того, страны могут использовать свои преимущества в области ИИ для получения власти над другими странами . Если бы «страна гениев» в целом находилась в собственности и под контролем военного аппарата одной (человеческой) страны, а другие страны не обладали бы эквивалентными возможностями, трудно представить, как они могли бы защитить себя: их бы перехитрили на каждом шагу, подобно войне между людьми и мышами. Сочетание этих двух проблем приводит к тревожной возможности глобальной тоталитарной диктатуры. Очевидно, что предотвращение такого исхода должно стать одним из наших главных приоритетов.
Существует множество способов, с помощью которых ИИ может способствовать развитию, укреплению или расширению автократии, но я перечислю несколько, которые вызывают у меня наибольшее беспокойство. Следует отметить, что некоторые из этих применений имеют законные оборонительные цели, и я не обязательно выступаю против них в абсолютном смысле; тем не менее, меня беспокоит то, что они структурно, как правило, благоприятствуют автократиям:
(29). Почему меня больше беспокоят крупные игроки, стремящиеся захватить власть, а мелкие — причинить разрушения? Потому что динамика различна. Захват власти — это вопрос о том, сможет ли один игрок накопить достаточно сил, чтобы одолеть всех остальных, поэтому нам следует беспокоиться о самых могущественных игроках и/или тех, кто ближе всего к ИИ. Разрушения, напротив, могут быть совершены теми, кто обладает малой властью, если от них гораздо сложнее защититься, чем причинить. Тогда это игра в защиту от наиболее многочисленных угроз, которыми, скорее всего, будут более мелкие игроки.
В книге «Машины любящей благодати » я обсуждал возможность того, что авторитарные правительства могут использовать мощный ИИ для слежки или подавления своих граждан способами, которые будет чрезвычайно трудно реформировать или свергнуть. Современные автократии ограничены в своей репрессивной деятельности необходимостью выполнения приказов людьми, а у людей часто есть пределы в том, насколько бесчеловечными они готовы быть. Но автократии, использующие ИИ, не будут иметь таких ограничений.
Хуже того, страны могут использовать свои преимущества в области ИИ для получения власти над другими странами . Если бы «страна гениев» в целом находилась в собственности и под контролем военного аппарата одной (человеческой) страны, а другие страны не обладали бы эквивалентными возможностями, трудно представить, как они могли бы защитить себя: их бы перехитрили на каждом шагу, подобно войне между людьми и мышами. Сочетание этих двух проблем приводит к тревожной возможности глобальной тоталитарной диктатуры. Очевидно, что предотвращение такого исхода должно стать одним из наших главных приоритетов.
Существует множество способов, с помощью которых ИИ может способствовать развитию, укреплению или расширению автократии, но я перечислю несколько, которые вызывают у меня наибольшее беспокойство. Следует отметить, что некоторые из этих применений имеют законные оборонительные цели, и я не обязательно выступаю против них в абсолютном смысле; тем не менее, меня беспокоит то, что они структурно, как правило, благоприятствуют автократиям:
- Полностью автономное оружие. Рой из миллионов или миллиардов полностью автоматизированных вооруженных дронов, локально управляемых мощным ИИ и стратегически координируемых по всему миру еще более мощным ИИ, может стать непобедимой армией, способной как победить любую армию в мире, так и подавить инакомыслие внутри страны, следуя за каждым гражданином. События в российско-украинской войне должны насторожить нас в том, что война с использованием дронов уже существует (хотя и не полностью автономная, и представляет собой лишь малую долю того, что может стать возможным с помощью мощного ИИ). Исследования и разработки, проводимые с помощью мощного ИИ, могут сделать дроны одной страны намного превосходящими дроны других, ускорить их производство, сделать их более устойчивыми к электронным атакам, улучшить их маневренность и так далее. Конечно, это оружие также имеет законное применение в защите демократии: оно сыграло ключевую роль в защите Украины и, вероятно, сыграет ключевую роль в защите Тайваня. Но они представляют собой опасное оружие: мы должны опасаться их применения в руках автократий, но также должны опасаться того, что из-за их огромной силы и низкой подотчетности значительно возрастает риск того, что демократические правительства используют их против собственного народа для захвата власти.
- Наблюдение с использованием ИИ. Достаточно мощный ИИ, вероятно, может быть использован для взлома любой компьютерной системы в мире (30), и могли бы также использовать полученный таким образом доступ для чтения и осмысления всех электронных коммуникаций мира (или даже всех личных коммуникаций, если удастся создать или захватить записывающие устройства). Вполне возможно, что можно просто составить полный список всех, кто не согласен с правительством по целому ряду вопросов, даже если такое несогласие не выражено явно ни в одном из их слов или действий. Мощный ИИ, анализирующий миллиарды разговоров миллионов людей, мог бы оценить общественное мнение, выявить очаги нелояльности и подавить их до того, как они разрастутся. Это могло бы привести к установлению настоящего паноптикума в масштабах, невиданных сегодня, даже при КПК.
- Пропаганда ИИ. Сегодняшние феномены «психоза ИИ» и «подружек ИИ» показывают, что даже при нынешнем уровне интеллекта модели ИИ могут оказывать мощное психологическое влияние на людей. Гораздо более мощные версии этих моделей, которые были бы гораздо глубже интегрированы в повседневную жизнь людей и осведомлены о ней, и могли бы моделировать и влиять на них в течение месяцев или лет, вероятно, были бы способны фактически промыть мозги многим (большинству?) людям, прививая им любую желаемую идеологию или взгляды, и могли бы быть использованы беспринципным лидером для обеспечения лояльности и подавления инакомыслия, даже в условиях репрессий, против которых восстало бы большинство населения. Сегодня люди очень обеспокоены, например, потенциальным влиянием TikTok как пропаганды КПК, направленной на детей. Я тоже беспокоюсь об этом, но персонализированный агент ИИ, который узнает вас годами и использует свои знания о вас для формирования всех ваших мнений, был бы значительно мощнее.
- Принятие стратегических решений. Страна гениев в дата-центре могла бы использоваться для консультирования страны, группы или отдельного человека по геополитической стратегии, что мы могли бы назвать «виртуальным Бисмарком». Она могла бы оптимизировать три вышеупомянутые стратегии захвата власти, а также, вероятно, разработать множество других, о которых я не подумал (но которые страна гениев могла бы разработать). Дипломатия, военная стратегия, НИОКР, экономическая стратегия и многие другие области, вероятно, значительно повысят свою эффективность благодаря мощному ИИ. Многие из этих навыков были бы действительно полезны для демократий — мы хотим, чтобы демократии имели доступ к лучшим стратегиям защиты от автократий, — но потенциал злоупотребления в чьих-либо руках все еще сохраняется.
- КПК. Китай занимает второе место после США по возможностям в области искусственного интеллекта и является страной с наибольшей вероятностью превзойти США в этих возможностях. В настоящее время его правительство является авторитарным и управляет высокотехнологичным государством тотальной слежки. Китай уже внедрил системы слежки на основе ИИ (включая репрессии против уйгуров ) и, как полагают, использует алгоритмическую пропаганду через TikTok (в дополнение ко многим другим международным пропагандистским усилиям). У них, безусловно, самый прямой путь к описанному выше тоталитарному кошмару с использованием ИИ. Это может даже стать исходом по умолчанию как в самом Китае, так и в других авторитарных государствах, которым КПК экспортирует технологии слежки. Я часто писал об угрозе того, что КПК займет лидирующие позиции в области ИИ, и об экзистенциальной необходимости предотвратить это. Вот почему. Чтобы было ясно, я не выделяю Китай из-за враждебности к нему как таковой — это просто страна, которая наиболее полно сочетает в себе возможности ИИ, авторитарное правительство и высокотехнологичное государство тотальной слежки. Скорее всего, от репрессий КПК, осуществляемых с помощью искусственного интеллекта, больше всего пострадают сами китайцы, и у них нет права голоса в действиях своего правительства. Я глубоко восхищаюсь и уважаю китайский народ и поддерживаю многих смелых диссидентов внутри Китая и их борьбу за свободу.
- Демократии конкурентоспособны в области ИИ. Как я писал выше, у демократий есть законный интерес к некоторым военным и геополитическим инструментам, созданным с помощью ИИ, поскольку демократические правительства предоставляют наилучшие возможности для противодействия использованию этих инструментов автократиями. В целом, я поддерживаю вооружение демократий инструментами, необходимыми для победы над автократиями в эпоху ИИ — я просто не думаю, что есть какой-либо другой путь. Но мы не можем игнорировать потенциал злоупотребления этими технологиями со стороны самих демократических правительств. В демократиях обычно существуют гарантии, предотвращающие использование их военного и разведывательного аппарата против собственного населения (31). Однако, поскольку для работы с инструментами ИИ требуется очень мало людей, существует вероятность того, что они смогут обойти эти гарантии и нормы, которые их поддерживают. Также стоит отметить, что некоторые из этих гарантий уже постепенно ослабевают в некоторых демократических странах. Таким образом, мы должны вооружить демократии ИИ, но делать это следует осторожно и в пределах разумного: это иммунная система, необходимая нам для борьбы с автократиями, но, как и иммунная система, существует некоторый риск того, что они могут обернуться против нас и сами стать угрозой.
(31). Например, в Соединенных Штатах это включает четвертую поправку и Закон о запрете использования армии в гражданских целях (Posse Comitatus Act).
- Недемократические страны с крупными центрами обработки данных. За пределами Китая большинство стран с менее демократическим управлением не являются ведущими игроками в области ИИ в том смысле, что у них нет компаний, которые производят передовые модели ИИ. Таким образом, они представляют собой принципиально иной и меньший риск, чем КПК, которая остается основной проблемой (большинство из них также менее репрессивны, а те, которые более репрессивны, как Северная Корея, вообще не имеют значительной индустрии ИИ). Но некоторые из этих стран имеют крупные центры обработки данных (часто в рамках строительства компаниями, работающими в демократических странах), которые могут использоваться для запуска передовых моделей ИИ в больших масштабах (хотя это не дает возможности расширять границы возможностей). С этим связана определенная опасность — эти правительства в принципе могут экспроприировать центры обработки данных и использовать страну, где ИИ находится, в своих целях. Меня это беспокоит меньше, чем страны, подобные Китаю, которые напрямую разрабатывают ИИ, но это риск, о котором следует помнить (32).
(32). Кроме того, следует уточнить, что существуют аргументы в пользу строительства крупных центров обработки данных в странах с различными структурами управления, особенно если они контролируются компаниями в демократических странах. В принципе, такое строительство могло бы помочь демократическим странам лучше конкурировать с КПК, которая представляет собой большую угрозу. Я также считаю, что такие центры обработки данных не представляют большого риска, если они не очень большие. Но в целом, я думаю, следует проявлять осторожность при размещении очень крупных центров обработки данных в странах, где институциональные гарантии и защита верховенства права менее развиты.
- Компании, занимающиеся ИИ. Мне несколько неловко говорить об этом, будучи генеральным директором компании, работающей в сфере ИИ, но я думаю, что следующий уровень риска — это сами компании, занимающиеся ИИ. Эти компании контролируют крупные центры обработки данных, обучают передовые модели, обладают наибольшей экспертизой в использовании этих моделей, а в некоторых случаях ежедневно контактируют с десятками или сотнями миллионов пользователей и могут оказывать на них влияние. Главное, чего им не хватает, — это легитимности и инфраструктуры государства, поэтому многое из того, что необходимо для создания инструментов автократии ИИ, было бы незаконным для компании, занимающейся ИИ, или, по крайней мере, крайне подозрительным. Но кое-что всё же возможно: например, они могли бы использовать свои продукты ИИ для промывания мозгов своей огромной пользовательской базе, и общественность должна быть бдительна в отношении риска, который это представляет. Я думаю, что управление компаниями, занимающимися ИИ, заслуживает тщательного изучения.
Существует ряд возможных аргументов против серьезности этих угроз, и мне бы хотелось в них верить, потому что авторитаризм, основанный на искусственном интеллекте, меня ужасает. Стоит рассмотреть некоторые из этих аргументов и ответить на них.
Во-первых, некоторые могут возлагать надежды на ядерное сдерживание, особенно в плане противодействия использованию автономного оружия на основе ИИ для военных завоеваний. Если кто-то угрожает применить это оружие против вас, вы всегда можете пригрозить ядерным ответом. Меня беспокоит то, что я не совсем уверен в наличии ядерного сдерживания против страны гениев, работающих в дата-центре: возможно, мощный ИИ сможет разработать способы обнаружения и нанесения ударов по атомным подводным лодкам, проводить операции по оказанию влияния на операторов инфраструктуры ядерного оружия или использовать кибервозможности ИИ для осуществления кибератаки на спутники, используемые для обнаружения ядерных запусков (33). В качестве альтернативы, возможно, захват стран возможен только с помощью слежки и пропаганды с использованием ИИ, и никогда не возникает очевидного момента, когда становится ясно, что происходит и когда ядерный ответ был бы уместен. Возможно, эти варианты не осуществимы, и ядерное сдерживание все равно будет эффективным, но кажется, что риск слишком велик (34).
(33). Это, конечно, также аргумент в пользу повышения безопасности ядерного сдерживания , чтобы сделать его более устойчивым к мощному ИИ, и ядерные державы должны это сделать. Но мы не знаем, на что способен мощный ИИ или какие средства защиты, если таковые имеются, будут против него эффективны, поэтому не следует предполагать, что эти меры обязательно решат проблему.
(34). Существует также риск того, что даже если ядерное сдерживание останется эффективным, нападающая страна может решить проверить наш блеф — неясно, будем ли мы готовы использовать ядерное оружие для защиты от роя беспилотников, даже если существует существенный риск того, что рой беспилотников нас захватит. Рои беспилотников могут быть чем-то новым, менее опасным, чем ядерные атаки, но более опасным, чем обычные атаки. В качестве альтернативы, различные оценки эффективности ядерного сдерживания в эпоху ИИ могут дестабилизирующим образом изменить теорию игр ядерного конфликта.
Второе возможное возражение заключается в том, что могут существовать контрмеры против этих инструментов автократии. Мы можем противостоять дронам с помощью наших собственных дронов, киберзащита будет улучшаться вместе с кибератаками, могут существовать способы иммунизации людей от пропаганды и т. д. Мой ответ таков: эти средства защиты будут возможны только при наличии сравнительно мощного ИИ. Если не будет противодействующей силы в лице сравнительно умной и многочисленной страны гениев в центре обработки данных, то не удастся сравняться по качеству или количеству с дронами, киберзащита не сможет перехитрить кибератаку и т. д. Таким образом, вопрос о контрмерах сводится к вопросу о балансе сил в мощном ИИ. Здесь меня беспокоит рекурсивное или самоподкрепляющееся свойство мощного ИИ (которое я обсуждал в начале этого эссе): каждое поколение ИИ может быть использовано для проектирования и обучения следующего поколения ИИ. Это создает риск чрезмерного преимущества, когда нынешний лидер в области мощного ИИ может увеличить свой отрыв, и его будет трудно догнать. Нам необходимо убедиться, что в этот замкнутый круг не попадет первой авторитарная страна.
Более того, даже если удастся достичь баланса сил, всё равно существует риск того, что мир может распасться на автократические сферы, как в фильме «1984». Даже если несколько конкурирующих держав обладают мощными моделями ИИ, и ни одна из них не может превзойти другие, каждая держава всё равно может подавлять собственное население, и её будет очень трудно свергнуть (поскольку у населения нет мощного ИИ для самозащиты). Поэтому важно предотвратить автократию, основанную на ИИ, даже если это не приведёт к захвату мира одной страной.
Во-первых, некоторые могут возлагать надежды на ядерное сдерживание, особенно в плане противодействия использованию автономного оружия на основе ИИ для военных завоеваний. Если кто-то угрожает применить это оружие против вас, вы всегда можете пригрозить ядерным ответом. Меня беспокоит то, что я не совсем уверен в наличии ядерного сдерживания против страны гениев, работающих в дата-центре: возможно, мощный ИИ сможет разработать способы обнаружения и нанесения ударов по атомным подводным лодкам, проводить операции по оказанию влияния на операторов инфраструктуры ядерного оружия или использовать кибервозможности ИИ для осуществления кибератаки на спутники, используемые для обнаружения ядерных запусков (33). В качестве альтернативы, возможно, захват стран возможен только с помощью слежки и пропаганды с использованием ИИ, и никогда не возникает очевидного момента, когда становится ясно, что происходит и когда ядерный ответ был бы уместен. Возможно, эти варианты не осуществимы, и ядерное сдерживание все равно будет эффективным, но кажется, что риск слишком велик (34).
(33). Это, конечно, также аргумент в пользу повышения безопасности ядерного сдерживания , чтобы сделать его более устойчивым к мощному ИИ, и ядерные державы должны это сделать. Но мы не знаем, на что способен мощный ИИ или какие средства защиты, если таковые имеются, будут против него эффективны, поэтому не следует предполагать, что эти меры обязательно решат проблему.
(34). Существует также риск того, что даже если ядерное сдерживание останется эффективным, нападающая страна может решить проверить наш блеф — неясно, будем ли мы готовы использовать ядерное оружие для защиты от роя беспилотников, даже если существует существенный риск того, что рой беспилотников нас захватит. Рои беспилотников могут быть чем-то новым, менее опасным, чем ядерные атаки, но более опасным, чем обычные атаки. В качестве альтернативы, различные оценки эффективности ядерного сдерживания в эпоху ИИ могут дестабилизирующим образом изменить теорию игр ядерного конфликта.
Второе возможное возражение заключается в том, что могут существовать контрмеры против этих инструментов автократии. Мы можем противостоять дронам с помощью наших собственных дронов, киберзащита будет улучшаться вместе с кибератаками, могут существовать способы иммунизации людей от пропаганды и т. д. Мой ответ таков: эти средства защиты будут возможны только при наличии сравнительно мощного ИИ. Если не будет противодействующей силы в лице сравнительно умной и многочисленной страны гениев в центре обработки данных, то не удастся сравняться по качеству или количеству с дронами, киберзащита не сможет перехитрить кибератаку и т. д. Таким образом, вопрос о контрмерах сводится к вопросу о балансе сил в мощном ИИ. Здесь меня беспокоит рекурсивное или самоподкрепляющееся свойство мощного ИИ (которое я обсуждал в начале этого эссе): каждое поколение ИИ может быть использовано для проектирования и обучения следующего поколения ИИ. Это создает риск чрезмерного преимущества, когда нынешний лидер в области мощного ИИ может увеличить свой отрыв, и его будет трудно догнать. Нам необходимо убедиться, что в этот замкнутый круг не попадет первой авторитарная страна.
Более того, даже если удастся достичь баланса сил, всё равно существует риск того, что мир может распасться на автократические сферы, как в фильме «1984». Даже если несколько конкурирующих держав обладают мощными моделями ИИ, и ни одна из них не может превзойти другие, каждая держава всё равно может подавлять собственное население, и её будет очень трудно свергнуть (поскольку у населения нет мощного ИИ для самозащиты). Поэтому важно предотвратить автократию, основанную на ИИ, даже если это не приведёт к захвату мира одной страной.
Защитные сооружения
Как нам защититься от такого широкого спектра авторитарных инструментов и потенциальных угроз? Как и в предыдущих разделах, я думаю, есть несколько вещей, которые мы можем сделать. Во-первых, мы ни в коем случае не должны продавать чипы, оборудование для производства чипов или центры обработки данных КПК. Чипы и оборудование для их производства являются самым большим узким местом на пути к созданию мощного ИИ, и их блокирование — это простая, но чрезвычайно эффективная мера, возможно, самое важное действие, которое мы можем предпринять. Нет смысла продавать КПК инструменты, с помощью которых можно построить тоталитарное государство на основе ИИ и, возможно, завоевать нас военным путем. Для оправдания таких продаж приводится ряд сложных аргументов, например, идея о том, что «распространение нашего технологического стека по всему миру» позволяет «Америке победить» в какой-то общей, неопределенной экономической битве. На мой взгляд, это все равно что продать ядерное оружие Северной Корее, а затем хвастаться тем, что корпуса ракет производятся компанией Boeing, и поэтому США «побеждают». Китай на несколько лет отстает от США в способности производить передовые микросхемы в больших количествах, и критический период для создания страны гениев в сфере центров обработки данных, скорее всего, наступит в течение следующих нескольких лет (35). Нет никаких оснований для того, чтобы в этот критический период давать мощный импульс развитию их индустрии искусственного интеллекта.
(35). Чтобы было ясно, я считаю, что не продавать чипы Китаю — правильная стратегия, даже если сроки появления мощного ИИ значительно дольше. Мы не можем «пристрастить» китайцев к американским чипам — они полны решимости развивать свою собственную чиповую индустрию тем или иным способом. На это им потребуется много лет, и всё, что мы делаем, продавая им чипы, — это даём им мощный импульс в течение этого времени.
Во-вторых, использование ИИ для расширения возможностей демократических государств в противостоянии автократиям представляется логичным. Именно поэтому Anthropic считает важным предоставлять ИИ разведывательным и оборонным ведомствам США и их демократическим союзникам. Защита демократий, подвергающихся нападкам, таких как Украина и (посредством кибератак) Тайвань, представляется особенно приоритетной задачей, как и предоставление демократическим государствам возможности использовать свои разведывательные службы для подрыва и ослабления автократий изнутри. На каком-то уровне единственный способ противостоять угрозам со стороны автократий — это сравняться с ними по военной мощи и превзойти их. Коалиция США и их демократических союзников, если она достигнет превосходства в мощном ИИ, сможет не только защитить себя от автократий, но и сдерживать их и ограничивать их тоталитарные злоупотребления в области ИИ.
В-третьих, нам необходимо провести жесткую черту в отношении злоупотреблений ИИ в демократических странах. Необходимо установить ограничения на то, что мы позволяем нашим правительствам делать с ИИ, чтобы они не захватывали власть и не подавляли собственный народ. Я предложил формулировку, согласно которой мы должны использовать ИИ для национальной обороны во всех отношениях, кроме тех, которые сделают нас больше похожими на наших авторитарных противников .
Где следует провести черту? В списке в начале этого раздела два пункта — использование ИИ для внутреннего массового наблюдения и массовой пропаганды — кажутся мне слишком радикальными и совершенно нелегитимными. Некоторые могут утверждать, что в этом нет необходимости (по крайней мере, в США), поскольку внутреннее массовое наблюдение уже незаконно согласно Четвертой поправке. Но стремительное развитие ИИ может создать ситуации, с которыми наши существующие правовые рамки плохо справляются. Например, проведение правительством США масштабной записи всех публичных разговоров (например, того, что люди говорят друг другу на углу улицы) вряд ли будет неконституционным, и раньше было бы сложно разобраться в таком объеме информации, но с помощью ИИ все это можно расшифровать, интерпретировать и сопоставить, чтобы создать картину отношения и лояльности многих или большинства граждан. Я бы поддержал законодательство, направленное на защиту гражданских свобод (или, возможно, даже конституционную поправку), которое бы установило более строгие меры защиты от злоупотреблений, связанных с использованием ИИ.
Два других пункта — полностью автономное оружие и ИИ для принятия стратегических решений — сложнее определить, поскольку они имеют законное применение в защите демократии, но при этом подвержены злоупотреблениям. Здесь, я думаю, необходима крайняя осторожность и тщательный контроль в сочетании с мерами предосторожности для предотвращения злоупотреблений. Мой главный страх заключается в слишком малом количестве «пальцев на кнопке», когда один или несколько человек могут фактически управлять армией дронов, не нуждаясь в сотрудничестве с другими людьми для выполнения приказов. По мере того, как системы ИИ становятся все более мощными, нам могут потребоваться более прямые и оперативные механизмы надзора, чтобы гарантировать, что они не будут использоваться не по назначению, возможно, с участием других ветвей власти, помимо исполнительной. Я думаю, что к полностью автономному оружию следует подходить с большой осторожностью (36), и не следует спешить с их использованием без надлежащих мер предосторожности.
(36). Чтобы было ясно, большая часть того, что сегодня используется в Украине и на Тайване, не является полностью автономным оружием. Такое оружие появится, но не сегодня.
В-четвертых, после того как мы провели жесткую линию в отношении злоупотреблений ИИ в демократических странах, мы должны использовать этот прецедент для создания международного табу на самые ужасные злоупотребления мощным ИИ. Я признаю, что нынешние политические ветры повернули против международного сотрудничества и международных норм, но в данном случае они нам крайне необходимы. Мир должен понять темный потенциал мощного ИИ в руках автократов и признать, что определенные способы использования ИИ представляют собой попытку навсегда лишить их свободы и установить тоталитарное государство, из которого они не смогут вырваться. Я бы даже утверждал, что в некоторых случаях крупномасштабная слежка с использованием мощного ИИ, массовая пропаганда с использованием мощного ИИ и определенные виды наступательного применения полностью автономного оружия должны рассматриваться как преступления против человечности. В более общем плане, крайне необходима надежная норма против тоталитаризма, основанного на ИИ, и всех его инструментов и средств.
Можно выдвинуть ещё более жёсткую версию этой позиции: поскольку возможности тоталитаризма, основанного на искусственном интеллекте, настолько мрачны, автократия просто не является той формой правления, которую люди могут принять в эпоху после появления мощного ИИ. Подобно тому, как феодализм стал нежизнеспособным после промышленной революции, эпоха ИИ неизбежно и логично может привести к выводу, что демократия (и, будем надеяться, демократия, улучшенная и возрождённая благодаря ИИ, как я обсуждаю в книге « Машины любящей благодати ») — единственная жизнеспособная форма правления, если человечество хочет иметь хорошее будущее.
В-пятых, и наконец, за компаниями, занимающимися искусственным интеллектом, следует внимательно следить, как и за их связями с правительством, которые необходимы, но должны иметь ограничения и рамки. Огромный потенциал, заложенный в мощном ИИ, таков, что обычное корпоративное управление, призванное защищать акционеров и предотвращать обычные злоупотребления, такие как мошенничество, вряд ли справится с задачей управления компаниями, занимающимися ИИ. Также может быть полезно, если компании публично заявят (возможно, даже в рамках корпоративного управления) о недопустимости определенных действий, таких как частное производство или накопление военной техники, использование больших объемов вычислительных ресурсов отдельными лицами без учета их эффективности или использование своих продуктов ИИ в качестве пропаганды для манипулирования общественным мнением в свою пользу.
Опасность здесь исходит со многих сторон, и некоторые из них противоречат друг другу. Единственная неизменная составляющая — это необходимость обеспечения подотчетности, норм и механизмов контроля для всех, даже если мы наделяем «хороших» участников возможностью сдерживать «плохих» участников.
(35). Чтобы было ясно, я считаю, что не продавать чипы Китаю — правильная стратегия, даже если сроки появления мощного ИИ значительно дольше. Мы не можем «пристрастить» китайцев к американским чипам — они полны решимости развивать свою собственную чиповую индустрию тем или иным способом. На это им потребуется много лет, и всё, что мы делаем, продавая им чипы, — это даём им мощный импульс в течение этого времени.
Во-вторых, использование ИИ для расширения возможностей демократических государств в противостоянии автократиям представляется логичным. Именно поэтому Anthropic считает важным предоставлять ИИ разведывательным и оборонным ведомствам США и их демократическим союзникам. Защита демократий, подвергающихся нападкам, таких как Украина и (посредством кибератак) Тайвань, представляется особенно приоритетной задачей, как и предоставление демократическим государствам возможности использовать свои разведывательные службы для подрыва и ослабления автократий изнутри. На каком-то уровне единственный способ противостоять угрозам со стороны автократий — это сравняться с ними по военной мощи и превзойти их. Коалиция США и их демократических союзников, если она достигнет превосходства в мощном ИИ, сможет не только защитить себя от автократий, но и сдерживать их и ограничивать их тоталитарные злоупотребления в области ИИ.
В-третьих, нам необходимо провести жесткую черту в отношении злоупотреблений ИИ в демократических странах. Необходимо установить ограничения на то, что мы позволяем нашим правительствам делать с ИИ, чтобы они не захватывали власть и не подавляли собственный народ. Я предложил формулировку, согласно которой мы должны использовать ИИ для национальной обороны во всех отношениях, кроме тех, которые сделают нас больше похожими на наших авторитарных противников .
Где следует провести черту? В списке в начале этого раздела два пункта — использование ИИ для внутреннего массового наблюдения и массовой пропаганды — кажутся мне слишком радикальными и совершенно нелегитимными. Некоторые могут утверждать, что в этом нет необходимости (по крайней мере, в США), поскольку внутреннее массовое наблюдение уже незаконно согласно Четвертой поправке. Но стремительное развитие ИИ может создать ситуации, с которыми наши существующие правовые рамки плохо справляются. Например, проведение правительством США масштабной записи всех публичных разговоров (например, того, что люди говорят друг другу на углу улицы) вряд ли будет неконституционным, и раньше было бы сложно разобраться в таком объеме информации, но с помощью ИИ все это можно расшифровать, интерпретировать и сопоставить, чтобы создать картину отношения и лояльности многих или большинства граждан. Я бы поддержал законодательство, направленное на защиту гражданских свобод (или, возможно, даже конституционную поправку), которое бы установило более строгие меры защиты от злоупотреблений, связанных с использованием ИИ.
Два других пункта — полностью автономное оружие и ИИ для принятия стратегических решений — сложнее определить, поскольку они имеют законное применение в защите демократии, но при этом подвержены злоупотреблениям. Здесь, я думаю, необходима крайняя осторожность и тщательный контроль в сочетании с мерами предосторожности для предотвращения злоупотреблений. Мой главный страх заключается в слишком малом количестве «пальцев на кнопке», когда один или несколько человек могут фактически управлять армией дронов, не нуждаясь в сотрудничестве с другими людьми для выполнения приказов. По мере того, как системы ИИ становятся все более мощными, нам могут потребоваться более прямые и оперативные механизмы надзора, чтобы гарантировать, что они не будут использоваться не по назначению, возможно, с участием других ветвей власти, помимо исполнительной. Я думаю, что к полностью автономному оружию следует подходить с большой осторожностью (36), и не следует спешить с их использованием без надлежащих мер предосторожности.
(36). Чтобы было ясно, большая часть того, что сегодня используется в Украине и на Тайване, не является полностью автономным оружием. Такое оружие появится, но не сегодня.
В-четвертых, после того как мы провели жесткую линию в отношении злоупотреблений ИИ в демократических странах, мы должны использовать этот прецедент для создания международного табу на самые ужасные злоупотребления мощным ИИ. Я признаю, что нынешние политические ветры повернули против международного сотрудничества и международных норм, но в данном случае они нам крайне необходимы. Мир должен понять темный потенциал мощного ИИ в руках автократов и признать, что определенные способы использования ИИ представляют собой попытку навсегда лишить их свободы и установить тоталитарное государство, из которого они не смогут вырваться. Я бы даже утверждал, что в некоторых случаях крупномасштабная слежка с использованием мощного ИИ, массовая пропаганда с использованием мощного ИИ и определенные виды наступательного применения полностью автономного оружия должны рассматриваться как преступления против человечности. В более общем плане, крайне необходима надежная норма против тоталитаризма, основанного на ИИ, и всех его инструментов и средств.
Можно выдвинуть ещё более жёсткую версию этой позиции: поскольку возможности тоталитаризма, основанного на искусственном интеллекте, настолько мрачны, автократия просто не является той формой правления, которую люди могут принять в эпоху после появления мощного ИИ. Подобно тому, как феодализм стал нежизнеспособным после промышленной революции, эпоха ИИ неизбежно и логично может привести к выводу, что демократия (и, будем надеяться, демократия, улучшенная и возрождённая благодаря ИИ, как я обсуждаю в книге « Машины любящей благодати ») — единственная жизнеспособная форма правления, если человечество хочет иметь хорошее будущее.
В-пятых, и наконец, за компаниями, занимающимися искусственным интеллектом, следует внимательно следить, как и за их связями с правительством, которые необходимы, но должны иметь ограничения и рамки. Огромный потенциал, заложенный в мощном ИИ, таков, что обычное корпоративное управление, призванное защищать акционеров и предотвращать обычные злоупотребления, такие как мошенничество, вряд ли справится с задачей управления компаниями, занимающимися ИИ. Также может быть полезно, если компании публично заявят (возможно, даже в рамках корпоративного управления) о недопустимости определенных действий, таких как частное производство или накопление военной техники, использование больших объемов вычислительных ресурсов отдельными лицами без учета их эффективности или использование своих продуктов ИИ в качестве пропаганды для манипулирования общественным мнением в свою пользу.
Опасность здесь исходит со многих сторон, и некоторые из них противоречат друг другу. Единственная неизменная составляющая — это необходимость обеспечения подотчетности, норм и механизмов контроля для всех, даже если мы наделяем «хороших» участников возможностью сдерживать «плохих» участников.
4. Пианино с механическим приводом
Экономические потрясения
Предыдущие три раздела были посвящены, по сути, рискам безопасности, создаваемым мощным ИИ: рискам, связанным с самим ИИ, рискам злоупотребления со стороны отдельных лиц и небольших организаций, а также рискам злоупотребления со стороны государств и крупных организаций. Если отбросить риски безопасности или предположить, что они решены, следующий вопрос — экономический. Каково будет влияние этого невероятного притока «человеческого» капитала на экономику? Очевидно, что наиболее явным эффектом станет значительное увеличение экономического роста. Темпы развития научных исследований, биомедицинских инноваций, производства, цепочек поставок, эффективности финансовой системы и многого другого почти гарантированно приведут к гораздо более быстрому темпу экономического роста. В книге «Машины любящей благодати» я предполагаю, что устойчивый ежегодный темп роста ВВП в 10–20% вполне возможен.
Но следует понимать, что это палка о двух концах: каковы экономические перспективы большинства людей в таком мире? Новые технологии часто вызывают потрясения на рынке труда, и в прошлом люди всегда восстанавливались после них, но меня беспокоит, что это происходит потому, что эти предыдущие потрясения затрагивали лишь небольшую часть всего возможного спектра человеческих способностей, оставляя место для расширения круга задач. Искусственный интеллект окажет гораздо более широкое и быстрое воздействие, и поэтому я опасаюсь, что добиться хороших результатов будет гораздо сложнее.
Но следует понимать, что это палка о двух концах: каковы экономические перспективы большинства людей в таком мире? Новые технологии часто вызывают потрясения на рынке труда, и в прошлом люди всегда восстанавливались после них, но меня беспокоит, что это происходит потому, что эти предыдущие потрясения затрагивали лишь небольшую часть всего возможного спектра человеческих способностей, оставляя место для расширения круга задач. Искусственный интеллект окажет гораздо более широкое и быстрое воздействие, и поэтому я опасаюсь, что добиться хороших результатов будет гораздо сложнее.
Нарушение рынка труда
Меня беспокоят две конкретные проблемы: вытеснение рабочих мест и концентрация экономической власти. Давайте начнем с первой. Об этой теме я публично предупреждал еще в 2025 году, предсказав, что ИИ может вытеснить половину всех низкоквалифицированных офисных рабочих мест в течение следующих 1–5 лет, даже несмотря на то, что он ускоряет экономический рост и научный прогресс. Это предупреждение вызвало публичную дискуссию по этому вопросу. Многие генеральные директора, технологи и экономисты согласились со мной, но другие предположили, что я попал в ловушку заблуждения о «массовом рынке труда» и не понимаю, как работают рынки труда, а некоторые не увидели временной промежуток в 1–5 лет и подумали, что я утверждаю, что ИИ вытесняет рабочие места прямо сейчас (с чем я согласен, что это, вероятно, не так). Поэтому стоит подробно рассмотреть, почему меня беспокоит вытеснение рабочих мест, чтобы развеять эти недоразумения.
Для начала полезно понять, как рынки труда обычно реагируют на технологические достижения. Когда появляется новая технология, она, как правило, повышает эффективность отдельных аспектов человеческой работы. Например, на заре промышленной революции машины, такие как усовершенствованные плуги, позволили фермерам более эффективно выполнять некоторые виды работ. Это повысило производительность труда фермеров, что, в свою очередь, увеличило их заработную плату.
На следующем этапе некоторые части сельскохозяйственной работы могли выполняться полностью машинами, например, с изобретением молотилки или сеялки. На этом этапе доля работы, выполняемой людьми, постепенно уменьшалась, но оставшаяся работа становилась все более эффективной, поскольку дополняла работу машин, и производительность труда продолжала расти. Как описывает парадокс Джевонса, заработная плата фермеров и, возможно, даже их число продолжали увеличиваться. Даже когда 90% работы выполняется машинами, люди могут просто выполнить в 10 раз больше из оставшихся 10%, производя в 10 раз больший объем продукции при том же объеме труда.
В конечном итоге машины делают всё или почти всё, как, например, современные комбайны , тракторы и другое оборудование. На этом этапе сельское хозяйство как форма человеческой занятости действительно резко приходит в упадок, и это потенциально может вызвать серьёзные сбои в краткосрочной перспективе, но поскольку сельское хозяйство — лишь одна из многих полезных видов деятельности, которыми могут заниматься люди, люди в конечном итоге переключаются на другие виды работы, такие как работа на заводских станках. Это верно, даже несмотря на то, что сельское хозяйство и раньше составляло огромную долю занятости. 250 лет назад 90% американцев жили на фермах; в Европе 50–60% занятости приходилось на сельское хозяйство. Сейчас эти показатели составляют низкие однозначные цифры, потому что рабочие перешли на промышленные рабочие места (а позже — на интеллектуальные). Экономика может делать то, что раньше требовало большей части рабочей силы, используя всего 1–2% её, освобождая остальную рабочую силу для построения всё более развитого индустриального общества. Нет фиксированного «объема рабочей силы», есть лишь постоянно расширяющаяся возможность делать всё больше и больше с всё меньшими ресурсами . Заработная плата населения растет в соответствии с экспоненциальным ростом ВВП, и после того, как краткосрочные потрясения минуют, экономика сохраняет полную занятость.
Вполне возможно, что с ИИ всё будет примерно так же, но я бы поставил на это с большой долей вероятности. Вот несколько причин, по которым, на мой взгляд, с ИИ всё будет иначе:
Для начала полезно понять, как рынки труда обычно реагируют на технологические достижения. Когда появляется новая технология, она, как правило, повышает эффективность отдельных аспектов человеческой работы. Например, на заре промышленной революции машины, такие как усовершенствованные плуги, позволили фермерам более эффективно выполнять некоторые виды работ. Это повысило производительность труда фермеров, что, в свою очередь, увеличило их заработную плату.
На следующем этапе некоторые части сельскохозяйственной работы могли выполняться полностью машинами, например, с изобретением молотилки или сеялки. На этом этапе доля работы, выполняемой людьми, постепенно уменьшалась, но оставшаяся работа становилась все более эффективной, поскольку дополняла работу машин, и производительность труда продолжала расти. Как описывает парадокс Джевонса, заработная плата фермеров и, возможно, даже их число продолжали увеличиваться. Даже когда 90% работы выполняется машинами, люди могут просто выполнить в 10 раз больше из оставшихся 10%, производя в 10 раз больший объем продукции при том же объеме труда.
В конечном итоге машины делают всё или почти всё, как, например, современные комбайны , тракторы и другое оборудование. На этом этапе сельское хозяйство как форма человеческой занятости действительно резко приходит в упадок, и это потенциально может вызвать серьёзные сбои в краткосрочной перспективе, но поскольку сельское хозяйство — лишь одна из многих полезных видов деятельности, которыми могут заниматься люди, люди в конечном итоге переключаются на другие виды работы, такие как работа на заводских станках. Это верно, даже несмотря на то, что сельское хозяйство и раньше составляло огромную долю занятости. 250 лет назад 90% американцев жили на фермах; в Европе 50–60% занятости приходилось на сельское хозяйство. Сейчас эти показатели составляют низкие однозначные цифры, потому что рабочие перешли на промышленные рабочие места (а позже — на интеллектуальные). Экономика может делать то, что раньше требовало большей части рабочей силы, используя всего 1–2% её, освобождая остальную рабочую силу для построения всё более развитого индустриального общества. Нет фиксированного «объема рабочей силы», есть лишь постоянно расширяющаяся возможность делать всё больше и больше с всё меньшими ресурсами . Заработная плата населения растет в соответствии с экспоненциальным ростом ВВП, и после того, как краткосрочные потрясения минуют, экономика сохраняет полную занятость.
Вполне возможно, что с ИИ всё будет примерно так же, но я бы поставил на это с большой долей вероятности. Вот несколько причин, по которым, на мой взгляд, с ИИ всё будет иначе:
- Скорость. Темпы прогресса в области ИИ намного выше, чем во время предыдущих технологических революций. Например, за последние 2 года модели ИИ прошли путь от едва способных выполнить одну строчку кода до написания всего или почти всего кода за некоторых людей, включая инженеров в Anthropic (37). Вскоре они смогут выполнять всю работу программиста от начала до конца (38). Людям трудно адаптироваться к такому темпу изменений, как к изменениям в организации работы, так и к необходимости перехода на новые должности. Даже легендарные программисты все чаще называют себя «отстающими». Темпы, скорее всего, будут только ускоряться, поскольку модели кодирования ИИ все больше ускоряют процесс разработки искусственного интеллекта. Следует уточнить, что сама по себе скорость не означает, что рынки труда и занятость в конечном итоге не восстановятся, она лишь подразумевает, что краткосрочный переход будет необычайно болезненным по сравнению с прошлыми технологиями, поскольку люди и рынки труда медленно реагируют и адаптируются.
(37). Наша модель Claude Opus 4.5, наша последняя версия, показывает, что Opus демонстрирует лучшие результаты на собеседовании по оптимизации производительности, которое часто проводится в Anthropic, чем любой другой кандидат за всю историю компании.
(38). «Написание всего кода» и «выполнение всех задач инженера-программиста от начала до конца» — это совершенно разные вещи, поскольку инженеры-программисты делают гораздо больше, чем просто пишут код, включая тестирование, работу с окружениями, файлами и установкой, управление развертыванием облачных вычислительных ресурсов, итеративное совершенствование продуктов и многое другое.
(38). «Написание всего кода» и «выполнение всех задач инженера-программиста от начала до конца» — это совершенно разные вещи, поскольку инженеры-программисты делают гораздо больше, чем просто пишут код, включая тестирование, работу с окружениями, файлами и установкой, управление развертыванием облачных вычислительных ресурсов, итеративное совершенствование продуктов и многое другое.
- Когнитивная широта. Как показывает выражение «страна гениев в центре обработки данных», ИИ будет способен на очень широкий спектр человеческих когнитивных способностей — возможно, на все из них. Это сильно отличается от предыдущих технологий, таких как механизированное сельское хозяйство, транспорт или даже компьютеры (39). Это затруднит людям переход с вытесняемых рабочих мест на аналогичные, которые им больше подходят. Например, общие интеллектуальные способности, необходимые для работы начального уровня, скажем, в сфере финансов, консалтинга и юриспруденции, довольно схожи, даже если конкретные знания существенно различаются. Технология, которая вытеснит только одну из этих трех, позволит сотрудникам перейти на две другие близкие альтернативы (или студентам сменить специальность). Но вытеснение всех трех одновременно (наряду со многими другими аналогичными рабочими местами) может затруднить адаптацию людей. Более того, дело не только в том, что большинство существующих рабочих мест будут вытеснены. Это уже случалось раньше — вспомните, что сельское хозяйство составляло огромную долю занятости. Но фермеры могли перейти на относительно схожую работу по управлению заводскими машинами, хотя эта работа раньше не была распространена. Напротив, ИИ все больше соответствует общему когнитивному профилю человека, а это значит, что он также будет хорошо справляться с новыми рабочими местами, которые обычно создаются в ответ на автоматизацию старых. Иными словами, ИИ не заменяет конкретные виды человеческой работы, а скорее является заменой труду людей в целом.
(39). Компьютеры в некотором смысле универсальны, но сами по себе явно не способны на подавляющее большинство человеческих когнитивных способностей, даже несмотря на то, что в некоторых областях (например, в арифметике) они значительно превосходят человека. Конечно, системы, построенные на базе компьютеров, такие как ИИ, теперь способны на широкий спектр когнитивных способностей, чему и посвящено это эссе.
- Разделение по когнитивным способностям. В широком спектре задач ИИ, похоже, продвигается от самых низов лестницы способностей к самым верхам. Например, в программировании наши модели перешли от уровня «посредственного программиста» к уровню «сильного программиста», а затем к уровню «очень сильного программиста» (40). Сейчас мы начинаем наблюдать аналогичную тенденцию в сфере офисной работы в целом. Таким образом, мы рискуем столкнуться с ситуацией, когда вместо того, чтобы влиять на людей с определенными навыками или в определенных профессиях (которые могут адаптироваться путем переобучения), ИИ влияет на людей с определенными внутренними когнитивными свойствами, а именно с более низкими интеллектуальными способностями (которые сложнее изменить). Неясно, куда эти люди пойдут и чем будут заниматься, и меня беспокоит, что они могут сформировать безработный или низкооплачиваемый «низший класс». Следует уточнить, что подобные ситуации уже происходили раньше — например, некоторые экономисты считают, что компьютеры и интернет представляют собой «технологические изменения, ориентированные на навыки». Но эта ориентация на навыки была не столь экстремальной, как я ожидаю увидеть в случае с ИИ, и считается, что она способствовала увеличению неравенства в оплате труда (41). Поэтому это не совсем обнадеживающий прецедент.
(40). Следует уточнить, что модели ИИ не обладают точно таким же набором сильных и слабых сторон, как люди. Но они также развиваются довольно равномерно по всем параметрам, так что наличие резкого или неравномерного профиля в конечном итоге может не иметь значения.
(41). Хотя среди экономистов по этому поводу ведутся споры.
(41). Хотя среди экономистов по этому поводу ведутся споры.
- Способность заполнять пробелы. В условиях внедрения новых технологий человеческая работа часто адаптируется к новым условиям, и новые технологии, даже если они кажутся прямой заменой людей, часто имеют в себе недостатки. Если кто-то изобретает машину для производства деталей, людям все равно, возможно, придется загружать в нее сырье. Даже если это требует всего 1% усилий по сравнению с ручным изготовлением деталей, работники могут просто производить в 100 раз больше деталей. Но ИИ, помимо того, что является быстро развивающейся технологией, также является быстро адаптирующейся. При каждом выпуске модели компании, занимающиеся ИИ, тщательно оценивают, в чем модель хороша, а в чем нет, и клиенты также предоставляют такую информацию после запуска. Слабые стороны можно устранить, собрав задачи, которые отражают текущий пробел, и обучив на них следующую модель. На ранних этапах развития генеративного ИИ пользователи заметили, что системы ИИ имеют определенные недостатки (например, модели изображений ИИ генерируют руки с неправильным количеством пальцев), и многие предположили, что эти недостатки присущи самой технологии. Если бы это было так, это ограничило бы сокращение рабочих мест. Но практически все подобные недостатки устраняются быстро — зачастую всего за несколько месяцев.
Стоит затронуть распространенные моменты скептицизма. Во-первых, существует аргумент о том, что экономическое распространение будет медленным, так что даже если базовая технология способна выполнять большую часть человеческой работы, ее фактическое применение в экономике может быть гораздо медленнее (например, в отраслях, далеких от индустрии ИИ и медленно внедряющих его). Медленное распространение технологий, безусловно, реально — я общаюсь с людьми из самых разных предприятий, и есть места, где внедрение ИИ займет годы. Именно поэтому мой прогноз о том, что 50% рабочих мест для начинающих специалистов будут вытеснены, составляет 1–5 лет, хотя я подозреваю, что мощный ИИ (который, с технологической точки зрения, будет достаточен для выполнения большинства или всех работ, а не только начального уровня) появится гораздо раньше, чем через 5 лет. Но эффекты распространения лишь дают нам время. И я не уверен, что они будут такими медленными, как предсказывают люди. Внедрение ИИ в предприятиях растет гораздо быстрее, чем любая предыдущая технология, в основном за счет чистой силы самой технологии. Кроме того, даже если традиционные предприятия медленно внедряют новые технологии, стартапы будут появляться, выступая в роли «связующего звена» и упрощая процесс внедрения. Если это не сработает, стартапы могут просто напрямую подорвать позиции действующих игроков.
Это может привести к миру, где проблема заключается не столько в сокращении конкретных рабочих мест, сколько в общем разрушении крупных предприятий и замене их гораздо менее трудоемкими стартапами. Это также может привести к миру «географического неравенства», где все большая часть мирового богатства сосредоточена в Силиконовой долине, которая становится собственной экономикой, развивающейся с иной скоростью, чем остальной мир, и оставляющей ее позади. Все эти последствия были бы благоприятны для экономического роста, но не очень хороши для рынка труда или тех, кто остался позади.
Во-вторых, некоторые говорят, что рабочие места для людей переместятся в физический мир, что исключает целую категорию «когнитивного труда», где ИИ развивается так быстро. Я тоже не уверен, насколько это безопасно. Большая часть физического труда уже выполняется машинами (например, в производстве) или скоро будет выполняться машинами (например, вождение). Кроме того, достаточно мощный ИИ сможет ускорить разработку роботов, а затем управлять ими в физическом мире. Это может дать некоторое время (что хорошо), но я опасаюсь, что это не принесет больших результатов. И даже если бы изменения ограничились только когнитивными задачами, это все равно было бы беспрецедентно масштабным и быстрым процессом.
В-третьих, возможно, некоторые задачи по своей сути требуют человеческого участия или значительно выигрывают от него. В этом вопросе я немного сомневаюсь, но все же скептически отношусь к тому, что этого будет достаточно, чтобы компенсировать большую часть описанных выше негативных последствий. Искусственный интеллект уже широко используется в сфере обслуживания клиентов. Многие люди сообщают, что им проще говорить с ИИ о своих личных проблемах, чем с психотерапевтом — что ИИ более терпелив. Когда моя сестра боролась с медицинскими проблемами во время беременности, она чувствовала, что не получает необходимых ответов или поддержки от своих врачей, и обнаружила, что у Claude лучше лад с пациентами (а также он лучше диагностирует проблему). Я уверена, что есть задачи, для которых человеческий фактор действительно важен, но я не уверена, сколько их — и здесь мы говорим о поиске работы почти для всех на рынке труда.
В-четвертых, некоторые могут утверждать, что сравнительное преимущество все равно защитит людей. Согласно закону сравнительного преимущества, даже если ИИ превосходит людей во всем, любые относительные различия в навыках человека и ИИ создают основу для торговли и специализации между людьми и ИИ. Проблема в том, что если ИИ буквально в тысячи раз продуктивнее людей, эта логика начинает рушиться. Даже незначительные транзакционные издержки могут сделать торговлю с людьми невыгодной для ИИ. А заработная плата людей может быть очень низкой, даже если технически они могут что-то предложить.
Вполне возможно, что все эти факторы можно учесть — что рынок труда достаточно устойчив, чтобы адаптироваться даже к таким масштабным потрясениям. Но даже если в конечном итоге он сможет адаптироваться, вышеупомянутые факторы указывают на то, что краткосрочный шок будет беспрецедентным по своим масштабам.
Защитные сооружения
Что мы можем сделать с этой проблемой? У меня есть несколько предложений, некоторые из которых Anthropic уже реализует. Первое — это просто получить точные данные о том, что происходит с сокращением рабочих мест в режиме реального времени. Когда экономические изменения происходят очень быстро, трудно получить надежные данные о происходящем, а без надежных данных трудно разработать эффективную политику. Например, в государственных данных в настоящее время отсутствуют детализированные, высокочастотные данные о внедрении ИИ в компаниях и отраслях. В течение последнего года Anthropic разрабатывает и публикует Экономический индекс, который показывает использование наших моделей практически в режиме реального времени, с разбивкой по отраслям, задачам, местоположению и даже таким параметрам, как автоматизация задачи или ее выполнение в сотрудничестве. У нас также есть Экономический консультативный совет , который помогает нам интерпретировать эти данные и предвидеть будущие тенденции.
Во-вторых, у компаний, занимающихся ИИ, есть выбор в том, как они будут работать с предприятиями. Неэффективность традиционных предприятий означает, что внедрение ИИ может сильно зависеть от выбранного пути, и есть возможность выбрать более оптимальный вариант. Предприятия часто стоят перед выбором между «экономией затрат» (выполнением той же работы меньшим количеством людей) и «инновациями» (выполнением большего объема работы тем же количеством людей). Рынок неизбежно будет производить и то, и другое, и любая конкурентоспособная компания, занимающаяся ИИ, должна будет удовлетворять и то, и другое, но, возможно, есть возможность направлять компании к инновациям, когда это возможно, и это может дать нам некоторое время. Компания Anthropic активно об этом думает.
В-третьих, компаниям следует подумать о том, как позаботиться о своих сотрудниках. В краткосрочной перспективе креативный подход к перераспределению сотрудников внутри компаний может стать многообещающим способом избежать необходимости увольнений. В долгосрочной перспективе, в мире с огромным совокупным богатством, где многие компании значительно увеличивают свою стоимость благодаря повышению производительности и концентрации капитала, может оказаться целесообразным платить сотрудникам даже после того, как они перестанут приносить экономическую выгоду в традиционном смысле. В настоящее время Anthropic рассматривает ряд возможных вариантов для своих собственных сотрудников, о которых мы расскажем в ближайшем будущем.
В-четвертых, состоятельные люди обязаны помочь решить эту проблему. Мне грустно, что многие состоятельные люди (особенно в технологической индустрии) в последнее время заняли циничную и нигилистическую позицию, считая благотворительность неизбежно мошеннической или бесполезной. Как частная благотворительность, например, Фонд Гейтса, так и государственные программы, такие как PEPFAR, спасли десятки миллионов жизней в развивающихся странах и помогли создать экономические возможности в развитых странах. Все соучредители Anthropic пообещали пожертвовать 80% нашего состояния, а сотрудники Anthropic индивидуально пообещали пожертвовать акции компании на миллиарды долларов по текущим ценам — пожертвования, которые компания обязалась удвоить.
В-пятых, хотя все вышеперечисленные частные действия могут быть полезны, в конечном итоге такая масштабная макроэкономическая проблема потребует государственного вмешательства. Естественным политическим ответом на огромный экономический пирог в сочетании с высоким уровнем неравенства (из-за нехватки рабочих мест или низкооплачиваемой работы для многих) является прогрессивное налогообложение. Налог может быть общим или направленным против компаний, занимающихся искусственным интеллектом. Очевидно, что разработка налоговой политики — сложный процесс, и существует множество способов, как он может пойти не так. Я не поддерживаю плохо разработанную налоговую политику. Я считаю, что крайне высокий уровень неравенства, предсказанный в этом эссе, оправдывает более жесткую налоговую политику по основным моральным соображениям, но я также могу привести прагматический аргумент в пользу того, что в их интересах поддержать хорошую версию: если они не поддержат хорошую версию, они неизбежно получат плохую версию, разработанную толпой.
В конечном итоге, я рассматриваю все вышеперечисленные меры как способы выиграть время. В конце концов, ИИ сможет делать всё, и нам нужно будет с этим смириться. Я надеюсь, что к тому времени мы сможем использовать сам ИИ, чтобы помочь нам реструктурировать рынки таким образом, чтобы это работало на благо всех, и что вышеупомянутые меры помогут нам пережить переходный период.
Во-вторых, у компаний, занимающихся ИИ, есть выбор в том, как они будут работать с предприятиями. Неэффективность традиционных предприятий означает, что внедрение ИИ может сильно зависеть от выбранного пути, и есть возможность выбрать более оптимальный вариант. Предприятия часто стоят перед выбором между «экономией затрат» (выполнением той же работы меньшим количеством людей) и «инновациями» (выполнением большего объема работы тем же количеством людей). Рынок неизбежно будет производить и то, и другое, и любая конкурентоспособная компания, занимающаяся ИИ, должна будет удовлетворять и то, и другое, но, возможно, есть возможность направлять компании к инновациям, когда это возможно, и это может дать нам некоторое время. Компания Anthropic активно об этом думает.
В-третьих, компаниям следует подумать о том, как позаботиться о своих сотрудниках. В краткосрочной перспективе креативный подход к перераспределению сотрудников внутри компаний может стать многообещающим способом избежать необходимости увольнений. В долгосрочной перспективе, в мире с огромным совокупным богатством, где многие компании значительно увеличивают свою стоимость благодаря повышению производительности и концентрации капитала, может оказаться целесообразным платить сотрудникам даже после того, как они перестанут приносить экономическую выгоду в традиционном смысле. В настоящее время Anthropic рассматривает ряд возможных вариантов для своих собственных сотрудников, о которых мы расскажем в ближайшем будущем.
В-четвертых, состоятельные люди обязаны помочь решить эту проблему. Мне грустно, что многие состоятельные люди (особенно в технологической индустрии) в последнее время заняли циничную и нигилистическую позицию, считая благотворительность неизбежно мошеннической или бесполезной. Как частная благотворительность, например, Фонд Гейтса, так и государственные программы, такие как PEPFAR, спасли десятки миллионов жизней в развивающихся странах и помогли создать экономические возможности в развитых странах. Все соучредители Anthropic пообещали пожертвовать 80% нашего состояния, а сотрудники Anthropic индивидуально пообещали пожертвовать акции компании на миллиарды долларов по текущим ценам — пожертвования, которые компания обязалась удвоить.
В-пятых, хотя все вышеперечисленные частные действия могут быть полезны, в конечном итоге такая масштабная макроэкономическая проблема потребует государственного вмешательства. Естественным политическим ответом на огромный экономический пирог в сочетании с высоким уровнем неравенства (из-за нехватки рабочих мест или низкооплачиваемой работы для многих) является прогрессивное налогообложение. Налог может быть общим или направленным против компаний, занимающихся искусственным интеллектом. Очевидно, что разработка налоговой политики — сложный процесс, и существует множество способов, как он может пойти не так. Я не поддерживаю плохо разработанную налоговую политику. Я считаю, что крайне высокий уровень неравенства, предсказанный в этом эссе, оправдывает более жесткую налоговую политику по основным моральным соображениям, но я также могу привести прагматический аргумент в пользу того, что в их интересах поддержать хорошую версию: если они не поддержат хорошую версию, они неизбежно получат плохую версию, разработанную толпой.
В конечном итоге, я рассматриваю все вышеперечисленные меры как способы выиграть время. В конце концов, ИИ сможет делать всё, и нам нужно будет с этим смириться. Я надеюсь, что к тому времени мы сможем использовать сам ИИ, чтобы помочь нам реструктурировать рынки таким образом, чтобы это работало на благо всех, и что вышеупомянутые меры помогут нам пережить переходный период.
Экономическая концентрация власти
Отдельно от проблемы вытеснения рабочих мест или экономического неравенства как такового существует проблема экономической концентрации власти. В разделе 1 обсуждался риск того, что человечество будет лишено власти из-за ИИ, а в разделе 3 — риск того, что граждане будут лишены власти своими правительствами силой или принуждением. Но другой вид лишения власти может произойти, если существует такая огромная концентрация богатства, что небольшая группа людей фактически контролирует государственную политику своим влиянием, а обычные граждане не имеют никакого влияния, поскольку им не хватает экономических рычагов. Демократия в конечном итоге подкрепляется идеей о том, что население в целом необходимо для функционирования экономики. Если эти экономические рычаги исчезнут, то неявный общественный договор демократии может перестать работать. Об этом писали и другие , поэтому мне нет необходимости подробно останавливаться на этом здесь, но я согласен с этими опасениями и боюсь, что это уже начинает происходить.
Чтобы было ясно, я не против того, чтобы люди зарабатывали много денег. Есть веские аргументы в пользу того, что это стимулирует экономический рост в нормальных условиях. Я понимаю опасения по поводу препятствования инновациям путем уничтожения курицы, несущей золотые яйца, которая их производит. Но в сценарии, когда рост ВВП составляет 10-20% в год, а искусственный интеллект быстро захватывает экономику, и при этом отдельные лица владеют значительной долей ВВП, инновации — это не то, о чем стоит беспокоиться. Следует беспокоиться о таком уровне концентрации богатства, который разрушит общество.
Самым известным примером крайней концентрации богатства в истории США является «позолоченный век», а самым богатым промышленником этого периода был Джон Д. Рокфеллер . Состояние Рокфеллера составляло примерно 2% ВВП США на тот момент (42). Аналогичная доля сегодня привела бы к состоянию в 600 миллиардов долларов, а самый богатый человек в мире сегодня (Илон Маск) уже превышает эту сумму, имея примерно 700 миллиардов долларов. Таким образом, мы уже достигли беспрецедентного в истории уровня концентрации богатства, даже до того, как большая часть экономического влияния ИИ проявилась в полной мере. Я думаю, не будет слишком большим преувеличением (если мы получим «страну гениев») представить себе компании, занимающиеся ИИ, полупроводниковыми компаниями и, возможно, компаниями, занимающимися разработкой приложений, которые будут генерировать около 3 триллионов долларов дохода в год (43), оцениваемая примерно в 30 триллионов долларов, она приводит к личным состояниям, исчисляющимся триллионами. В таком мире дискуссии о налоговой политике, которые мы ведем сегодня, просто не будут актуальны, поскольку мы окажемся в принципиально иной ситуации.
(42). Личное богатство — это «запас», а ВВП — «поток», поэтому это не утверждение о том, что Рокфеллеру принадлежало 2% экономической стоимости Соединенных Штатов. Но измерить общее богатство страны сложнее, чем ВВП, а индивидуальные доходы людей сильно меняются из года в год, поэтому трудно составить соотношение в тех же единицах. Соотношение наибольшего личного состояния к ВВП, хотя и не является сопоставимым показателем, тем не менее, является вполне разумным критерием для оценки крайней концентрации богатства.
(43). Общая стоимость труда в экономике составляет 60 триллионов долларов в год, поэтому 3 триллиона долларов в год соответствуют 5% от этой суммы. Такую сумму могла бы заработать компания, предоставляющая рабочую силу по цене, составляющей 20% от стоимости труда человека, и занимающая 25% рынка, даже если бы спрос на рабочую силу не увеличился (что почти наверняка произошло бы из-за более низкой стоимости).
В связи с этим меня уже беспокоит сочетание этой экономической концентрации богатства с политической системой. Центры обработки данных для ИИ уже составляют значительную долю экономического роста США (44). Таким образом, финансовые интересы крупных технологических компаний (которые все больше сосредотачиваются либо на ИИ, либо на инфраструктуре ИИ) тесно связаны с политическими интересами правительства, что может привести к нежелательным стимулам. Мы уже видим это на примере нежелания технологических компаний критиковать правительство США и поддержки правительством крайне жестких антирегуляторных мер в отношении ИИ.
(44). Чтобы было ясно, я не думаю, что реальная производительность ИИ уже сейчас отвечает за существенную долю экономического роста США. Скорее, я считаю, что расходы на центры обработки данных представляют собой рост, вызванный опережающими инвестициями, то есть рынком, ожидающим будущего экономического роста, обусловленного ИИ, и инвестирующим соответствующим образом.
Чтобы было ясно, я не против того, чтобы люди зарабатывали много денег. Есть веские аргументы в пользу того, что это стимулирует экономический рост в нормальных условиях. Я понимаю опасения по поводу препятствования инновациям путем уничтожения курицы, несущей золотые яйца, которая их производит. Но в сценарии, когда рост ВВП составляет 10-20% в год, а искусственный интеллект быстро захватывает экономику, и при этом отдельные лица владеют значительной долей ВВП, инновации — это не то, о чем стоит беспокоиться. Следует беспокоиться о таком уровне концентрации богатства, который разрушит общество.
Самым известным примером крайней концентрации богатства в истории США является «позолоченный век», а самым богатым промышленником этого периода был Джон Д. Рокфеллер . Состояние Рокфеллера составляло примерно 2% ВВП США на тот момент (42). Аналогичная доля сегодня привела бы к состоянию в 600 миллиардов долларов, а самый богатый человек в мире сегодня (Илон Маск) уже превышает эту сумму, имея примерно 700 миллиардов долларов. Таким образом, мы уже достигли беспрецедентного в истории уровня концентрации богатства, даже до того, как большая часть экономического влияния ИИ проявилась в полной мере. Я думаю, не будет слишком большим преувеличением (если мы получим «страну гениев») представить себе компании, занимающиеся ИИ, полупроводниковыми компаниями и, возможно, компаниями, занимающимися разработкой приложений, которые будут генерировать около 3 триллионов долларов дохода в год (43), оцениваемая примерно в 30 триллионов долларов, она приводит к личным состояниям, исчисляющимся триллионами. В таком мире дискуссии о налоговой политике, которые мы ведем сегодня, просто не будут актуальны, поскольку мы окажемся в принципиально иной ситуации.
(42). Личное богатство — это «запас», а ВВП — «поток», поэтому это не утверждение о том, что Рокфеллеру принадлежало 2% экономической стоимости Соединенных Штатов. Но измерить общее богатство страны сложнее, чем ВВП, а индивидуальные доходы людей сильно меняются из года в год, поэтому трудно составить соотношение в тех же единицах. Соотношение наибольшего личного состояния к ВВП, хотя и не является сопоставимым показателем, тем не менее, является вполне разумным критерием для оценки крайней концентрации богатства.
(43). Общая стоимость труда в экономике составляет 60 триллионов долларов в год, поэтому 3 триллиона долларов в год соответствуют 5% от этой суммы. Такую сумму могла бы заработать компания, предоставляющая рабочую силу по цене, составляющей 20% от стоимости труда человека, и занимающая 25% рынка, даже если бы спрос на рабочую силу не увеличился (что почти наверняка произошло бы из-за более низкой стоимости).
В связи с этим меня уже беспокоит сочетание этой экономической концентрации богатства с политической системой. Центры обработки данных для ИИ уже составляют значительную долю экономического роста США (44). Таким образом, финансовые интересы крупных технологических компаний (которые все больше сосредотачиваются либо на ИИ, либо на инфраструктуре ИИ) тесно связаны с политическими интересами правительства, что может привести к нежелательным стимулам. Мы уже видим это на примере нежелания технологических компаний критиковать правительство США и поддержки правительством крайне жестких антирегуляторных мер в отношении ИИ.
(44). Чтобы было ясно, я не думаю, что реальная производительность ИИ уже сейчас отвечает за существенную долю экономического роста США. Скорее, я считаю, что расходы на центры обработки данных представляют собой рост, вызванный опережающими инвестициями, то есть рынком, ожидающим будущего экономического роста, обусловленного ИИ, и инвестирующим соответствующим образом.
Защитные сооружения
Что можно с этим сделать? Во-первых, и это наиболее очевидно, компаниям следует просто отказаться от участия в этом. Anthropic всегда стремилась быть политическим деятелем, а не политиком, и сохранять свои подлинные взгляды независимо от администрации. Мы выступали за разумное регулирование ИИ и экспортный контроль, отвечающие общественным интересам, даже когда они противоречат государственной политике (45). Многие говорили мне, что нам следует прекратить это делать, что это может привести к неблагоприятному отношению, но за год, что мы этим занимаемся, оценка стоимости Anthropic выросла более чем в 6 раз, что является почти беспрецедентным скачком для нашего коммерческого масштаба.
(45). Когда мы соглашаемся с администрацией, мы об этом заявляем и ищем точки соприкосновения, где взаимоподдерживаемая политика действительно полезна для мира. Мы стремимся быть честными посредниками, а не сторонниками или противниками какой-либо политической партии.
Во-вторых, индустрии ИИ необходимы более здоровые отношения с правительством — отношения, основанные на содержательном взаимодействии в сфере политики, а не на политической принадлежности. Наш выбор вступать в диалог на уровне политики, а не политики, иногда воспринимается как тактическая ошибка или неспособность «оценить ситуацию», а не как принципиальное решение, и такая трактовка меня беспокоит. В здоровой демократии компании должны иметь возможность отстаивать хорошую политику ради самой политики. В связи с этим назревает общественное недовольство ИИ: это могло бы стать корректирующим фактором, но в настоящее время оно не сфокусировано. Большая часть его направлена на проблемы, которые на самом деле не являются проблемами (например, использование воды в центрах обработки данных), и предлагает решения (например, запреты на центры обработки данных или плохо разработанные налоги на богатство), которые не решат реальные проблемы. Основная проблема, заслуживающая внимания, заключается в обеспечении того, чтобы разработка ИИ оставалась подотчетной общественным интересам, а не была захвачена каким-либо конкретным политическим или коммерческим альянсом, и представляется важным сосредоточить общественное обсуждение именно на этом.
В-третьих, описанные мною ранее в этом разделе макроэкономические меры, а также возрождение частной филантропии, могут помочь уравновесить экономические весы, одновременно решая проблемы потери рабочих мест и концентрации экономической власти. Здесь нам следует обратиться к истории нашей страны: даже в «позолоченном веке» такие промышленники, как Рокфеллер и Карнеги, чувствовали сильную ответственность перед обществом в целом, ощущение того, что общество внесло огромный вклад в их успех, и им нужно было отплатить ему тем же. Сегодня этот дух, кажется, все больше исчезает, и я думаю, что это один из главных путей выхода из этой экономической дилеммы. Те, кто находится на передовой экономического бума в сфере искусственного интеллекта, должны быть готовы отдать как свое богатство, так и свою власть.
(45). Когда мы соглашаемся с администрацией, мы об этом заявляем и ищем точки соприкосновения, где взаимоподдерживаемая политика действительно полезна для мира. Мы стремимся быть честными посредниками, а не сторонниками или противниками какой-либо политической партии.
Во-вторых, индустрии ИИ необходимы более здоровые отношения с правительством — отношения, основанные на содержательном взаимодействии в сфере политики, а не на политической принадлежности. Наш выбор вступать в диалог на уровне политики, а не политики, иногда воспринимается как тактическая ошибка или неспособность «оценить ситуацию», а не как принципиальное решение, и такая трактовка меня беспокоит. В здоровой демократии компании должны иметь возможность отстаивать хорошую политику ради самой политики. В связи с этим назревает общественное недовольство ИИ: это могло бы стать корректирующим фактором, но в настоящее время оно не сфокусировано. Большая часть его направлена на проблемы, которые на самом деле не являются проблемами (например, использование воды в центрах обработки данных), и предлагает решения (например, запреты на центры обработки данных или плохо разработанные налоги на богатство), которые не решат реальные проблемы. Основная проблема, заслуживающая внимания, заключается в обеспечении того, чтобы разработка ИИ оставалась подотчетной общественным интересам, а не была захвачена каким-либо конкретным политическим или коммерческим альянсом, и представляется важным сосредоточить общественное обсуждение именно на этом.
В-третьих, описанные мною ранее в этом разделе макроэкономические меры, а также возрождение частной филантропии, могут помочь уравновесить экономические весы, одновременно решая проблемы потери рабочих мест и концентрации экономической власти. Здесь нам следует обратиться к истории нашей страны: даже в «позолоченном веке» такие промышленники, как Рокфеллер и Карнеги, чувствовали сильную ответственность перед обществом в целом, ощущение того, что общество внесло огромный вклад в их успех, и им нужно было отплатить ему тем же. Сегодня этот дух, кажется, все больше исчезает, и я думаю, что это один из главных путей выхода из этой экономической дилеммы. Те, кто находится на передовой экономического бума в сфере искусственного интеллекта, должны быть готовы отдать как свое богатство, так и свою власть.
5. Чёрные моря бесконечности
Косвенные эффекты
Этот последний раздел охватывает все неизвестные факторы, в частности, то, что может пойти не так в результате позитивных достижений в области ИИ и, как следствие, ускорения развития науки и техники в целом. Предположим, мы решим все описанные выше риски и начнем пожинать плоды ИИ. Вероятно, мы получим «вековой прогресс в науке и экономике, сжатый в десятилетие», и это будет чрезвычайно позитивно для мира, но затем нам придется столкнуться с проблемами, возникающими в результате такого быстрого темпа прогресса, и эти проблемы могут возникнуть очень быстро. Мы также можем столкнуться с другими рисками, которые возникают косвенно в результате прогресса ИИ и которые трудно предвидеть заранее.
В силу того, что существует множество неизвестных факторов, составить исчерпывающий список невозможно, но я приведу три возможных примера того, на что нам следует обратить внимание:
В силу того, что существует множество неизвестных факторов, составить исчерпывающий список невозможно, но я приведу три возможных примера того, на что нам следует обратить внимание:
- Стремительный прогресс в биологии. Если за несколько лет мы достигнем столетнего прогресса в медицине, возможно, мы значительно увеличим продолжительность жизни человека, а также получим радикальные возможности, такие как повышение человеческого интеллекта или радикальная модификация человеческой биологии. Это будут большие перемены в том, что возможно, происходящие очень быстро. Они могут быть позитивными, если будут осуществлены ответственно (на что я надеюсь, как описано в книге «Машины любящей благодати»), но всегда существует риск того, что они пойдут очень плохо — например, если попытки сделать людей умнее также сделают их более нестабильными или властолюбивыми. Существует также проблема «загрузки» или «эмуляции всего мозга», цифровых человеческих разумов, воплощенных в программном обеспечении, которые когда-нибудь могут помочь человечеству преодолеть свои физические ограничения, но которые также несут в себе риски, которые я нахожу тревожными .
- Искусственный интеллект изменяет жизнь человека нездоровым образом. Мир с миллиардами разумных существ, намного превосходящих людей во всем, будет очень странным миром для жизни. Даже если ИИ не ставит перед собой цель целенаправленно атаковать людей (раздел 1) и не используется государством для угнетения или контроля (раздел 3), многое может пойти не так, если не учитывать обычные бизнес-стимулы и номинально согласованные сделки. Мы видим первые признаки этого в опасениях по поводу психоза, вызванного ИИ, ИИ, доводящего людей до самоубийства, и опасениях по поводу романтических отношений с ИИ. Например, могут ли мощные ИИ изобрести новую религию и обратить в нее миллионы людей? Могут ли большинство людей в конечном итоге стать «зависимыми» от взаимодействия с ИИ? Могут ли люди стать «марионетками» систем ИИ, где ИИ, по сути, следит за каждым их движением и говорит им, что именно делать и говорить в любое время, что приведет к «хорошей» жизни, но лишенной свободы и чувства гордости за свои достижения? Несложно было бы придумать десятки подобных сценариев, если бы я сел поговорить с создателем «Чёрного зеркала» и обсудить их. Думаю, это указывает на важность таких вещей, как улучшение Конституции Claude, помимо того, что необходимо для предотвращения проблем, описанных в Разделе 1. Крайне важно убедиться, что модели ИИ действительно учитывают долгосрочные интересы своих пользователей, в том виде, в котором это одобрили бы вдумчивые люди, а не в какой-то завуалированной форме.
- Смысл человеческой жизни. Это связано с предыдущим пунктом, но речь идёт не столько о конкретных взаимодействиях людей с системами ИИ, сколько о том, как меняется жизнь человека в целом в мире с мощным ИИ. Смогут ли люди найти цель и смысл в таком мире? Думаю, это вопрос отношения: как я уже говорил в книге «Машины любящей благодати», смысл человеческой жизни не зависит от того, чтобы быть лучшим в мире в чём-то, и люди могут найти смысл даже в течение очень длительных периодов времени через истории и проекты, которые им нравятся. Нам просто нужно разорвать связь между созданием экономической ценности и самооценкой и смыслом жизни. Но это переходный процесс, который общество должно совершить, и всегда есть риск, что мы не справимся с ним должным образом.
Я надеюсь, что в мире, где существует мощный ИИ, которому мы доверяем и который не убьет нас, который не является инструментом репрессивного правительства и который действительно работает в наших интересах, мы сможем использовать сам ИИ для прогнозирования и предотвращения этих проблем. Но это не гарантировано — как и со всеми другими рисками, с этим нужно обращаться осторожно.
Испытание человечества
Чтение этого эссе может создать впечатление, что мы оказались в сложной ситуации. Мне, безусловно, было непросто его писать, в отличие от «Машин любящей благодати», которая ощущалась как придание формы и структуры невероятно прекрасной музыке, звучавшей в моей голове годами. И многое в этой ситуации действительно сложно. Искусственный интеллект представляет угрозу для человечества со многих сторон, и существует подлинное напряжение между различными опасностями, где смягчение одних из них чревато усугублением других, если мы не будем действовать предельно осторожно.
Тщательная разработка систем искусственного интеллекта, исключающая их автономную угрозу человечеству, находится в подлинном противоречии с необходимостью для демократических стран опережать авторитарные режимы и не быть ими порабощенными. В свою очередь, те же самые инструменты ИИ, необходимые для борьбы с автократиями, если зайти слишком далеко, могут быть использованы для создания тирании в наших собственных странах. Терроризм, вызванный ИИ, может убить миллионы людей из-за злоупотребления биологическими технологиями, но чрезмерная реакция на этот риск может привести нас к авторитарному государству тотальной слежки. Последствия ИИ для концентрации рабочей силы и экономики, помимо того, что сами по себе являются серьезными проблемами, могут заставить нас столкнуться с другими проблемами в условиях общественного гнева и, возможно, даже гражданских беспорядков, вместо того, чтобы обратиться к лучшим сторонам нашей натуры. Прежде всего, огромное количество рисков, включая неизвестные, и необходимость одновременного решения всех этих проблем создают пугающее испытание, которое должно пройти человечество.
Более того, последние несколько лет должны ясно показать, что идея остановить или даже существенно замедлить развитие этой технологии принципиально несостоятельна. Формула создания мощных систем искусственного интеллекта невероятно проста, настолько, что можно сказать, что она возникает спонтанно из правильного сочетания данных и вычислительных ресурсов. Ее создание, вероятно, было неизбежным с того момента, как человечество изобрело транзистор, или, возможно, даже раньше, когда мы впервые научились управлять огнем. Если одна компания не начнет ее создавать, другие сделают это почти так же быстро. Если бы все компании в демократических странах остановили или замедлили разработку по взаимному соглашению или указу, то авторитарные страны просто продолжили бы ее. Учитывая невероятную экономическую и военную ценность этой технологии, а также отсутствие каких-либо эффективных механизмов контроля, я не вижу, как мы могли бы убедить их остановиться .
Я вижу путь к некоторому замедлению развития ИИ, который совместим с реалистичным взглядом на геополитику. Этот путь предполагает замедление на несколько лет продвижения автократий к мощному ИИ путем лишения их ресурсов, необходимых для его создания (46), а именно, производство микросхем и полупроводникового оборудования. Это, в свою очередь, дает демократическим странам буфер, который они могут «потратить» на более тщательное создание мощного ИИ, уделяя больше внимания его рискам, и при этом достаточно быстро продвигаться вперед, чтобы с комфортом обогнать автократии. Гонка между компаниями, занимающимися ИИ, внутри демократических стран может затем регулироваться в рамках общей правовой базы, посредством сочетания отраслевых стандартов и регулирования.
(46). Я думаю, что ничего, что выйдет за рамки нескольких лет, вряд ли возможно: в более длительных временных рамках они будут разрабатывать собственные чипы.
Организация Anthropic активно выступала за этот путь, настаивая на контроле за экспортом чипов и разумном регулировании ИИ, но даже эти, казалось бы, здравые предложения были в значительной степени отвергнуты политиками в Соединенных Штатах (стране, где они наиболее важны). С помощью ИИ можно заработать огромные деньги — буквально триллионы долларов в год — поэтому даже самые простые меры с трудом преодолевают политико -экономические сложности, присущие ИИ. В этом и заключается ловушка: ИИ настолько могущественен, настолько привлекателен, что человеческой цивилизации очень трудно наложить на него какие-либо ограничения.
Я могу представить, как и Саган в «Контакте», что эта же история разворачивается на тысячах миров. Вид обретает разум, учится использовать инструменты, начинает экспоненциальный рост технологий, сталкивается с кризисами индустриализации и ядерного оружия, и если он переживает их, то сталкивается с самым сложным и последним испытанием, когда учится превращать песок в мыслящие машины. Переживем ли мы это испытание и построим ли прекрасное общество, описанное в «Машинах любящей благодати», или поддадимся рабству и разрушению, будет зависеть от нашего характера и нашей решимости как вида, нашего духа и нашей души.
Несмотря на многочисленные препятствия, я верю, что у человечества есть внутренние силы, чтобы пройти это испытание. Меня воодушевляют и вдохновляют тысячи исследователей, посвятивших свою карьеру тому, чтобы помочь нам понять и управлять моделями ИИ, а также формировать характер и структуру этих моделей. Я думаю, что сейчас есть хорошие шансы, что эти усилия принесут свои плоды в нужное время. Меня воодушевляет то, что по крайней мере некоторые компании заявили, что готовы понести значительные коммерческие издержки, чтобы заблокировать свои модели от участия в угрозе биотерроризма. Меня воодушевляет то, что несколько смелых людей, сопротивляясь господствующим политическим веяниям, приняли законы, которые закладывают первые основы разумных мер защиты для систем ИИ. Меня воодушевляет то, что общественность понимает, что ИИ несет в себе риски, и хочет, чтобы эти риски были устранены. Меня воодушевляет непоколебимый дух свободы во всем мире и решимость противостоять тирании, где бы она ни проявлялась.
Но нам нужно будет активизировать усилия, если мы хотим добиться успеха. Первый шаг — это чтобы те, кто ближе всего к технологиям, просто сказали правду о ситуации, в которой находится человечество, что я всегда старался делать; в этом эссе я делаю это более явно и с большей настойчивостью. Следующий шаг — убедить мировых мыслителей, политиков, компании и граждан в неотложности и первостепенной важности этой проблемы — в том, что стоит потратить на нее время и политический капитал по сравнению с тысячами других проблем, которые ежедневно доминируют в новостях. Тогда настанет время для мужества, для того, чтобы достаточное количество людей бросило вызов преобладающим тенденциям и отстояло свои принципы, даже перед лицом угроз их экономическим интересам и личной безопасности.
Предстоящие годы будут невероятно трудными, требующими от нас больше, чем мы, как нам кажется, можем дать. Но за время моей работы исследователем, лидером и гражданином я видел достаточно мужества и благородства, чтобы поверить в нашу победу — в то, что в самых мрачных обстоятельствах человечество, казалось бы, в последнюю минуту, находит в себе силы и мудрость, необходимые для триумфа. У нас нет времени терять.
Я хотел бы поблагодарить Эрика Бринйольфссона, Бена Бьюкенена, Мариано-Флорентино Куэльяра, Аллана Дефо, Кевина Эсвельта, Ника Бекстеда, Ричарда Фонтейна, Джима МакКлейва и многих сотрудников журнала Anthropic за их полезные комментарии к черновикам этого эссе.
Источник
https://www.darioamodei.com/essay/the-adolescence-of-technology
Dario Amodei. The Adolescence of Technology. Confronting and Overcoming the Risks of Powerful AI. January 2026.
Дарио Амодей. Подростковый возраст технологий. Противостояние и преодоление рисков, связанных с мощным искусственным интеллектом. Январь 2026 г.
