https://futureoflife.org/open-letter/pause-giant-ai-experiments/
Ниже перевод этого письма.
Письмо
Мы призываем все лаборатории ИИ немедленно приостановить как минимум на 6 месяцев обучение систем ИИ, более мощных, чем GPT-4.
Системы искусственного интеллекта конкурирут с человеческим интеллектом. Они могут представлять серьезную опасность для общества и человечества, как показали обширные исследования [1] и признано ведущими лабораториями искусственного интеллекта. [2] Как указано в широко одобренных Asilomar AI Principles (https://futureoflife.org/open-letter/ai-principles-russian/), продвинутый ИИ может представлять собой глубокое изменение в истории жизни на Земле, и его следует планировать и управлять им с соразмерной тщательностью и ресурсами. К сожалению, такого уровня планирования и управления не существует, даже несмотря на то, что в последние месяцы лаборатории искусственного интеллекта застряли в неконтролируемой гонке по разработке и развертыванию все более мощных цифровых умов, которые никто — даже их создатели — не может понять, прогнозировать или надежно контролировать.
Современные системы искусственного интеллекта в настоящее время становятся конкурентоспособными с людьми при решении общих задач [3], и мы должны спросить себя:
- Должны ли мы позволять машинам наводнять наши информационные каналы пропагандой и неправдой?
- Должны ли мы автоматизировать все рабочие места, в том числе и те, которые обеспечены рабочей силой?
- Должны ли мы развивать нечеловеческие умы, которые в конечном итоге могут превзойти нас численностью, перехитрить, атрофировать и заменить нас?
- Должны ли мы рисковать потерей контроля над нашей цивилизацией?
Такие решения не должны делегироваться лидерам технологий, которые не уполномочены на это. Мощные системы искусственного интеллекта следует разрабатывать только тогда, когда мы уверены, что порождаемые ими эффекты будут положительными, а риски управляемыми.Эта уверенность должна быть хорошо обоснована и уверенность должна возрастать с возрастанием потенциальных эффектов системы. В недавнем заявлении OpenAI относительно общего искусственного интеллекта говорится, что «в какой-то момент может оказаться важным получить независимую оценку, прежде чем приступать к обучению будущих систем, и в самых передовых областях следуетй согласиться с ограничением скорости роста вычислений, используемых для создания новых моделей». Мы с этим согласны. Этот момент (для ограничения) сейчас настал.
Поэтому мы призываем все лаборатории ИИ немедленно приостановить как минимум на 6 месяцев обучение систем ИИ более мощных, чем GPT-4 . Эта пауза должна быть общедоступной для проверки и поддающейся проверке, и в ней должны участвовать все ключевые участники. Если такую паузу нельзя ввести быстро, правительства должны вмешаться и ввести мораторий.
Лаборатории искусственного интеллекта и независимые эксперты должны использовать эту паузу для совместной разработки и внедрения набора общих протоколов безопасности для усовершенствованного проектирования и разработки искусственного интеллекта. Протоколов, которые тщательно проверяются и контролируются независимыми экспертами. Эти протоколы должны гарантировать, что системы, придерживающиеся их, вне всяких разумных сомнений безопасны [4]. Это не означает паузу в развитии ИИ в целом, а (это) просто шаг назад в опасной гонке к все более крупным непредсказуемым моделям типа черного ящика, порождающими возможности.
Исследования и разработки в области искусственного интеллекта должны быть переориентированы на то, чтобы сделать современные мощные системы более точными, безопасными, интерпретируемыми, прозрачными, надежными, согласованными, заслуживающими доверия и лояльными.
Параллельно разработчики ИИ должны работать с политиками, чтобы значительно ускорить разработку надежных систем управления ИИ. Они должны как минимум включать:
Поэтому мы призываем все лаборатории ИИ немедленно приостановить как минимум на 6 месяцев обучение систем ИИ более мощных, чем GPT-4 . Эта пауза должна быть общедоступной для проверки и поддающейся проверке, и в ней должны участвовать все ключевые участники. Если такую паузу нельзя ввести быстро, правительства должны вмешаться и ввести мораторий.
Лаборатории искусственного интеллекта и независимые эксперты должны использовать эту паузу для совместной разработки и внедрения набора общих протоколов безопасности для усовершенствованного проектирования и разработки искусственного интеллекта. Протоколов, которые тщательно проверяются и контролируются независимыми экспертами. Эти протоколы должны гарантировать, что системы, придерживающиеся их, вне всяких разумных сомнений безопасны [4]. Это не означает паузу в развитии ИИ в целом, а (это) просто шаг назад в опасной гонке к все более крупным непредсказуемым моделям типа черного ящика, порождающими возможности.
Исследования и разработки в области искусственного интеллекта должны быть переориентированы на то, чтобы сделать современные мощные системы более точными, безопасными, интерпретируемыми, прозрачными, надежными, согласованными, заслуживающими доверия и лояльными.
Параллельно разработчики ИИ должны работать с политиками, чтобы значительно ускорить разработку надежных систем управления ИИ. Они должны как минимум включать:
- новые и дееспособные регулирующие органы, занимающиеся вопросами ИИ;
- надзор и отслеживание высокопроизводительных систем искусственного интеллекта и больших пулов вычислительных мощностей;
- системы происхождения и водянык знаки, помогающие отличить настоящие объекты от синтетических и отслеживать утечки моделей;
- надежная экосистема аудита и сертификации;
- ответственность за вред, причиненный ИИ;
- надежное государственное финансирование технических исследований безопасности ИИ;
- хорошо обеспеченные ресурсами институты для преодоления серьезных экономических и политических потрясений (особенно демократии), которые вызовет ИИ.
Человечество может наслаждаться процветающим будущим с ИИ. Добившись успеха в создании мощных систем ИИ, мы теперь можем наслаждаться «расцветом ИИ», во время которого мы пожинаем плоды, разрабатываем эти системы на благо всех и даем обществу возможность адаптироваться. Общество поставило на паузу другие технологии с потенциально катастрофическими последствиями для общества [5]. Мы можем сделать это теперь, наслаждаясь долгим летом искусственного интеллекта, не бросаясь неподготовленными в осень искусственного интеллекта.
Мы подготовили несколько часто задаваемых вопросов в ответ на вопросы и обсуждения в СМИ и других местах. Вы можете найти их здесь (https://futureoflife.org/ai/faqs-about-flis-open-letter-calling-for-a-pause-on-giant-ai-experiments/).
Notes and references
[1]
- Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021, March). On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?🦜. In Proceedings of the 2021 ACM conference on fairness, accountability, and transparency (pp. 610-623).
- Bostrom, N. (2016). Superintelligence. Oxford University Press.
- Bucknall, B. S., & Dori-Hacohen, S. (2022, July). Current and near-term AI as a potential existential risk factor. In Proceedings of the 2022 AAAI/ACM Conference on AI, Ethics, and Society (pp. 119-129).
- Carlsmith, J. (2022). Is Power-Seeking AI an Existential Risk?. arXiv preprint arXiv:2206.13353.
- Christian, B. (2020). The Alignment Problem: Machine Learning and human values. Norton & Company.
- Cohen, M. et al. (2022). Advanced Artificial Agents Intervene in the Provision of Reward. AI Magazine, 43(3) (pp. 282-293).
- Eloundou, T., et al. (2023). GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models.
- Hendrycks, D., & Mazeika, M. (2022). X-risk Analysis for AI Research. arXiv preprint arXiv:2206.05862.
- Ngo, R. (2022). The alignment problem from a deep learning perspective. arXiv preprint arXiv:2209.00626.
- Russell, S. (2019). Human Compatible: Artificial Intelligence and the Problem of Control. Viking.
- Tegmark, M. (2017). Life 3.0: Being Human in the Age of Artificial Intelligence. Knopf.
- Weidinger, L. et al (2021). Ethical and social risks of harm from language models. arXiv preprint arXiv:2112.04359.
[2]
https://futureoflife.org/ai/faqs-about-flis-open-letter-calling-for-a-pause-on-giant-ai-experiments/
Призывает приостановить обучение моделей крупнее GPT-4 на 6 месяцев.
Это не означает приостановку или запрет всех исследований и разработок в области ИИ или использования систем, которые уже были размещены на рынке.
Наш призыв конкретен и адресован очень небольшому кругу участников, обладающих такой способностью.
Реакция была интенсивной. Мы чувствуем, что это вызвало огромную скрытую озабоченность по поводу рисков, связанных с мощными системами ИИ, не только на общественном уровне, но и на уровне ведущих исследователей в области ИИ и других тем, бизнес-лидеров и политиков. На момент написания письма более 50 000 человек подписали письмо (даже если усилия по проверке подписи отстают), в том числе более 1800 генеральных директоров и более 1500 профессоров.
Письмо также получило широкое освещение в СМИ и придало импульс действиям, выходящим далеко за рамки усилий FLI. На той же неделе, что и письмо, Центр искусственного интеллекта и цифровой политики обратился к FTC с просьбой прекратить выпуск новых выпусков GPT , а ЮНЕСКО призвала правительства мира принять глобальные этические рамки ИИ.
Письмо было составлено сотрудниками FLI в консультации с экспертами по искусственному интеллекту, такими как Йошуа Бенжио и Стюарт Рассел, а также руководителями нескольких НПО, занимающихся вопросами искусственного интеллекта. Другие видные подписавшие не участвовали в его разработке и узнали о письме только тогда, когда его попросили подписать.
Современные системы искусственного интеллекта становятся довольно общими и уже могут конкурировать с человеком в самых разных задачах. Это само по себе чрезвычайно важное событие.
Многие ведущие мировые ученые в области искусственного интеллекта также считают достижимыми более мощные системы, часто называемые «общим искусственным интеллектом» (AGI), которые могут конкурировать с лучшими человеческими существами практически в любой задаче, и это заявленная цель многих коммерческих лабораторий искусственного интеллекта .
С нашей точки зрения, нет никаких естественных законов или барьеров для технического прогресса, которые запрещают это. Поэтому мы исходим из предположения, что ОИИ возможен и произойдет раньше, чем многие ожидали.
Возможно, мы и многие другие ошибаемся в этом. Но если мы этого не сделаем, последствия для нашего общества будут глубокими.
Это нормально — это спорный вопрос даже для ученых, которые каждый день работают над ИИ.
Независимо от того, как мы это назовем, факт в том, что системы ИИ становятся все более мощными, и мы не знаем их верхней границы. Злоумышленники могут использовать эти системы для совершения неблаговидных действий, а обычные потребители могут быть введены в заблуждение или, что еще хуже, их выходными данными.
В 2022 году исследователи показали, что модель, предназначенная для создания терапевтических препаратов, может быть использована для создания нового биохимического оружия. Системная карточка OpenAI задокументировала, как GPT-4 можно заставить обмануть рабочего TaskRabbit для завершения проверки Captcha. Совсем недавно в трагическом новостном сообщении говорилось о том, как человек покончил жизнь самоубийством после «разговора» с клоном GPT.
Публичные комментарии руководителей таких лабораторий, как OpenAI, Anthropic и Deepmind, признали эти риски и призвали к регулированию.
Мы также считаем, что они сами хотели бы сделать паузу, но могут почувствовать давление со стороны конкурентов, чтобы продолжить обучение и развертывание более крупных моделей. По крайней мере, публичное обязательство всех лабораторий о паузе снизит это давление и будет способствовать прозрачности и сотрудничеству.
Точно нет. Использование систем ИИ — любой мощности — наносит вред, такой как дискриминация и предвзятость, дезинформация, концентрация экономической власти, неблагоприятное воздействие на рабочую силу, использование оружия и ухудшение состояния окружающей среды.
Мы признаем и вновь подтверждаем, что этот вред также вызывает глубокую озабоченность и заслуживает работы над устранением. Мы благодарны работе многих ученых, бизнес-лидеров, регулирующих органов и дипломатов, которые постоянно работают над их раскрытием на национальном и международном уровне. FLI поддерживает инициативы в области управления, направленные на устранение упомянутого выше вреда, в том числе NIST AI RMF, действия Федеральной торговой комиссии по вводящим в заблуждение заявлениям об искусственном интеллекте, Закон ЕС об искусственном интеллекте и Директиву об ответственности, а также контроль над вооружениями для автономного оружия в ООН и на других форумах.
С ИИ невозможно рассчитывать на позитивное будущее, если продукты небезопасны или наносят ущерб правам человека и международной стабильности.
Это не взаимоисключающие вызовы. Для FLI важно, чтобы все заинтересованные стороны могли внести свой вклад в усилия, направленные на то, чтобы сделать ИИ и ОИИ полезными для человечества.
Большинство исследователей сходятся во мнении, что в настоящее время общий объем вычислений, затрачиваемых на тренировочный прогон, является хорошим показателем его мощности. Таким образом, пауза может применяться, например, к тренировочным пробежкам, превышающим некоторый порог. Наше письмо, среди прочего, призывает к надзору и отслеживанию высокопроизводительных систем искусственного интеллекта и больших вычислительных мощностей.
Основная надежда заключается в том, что компании, занимающиеся ИИ, которые в настоящее время соревнуются друг с другом, возьмут паузу, чтобы вместо этого скоординировать свои действия, чтобы действовать более безопасно. Мы также перечислили 6 других ответов руководства в нашем открытом письме.
Мы понимаем, что эти меры требуют координации между многочисленными заинтересованными сторонами и что необходимо сделать еще больше. Это, несомненно, займет больше 6 месяцев.
Но наше письмо и предлагаемая пауза могут помочь направить политическую волю на их решение. Мы уже видели, как это происходит: ЮНЕСКО воспользовалась нашим письмом, чтобы призвать государства-члены ускорить прогресс в соблюдении ее глобальных этических принципов ИИ.
Эта пауза касается только передовых достижений, предпринимаемых крупнейшими усилиями по разработке ИИ. Среди них никто не «выигрывает», запуская или даже разрабатывая сверхмощные, непредсказуемые и потенциально неуправляемые системы искусственного интеллекта. Шестимесячной паузы недостаточно, чтобы другие «догнали».
Посмотрите не дальше конференции Asilomar 1975 года по рекомбинантной ДНК. Из-за потенциальных угроз безопасности в 60-х и 70-х годах ученые остановили эксперименты с использованием технологии рекомбинантной ДНК.
Конференция позволила ведущим ученым и правительственным экспертам запретить определенные эксперименты и правила проектирования, которые позволили бы субъектам безопасно исследовать эту технологию, что привело к огромному прогрессу в биотехнологии.
Иногда шаг назад, чтобы пересмотреть и переоценить, может вызвать доверие между учеными и обществами, в которых они работают, и впоследствии ускорить прогресс.
Не все подписанты согласны с нами на сто процентов – это нормально. Развитие ИИ происходит быстро и заставляет наши общества адаптироваться с невероятной скоростью. Мы не думаем, что полный консенсус по всем трудным вопросам возможен. Мы рады видеть, что, несмотря на некоторые разногласия, многие ведущие мировые ученые в области искусственного интеллекта подписали это письмо.
Мы также столкнулись с некоторыми проблемами проверки, потому что наше письмо, на которое наложено эмбарго, было опубликовано в социальных сетях раньше, чем должно было. Некоторые лица были ошибочно и злонамеренно добавлены в список до того, как мы были готовы к широкой публикации. Теперь мы улучшили наш процесс, и все подписанты, которые появляются вверху списка, являются подлинными.
- Ordonez, V. et al. (2023, March 16). OpenAI CEO Sam Altman says AI will reshape society, acknowledges risks: 'A little bit scared of this'. ABC News.
- Perrigo, B. (2023, January 12). DeepMind CEO Demis Hassabis Urges Caution on AI. Time.
- Bubeck, S. et al. (2023). Sparks of Artificial General Intelligence: Early experiments with GPT-4. arXiv:2303.12712.
- OpenAI (2023). GPT-4 Technical Report. arXiv:2303.08774.
- Ample legal precedent exists – for example, the widely adopted OECD AI Principles require that AI systems "function appropriately and do not pose unreasonable safety risk".
- Examples include human cloning, human germline modification, gain-of-function research, and eugenics.
Часто задаваемые вопросы об открытом письме FLI с призывом приостановить гигантские эксперименты с искусственным интеллектом
https://futureoflife.org/ai/faqs-about-flis-open-letter-calling-for-a-pause-on-giant-ai-experiments/
К чему призывает ваше письмо?
Призывает приостановить обучение моделей крупнее GPT-4 на 6 месяцев.
Это не означает приостановку или запрет всех исследований и разработок в области ИИ или использования систем, которые уже были размещены на рынке.
Наш призыв конкретен и адресован очень небольшому кругу участников, обладающих такой способностью.
Какой была реакция на письмо?
Реакция была интенсивной. Мы чувствуем, что это вызвало огромную скрытую озабоченность по поводу рисков, связанных с мощными системами ИИ, не только на общественном уровне, но и на уровне ведущих исследователей в области ИИ и других тем, бизнес-лидеров и политиков. На момент написания письма более 50 000 человек подписали письмо (даже если усилия по проверке подписи отстают), в том числе более 1800 генеральных директоров и более 1500 профессоров.
Письмо также получило широкое освещение в СМИ и придало импульс действиям, выходящим далеко за рамки усилий FLI. На той же неделе, что и письмо, Центр искусственного интеллекта и цифровой политики обратился к FTC с просьбой прекратить выпуск новых выпусков GPT , а ЮНЕСКО призвала правительства мира принять глобальные этические рамки ИИ.
Кто написал письмо?
Письмо было составлено сотрудниками FLI в консультации с экспертами по искусственному интеллекту, такими как Йошуа Бенжио и Стюарт Рассел, а также руководителями нескольких НПО, занимающихся вопросами искусственного интеллекта. Другие видные подписавшие не участвовали в его разработке и узнали о письме только тогда, когда его попросили подписать.
Разве ваше письмо не подпитывает шумиху вокруг ИИ?
Современные системы искусственного интеллекта становятся довольно общими и уже могут конкурировать с человеком в самых разных задачах. Это само по себе чрезвычайно важное событие.
Многие ведущие мировые ученые в области искусственного интеллекта также считают достижимыми более мощные системы, часто называемые «общим искусственным интеллектом» (AGI), которые могут конкурировать с лучшими человеческими существами практически в любой задаче, и это заявленная цель многих коммерческих лабораторий искусственного интеллекта .
С нашей точки зрения, нет никаких естественных законов или барьеров для технического прогресса, которые запрещают это. Поэтому мы исходим из предположения, что ОИИ возможен и произойдет раньше, чем многие ожидали.
Возможно, мы и многие другие ошибаемся в этом. Но если мы этого не сделаем, последствия для нашего общества будут глубокими.
Что, если я все еще думаю, что AGI — это ажиотаж?
Это нормально — это спорный вопрос даже для ученых, которые каждый день работают над ИИ.
Независимо от того, как мы это назовем, факт в том, что системы ИИ становятся все более мощными, и мы не знаем их верхней границы. Злоумышленники могут использовать эти системы для совершения неблаговидных действий, а обычные потребители могут быть введены в заблуждение или, что еще хуже, их выходными данными.
В 2022 году исследователи показали, что модель, предназначенная для создания терапевтических препаратов, может быть использована для создания нового биохимического оружия. Системная карточка OpenAI задокументировала, как GPT-4 можно заставить обмануть рабочего TaskRabbit для завершения проверки Captcha. Совсем недавно в трагическом новостном сообщении говорилось о том, как человек покончил жизнь самоубийством после «разговора» с клоном GPT.
Публичные комментарии руководителей таких лабораторий, как OpenAI, Anthropic и Deepmind, признали эти риски и призвали к регулированию.
Мы также считаем, что они сами хотели бы сделать паузу, но могут почувствовать давление со стороны конкурентов, чтобы продолжить обучение и развертывание более крупных моделей. По крайней мере, публичное обязательство всех лабораторий о паузе снизит это давление и будет способствовать прозрачности и сотрудничеству.
Означает ли это, что вы не беспокоитесь о настоящем вреде?
Точно нет. Использование систем ИИ — любой мощности — наносит вред, такой как дискриминация и предвзятость, дезинформация, концентрация экономической власти, неблагоприятное воздействие на рабочую силу, использование оружия и ухудшение состояния окружающей среды.
Мы признаем и вновь подтверждаем, что этот вред также вызывает глубокую озабоченность и заслуживает работы над устранением. Мы благодарны работе многих ученых, бизнес-лидеров, регулирующих органов и дипломатов, которые постоянно работают над их раскрытием на национальном и международном уровне. FLI поддерживает инициативы в области управления, направленные на устранение упомянутого выше вреда, в том числе NIST AI RMF, действия Федеральной торговой комиссии по вводящим в заблуждение заявлениям об искусственном интеллекте, Закон ЕС об искусственном интеллекте и Директиву об ответственности, а также контроль над вооружениями для автономного оружия в ООН и на других форумах.
С ИИ невозможно рассчитывать на позитивное будущее, если продукты небезопасны или наносят ущерб правам человека и международной стабильности.
Это не взаимоисключающие вызовы. Для FLI важно, чтобы все заинтересованные стороны могли внести свой вклад в усилия, направленные на то, чтобы сделать ИИ и ОИИ полезными для человечества.
Что вы ожидаете через 6 месяцев? Ведь мы даже не знаем, что значит «мощнее ГПТ-4».
Большинство исследователей сходятся во мнении, что в настоящее время общий объем вычислений, затрачиваемых на тренировочный прогон, является хорошим показателем его мощности. Таким образом, пауза может применяться, например, к тренировочным пробежкам, превышающим некоторый порог. Наше письмо, среди прочего, призывает к надзору и отслеживанию высокопроизводительных систем искусственного интеллекта и больших вычислительных мощностей.
Основная надежда заключается в том, что компании, занимающиеся ИИ, которые в настоящее время соревнуются друг с другом, возьмут паузу, чтобы вместо этого скоординировать свои действия, чтобы действовать более безопасно. Мы также перечислили 6 других ответов руководства в нашем открытом письме.
Мы понимаем, что эти меры требуют координации между многочисленными заинтересованными сторонами и что необходимо сделать еще больше. Это, несомненно, займет больше 6 месяцев.
Но наше письмо и предлагаемая пауза могут помочь направить политическую волю на их решение. Мы уже видели, как это происходит: ЮНЕСКО воспользовалась нашим письмом, чтобы призвать государства-члены ускорить прогресс в соблюдении ее глобальных этических принципов ИИ.
Не замедлит ли пауза прогресс и позволит другим странам его наверстать?
Эта пауза касается только передовых достижений, предпринимаемых крупнейшими усилиями по разработке ИИ. Среди них никто не «выигрывает», запуская или даже разрабатывая сверхмощные, непредсказуемые и потенциально неуправляемые системы искусственного интеллекта. Шестимесячной паузы недостаточно, чтобы другие «догнали».
Действительно ли мы делали что-то подобное раньше?
Посмотрите не дальше конференции Asilomar 1975 года по рекомбинантной ДНК. Из-за потенциальных угроз безопасности в 60-х и 70-х годах ученые остановили эксперименты с использованием технологии рекомбинантной ДНК.
Конференция позволила ведущим ученым и правительственным экспертам запретить определенные эксперименты и правила проектирования, которые позволили бы субъектам безопасно исследовать эту технологию, что привело к огромному прогрессу в биотехнологии.
Иногда шаг назад, чтобы пересмотреть и переоценить, может вызвать доверие между учеными и обществами, в которых они работают, и впоследствии ускорить прогресс.
Что происходит с подписчиками? Некоторые скрывают свои ответы, а другие утверждают, что никогда не подписывали.
Не все подписанты согласны с нами на сто процентов – это нормально. Развитие ИИ происходит быстро и заставляет наши общества адаптироваться с невероятной скоростью. Мы не думаем, что полный консенсус по всем трудным вопросам возможен. Мы рады видеть, что, несмотря на некоторые разногласия, многие ведущие мировые ученые в области искусственного интеллекта подписали это письмо.
Мы также столкнулись с некоторыми проблемами проверки, потому что наше письмо, на которое наложено эмбарго, было опубликовано в социальных сетях раньше, чем должно было. Некоторые лица были ошибочно и злонамеренно добавлены в список до того, как мы были готовы к широкой публикации. Теперь мы улучшили наш процесс, и все подписанты, которые появляются вверху списка, являются подлинными.
Комментариев нет:
Отправить комментарий