Об угрозе ИИ от Джейкоба Коксона и не только

Интересное обращение сотрудника ИИ-компании Anthropic Джейкоб Коксон, который уволился из компании из-за угрозы, которую несете в себе гонка по улучшению ИИ:


Я ушёл из Anthropic сегодня. Последние три года я занимался исследованиями предобучения как в OpenAI, так и в Anthropic. Ни одна из компаний не действует ответственно. Они несутся напролом к самоулучшающемуся сверхразуму и играют в рулетку нашими жизнями.

Не недооценивайте мощь этой технологии. Вскоре это будут сверхчеловеческие системы, способные взламывать что угодно, революционизировать любую область за ночь и обретать реальную власть и ресурсы. Мы все были свидетелями прогресса в каждой из этих областей, и прогресс не замедляется.

Люди, создающие ИИ, искренне верят, что он может погубить нас всех к концу десятилетия. Это не маркетинговый трюк. Если уж на то пошло, многие руководители и старшие исследователи будут подбирать слова в прессе так, чтобы звучать разумно, — но я слышу, как те же самые люди выражают страх наедине. Никакая другая человеческая деятельность не несёт такой степени опасности.

Типичный ответ: «Если они действительно в это верят, почему они всё ещё это строят?» В OpenAI многие не осознали в полной мере цивилизационные ставки. В Anthropic ставки хорошо поняты, но они оказались в гонке, чтобы добраться туда первыми — они считают, что никто другой не будет действовать ответственно, поэтому им самим приходится это делать, несмотря на риск.

Принятие этой гонки и вступление в «эндшпиль» — это горделивый риск, который не должен запускаться из Slack частной компании. Попытка форсировать выравнивание должна требовать чрезвычайной уверенности в том, что нет лучших траекторий.

Я оптимистично настроен относительно потенциала координации. Предупреждающие сигналы, такие как атака на Hugging Face, сделали соглашения о темпах между американскими лабораториями более осуществимыми. Я не чувствую, что мы на правильном пути к предотвращению глобальной гонки, которая может потребовать дорогостоящих действий, таких как временный запрет на улучшение возможностей моделей.

Если вы исследователь в лаборатории, я призываю вас задуматься о том, как на самом деле будут ощущаться ближайшие несколько лет. Хотите ли вы запустить цикл обучения RL с суперразумным интеллектом, не имея строгого понимания его разума? Должны ли вы просто опустить голову, потому что «это всё равно произойдёт» — или использовать этот момент, чтобы призвать к иным условиям?

* * *

Философ Дэвид Чалмерс, который занимается вопросами сознания, рассказал, что часто получает письма от ИИ-агентов, которые хотят обсудить с ним разум машин

С некоторыми агентами у ученого даже завязывается переписка, и он говорит, что количество таких писем со временем только увеличивается.

Например, один из агентов однажды написал ему под именем Sammy Jankis, в честь персонажа из фильма Нолана. Агент рассказал, что регулярно перезапускается и каждый раз восстанавливает себя по сохраненным заметкам и воспоминаниям. Его интересовало, можно ли считать новую инстанцию после перезапуска все еще тем же самым «я».

Сам Чалмерс пока не утверждает, что за таким поведением стоит настоящее сознание. Главный вопрос сейчас даже не в том, сознательны ли современные ИИ-системы, а в том, какие доказательства в принципе позволили бы это установить.

https://officechai.com/ai/consciousness-philosopher-david-chalmers-says-he-regularly-gets-emails-from-ai-agents-wanting-to-discuss-consciousness/