О компьютерном разуме

Исследователь из Google написал статью о том, почему ИИ никогда не сможет обладать сознанием

Он утверждает, что ни при какой мощности моделей, ни через 10, ни через 100 лет, в них не сможет зародиться сознание. ИИ может только идеально имитировать сознание.

Причина – в логической ошибке, которую автор обозвал Abstraction Fallacy (ошибка абстракции). Сейчас, в основном, считается, что если система ведет себя разумно, значит при достаточной сложности она может стать сознательной. Но это заблуждение.

Дело в том, что сознание – это физическое явление, а вычисления (ИИ) – это лишь его описание. Есть хорошая аналогия с картой и реальными территориями. Сколь бы точна не была карта, из нее никогда не возникнет земли.

Вычисления работают так: есть физическое состояние (ток, напряжение, состояние транзистора и тд) и есть абстрактное состояние – смыслы, которые мы закладываем в физику. Человек (mapmaker) задает между этими двумя состояниями соответствие (mapping), которого не существует в природе самого по себе.

Без этого соответствия вычисления невозможны в принципе. То есть для ИИ смысл всегда приходит извне, система его не переживает, как реальный опыт. Компьютер, сколь бы "умным" он не был, не оперирует смыслами – он оперирует физикой, которую мы интерпретируем как смыслы.

Ждать сознания от алгоритма – все равно что ждать, что формула гравитации начнет притягивать объекты.

Источник: deepmind.google/research/publications/231971/

* * *

Из книги Манин Ю.И. Математика как метафора. М.: МЦНМО, 2008.

Вопрос: Тут уж не спросить о компьютерном разуме невозможно! Убедительны ли аргументы против возможности такового на основе теорем Гёделя и Тьюринга (задача остановки, диагональный процесс), приведенные, например, Роджером Пенроузом (Roger Penrose) в его известной книге «Тени разума» («Shadows of the Mind»)? Ведь и нейросеть, и вероятностный компьютер, и даже, кажется, квантовый компьютер в принципе моделируемы на машине Тьюринга –– и значит, если Пенроуз прав, не могут породить искусственный интеллект. Вообще, знаем ли мы сегодня больше, скажем, Раймонда Луллия о том, что такое разум?

Теорема Гёделя - это очень точное, математически точное утверждение о дедуктивных системах определенного типа; то же можно сказать о теореме Тьюринга.

«Разум» - слово естественного языка, которое не имеет терминологического значения ни в одном известном мне контексте. Раймонд Луллий, вероятно, согласился бы с замечанием, что использование этого слова в научной или философской дискуссии есть типичный пример ошибки, называемой «реификация» –– возникновение из воздуха предмета, для которого есть слово, материализация означаемого при произнесении означающего. Это как раз пример того, что я назвал выше расплывчатой метафоричностью естественного языка.

Я полагаю, что поэтому не может быть никаких научных аргументов ни за, ни против искусственного интеллекта –– мы не условились, о чем говорим.

Ненаучные разговоры, однако, могут быть и занятными, и содержательными. Семантическое поле понятия «разум» очень широкое, в частности, оно имеет, по убыванию масштабов, эволюционный, цивилизационный и личностный пласты. Я оставлю в стороне первый: здесь речь идет о проторазуме животных, о возникновении Homo Sapiens как существа разумного, о том разуме, который Сент-Дьерди назвал «средством выживания, как клыки и когти».

В цивилизационном аспекте я коснусь лишь одного обстоятельства, существенного для нашей дискуссии.

Разум занимает совершенно особое место в шкале ценностей людей Просвещения: будущее представлялось этим людям «царством Разума». Даже когда мы не сознаем этого, наши разговоры о разуме окрашены этой интенсивной ценностной установкой.

Любопытна амбивалентность идеи об искусственном интеллекте в этой ценностной ауре.

Вера в возможность его создания может рассматриваться как высшее достижение человеческого разума на его долгом пути к самопознанию. А говоря практически, под это удачное словосочетание можно получать крупные гранты, пока и поскольку оно ласкает слух современных политиков.

С другой стороны, эту же веру можно расценивать как глубокое заблуждение вульгарного материализма, в основе которого лежит неуважение к разуму –– божественной искре, или к разуму –– таинственному и чудесному плоду биологической эволюции.

Тьюринг, экспериментируя с идеей разума, занимался его личностным аспектом, и более того, его операционным аспектом. Условно говоря, для него разум отождествлялся с некоторыми специфическими видами деятельности. Где-то в его юношеских дневниках есть такой вопрос: если душа бессмертна, зачем ей вообще воплощаться в смертное тело? И ответ: затем, что только тело способно действовать.

Тьюринг сделал, или, скорее, детально разработал совершенно гениальное открытие. Он обнаружил генетический код хранения и переработки информации. Его биты и элементарные операции, действующие на один-два бита, это мельчайшие мыслимые единицы детерминированной интеллектуальной деятельности.

Второе озарение Тьюринга –– это выбор слова «машина» и физической картинки для своего вычислителя: он подчеркнул, что действует материальный объект, хотя и описываемый идеализированно. Во всех других пионерских разработках того времени центральное место занимают лингвистические, а не физические абстракции: язык, алгоритм, формальная система.

Тьюринговский анализ интеллекта может быть правильно оценен только в рамках этой, центральной для него, парадигмы: «Разум есть специфическая деятельность».

Я не занимался специально обдумыванием позиции Пенроуза. Кроме прочего, кажется, он хочет сказать, что теория классических автоматов в духе Тьюринга не может хорошо работать в применении к мозгу, который должен быть существенно квантовым устройством.

Относительно вашего замечания, что квантовый вычислитель можно имитировать на вероятностном классическом автомате: да, но только с экспоненциальным возрастанием потребных ресурсов, памяти и времени.

* * *

Дополнительная цитата:

Если мы не захотим отказываться от накопления научного знания, эту задачу придется передать вычислительным машинам. Как они будут автономно работать и что они смогут нам сообщать время от времени?

Это не то что вычислять на суперкомпьютере тома знаков «пи»: у «пи» колмогоровская сложность пустяковая...

* * *

«Наблюдательные науки описывают и измеряют многообразные проявления жизни с возрастающей точностью и размещают их на временной шкале. Момент перехода к духовному не может быть объектом наблюдений такого рода. Тем не менее они могут на экспериментальном уровне открыть ряд важных признаков специфичности человеческого существа. Но опыт метафизического знания, самосознания и рефлексии, совести, свободы, а также эстетический и религиозный опыт – все это относится к компетенции философского анализа, тогда как теология выявляет насколько труден плодотворный диалог между наукой и верой, которые безнадежно разделены ценностными, если не гносеологическими, ориентациями.

Коротко говоря, если дух не является эмерджентным свойством материи, то невозможно не только его экспериментальное изучение, но и никакой рациональный дискурс о нем. Пример тому – история тысячелетнего раскола между западной и восточной Церквями. В западной редакции Символа веры Святой Дух исходит от Отца и Сына, тогда как в восточной – только от Отца. Невозможность преодолеть это догматическое различие существенно повлияло на образ жизни и отношение друг к другу христианских народов.

* * * 

К вопросу: Язык - как он может соотноситься с потоком информации от ИИ?

Примем в качестве иллюстрации классификацию функций языка в зависимости от установки говорящего, по Р. Якобсону: 

а) эмотивная (установка на выражение внутреннего состояния); 

б) конативная (установка на адресата с целью вызвать у него определенное состояние); 

в) поэтическая (установка на сообщение); 

г) метаязыковая (установка на систему языка); 

д) денотативная, когнитивная (установка на действительность); 

е) фатическая (установка на контакт).