понедельник, 10 июля 2023 г.

Об искусственном сверхинтеллекте

Технооптимизм — вера в то, что технологии можно постоянно совершенствовать и улучшать жизнь людей, делая мир лучше. Если вы технооптимист, вы думаете, что технологии постоянно улучшают нашу жизнь и, вероятно, будут делать это в будущем. Рассматривая социальные проблемы, вы думаете, что решение лежит в технологических инновациях.

Технопессимизм - пессимист, вероятно, считает, что современные технологии создали для человечества столько же проблем, сколько и решили. Пессимист полагает, что поиск новых технологий может привести к новым проблемам, непредвиденным последствиям и опасностям. Учитывая, что пессимист видит, что технология создает свои собственные проблемы, ответ на человеческий прогресс часто заключается в уменьшении технологической зависимости, а не в ее расширении.

Сверхинтеллект — гипотетический агент, обладающий интеллектом, намного превосходящим интеллект самых умных и одарённых людей. В свете последних достижений в области машинного интеллекта ряд учёных, философов и технологов возобновили дискуссию о потенциально катастрофических рисках, связанных с такой сущностью. И это дискуссия сталкивает друг с другом технооптимистов с технопессимистами.

Уместно будет умопянуть о трех законах роботехники Айзека Азимова:
  • Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
  • Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
  • Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.

Чтобы закрыть тему вреда человечеству, в 1986 году Азимов добавил нулевой закон:
  • Робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинён вред

Этот подход неприменим к сверхинтеллекту. Ник Бустрём рассмотрел развитие сверхинтеллекта. И в частности, проблему контроля. Бустрём приводит два типа контролирующих механизмов:
  1. Ограничение способностей сверхинтеллекта. Состоит из двух подпроблем:
    1. Проблема вреда.
    2. Проблема контроля.
  2. Мотивация.

Эти сценарии не лишены недостатков. Есть неразрешимые проблемы.

Алан Тьюринг доказал в 1936 году, что проблема остановки неразрешима на машине Тьюринга.

Проблема остановки (англ. Halting problem) — это одна из проблем в теории алгоритмов, которая может неформально быть поставлена в виде:

Даны описание процедуры и её начальные входные данные. Требуется определить: завершится ли когда-либо выполнение процедуры с этими данными; либо, что процедура всё время будет работать без остановки.

Далее, тезис Чёрча—Тьюринга: проблема разрешима, если существует машина Тьюринга, которая её вычисляет. Что может сказать неразрешимость проблемы остановки в задаче об управлении сверхразумным ИИ?

Как решается проблема сдерживания, состоящая из двух проблем, - проблемы вреда и проблемы контроля? Если проблема вреда решена, - результат выполнения первой программы успешен вреда нет, то решается вторая. Но первая проблема неразрешима — следовательно, нерешаемой является и вторая (проблема контроля). Для очень простого доказательства учёные элегантно использовали метод от обратного и проблему остановки.

Вообщем, основные выводы научных работ (приведены ниже):
  • Сверхинтеллект в принципе невозможно контролировать.
  • Сверхинтеллект способен манипулировать людьми.
  • Люди не способны заметить появление сверхинтеллекта.
Научные труды:
  • Superintelligence cannot be contained: Lessons from Computability Theory. Manuel Alfonseca, Manuel Cebrian, Antonio Fernandez Anta, Lorenzo Coviello, Andres Abeliuk, Iyad Rahwan. https://arxiv.org/abs/1607.00913
  • Adversarial vulnerabilities of human decision-makingAmir Dezfoulia,1, Richard Nocka,b, and Peter Dayan. https://www.pnas.org/doi/epdf/10.1073/pnas.2016921117

--- Из комментариев к популярной статье https://habr.com/ru/companies/vdsina/articles/545548/
"Учёные доказали, что сдерживание сверхинтеллекта — невычислимая задача"

1. Проблема останова Тьюринга — вещь безусловно интересная и ценная с точки зрения математики. И очень полезная с точки зрения философии — к ней можно апеллировать в аудитории иммунной к упоминанию теоремы Геделя)))

Тем не менее в реальном мире определить остановку программы элементарно — хотя бы перебором пространства состояний.

Потому что неожиданно формулировка halt problem основана на универсальной машине Тьюринга (UTM) — вещи в реальном мире не только не обнаруженной, но и скорее всего не существующей.

Внезапно сложно найти машину с бесконечной памятью во Вселенной с конечным количеством электронов.)))

Это конечно не останавливает любителей делать глобальные прогнозы на основании методики подсчета ангелов на кончике трансфинитной иглы — они бывают очень прикольными, даже если не получают премии «Хьюго» и «Небула»))

2. Также очень интересно читать споры и ужастики по поводу интеллекта (что искусственного, что естественного) — споров и ужастиков много, а вот придумать в чем и как измеряется эта мифическая величина почему-то никто не удосужился — и это за столько лет генерации споров и ужастиков.

Но конечно каждый предполагает, что интеллект у него есть — что сразу намекает на его отсутствие.

Интересно, что если бы энергию, потраченную на споры об ИИ пустили бы на разработку стандартных тестсетов и методик измерений — мир стал бы другим и многие из ужастиков (включая вышеупомянутого василиска) ушли бы как сон разума.

Но судя по истории ИИ это никому не нужно, иначе было бы сделано.

А ведь мы могли бы иметь бы метрики не в FPS/FLOPS/TOPS а в чем-то более реальном.

А имея метрики получили бы управление энергосистемами и экономиками вместо игроков в Старкрафт.

3. Если рассмотреть разработки и публикации, использующие buzzword AI поближе, то обнаружится вообще смешная вещь.

Под «интеллектом» в большинстве случаев понимается не рационализм и не принятие оптимальных решений, а лишь симуляция социальных отношений. AI должен быть похож на человека. Он не должен быть умным и вообще мыслить, он просто должен мимикрировать и соблюдать социально-культурные соглашения (вспоминаем выпиленного майкрософтовского твиттер-бота, который так хвалил Алоизыча).

Ну действительно — тест Тьюринга (на мимикрию под человека), IQ тест (социокультурный по факту), распознавание человеческих лиц на фоточках, человеческие игры типа шахмат и го — ну а при чем тут интеллект?

И зачем эти задачи вообще (если забыть про маркетинг и рост лайков)?

Один из фантастов писал, что когда мы ищем внеземную жизнь, мы на самом деле ищем зеркало — кого-то похожего на себя.

С ИИ похоже ситуация такая же — мы пытаемся построить имитацию себя любимых.

Учитывая маниакальную упертость человечества и не забывая про самоисполняющиеся прогнозы у нас есть все шансы создать такое зеркало.

А учитывая что человечество из себя представляет (с его историей геноцидов, психозов и массовых истерий) — шансов после создания такого зеркала у него точно не будет.

---

Глубокое обучение достигло следующих прорывов в традиционно сложных областях машинного обучения:
  • классификация изображений на уровне человека;
  • распознавание речи на уровне человека;
  • распознавание рукописного текста на уровне человека;
  • улучшение качества машинного перевода с одного языка на другой;
  • улучшение качества машинного чтения текста вслух;
  • появление цифровых помощников, таких как Google Now и Amazon Alexa;
  • управление автомобилем на уровне человека;
  • повышение точности целевой рекламы, используемой компаниями Google, Baidu и Bing;
  • повышение релевантности поиска в интернете;
  • появление возможности отвечать на вопросы, заданные вслух;
  • игра в Го сильнее человека.

Мы все еще продолжаем исследовать возможности, которые таит в себе глубокое обучение. Мы начали применять его к широкому кругу проблем за пределами машинного восприятия и понимания естественного языка, таких как формальные рассуждения. Успех в этом направлении может означать начало новой эры, когда глубокое обучение будет помогать людям в науке, разработке программного обеспечения и многих других областях.

… многие значительные применения, такие как автопилоты для автомобилей, находятся практически на заключительной стадии реализации…

Комментариев нет:

Отправить комментарий