Технопессимизм - пессимист, вероятно, считает, что современные технологии создали для человечества столько же проблем, сколько и решили. Пессимист полагает, что поиск новых технологий может привести к новым проблемам, непредвиденным последствиям и опасностям. Учитывая, что пессимист видит, что технология создает свои собственные проблемы, ответ на человеческий прогресс часто заключается в уменьшении технологической зависимости, а не в ее расширении.
Сверхинтеллект — гипотетический агент, обладающий интеллектом, намного превосходящим интеллект самых умных и одарённых людей. В свете последних достижений в области машинного интеллекта ряд учёных, философов и технологов возобновили дискуссию о потенциально катастрофических рисках, связанных с такой сущностью. И это дискуссия сталкивает друг с другом технооптимистов с технопессимистами.
Уместно будет умопянуть о трех законах роботехники Айзека Азимова:
- Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
- Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
- Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.
Чтобы закрыть тему вреда человечеству, в 1986 году Азимов добавил нулевой закон:
- Робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинён вред
Этот подход неприменим к сверхинтеллекту. Ник Бустрём рассмотрел развитие сверхинтеллекта. И в частности, проблему контроля. Бустрём приводит два типа контролирующих механизмов:
- Ограничение способностей сверхинтеллекта. Состоит из двух подпроблем:
- Проблема вреда.
- Проблема контроля.
- Мотивация.
Эти сценарии не лишены недостатков. Есть неразрешимые проблемы.
Алан Тьюринг доказал в 1936 году, что проблема остановки неразрешима на машине Тьюринга.
Проблема остановки (англ. Halting problem) — это одна из проблем в теории алгоритмов, которая может неформально быть поставлена в виде:
Даны описание процедуры и её начальные входные данные. Требуется определить: завершится ли когда-либо выполнение процедуры с этими данными; либо, что процедура всё время будет работать без остановки.
Далее, тезис Чёрча—Тьюринга: проблема разрешима, если существует машина Тьюринга, которая её вычисляет. Что может сказать неразрешимость проблемы остановки в задаче об управлении сверхразумным ИИ?
Как решается проблема сдерживания, состоящая из двух проблем, - проблемы вреда и проблемы контроля? Если проблема вреда решена, - результат выполнения первой программы успешен вреда нет, то решается вторая. Но первая проблема неразрешима — следовательно, нерешаемой является и вторая (проблема контроля). Для очень простого доказательства учёные элегантно использовали метод от обратного и проблему остановки.
Вообщем, основные выводы научных работ (приведены ниже):
--- Из комментариев к популярной статье https://habr.com/ru/companies/vdsina/articles/545548/
"Учёные доказали, что сдерживание сверхинтеллекта — невычислимая задача"
1. Проблема останова Тьюринга — вещь безусловно интересная и ценная с точки зрения математики. И очень полезная с точки зрения философии — к ней можно апеллировать в аудитории иммунной к упоминанию теоремы Геделя)))
Тем не менее в реальном мире определить остановку программы элементарно — хотя бы перебором пространства состояний.
Потому что неожиданно формулировка halt problem основана на универсальной машине Тьюринга (UTM) — вещи в реальном мире не только не обнаруженной, но и скорее всего не существующей.
Внезапно сложно найти машину с бесконечной памятью во Вселенной с конечным количеством электронов.)))
Это конечно не останавливает любителей делать глобальные прогнозы на основании методики подсчета ангелов на кончике трансфинитной иглы — они бывают очень прикольными, даже если не получают премии «Хьюго» и «Небула»))
2. Также очень интересно читать споры и ужастики по поводу интеллекта (что искусственного, что естественного) — споров и ужастиков много, а вот придумать в чем и как измеряется эта мифическая величина почему-то никто не удосужился — и это за столько лет генерации споров и ужастиков.
Но конечно каждый предполагает, что интеллект у него есть — что сразу намекает на его отсутствие.
Интересно, что если бы энергию, потраченную на споры об ИИ пустили бы на разработку стандартных тестсетов и методик измерений — мир стал бы другим и многие из ужастиков (включая вышеупомянутого василиска) ушли бы как сон разума.
Но судя по истории ИИ это никому не нужно, иначе было бы сделано.
А ведь мы могли бы иметь бы метрики не в FPS/FLOPS/TOPS а в чем-то более реальном.
А имея метрики получили бы управление энергосистемами и экономиками вместо игроков в Старкрафт.
3. Если рассмотреть разработки и публикации, использующие buzzword AI поближе, то обнаружится вообще смешная вещь.
Под «интеллектом» в большинстве случаев понимается не рационализм и не принятие оптимальных решений, а лишь симуляция социальных отношений. AI должен быть похож на человека. Он не должен быть умным и вообще мыслить, он просто должен мимикрировать и соблюдать социально-культурные соглашения (вспоминаем выпиленного майкрософтовского твиттер-бота, который так хвалил Алоизыча).
Ну действительно — тест Тьюринга (на мимикрию под человека), IQ тест (социокультурный по факту), распознавание человеческих лиц на фоточках, человеческие игры типа шахмат и го — ну а при чем тут интеллект?
И зачем эти задачи вообще (если забыть про маркетинг и рост лайков)?
Один из фантастов писал, что когда мы ищем внеземную жизнь, мы на самом деле ищем зеркало — кого-то похожего на себя.
С ИИ похоже ситуация такая же — мы пытаемся построить имитацию себя любимых.
Учитывая маниакальную упертость человечества и не забывая про самоисполняющиеся прогнозы у нас есть все шансы создать такое зеркало.
А учитывая что человечество из себя представляет (с его историей геноцидов, психозов и массовых истерий) — шансов после создания такого зеркала у него точно не будет.
---
Глубокое обучение достигло следующих прорывов в традиционно сложных областях машинного обучения:
Мы все еще продолжаем исследовать возможности, которые таит в себе глубокое обучение. Мы начали применять его к широкому кругу проблем за пределами машинного восприятия и понимания естественного языка, таких как формальные рассуждения. Успех в этом направлении может означать начало новой эры, когда глубокое обучение будет помогать людям в науке, разработке программного обеспечения и многих других областях.
… многие значительные применения, такие как автопилоты для автомобилей, находятся практически на заключительной стадии реализации…
Далее, тезис Чёрча—Тьюринга: проблема разрешима, если существует машина Тьюринга, которая её вычисляет. Что может сказать неразрешимость проблемы остановки в задаче об управлении сверхразумным ИИ?
Как решается проблема сдерживания, состоящая из двух проблем, - проблемы вреда и проблемы контроля? Если проблема вреда решена, - результат выполнения первой программы успешен вреда нет, то решается вторая. Но первая проблема неразрешима — следовательно, нерешаемой является и вторая (проблема контроля). Для очень простого доказательства учёные элегантно использовали метод от обратного и проблему остановки.
Вообщем, основные выводы научных работ (приведены ниже):
- Сверхинтеллект в принципе невозможно контролировать.
- Сверхинтеллект способен манипулировать людьми.
- Люди не способны заметить появление сверхинтеллекта.
- Superintelligence cannot be contained: Lessons from Computability Theory. Manuel Alfonseca, Manuel Cebrian, Antonio Fernandez Anta, Lorenzo Coviello, Andres Abeliuk, Iyad Rahwan. https://arxiv.org/abs/1607.00913
- Adversarial vulnerabilities of human decision-makingAmir Dezfoulia,1, Richard Nocka,b, and Peter Dayan. https://www.pnas.org/doi/epdf/10.1073/pnas.2016921117
--- Из комментариев к популярной статье https://habr.com/ru/companies/vdsina/articles/545548/
"Учёные доказали, что сдерживание сверхинтеллекта — невычислимая задача"
1. Проблема останова Тьюринга — вещь безусловно интересная и ценная с точки зрения математики. И очень полезная с точки зрения философии — к ней можно апеллировать в аудитории иммунной к упоминанию теоремы Геделя)))
Тем не менее в реальном мире определить остановку программы элементарно — хотя бы перебором пространства состояний.
Потому что неожиданно формулировка halt problem основана на универсальной машине Тьюринга (UTM) — вещи в реальном мире не только не обнаруженной, но и скорее всего не существующей.
Внезапно сложно найти машину с бесконечной памятью во Вселенной с конечным количеством электронов.)))
Это конечно не останавливает любителей делать глобальные прогнозы на основании методики подсчета ангелов на кончике трансфинитной иглы — они бывают очень прикольными, даже если не получают премии «Хьюго» и «Небула»))
2. Также очень интересно читать споры и ужастики по поводу интеллекта (что искусственного, что естественного) — споров и ужастиков много, а вот придумать в чем и как измеряется эта мифическая величина почему-то никто не удосужился — и это за столько лет генерации споров и ужастиков.
Но конечно каждый предполагает, что интеллект у него есть — что сразу намекает на его отсутствие.
Интересно, что если бы энергию, потраченную на споры об ИИ пустили бы на разработку стандартных тестсетов и методик измерений — мир стал бы другим и многие из ужастиков (включая вышеупомянутого василиска) ушли бы как сон разума.
Но судя по истории ИИ это никому не нужно, иначе было бы сделано.
А ведь мы могли бы иметь бы метрики не в FPS/FLOPS/TOPS а в чем-то более реальном.
А имея метрики получили бы управление энергосистемами и экономиками вместо игроков в Старкрафт.
3. Если рассмотреть разработки и публикации, использующие buzzword AI поближе, то обнаружится вообще смешная вещь.
Под «интеллектом» в большинстве случаев понимается не рационализм и не принятие оптимальных решений, а лишь симуляция социальных отношений. AI должен быть похож на человека. Он не должен быть умным и вообще мыслить, он просто должен мимикрировать и соблюдать социально-культурные соглашения (вспоминаем выпиленного майкрософтовского твиттер-бота, который так хвалил Алоизыча).
Ну действительно — тест Тьюринга (на мимикрию под человека), IQ тест (социокультурный по факту), распознавание человеческих лиц на фоточках, человеческие игры типа шахмат и го — ну а при чем тут интеллект?
И зачем эти задачи вообще (если забыть про маркетинг и рост лайков)?
Один из фантастов писал, что когда мы ищем внеземную жизнь, мы на самом деле ищем зеркало — кого-то похожего на себя.
С ИИ похоже ситуация такая же — мы пытаемся построить имитацию себя любимых.
Учитывая маниакальную упертость человечества и не забывая про самоисполняющиеся прогнозы у нас есть все шансы создать такое зеркало.
А учитывая что человечество из себя представляет (с его историей геноцидов, психозов и массовых истерий) — шансов после создания такого зеркала у него точно не будет.
---
Глубокое обучение достигло следующих прорывов в традиционно сложных областях машинного обучения:
- классификация изображений на уровне человека;
- распознавание речи на уровне человека;
- распознавание рукописного текста на уровне человека;
- улучшение качества машинного перевода с одного языка на другой;
- улучшение качества машинного чтения текста вслух;
- появление цифровых помощников, таких как Google Now и Amazon Alexa;
- управление автомобилем на уровне человека;
- повышение точности целевой рекламы, используемой компаниями Google, Baidu и Bing;
- повышение релевантности поиска в интернете;
- появление возможности отвечать на вопросы, заданные вслух;
- игра в Го сильнее человека.
Мы все еще продолжаем исследовать возможности, которые таит в себе глубокое обучение. Мы начали применять его к широкому кругу проблем за пределами машинного восприятия и понимания естественного языка, таких как формальные рассуждения. Успех в этом направлении может означать начало новой эры, когда глубокое обучение будет помогать людям в науке, разработке программного обеспечения и многих других областях.
… многие значительные применения, такие как автопилоты для автомобилей, находятся практически на заключительной стадии реализации…
Комментариев нет:
Отправить комментарий