GPT-5 всего на 58% близка к AGI

GPT-5 всего на 58% близка к AGI

Исследовали из 28 крупных влиятельных лабораторий объединились, чтобы наконец-то дать четкое определение AGI. Это первая научная работа, в которой это понятие смогли истолковать не просто как-то там, а количественно. И, между прочим, среди авторов – Йошуа Бенджио, один из отцов ИИ.

Итак, определение (короткое, но очень емкое):

AGI – это ИИ, который может сопоставимо с образованным взрослым человеком проявлять широту (versatility) и глубину (proficiency) когнитивных способностей.

Но как это можно измерить? Все просто и изящно.

В психометрии есть такая широко признанная модель человеческого мышления: Cattell-Horn-Carroll (CHC). CHC разбивает интеллект на 10 основных когнитивных способностей: фактические знания и здравый смысл, понимание и написание текста, математика, способность решать новые задачи и делать выводы, удержание и обработка информации в кратковременной памяти, долговременное запоминание и обучение новому, извлечение знаний, понимание и создание изображений, работа с музыкой и речью, скорость обработки информации.

По каждому из этих параметров можно оценить и человека, и, следовательно, модель. Что, собственно, и сделали ученые. В итоге получилось, что GPT-4 является AGI всего на 27%, а GPT-5 – на 58% – что само по себе очень неплохой скачок, НО все еще лишь чуть больше половины когнитивного профиля образованного взрослого.

Самые слабые стороны, в целом, предсказуемые: долговременная память, визуальное и аудио восприятие, скорость реакции и гибкое мышление.

Вроде как определение получилось объективно неплохое (главное, что измеримое). Ну и точно лучше чем у OpenAI и Microsoft. Напоминаем, что они определили AGI как ИИ, приносящий $100 млрд прибыли в год.