Тенденции в исследованиях ИИ (2021)

Закрытый исходный код ИИ

Код важен для воспроизводимости, подотчетности и прозрачности решений ИИ, и это ключ к развитию ИИ. Исследователями зачастую приводится причина закрытия кода: код смешан с с другими проприетарными исследованиями, и поэтому он не может быть раскрыт в силу отсутствия разрешений на публикацию. Менее 15% всех научных работ по ИИ публикуют полный код, а некоторые - DeepMind и OpenAI - вообще не планируют этого делать, ссылаясь на собственные соображения.

Консолидация фреймоворков разработки ИИ

TensorFlow от Google и PyTorch от Facebook - два популярных фреймворка, используемых исследователями, и относительная популярность различных фреймворков обычно отражает тенденции в ландшафте коммерческих приложений. За последние четыре года Facebook приобрел известную популярность, что вытекает из цитирования на конференциях.

Стоимость обучающих моделей

Обучение модели обходится дорого. На эти затраты влияют несколько факторов и их влияние все больше увеличивается в последнее время. Например, имеется такая оценка - 1 доллар за 1000 параметров (можно отождествлять это с узлами сети). OpenAI насчитывает 175 миллиардов параметров и, вероятно, обучение будет стоить более 10 миллионов долларов. Для небольших исследовательских групп и компаний такие затраты недосягаемы. Кое-кто в сообществе ИИ позволит крупным технологическим компаниям предварительно обучать и публиковать большие модели, которые могут быть для малых компаний отправной точкой для дальнейшего совершенствования модели.

Тесты

Тест General Language Understanding Evaluation (GLUE) - это набор ресурсов для систем понимания естественного языка, позволяющий обучать, оценивать и анализировать модели. Набор включает в себя эталонный тест из девяти задач на понимание языка. Задачи содержат предложения или пары предложений, построенные на существующих наборах данных. Данные охватывают разнообразные текстовые жанры, характериризуемые разной степенью сложности. Имеется набор диагностических данных, предназначенный для оценки и анализа производительности модели для широкого спектра лингвистических явлений, встречающихся в естественном языке.

Тест оценивает спосообности к пониманию языка в баллах, и базовый балл человека составляет 87. Стоит отметить, что в период с мая 2018 года по август 2020 года балл систем ИИ в обработке естественного языка увеличился с 60 до 90,6.

Машинное чтение тестов (MRC)

Машинное чтение (MRC) позволяет системам читать, делать выводы и немедленно давать ответы, просматривая огромные наборы данных. В 2019 году китайская Alibaba превзошла людей по результатам тестирования на наборе данных Microsoft Machine Reading Computing (или сокращенно MS MARCO). Этот тест оценивает способность ИИ использовать естественный язык для ответа на реальные вопросы, задаваемые людьми.

Обобщение и подведение итогов

Новая модель ИИ может обобщать научную литературу, в том числе исследования о самом себе. Институт искусственного интеллекта Аллена (AI2) использовал модель в Semantic Scholar, - в системе поиска научных статей на базе ИИ. ИИ предоставил краткое изложение статей по ИИ. Что впечатляет, так это то, что ИИ способен сжимать длинные документы, не теряя точность передачи содержания.

Для ИИ не  требуется переподготовка

Обучить роботов выполнять более чем одну задачу сложно, но новая модель ИИ реализует задачу многозадачного обучения, основанную на модели глубокого обучения. В этой модели машины осваивают различные навыки по мере своего развития. Таким образом, такие модели позволяют боту решать новые задачи, не требуя переобучения.

Графические нейронные сети

Мы воспринимаем запахи, используя миллионы сенсорных нейронов в нашем мозгу, запахи многогранны, и предсказать, как что-то будет пахнуть, невероятно сложно. Например, как бы вы описали запах апельсина? Сладкий? Яркий? Травяной? Каждый дескриптор уникален. Классифицировать запах сложно, потому что для этого требуется система с обработкой множества меток. Графические нейронные сети (GNN) представляют собой особый тип глубокой нейронной сети, которая работает с графами в качестве входных данных. GNN используются для обнаружения запаха, для прогнозирования запахов на молекулярном уровне, для широкого спектра химических и биологических процессов. Например, исследователи из Института Броуда использовали их для открытия соединений антибиотиков, не обладающих токсическими побочными эффектами.

Федеративное обучение

Федеративное обучение - это метод, позволяющий распространить машинное обучение на периферию. Представленная исследователями Google в 2016 году, это новая структура, которая позволяет алгоритмам использовать данные на таких устройствах, как мобильные телефоны и умные часы, без ущерба для конфиденциальности пользователей. Исследования в этой области резко увеличились.

Модели гауссовских процессов

Гауссовские процессы являются "золотым" стандартом решения многих реальных задач моделирования, особенно в тех случаях, когда успех модели зависит от ее способности точно отражать прогнозируемую неопределенность. Гауссовские модели становятся более точными благодаря использования их в нейронных сетях.

Влияние языковой модели GPT-3 обработки естественного языка от OpenAI

ИИ, генерирующий человекоподобный язык, GPT-3, был выпущен OpenAI в прошлом году. Генератор текста написал сообщения и код в блоге. Он был выставлен в конкурсе на написание эссе вместе со студентами, а анонимные работы оценивались профессорами. GPT-3 в основном получали четверки - столько же, сколько студенты-люди. Но ИИ продемонстрировал сильную антимусульманскую предвзятость. Исследователи из Стэнфордского университета и Университета Макмастера исследовали нейронную сеть и обнаружили, что предвзятость мусульманского насилия проявляется последовательно и творчески во многих случаях использования модели. Это еще один пример того, как предвзятость проникает в автоматизированные системы. Если не работать с этим явлением, то это вызовет проблемы во всем обществе по мере становления ИИ.

Вокенизация - попытка совместить языковые модели с компьютерным зрением

Такие модели, как GPT-3, обучаются синтаксису и грамматике, а не творчеству или здравому смыслу. Поэтому исследователи из Университета Северной Каролины в Чапел-Хилл комбинируют языковые модели с компьютерным зрением. Люди учатся многоуровневым, многомерным способом. Новый метод, называемый вокенизацией, экстраполирует данные о языке путем контекстного сопоставления языковых «токенов» или слов с изображениями, тем самым формируя модели, называемые «вокалами». Например, автоматически сгенерированные подписи к изображениям часто не могут определить контекст, которому должна соответствовать подпись. Вокенизация позволит машинам не только распознавать объекты, но и действительно их «видеть».

Дорисовка или восстановление изображений машиной

Если компьютерная система имеет доступ к достаточному количеству изображений - скажем, миллионам и миллионам - она ​​может исправлять и заполнять дыры в изображениях. Эта возможность имеет практическое применение для профессиональных фотографов, а также для всех, кто хочет сделать лучшее селфи. Вскоре, если передний план горы окажется не в фокусе или если на вашей коже есть неприглядный изъян, их можно заменить, чтобы получить идеальное изображение. Но тут есть и подводные камни. Например, алгоритмы создания изображений могут неудачно дополнять изображения и не учитывать этические, религиозные или национальные особенности.

Прогнозирование изменения изображений на основе отдельных изображений

Системы компьютерного зрения становятся умнее. Нейронные сети могут предсказывать геометрию по одноцветному изображению. В 2019 году команда DeepMind разработала генеративную состязательную сеть (GAN), которая создает видео из изображений. Например: представьте себе фотографию человека, держащего баскетбольный мяч. Основываясь на его позе, лице и других данных на изображении, GAN выясняет, что, вероятно, произошло дальше, и генерирует видеоклип с изображением этого действия. Ранее исследователи из Лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института (CSAIL) обучили компьютеры предсказывать, что люди будут делать дальше, используя видеоролики YouTube и телешоу, такие как «Офис» и «Отчаянные домохозяйки». Система CSAIL предсказывает, будут ли два человека обниматься, целоваться, обмениваться рукопожатием или давать пощечину. SinGAN - генеративная схема, которая может манипулировать изображениями и улучшать их, и это дает реалистичную синтетическую фотографию. Это исследование когда-нибудь позволит роботам легче ориентироваться в среде обитания людей и взаимодействовать с нами, людьми, ориентируясь на язык нашего тела. Особенно важными применения - розничная торговля, производство и образование.

Безмодельные подходы к обучению с подкреплением

Dreamer - это агент обучения с подкреплением (RL), который использует модель мира для построения протяженных предсказаний. Он может создавать модели из необработанных изображений и параллельно учиться на тысячах предсказанных последовательностей с помощью графического процессора (GPU). Этот новый подход решает долгосрочные задачи, используя воображаемый мир.

Машинное обучение в реальном времени

Одна из больших проблем в области искусственного интеллекта - создание машин, которые могут заблаговременно собирать и интерпретировать данные, выявлять закономерности и учитывать контекст и, в конечном итоге, обучаться в реальном времени. Новое исследование машинного обучения в реальном времени (RTML) показывает, что можно использовать непрерывный поток данных и корректировать модели в реальном времени. Это сигнализирует о больших изменениях в том, как перемещаются данные, и в том, как мы получаем информацию. Национальный научный фонд запустил программу грантов в размере 10 миллионов долларов для стимулирования исследований в этой области, хотя все крупные технологические компании также тесно работают над продвижением RTML.

Автоматизированное машинное обучение (AutoML)

Некоторые организации хотят отойти от традиционных методов машинного обучения, которые требуют много времени и трудностей и требуют специалистов по данным, специалистов в области искусственного интеллекта и инженеров. Автоматизированное машинное обучение, или AutoML, - это новый подход: процесс, в котором необработанные данные и модели сопоставляются вместе, чтобы выявить наиболее актуальную информацию. Google, Amazon и Microsoft теперь предлагают множество продуктов и услуг AutoML.

Гибридное зрение человека и компьютера

ИИ пока не может полноценно функционировать без помощи человека. Системы гибридного интеллекта объединяют людей и системы искусственного интеллекта для достижения большей точности. Исследовательская лаборатория армии США имеет систему, которая использует интерфейс мозг-компьютер, оснащенный технологией компьютерного зрения, и позволяет человеку быстро видеть и сортировать изображения в пределах его прямой видимости. CloudSight, технологическая компания, специализирующаяся на субтитрах к изображениям, работает над гибридной краудсорсинговой системой компьютерного зрения. Исследователи Microsoft предложили Pandora, набор гибридных человеко-машинных методов и инструментов для понимания сбоев системы. Pandora использует наблюдения как человека, так и системы, чтобы объяснить сбои, связанные с входным контентом и системной архитектурой.

Нейросимволический ИИ

С 1950-х годов развитие ИИ шло по двум концептуальным направлениям: символическому (машины, использующие базу знаний и правил, представляющих концепции) и несимволическому (машины, использующие необработанные данные для создания своих собственных паттернов и представлений концепций). Классическим ИИ является первым, потому что он более точно отражает то, как мы понимаем человеческое мышление, и первоначальная цель заключалась в том, чтобы научить машины думать, как мы. Исследователи работают над новыми способами сочетания обучения и логики с помощью нейронных сетей, которые будут понимать символы, а не всегда полагаться на людей-программистов для сортировки, пометки и каталогизации данных. Символьные алгоритмы помогут процессу, что в конечном итоге должно привести к созданию надежных систем, для обучения которых не всегда требуется человек.

Общие алгоритмы обучения с подкреплением

Исследователи разрабатывают единые алгоритмы, которые могут изучать несколько задач. DeepMind, команда AlphaGo, которая научилась играть в Го на уровне гроссмейстера, разработала новый инновационный алгоритм: AlphaZero. Он способен достигать сверхчеловеческих результатов не только в Го, но и в других играх, включая шахматы и сёги (японские шахматы). Этот алгоритм со знания только правил игры, и в конечном итоге разрабатывает свои собственные стратегии. В январе 2020 года DeepMind опубликовала новое исследование, показывающее, как можно использовать методы обучения с подкреплением для улучшения нашего понимания психического здоровья и мотивации.

Непрерывное обучение

В настоящее время методы глубокого обучения помогают системам научиться решать сложные задачи способом, который напоминает используемый людьми метод. Эти задачи по-прежнему специфичны, а не просто победить человека в игре. И они требуют жесткой последовательности действий: сбор данных, определение цели, развертывание алгоритма. Этот процесс требует участия людей и может занять много времени, особенно на ранних этапах, когда требуется обучение с учителем. Непрерывное обучение больше касается автономного и постепенного наращивания и развития навыков ИИ, и исследователи будут продолжать расширять границы возможного в этой области.

Распространение Франкен-алгоритмов

Алгоритмы - это просто правила, которые определяют и автоматизируют обработку данных. Они построены с использованием логики «если это, то то», которую компьютер может понять и обработать. Вот простой пример: если IP-адрес читателя веб-сайта находится в Балтиморе, правила разрешают этому читателю свободный доступ к сайту; если IP-адрес находится в Бельгии, то правила сначала показывают экран GDPR с указанием политики конфиденциальности и файлов cookie. Хотя единый алгоритм можно легко описать и развернуть, как и ожидалось, все системы алгоритмов, работающие вместе, иногда могут создавать проблемы. Разработчики не всегда заранее знают, как один алгоритм будет работать вместе с другими алгоритмами. Иногда несколько команд разработчиков работают независимо над разными алгоритмами и наборами данных и видят работу друг друга только после ее развертывания. Это было причиной недавних сбоев на фондовом рынке и нестабильности веб-сайтов электронной коммерции. Это создает проблемы для крупных компаний, таких как Facebook, у которых миллиарды алгоритмов работают вместе в любой момент времени.

Языки искусственного интеллекта

Python - ведущий язык с множеством встроенных библиотек и фреймворков. Язык Julia, разработанный Массачусетским технологическим институтом, представляет собой язык с открытым исходным кодом, ориентированный на числовые вычисления. И, конечно же, есть Lisp, созданный прародителем современного ИИ Джоном Маккарти в 1958 году. Сейчас компании начинают создавать и выпускать свои собственные программные пакеты, а также уникальные языки программирования для приложений ИИ. Uber выпустил свой собственный вероятностный язык программирования Pyro, написанный на Python. Это шаг, который сигнализирует о вероятной фрагментации в будущем экосистемы ИИ, в отличие от нынешнего соперничества iOS / Android или длительной войны Mac / PC. Предприятиям будет все труднее и дороже переключаться между фреймворками ИИ и языками.

Источник: https://futuretodayinstitute.com/trends/