Как DARPA хочет переосмыслить основы ИИ, включив в них доверие

КОММЕНТАРИЙ Вы бы доверили свою жизнь искусственному интеллекту?

Текущее состояние ИИ впечатляет, но считать его граничащим с интеллектом в целом — преувеличение. Если вы хотите понять, насколько хорошо продвигается бум ИИ, просто ответьте на вопрос: доверяете ли вы ИИ?

Google Bard и большие языковые модели Bing на базе ChatGPT от Microsoft изоферменты печени сделанный тупоголовые ошибки во время их презентаций запуска, которых можно было бы избежать с помощью быстрого поиска в Интернете. LLM также были замечены неправильное понимание фактов и выталкивая неправильные цитаты.

Одно дело, когда эти ИИ отвечают, скажем, только за то, чтобы развлекать пользователей Bing или Bard, — говорит нам Мэтт Турек из DARPA, заместитель директора Управления информационных инноваций. Совсем другое дело, когда на карту поставлены жизни, поэтому агентство Турека запустило инициативу под названием AI Forward, чтобы попытаться ответить на вопрос, что именно означает создание системы искусственного интеллекта, которой мы можем доверять.

Доверие - это...?

В интервью Регистр, Турек сказал, что ему нравится думать о создании надежного ИИ с помощью метафоры гражданского строительства, которая также предполагает большое доверие к технологиям: строительство мостов.

«Мы больше не строим мосты методом проб и ошибок, — говорит Турек. «Мы понимаем фундаментальную физику, фундаментальную науку о материалах, системную инженерию, чтобы сказать, что мне нужно иметь возможность преодолевать это расстояние и нести такой вес», — добавляет он.

По словам Турека, вооружившись этими знаниями, инженерный сектор смог разработать стандарты, делающие строительство мостов простым и предсказуемым, но с ИИ у нас сейчас этого нет. На самом деле мы находимся в еще худшем положении, чем простое отсутствие стандартов: модели ИИ, которые мы создаем, иногда нас удивляют, и это плохо, говорит Турек. 

«Мы не до конца понимаем модели. Мы не понимаем, что они делают хорошо, мы не понимаем крайних случаев, видов отказов… это может привести к тому, что что-то пойдет не так с такой скоростью и в таких масштабах, которых мы раньше не видели». 

Редж читателям не нужно представлять себе апокалиптические сценарии, в которых искусственный общий интеллект (AGI) начинает убивать людей и вести войну, чтобы донести точку зрения Турека. «Нам не нужен AGI, чтобы что-то пошло не так, — говорит Турек. Он ссылается на крахи срочного рынка, такие как падение британского фунта в 2016 году, приписываемое плохое алгоритмическое принятие решений, как один из примеров. 

Кроме того, есть программное обеспечение, такое как автопилот Теслы, якобы ИИ, предназначенный для управления автомобилем, который якобы связан с 70 процентов ДТП с участием автоматизированных систем помощи водителю. Когда случаются такие аварии, Tesla не винит ИИ, говорит нам Турек, она говорит, что водители несут ответственность за то, что делает автопилот. 

Исходя из этого, справедливо сказать, что даже Tesla не доверяет своему собственному ИИ. 

Как DARPA хочет продвинуть ИИ… вперед

«Скорость, с которой могут работать крупномасштабные программные системы, может создавать проблемы для человеческого надзора», — говорит Турек, поэтому DARPA запустило свою последнюю инициативу в области искусственного интеллекта AI Forward. Ранее в этом году.

В presentation В феврале начальник Турека, доктор Кэтлин Фишер, объяснила, чего DARPA хочет достичь с помощью AI Forward, а именно создать такую ​​​​базу понимания для разработки ИИ, аналогичную той, которую инженеры разработали с помощью своих собственных наборов стандартов.

Фишер объяснила в своей презентации, что DARPA считает доверие ИИ интегративным, и что любой ИИ, которому стоит доверять, должен быть способен делать три вещи:

• Работая грамотно, что мы определенно еще не разобрался,
• Надлежащее взаимодействие с людьми, в том числе информирование о том, почему он делает то, что делает (см. предыдущий пункт о том, насколько хорошо это происходит),
• Этичное и моральное поведение, которое, по словам Фишера, включает в себя способность определять, являются ли инструкции этичными или нет, и реагировать соответствующим образом. 

Сформулировать, что определяет заслуживающий доверия ИИ, — это одно. Добраться туда — еще немного работы. С этой целью DARPA заявила, что планирует инвестировать свою энергию, время и деньги в три области: Построение фундаментальных теорий, формулирование надлежащих методов проектирования ИИ и разработка стандартов для совместной работы и взаимодействия человека и ИИ. 

AI Forward, которую Турек описывает как не столько программу, сколько инициативу по работе с общественностью, начинается с пары летних семинаров в июне и конце июля, чтобы собрать вместе людей из государственного и частного секторов, чтобы помочь конкретизировать эти три инвестиции в ИИ. области. 

DARPA, по словам Турека, обладает уникальной способностью «собирать [вместе] широкий круг исследователей из разных сообществ, целостно рассматривать проблему, определять… убедительные пути вперед, а затем дополнять это инвестициями, которые, по мнению DARPA, могут привести к к трансформационным технологиям».

Для тех, кто надеется бросить свою шляпу на ринг, чтобы принять участие в первых двух семинарах AI Forward — извините — они уже заполнены. Турек не раскрыл никаких подробностей о том, кто там будет, сказав лишь, что ожидается несколько сотен участников с «разным техническим образованием [и] взглядами».

Как выглядит надежный защитный ИИ?

Если и когда DARPA удастся конкретизировать свою модель доверия ИИ, как именно она будет использовать эту технологию? 

По словам Турека, приложения для кибербезопасности очевидны, поскольку можно положиться на надежный ИИ для принятия правильных решений в таких масштабах и со скоростью, с которой люди не могут действовать. Со стороны большой языковой модели создается искусственный интеллект, которому можно доверять, чтобы правильно обрабатывать секретную информацию или точно анализировать и обобщать отчеты, «если мы сможем удалить эти галлюцинации», — добавляет Турек.

А тут поле боя. Это далеко не только инструмент, используемый для нанесения вреда, ИИ можно превратить в спасательные приложения с помощью таких исследовательских инициатив, как В тот момент,, исследовательский проект, который Турек возглавляет для поддержки быстрого принятия решений в сложных ситуациях. 

Цель In The Moment — определить «ключевые атрибуты, лежащие в основе доверительного принятия решений человеком в динамических условиях, и вычислительное представление этих атрибутов», как DARPA описывает это на странице проекта. 

«[In The Moment] — это действительно фундаментальная исследовательская программа о том, как вы моделируете и измеряете доверие и как вы создаете те атрибуты, которые ведут к доверию и в системы», — говорит Турек.

ИИ, вооруженный этими возможностями, можно использовать для принятия решений о медицинской сортировке на поле боя или в сценариях стихийных бедствий.

DARPA хочет, чтобы официальные документы последовали за обеими встречами AI Forward этим летом, но с этого момента нужно пройти стадию определения и перейти к актуализации, что определенно может занять некоторое время. 

«В результате встреч будут получены инвестиции от DARPA», — говорит нам Турек. «Количество или размер этих инвестиций будет зависеть от того, что мы услышим», — добавляет он. ®

• SEO-контент и PR-распределение. Получите усиление сегодня.
• Платоблокчейн. Интеллект метавселенной Web3. Расширение знаний. Доступ здесь.
• Чеканка будущего с Эдриенн Эшли. Доступ здесь.
• Источник: https://go.theregister.com/feed/www.theregister.com/2023/04/20/darpa_ai_trust/