Компания CCC поддержала три научных сессии на ежегодной конференции AAAS в этом году, и если вы не смогли присутствовать лично, мы будем подводить итоги каждой сессии. На этой неделе мы подведем итоги основных выступлений экспертов сессии»,Большие языковые модели: полезные помощники, романтические партнеры или мошенники?Эта панель, модератором которой является Доктор Мария Джини, член Совета CCC и профессор компьютерных наук и инженерии Университета Миннесоты, Доктор Эдже Камар, управляющий директор направления AI Frontiers в Microsoft Research, Доктор Хэл Доме III, профессор компьютерных наук в Университете Мэриленда и Доктор Джонатан Мэй, профессор компьютерных наук в Институте информационных наук Университета Южной Калифорнии.
Большие языковые модели сегодня находятся в центре внимания общества, и остается открытым вопрос, соответствуют ли они ажиотажу вокруг них. Участники заседания AAAS обсудили возможности, проблемы и потенциал LLM.
Первым участником дискуссии был д-р Эдже Камар (Microsoft Research). Она описала нынешний статус ИИ как «фазовый переход». Она представила уникальную точку зрения человека, который видел изменения в сфере искусственного интеллекта в промышленности и экспоненциальный рост моделей глубокого обучения, который, как мало кто ожидал, продолжится и в 2024 году.
Рост был вызван увеличением объема данных, на которых обучаются LLM, и более крупной архитектурой, называемой трансформерами. Интересная мысль, которой д-р Камар поделился на графике, заключается в том, что модели масштабируются так быстро, потому что изначально их просто обучали для конкретной задачи; задачу, которую они могли бы надежно выполнить. ChatGPT показал, что если вы масштабируетесь достаточно широко, включая количество параметров, которые учитывает модель, модели могут начать выполнять задачи с той же производительностью, что и модель, специально обученная для выполнения тех же задач.
Это определение фазового перехода LLM: модели больше не нужно специально обучать для конкретной задачи, их можно в целом обучить, а затем выполнять множество задач. И нет никаких признаков того, что рост этих возможностей замедляется.
Доктор Камар имела ранний доступ к GPT-4, и за время ее длительного тестирования она была впечатлена его значительными улучшениями, связанными с масштабированием и данными, а также тем фактом, что он может синхронно выполнять различные задачи.
Какое будущее ждет эти LLM? Доктор Камар ожидает, что студенты магистратуры выйдут за рамки человеческого языка, изучат машинный язык и смогут переводить между двумя языками. Это расширит возможности модальностей ввода и вывода, что может привести к тому, что модели смогут не только генерировать язык, но и действия и прогнозы в поведении.
Далее доктор Камар подробно остановился на важном фазовом переходе, происходящем в вычислительной технике. Сегодня системы разрабатываются совсем по-другому, и это развитие потребует создания новой вычислительной парадигмы, о которой мы пока только поверхностно коснулись. В ближайшие годы то, как мы взаимодействуем с компьютерами, будет сильно отличаться, и это потребует переосмысления взаимодействия человека и компьютера (HCI).
Еще одно изменение – это то, как люди будут работать в будущем. Microsoft провела исследования, показавшие, что производительность сотрудников может удвоиться с точки зрения написания строк кода при помощи ИИ. Это невероятный подвиг, но то, как работает эта технология и откуда берется ее интеллект, по большей части неизвестно, поэтому в этой области остается много исследовательских вопросов.
Есть также много вопросов о потенциальном неправильном использовании LLM, подобного этому. Существуют опасения по поводу справедливости, различных демографических рисков и других, еще более серьезных последствий. Хотя существует большой потенциал для научных открытий, существует также и большой потенциал причинения вреда; например, убедить родителей не прививать своих детей, ребенка сделать что-то плохое или убедить кого-то, что мир плоский. При разработке программ LLM было приложено много усилий по обеспечению безопасности, и открытый исходный код также может быть очень полезен для достижения прогресса в этой области.
Затем доктор Камар задал вопросы научному сообществу:
- Как изменится наука с появлением ИИ?
- Принимаем ли мы меры по изменению того, как мы обучаем и обучаем следующее поколение?
- Создаете ли вы технологическую инфраструктуру, чтобы получить выгоду от этого фазового перехода?
- Готовим ли мы будущие поколения к новому миру?
Наконец, д-р Камар подчеркнул, что одним из основных аспектов фазового перехода, который заслуживает внимания, является скорость развития LLM. Эти модели значительно совершенствуются за очень короткий период времени, и исследователям компьютерных технологий предстоит еще многое наверстать.
Второй участник дискуссии, доктор Хэл Дауме III (Университет Мэриленда), начал свое выступление с объяснения того, что модели искусственного интеллекта следует разрабатывать, чтобы помогать людям делать то, что они хотят; увеличивать человеческий труд, а не автоматизировать. Такое видение автоматизации проникло в общество с 60-х годов. Вместо того, чтобы помогать людям лучше играть в шахматы, ученые разработали систему, которая играет в шахматы сама по себе.
Эта философия никуда не денется; Сегодня искусственный интеллект по-прежнему заслуживает внимания, если он достаточно умен, чтобы выполнять задачу самостоятельно. Это глубоко в крови ИИ. Прежде чем тратить время и деньги на автоматизацию системы, нам следует сначала остановиться и спросить, в наших ли это интересах?
Доктор Доме выдвинул концепцию аугментации: как можно использовать ИИ в качестве инструмента? Такие системы, как Github copilot, повышают производительность, но повышения производительности недостаточно. Пользователь системы воскликнул, что она позволяет им сосредоточиться на интересных частях кодирования, что гораздо больше соответствует тому, как следует создавать ИИ.
Исследователи ИИ не должны хотеть исключать из работы человека те части работы, которые приносят ему удовольствие; им следует уделять первоочередное внимание устранению тяжелой работы. Это должно улучшить жизнь людей, а не просто улучшить прибыль компании.
Доктор Доме стал соавтором статьи, в которой поднимались эти вопросы, и возник контраргумент, согласно которому с технической точки зрения создание систем с использованием, в частности, технологий машинного обучения, часто гораздо легче автоматизировать, чем дополнять. Это связано с тем, что данные, необходимые для обучения системы, которая будет обучать систему, легко получить. Мы предоставляем эту информацию, выполняя свою работу, и МО легко научить имитировать человеческое поведение. Гораздо сложнее научить систему, которая поможет кому-то выполнить задачу. Эта информация разбросана по обзорам литературы NSF, написана на листке бумаги программистом и т. д. Данные, необходимые для помощи человеку в выполнении задач, не записываются.
Еще один ключевой аспект создания полезных систем — спросить пользователя, какие системы будут полезны в его жизни. Например, потребности слепых людей сильно отличаются от потребностей зрячих (которые также отличаются от потребностей зрячих людей). think потребности слепых). Доктор Доме привел пример: зрительная система может определить, что объект представляет собой банку с газировкой, но слепой человек обычно может сказать это самостоятельно. Ингредиенты газировки были бы для них гораздо полезнее. Существует огромный разрыв между качеством ответов систем на простое понимание вопросов и решением вопросов доступности, и этот разрыв увеличивается.
Дополнительным примером того, как важно сначала определить потребности сообщества, прежде чем создавать технологию, которая «поможет» им, является модерация контента. Многие модераторы-добровольцы участвуют в этой работе, потому что хотят сделать мир лучше и помочь создать сообщество, которое они считают важным. Когда их спрашивают, какой инструмент они хотят использовать в своей работе, они часто не хотят, чтобы их работа была полностью автоматизирована, они просто хотят, чтобы скучные части, такие как просмотр истории чата, были проще.
Доктор Доме завершает эту дискуссию последним примером своей мамы, любящей автомобили, которая любит машины и отказывается водить машины с автоматической коробкой передач. Она выбирает механическую коробку передач, и для нее очень важно иметь такой выбор. Люди должны иметь контроль над тем, хотят ли они, чтобы их задачи были автоматизированы или нет.
Доктор Доме продолжает разговор, предлагая альтернативы нынешним подходам к технологиям доступности. Например, при создании инструмента для распознавания языка жестов вместо того, чтобы искать в Интернете видео, где люди подписывают жесты (что вызывает много проблем с согласием и конфиденциальностью, к тому же большинство этих видео снято профессионалами и без фонового шума / отвлекающих факторов, что нежелательно). Это нереально), обратитесь к сообществу и инициируйте проект, который позволит им отправлять видео для обучения инструментам. Подобные стратегии, ориентированные на сообщество, более этичны и ответственны и дают пользователям больше контроля.
Программы LLM и другие инструменты следует разрабатывать так, чтобы отдавать приоритет полезности, а не интеллекту, заключает доктор Доме. Чем оно полезнее, тем больше оно может помочь людям делать то, что они не могут или не хотят делать, вместо того, чтобы автоматизировать то, что люди уже делают хорошо и получают удовольствие.
Следующим докладчиком стал доктор Джонатан Мэй (Институт информационных наук Университета Южной Калифорнии), который начал свое выступление с размышлений о теме конференции: «На пути к науке без стен». Он утверждает, что, хотя недавнее развитие LLM разрушает стены для некоторых людей, оно возводит стены для многих.
Сначала он рассказывает о том, как Интернет снизил многие барьеры для проведения исследований; когда ему было 17, он задавался вопросом, почему сюжеты «Звездных войн» и «Властелина колец» очень похожи, и ему пришлось поехать в библиотеку и найти книгу с ответом. Для своей докторской диссертации он провел более важное, но столь же трудное исследование, но к концу его обучения по этой теме была создана страница в Википедии, а затем был выполнен поиск в Интернете, и теперь исследования без автомобилей стали нормой.
Доктор Мэй продолжил, сказав, что для него большая честь принадлежать к целевой аудитории студентов-магистров права. Он не часто пишет код и никогда не приобретал много навыков кодирования, но когда это ему нужно для работы, он может попросить ChatGPT, и он отлично справляется со своей задачей.
Однако на пути к широкому распространению полезности LLM есть много препятствий:
- Языковые стены. Модели работают тем лучше, чем больше данных они используют для обучения. Хотя сегодняшние коммерческие программы LLM являются многоязычными, они в значительной степени ориентированы на английский язык. Например, ChatGPT на 92% обучен английскому языку. Кроме того, данные инструкций, которые являются «секретным соусом» LLM, в подавляющем большинстве написаны на английском языке (например, 96% ChatGPT). В настоящее время предпринимается очень мало усилий по улучшению межъязыковой производительности этих моделей, несмотря на системные пробелы в производительности существующих тестов, что имеет смысл в связи с общим мнением о том, что машинный перевод (MT) «решён», и усилия следует сосредоточить на других задачах.
- Стены идентичности: если вы спросите ChatGPT, что вам следует делать на Рождество, он будет посвящен различным видам деятельности и традициям, которыми вы можете заниматься; здесь не упоминается, что вы можете пойти на работу. Было показано, что LLM ведут себя по-разному при описании разных демографических групп, выражая более негативные настроения и даже откровенную токсичность в некоторых случаях. Существуют вероятности стереотипных предложений, которые могут нанести вред таким сообществам, как ЛГБТК+ или еврейское; по всем направлениям существует большая предвзятость, и это имеет последствия при принятии решений. Существуют некоторые встроенные меры защиты, и более явные уточняющие вопросы с меньшей вероятностью получат токсичные ответы, но модели вероятностно предпочитают стереотипные утверждения и результаты, и именно здесь есть вред, особенно при использовании моделей в последующих возможностях, где вы не видите выход (т.е. право на получение кредита). Он привел пример того, как студенты LLM демонстрируют предвзятость при создании лиц людей на основе их работы; на низкооплачиваемых должностях показаны женщины и представители меньшинств, а на более высокооплачиваемых должностях — белые мужчины.
- Экологические стены (программное обеспечение): LLM требуют значительного количества энергии для производства и работы. Даже самые «скромные» LM потребляют в 3 раза больше энергии в год, чем тратит один человек. Также существует значительный пробел в данных по крупнейшим языковым моделям, таким как ChatGPT, но компании, владеющие ими, явно отказывают в доступе к данным о потреблении ими энергии.
- Экологические стены (оборудование): для производства чипов, которые требуются всем LLM, вам нужны «конфликтные материалы», такие как тантал (добываемый в Конго) и гафний (добываемый в Сенегале и России). В США компании должны сообщать об объеме используемых ими конфликтных минералов, но США публично демонстрирует снижение использования этих материалов, что не может быть правдой. Помимо этого, существует множество социально-политических проблем, таких как ограничение Китаем германия и галлия в ответ на экспортные ограничения США.
Доктор Мэй утверждает, что эти категории раскрывают некоторые из многих последующих проблем, связанных с вредом, причиняемым LLM, и случаями, когда люди не получают от этого пользы. Есть повод для беспокойства, но есть также возможности для проведения исследований и/или изменения поведения, которые могли бы смягчить некоторые из этих вредов:
- Язык: выделять больше средств на исследования многоязычию (а не только доминирующему переводу на английский и с английского).
- Идентичность: исследование снизу вверх и с участием сообщества. Модификация и тестирование модели перед развертыванием
- Среда: разработка алгоритма, который использует меньше данных и изменяет меньше параметров (например, LoRA, адаптеры, PO без RL). Будьте добросовестны в отношении вычислений и настаивайте на открытости на нормативном уровне.
Доктор Мэй завершил дискуссию, повторив точку зрения доктора Доме о том, что люди должны получать ту выгоду, которую они хотят получить от взаимодействия с магистратурой, и это должно быть в центре внимания на этапе разработки.
Большое спасибо за прочтение. Пожалуйста, зайдите завтра, чтобы прочитать краткий обзор части вопросов и ответов.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- Источник: https://feeds.feedblitz.com/~/874484594/0/cccblog~CCC-AAAS-Large-Language-Models-Helpful-Assistants-Romantic-Partners-or-Con-Artists-Part-One/
- :имеет
- :является
- :нет
- :куда
- $UP
- 1
- 17
- 2024
- 225
- 300
- 7
- a
- в состоянии
- О нас
- доступ
- доступность
- выполнять
- Учетная запись
- через
- действия
- активно
- дополнительный
- адресованный
- адресация
- AI
- AI в промышленности
- AI модели
- алгоритм
- Все
- уже
- причислены
- альтернативы
- среди
- количество
- an
- и
- годовой
- ответ
- ответы
- Ожидаемый
- предвосхищает
- откуда угодно
- подходы
- архитектура
- МЫ
- ПЛОЩАДЬ
- около
- Специалисты ELAN
- AS
- спросить
- спрашивающий
- внешний вид
- аспекты
- помощь
- помощники
- помощь
- At
- посещать
- аудитория
- увеличивать
- автоматизировать
- Автоматизированный
- Автоматический
- Автоматизация
- автоматизация
- фон
- Плохой
- барьеры
- основанный
- BE
- , так как:
- было
- до
- начал
- поведение
- поведения
- не являетесь
- польза
- пользу
- Лучшая
- между
- Beyond
- смещение
- Блог
- кровь
- доска
- книга
- Сверление
- Дно
- строить
- Строительство
- построенный
- но
- by
- Калифорния
- под названием
- пришел
- CAN
- не могу
- возможности
- легковые автомобили
- случаев
- случаев
- категории
- Вызывать
- вызванный
- CCC
- Блог ССС
- Совет КТС
- проблемы
- изменение
- изменения
- чат
- ChatGPT
- шахматы
- ребенок
- Китай
- чипсы
- выбор
- выбирает
- рождество
- код
- Кодирование
- как
- выходит
- приход
- коммерческая
- Сообщества
- сообщество
- Компании
- Компания
- полный
- комплектующие
- Вычисление
- компьютер
- Информатика
- компьютеры
- вычисление
- сама концепция
- Беспокойство
- Обеспокоенность
- заключает
- проводятся
- проведение
- Конференция
- конфликт
- Конго
- Консенсус
- согласие
- Последствия
- потребление
- содержание
- продолжать
- продолжающийся
- продолжается
- контроль
- Разговор
- Беседы
- Основные
- может
- Совет
- создали
- Создающий
- Текущий
- В настоящее время
- данным
- Принятие решений
- снижение
- глубоко
- глубокое обучение
- определение
- демографический
- развернуть
- описано
- описывающих
- предназначенный
- Несмотря на
- определения
- развитый
- развивающийся
- Развитие
- DID
- различный
- по-разному
- директор
- открытие
- обсуждается
- обсуждение
- Нарушение
- do
- приносит
- не
- дело
- Dont
- двойной
- вниз
- dr
- управлять
- два
- в течение
- e
- каждый
- Рано
- легче
- легко
- воспитывать
- усилия
- приемлемость
- появившийся
- подчеркнул
- Наделяет
- конец
- энергетика
- Энергопотребление
- заниматься
- Проект и
- Английский
- повышать
- пользоваться
- огромный
- достаточно
- одинаково
- особенно
- и т.д
- этический
- Даже
- пример
- существующий
- расширенный
- объясняя
- эксплицитно
- экспоненциальный
- Экспоненциальный рост
- экспорт
- выражает
- выражающий
- обширный
- лица
- факт
- справедливость
- подвиг
- СПЕЦЦЕНА
- ошибка
- несколько
- меньше
- окончательный
- Найдите
- First
- плоский
- Фокус
- внимание
- фокусируется
- Что касается
- Передний край
- вперед
- от
- Границы
- полностью
- fun
- финансирование
- далее
- будущее
- разрыв
- пробелы
- дал
- Общие
- в общем
- порождать
- порождающий
- поколение
- поколения
- GitHub
- Дайте
- Go
- будет
- ушел
- график
- большой
- Группы
- Рост
- было
- Сильнее
- Аппаратные средства
- вред
- доказательств вреда
- Есть
- HCI
- he
- сильно
- помощь
- полезный
- помощь
- ее
- High
- высший
- основной момент
- его
- история
- держать
- Как
- HTTPS
- человек
- Людей
- Обман
- i
- if
- значение
- важную
- впечатленный
- улучшать
- улучшение
- улучшение
- in
- В том числе
- Увеличение
- повышение
- невероятный
- лиц
- промышленность
- информация
- Инфраструктура
- первоначально
- инициировать
- вход
- понимание
- пример
- вместо
- Институт
- Интеллекта
- Умный
- взаимодействовать
- взаимодействующий
- взаимодействие
- интерес
- интересный
- Интернет
- в
- вопросы
- IT
- ЕГО
- еврейский
- работа
- Джобс
- Ионафан
- JPEG
- всего
- Основные
- Дети
- Вид
- язык
- Языки
- большой
- в значительной степени
- больше
- крупнейших
- вести
- УЧИТЬСЯ
- узнали
- изучение
- Меньше
- позволять
- Библиотека
- ЖИЗНЬЮ
- такое как
- Вероятно
- линия
- линий
- литература
- Живет
- жизнью
- LLM
- варианты
- дольше
- посмотреть
- искать
- Властелин колец
- серия
- любит
- ниже
- снижена
- машина
- обучение с помощью машины
- Большинство
- сделать
- ДЕЛАЕТ
- Создание
- управления
- Управляющий директор
- руководство
- многих
- maria
- Мэриленд
- материалы
- макс-ширина
- Май..
- член
- упомянуть
- Microsoft
- может быть
- против
- заминированный
- полезные ископаемые
- меньшинств
- злоупотреблять
- смягчать
- ML
- модель
- Модели
- умеренность
- мама
- деньги
- БОЛЕЕ
- самых
- перемещение
- MT
- много
- необходимо
- Необходимость
- потребности
- отрицательный
- никогда
- Новые
- заслуживает освещения в печати
- следующий
- нет
- сейчас
- NSF
- номер
- объект
- происходящий
- of
- предлагающий
- .
- on
- консолидировать
- ONE
- только
- открытый
- Открытость
- Возможности
- or
- заказ
- Другое
- наши
- внешний
- Результаты
- выходной
- прямой
- собственный
- страница
- панель
- бумага & картон
- парадигма
- параметры
- родители
- часть
- особый
- партнеры
- части
- Пауза
- платить
- Люди
- Выполнять
- производительность
- период
- человек
- перспектива
- пронизан
- фаза
- кандидат наук
- философия
- кусок
- Часть
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- Играть
- играет
- пожалуйста
- плюс
- PO
- Точка
- пунктов
- часть
- поставленный
- возможности,
- потенциал
- Predictions
- предпочитать
- подготовка
- Presentations
- Предварительный
- Расставляйте приоритеты
- политикой конфиденциальности.
- привилегированный
- вероятностно
- вероятности
- проблемам
- производит
- производительность
- профессионалы
- Профессор
- Программист
- Прогресс
- Проект
- при условии
- публично
- толкнул
- Вопросы и ответы
- Вопросы
- привлечение
- быстро
- скорее
- достигать
- Читать
- Reading
- реалистичный
- на самом деле
- резюме
- Получать
- последний
- признание
- записанный
- отражающий
- регуляторы
- повторив
- замечательный
- удаление
- удаление
- отчету
- требовать
- исследованиям
- исследователи
- ответы
- ответственный
- ограничение
- Ограничения
- показывать
- Отзывы
- рисках,
- Роли
- Run
- Россия
- защитные меры
- Сохранность
- то же
- поговорка
- Шкала
- масштабирование
- рассеянный
- Наука
- НАУКА
- научный
- Ученые
- Поиск
- Во-вторых
- посмотреть
- видел
- смысл
- настроение
- Сессия
- сессиях
- общие
- она
- Короткое
- должен
- показал
- показ
- показанный
- подпись
- значительный
- существенно
- подписание
- Признаки
- аналогичный
- просто
- с
- одинарной
- навыки
- Замедление
- So
- Общество
- Software
- некоторые
- Кто-то
- удалось
- Об
- южный
- Динамик
- конкретный
- конкретно
- скорость
- Расходы
- Этап
- Звезда
- Star Wars
- Начало
- и политические лидеры
- отчетность
- Статус:
- Шаги
- По-прежнему
- стратегий
- исследования
- изучение
- отправить
- суммировать
- поставка
- Поддержанный
- предполагаемый
- Поверхность
- окружающих
- система
- систематический
- системы
- принимает
- с
- Говорить
- цель
- Сложность задачи
- задачи
- Технический
- технологический
- Технологии
- сказать
- terms
- Тестирование
- тестов
- чем
- который
- Ассоциация
- Будущее
- График
- мир
- их
- Их
- тема
- тогда
- Там.
- Эти
- диссертация
- они
- вещи
- think
- этой
- На этой неделе
- три
- время
- в
- сегодня
- Сегодняшних
- завтра
- инструментом
- инструменты
- топ
- тема
- к
- Train
- специалистов
- Transform
- трансформеры
- переход
- переведите
- Переводы
- в мозге
- правда
- мелодия
- два
- типично
- понимание
- созданного
- Университет
- неизвестный
- us
- использование
- используемый
- полезный
- Информация о пользователе
- пользователей
- использования
- через
- Огромная
- очень
- Видео
- видение
- визуальный
- волонтер
- хотеть
- законопроект
- Путь..
- we
- неделя
- ЧТО Ж
- были
- Что
- когда
- в то время как
- который
- в то время как
- белый
- КТО
- зачем
- широко распространена
- Википедия.
- будете
- без
- Женщина
- Работа
- работает
- Мир
- бы
- Завернутый
- письмо
- письменный
- лет
- Ты
- зефирнет