Драма LLaMA из-за утечки мегаязыковой модели Meta

LLaMA, последняя крупная языковая модель Meta, просочилась в Интернет и доступна для загрузки, несмотря на очевидные попытки ограничить доступ только в исследовательских целях.

Владелец Facebook объявило в феврале он выпускал модель ограниченным тиражом, чтобы выбрать ученых, представителей правительства и компании, с которыми можно было бы поиграть на фоне опасений. ЛАМА могут быть использованы не по назначению. Но информация хочет быть бесплатной, или, по крайней мере, некоторые люди хотят, чтобы это было так, и творение Меты все равно попало в сеть, начиная с утечки через торрент.

Большие языковые модели прогнозирования предложений, которые генерируют отрывки текста из подсказок ввода, постоянно развиваются: от автоматического завершения письма до чат-ботов, способных выполнять задачи, когда их об этом просят, используя естественный язык.

Эксперты предупреждают, что эта технология может быть использована для автоматизации производства большого количества поддельных новостей, спама, фишинговых писем, дезинформации, подстрекательства и т. д. на долгие годы. Организации, создающие эти модели, часто держат программное обеспечение в тайне, за API или выпускают ограниченные версии или демоверсии. 

«Необходимо провести дополнительные исследования, чтобы устранить риски предвзятости, токсичных комментариев и галлюцинаций в больших языковых моделях», — говорит Мета. — сказал на прошлой неделе.

«Как и другие модели, LLaMA разделяет эти проблемы. В качестве базовой модели LLaMA разработана так, чтобы быть универсальной и может применяться во многих различных случаях использования, в отличие от тонко настроенной модели, предназначенной для конкретной задачи.

«Чтобы сохранить целостность и предотвратить неправильное использование, мы выпускаем нашу модель под некоммерческой лицензией, ориентированной на исследовательские варианты использования. Доступ к модели будет предоставляться академическим исследователям в каждом конкретном случае; те, кто связан с правительственными организациями, гражданским обществом и академическими кругами; и отраслевые исследовательские лаборатории по всему миру».

Практическое руководство

Но попытки Меты контролировать доступ к LLaMA оказались напрасными, по крайней мере, так кажется. Вскоре после обмена моделью с избранными учеными, а также представителями промышленности и гражданского общества, кто-то на 4Chan опубликовал подробную информацию о том, как получить всю модель через одноранговый обмен файлами, и в конечном итоге инструкция как все это скачать были опубликованы на GitHub.

Как всегда, соблюдайте осторожность при извлечении подобных материалов с торрентов на случай, если кто-то спрятал там что-то гнусное. Нам сказали, что модель с 65 миллиардами параметров занимает около 220 ГБ дискового пространства.

Мы отмечаем, что копии LLaMA, доступные через GitHub, кажутся законными. Шон Прессер, Инженер ИИ который написал инструкции по загрузке на сайте обмена кодом Microsoft, показал нам скриншоты того, как он успешно генерирует текст из модели. Он считает, что исследователь, которому был предоставлен доступ к модели из Meta, слил ее, что, возможно, привело к ее более широкому, чем ожидалось, распространению.

Запустите свои двигатели теории заговора.

Прессер считает, что лучше выпускать модель бесплатно без каких-либо оговорок, чем ограничивать ее только утвержденными учеными. «Я думаю, что хорошее перевесит плохое, по крайней мере, в десять раз. Вероятно, ближе к 100x», — сказал он. Регистр. 

Вообще говоря, обучение и запуск современных больших языковых моделей стоит дорого; только организации, имеющие доступ к множеству графических процессоров и другой инфраструктуре, могут создавать, настраивать и тестировать их. Исследователи ИИ в Meta построил LLaMA, чтобы быть меньше, что делает его более компактным, чем сегодняшние коммерческие модели, и, следовательно, более доступным для ученых и разработчиков с нетривиальными ИТ-бюджетами. 

Гуру машинного обучения Meta заявили, что их система превзошла GPT-3 OpenAI и не уступает другим моделям больших языков, таким как PaLM от Google с 540 миллиардами параметров или Chinchilla от DeepMind с 70 миллиардами параметров. Меньший размер означает, что его будет проще использовать ученым, у которых меньше вычислительных ресурсов. И да, существует множество языковых моделей всех форм и размеров; это больше, чем просто OpenAI и Facebook.

LLaMA по-прежнему требует сотен гигабайт дискового пространства и приличного объема вычислительных ресурсов для его работы. Запустить и запустить модель также непросто, если только вы не привыкли работать с системами такого типа, а перепрофилирование ее для более гнусных действий также потребует дополнительных технических знаний. Несмотря на утечку модели, Meta заявила, что продолжит делиться LLaMA только с избранными исследователями. 

Мы считаем, что текущая стратегия выпуска позволяет нам сбалансировать ответственность и открытость.

«Цель Meta — поделиться современными моделями ИИ с членами исследовательского сообщества, чтобы помочь нам оценить и улучшить эти модели», — сказал представитель. Регистр.

«LLaMA был предоставлен для исследовательских целей, в соответствии с тем, как мы делились предыдущими моделями больших языков. Хотя модель доступна не для всех, и некоторые пытались обойти процесс утверждения, мы считаем, что текущая стратегия выпуска позволяет нам сбалансировать ответственность и открытость».

Другими словами, группа Facebook придерживается своего подхода к распространению своих технологий.

Недавние попытки Meta выпустить большие языковые модели не прошли гладко. В прошлом году его болтливый BlenderBot был критике за распространение дезинформации и антисемитских взглядов. «Галактика», призванная обобщить научные знания, была удаленный через три дня после запуска за создание фейкового и расистского контента. ®

• SEO-контент и PR-распределение. Получите усиление сегодня.
• Платоблокчейн. Интеллект метавселенной Web3. Расширение знаний. Доступ здесь.
• Источник: https://go.theregister.com/feed/www.theregister.com/2023/03/08/meta_llama_ai_leak/