Драма LLaMA через витік мега-мовної моделі Meta

LLaMA, остання велика мовна модель Meta, просочилася в Інтернет і доступна для завантаження, незважаючи на очевидні спроби обмежити доступ лише для дослідницьких цілей.

Власник Facebook оголошений у лютому він випускав модель в обмеженому режимі для вибору науковців, типів уряду та компаній, з якими можна грати на тлі страхів LlaMA можуть бути зловживані. Але інформація хоче бути безкоштовною або, принаймні, деякі люди хочуть, щоб це було, і творіння Meta все одно знайшло свій шлях в Інтернеті, починаючи з витоку торрент-файлів.

Великі мовні моделі з передбаченням речень, які генерують уривки тексту з підказок введення, постійно розвивалися, починаючи від автоматичного завершення написаного до чат-ботів, здатних виконувати завдання, коли їх просять зробити це за допомогою природної мови.

Експерти попереджають, що ця технологія може бути використана для автоматизації виробництва великої кількості фейкових новин, спаму, фішингових листів, дезінформації, підбурювання тощо протягом багатьох років. Організації, які створюють ці моделі, часто тримають програмне забезпечення в таємниці, за API або випускають обмежені версії чи демонстрації. 

«Потрібно провести більше досліджень, щоб усунути ризики упередженості, токсичних коментарів і галюцинацій у великих мовних моделях», Мета сказав минулого тижня.

«Як і інші моделі, LLaMA поділяє ці проблеми. Будучи основною моделлю, LLaMA розроблена як універсальна та може бути застосована для багатьох різних випадків використання, на відміну від точно налаштованої моделі, розробленої для конкретного завдання.

«Щоб зберегти цілісність і запобігти неправильному використанню, ми випускаємо нашу модель за некомерційною ліцензією, зосередженою на дослідницьких випадках використання. Доступ до моделі надаватиметься академічним дослідникам у кожному конкретному випадку; ті, хто пов'язаний з організаціями в уряді, громадянському суспільстві та наукових колах; та промислові дослідницькі лабораторії по всьому світу».

Інструкції

Але спроби Meta контролювати доступ до LLaMA були, принаймні, марними. Невдовзі після того, як поділилися цією моделлю з вибраними бофінами, представниками індустрії та громадянського суспільства, хтось із 4Chan опублікував докладну інформацію про те, як отримати всю модель за допомогою однорангового обміну файлами та, зрештою, інструкції, як це все завантажити були опубліковані на GitHub.

Як завжди, будьте обережні, завантажуючи подібні матеріали з торрентів, на випадок, якщо хтось приховав там щось негідне. Модель з 65 мільярдами параметрів займає близько 220 ГБ дискового простору, як нам сказали.

Ми зазначаємо, що копії LLaMA, доступні через GitHub, справді здаються законними. Шон Пресер, ан Інженер ШІ який написав інструкції щодо завантаження на сайті спільного використання коду Microsoft, показав нам скріншоти, на яких він успішно генерує текст із моделі. Він вважає, що дослідник, який отримав доступ до моделі з Meta, злив її, що призвело до її поширення, можливо, ширшого, ніж очікувалося.

Запустіть свої двигуни теорії змови.

Пресер вважає, що вільно оприлюднювати модель без застережень краще, ніж просто обмежити її схваленими вченими. «Я думаю, що добро переважить зло, принаймні в десять разів. Ймовірно, ближче до 100 разів", - сказав він Реєстр. 

Навчання та використання найсучасніших великих мовних моделей, загалом, коштує дорого; лише організації, які мають доступ до купи графічних процесорів та іншої інфраструктури, можуть створювати, налаштовувати та тестувати їх. Дослідники ШІ в Meta побудований LLaMA, щоб бути меншим, що робить його більш компактним, ніж сучасні комерційні моделі, і, отже, більш доступним для науковців і розробників без нетривіальних ІТ-бюджетів. 

Гуру машинного навчання Meta стверджували, що їхня система перевершує OpenAI GPT-3 і не поступається іншим великим мовним моделям, таким як PaLM від Google із 540 мільярдами параметрів або Chinchilla від DeepMind із 70 мільярдами параметрів. Менший розмір означає, що його буде легше використовувати для вчених, які мають менші обчислювальні ресурси. І так, існує безліч мовних моделей усіх форм і розмірів; це більше, ніж просто OpenAI і Facebook.

Для роботи LLaMA все ще потрібні сотні гігабайт пам’яті та пристойний об’єм обчислювальної техніки. Запустити та запустити модель також непросто, якщо ви не звикли працювати з системами такого типу, а перепрофілювання для більш мерзенних дій також потребуватиме додаткових технічних знань. Незважаючи на витік моделі, Meta заявила, що продовжить ділитися LLaMA лише з вибраними дослідниками. 

Ми вважаємо, що поточна стратегія випуску дозволяє нам збалансувати відповідальність і відкритість

«Мета Meta — поділитися найсучаснішими моделями ШІ з членами дослідницької спільноти, щоб допомогти нам оцінити та вдосконалити ці моделі», — сказав представник Реєстр.

«LLaMA було надано для дослідницьких цілей, відповідно до того, як ми ділилися попередніми моделями великих мов. Хоча модель доступна не всім, а деякі намагалися обійти процес затвердження, ми вважаємо, що поточна стратегія випуску дозволяє нам збалансувати відповідальність і відкритість».

Іншими словами, група Facebook дотримується свого підходу до поширення своїх технологій.

Останні спроби Meta випустити великі мовні моделі не пройшли гладко. Минулого року його балакучим BlenderBot був criticized за поширення дезінформації та антисемітських поглядів. Galactica, призначена для узагальнення наукових знань, була віддалений через три дні після його запуску за створення фейкового та расистського контенту. ®

• Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
• Платоблокчейн. Web3 Metaverse Intelligence. Розширені знання. Доступ тут.
• джерело: https://go.theregister.com/feed/www.theregister.com/2023/03/08/meta_llama_ai_leak/