Dramat LLaMA, gdy wycieka megajęzykowy model Meta

Dramat LLaMA, gdy wycieka megajęzykowy model Meta

Znacznik czasu: 8 marca 2023 3:14
Dramat LLaMA po wycieku megajęzykowego modelu Meta PlatoBlockchain Data Intelligence. Wyszukiwanie pionowe. AI.

LLaMA, najnowszy duży model języka Meta, wyciekł do sieci i jest dostępny do pobrania, pomimo widocznych prób ograniczenia dostępu wyłącznie do celów badawczych.

Właściciel Facebooka ogłosił w lutym wypuścił model w ograniczonym zakresie, aby wybrać naukowców, przedstawicieli rządu i firmy, z którymi można bawić się w obawie Lama mógłby być niewłaściwie wykorzystany. Ale informacje chcą być darmowe, a przynajmniej niektórzy ludzie tego chcą, a dzieło Meta i tak trafiło do sieci, zaczynając od wycieku z torrenta.

Przewidujące zdania duże modele językowe, które generują fragmenty tekstu z monitów wejściowych, stale ewoluowały, od automatycznego uzupełniania tekstu do chatbotów zdolnych do wykonywania zadań, gdy zostaną o to poproszeni, przy użyciu języka naturalnego.

Eksperci ostrzegają, że ta technologia może zostać wykorzystana do automatyzacji produkcji dużych ilości fałszywych wiadomości, spamu, e-maili typu phishing, dezinformacji, podżegania i innych. Organizacje budujące te modele często trzymają oprogramowanie w tajemnicy, za interfejsami API lub wypuszczają ograniczone wersje lub wersje demonstracyjne. 

„Jest jeszcze więcej badań, które należy przeprowadzić, aby zająć się ryzykiem uprzedzeń, toksycznych komentarzy i halucynacji w dużych modelach językowych”, Meta powiedziany zeszły tydzień.

„Podobnie jak inne modele, LLaMA podziela te wyzwania. Jako model podstawowy, LLaMA został zaprojektowany tak, aby był wszechstronny i można go było zastosować w wielu różnych przypadkach użycia, w przeciwieństwie do precyzyjnie dostrojonego modelu zaprojektowanego do określonego zadania.

„Aby zachować integralność i zapobiegać nadużyciom, udostępniamy nasz model na licencji niekomercyjnej, koncentrującej się na badaniach przypadków użycia. Dostęp do modelu będzie przyznawany na zasadzie indywidualnych przypadków naukowcom akademickim; osoby powiązane z organizacjami rządowymi, społeczeństwem obywatelskim i środowiskiem akademickim; i przemysłowych laboratoriów badawczych na całym świecie.”

Poradnik Jak to zrobić

Ale wysiłki Meta, aby kontrolować dostęp do LLaMA, wydają się być daremne, a przynajmniej tak się wydaje. Wkrótce po udostępnieniu modelu wybranym ekspertom, przedstawicielom przemysłu i społeczeństwa obywatelskiego, ktoś na 4Chan zamieścił szczegółowe informacje o tym, jak uzyskać cały model poprzez udostępnianie plików peer-to-peer, a ostatecznie instrukcje, jak to wszystko pobrać zostały opublikowane na GitHubie.

Jak zawsze, zachowaj ostrożność podczas pobierania takich rzeczy z torrentów, na wypadek gdyby ktoś ukrył tam coś nikczemnego. Podobno model o 65 miliardach parametrów zajmuje około 220 GB miejsca na dysku.

Zauważamy, że kopie LLaMA dostępne za pośrednictwem GitHub wydają się być legalne. Shawn Presser, an Inżynier AI który napisał instrukcje pobierania na stronie udostępniania kodu Microsoftu, pokazał nam zrzuty ekranu, na których pomyślnie wygenerował tekst z modelu. Uważa on, że badacz, któremu dano dostęp do modelu z Meta, ujawnił go, co doprowadziło do jego prawdopodobnie szerszego niż oczekiwano rozpowszechnienia.

Uruchom silniki teorii spiskowych.

Presser uważa, że ​​swobodna publikacja modelu bez zastrzeżeń jest lepsza niż ograniczanie go tylko do zatwierdzonych naukowców. „Myślę, że dobro przeważy zło, co najmniej dziesięciokrotnie. Prawdopodobnie bliżej 100x” – powiedział Rejestr. 

Ogólnie rzecz biorąc, szkolenie i prowadzenie najnowocześniejszych dużych modeli językowych jest drogie; tylko organizacje, które mają dostęp do stosów procesorów graficznych i innej infrastruktury, mogą je budować, ulepszać i testować. Naukowcy AI w Meta zbudowany LLaMA, aby był mniejszy, dzięki czemu jest bardziej kompaktowy niż dzisiejsze modele komercyjne, a tym samym bardziej dostępny dla naukowców i programistów bez nietrywialnych budżetów IT. 

Guru uczenia maszynowego Meta twierdzili, że ich system przewyższa GPT-3 OpenAI i jest tak dobry, jak inne duże modele językowe, takie jak PaLM Google o 540 miliardach parametrów lub Chinchilla o 70 miliardach parametrów DeepMind. Mniejszy rozmiar oznacza, że ​​powinien być łatwiejszy w użyciu dla naukowców, którzy mają mniejsze zasoby obliczeniowe. I tak, istnieje mnóstwo modeli językowych o różnych kształtach i rozmiarach; to coś więcej niż tylko OpenAI i Facebook.

LLaMA nadal wymaga setek gigabajtów pamięci i przyzwoitej ilości mocy obliczeniowej, aby go napędzać. Uruchomienie modelu również nie jest proste, chyba że jesteś przyzwyczajony do obsługi systemów tego rodzaju, a ponowne przeznaczenie go do bardziej nikczemnych działań będzie również wymagać dalszej wiedzy technicznej. Pomimo wycieku modelu, Meta powiedziała, że ​​będzie nadal udostępniać LLaMA tylko wybranym badaczom. 

Wierzymy, że obecna strategia wydawnicza pozwala nam zrównoważyć odpowiedzialność i otwartość

„Celem Meta jest udostępnianie najnowocześniejszych modeli sztucznej inteligencji członkom społeczności badawczej, aby pomóc nam ocenić i ulepszyć te modele” – powiedział rzecznik Rejestr.

„LLaMA została udostępniona do celów badawczych, zgodnie z tym, jak udostępnialiśmy poprzednie duże modele językowe. Chociaż model nie jest dostępny dla wszystkich, a niektórzy próbowali obejść proces zatwierdzania, wierzymy, że obecna strategia wydania pozwala nam zrównoważyć odpowiedzialność i otwartość”.

Innymi słowy, grupa na Facebooku podtrzymuje swoje podejście do dystrybucji swojej technologii.

Ostatnie próby Meta dotyczące wypuszczenia dużych modeli językowych nie poszły gładko. W zeszłym roku był jego gadatliwy BlenderBot krytykowane za szerzenie dezinformacji i antysemickich poglądów. Galactica, zaprojektowana w celu podsumowania wiedzy naukowej, była usunięte trzy dni po uruchomieniu za generowanie fałszywych i rasistowskich treści. ®

Znak czasu:

Więcej z Rejestr