Meta'nın mega dil modeli sızdırılırken LLaMA draması

Meta'nın mega dil modeli sızdırılırken LLaMA draması

Zaman Damgası: 8 Mart 2023 3:14
Meta'nın mega dil modelinin PlatoBlockchain Veri İstihbaratını sızdırmasıyla LLaMA draması. Dikey Arama. Ai.

Meta'nın en son büyük dil modeli LLaMA, yalnızca araştırma amacıyla erişimi sınırlamaya yönelik bariz girişimlere rağmen çevrimiçi olarak sızdırıldı ve indirilebilir durumda.

Facebook'un sahibi açıkladı Şubat ayında modeli, korkuların ortasında oynayacakları akademisyenleri, hükümet türlerini ve şirketleri seçmek için sınırlı bir şekilde piyasaya sürüyordu. aramalar kötüye kullanılabilir. Ancak bilgi özgür olmak ister veya en azından bazı insanlar olmasını ister ve Meta'nın yaratımı, bir torrent sızıntısından başlayarak her halükarda çevrimiçi yolunu bulmuştur.

Giriş istemlerinden metin pasajları oluşturan cümle tahmin eden büyük dil modelleri, kişinin yazısını otomatik olarak tamamlamasından, doğal dil kullanarak yapması istendiğinde görevleri yerine getirebilen sohbet robotlarına doğru sürekli bir evrim geçirdi.

Uzmanlar, bu teknolojinin büyük miktarlarda sahte haber, spam, kimlik avı e-postaları, dezenformasyon, kışkırtma, adını siz koyun, üretimini yıllarca otomatikleştirmek için kullanılabileceği konusunda uyardı. Bu modelleri oluşturan kuruluşlar genellikle yazılımı gizli tutar, API'lerin arkasında tutar veya sınırlı sürümler veya demolar yayınlar. 

Meta, "Büyük dil modellerinde önyargı, toksik yorumlar ve halüsinasyon risklerini ele almak için yapılması gereken daha fazla araştırma var" dedi. şuraya geçen hafta.

"Diğer modeller gibi, LLaMA da bu zorlukları paylaşıyor. Bir temel model olarak LLaMA, çok yönlü olacak şekilde tasarlanmıştır ve belirli bir görev için tasarlanmış ince ayarlı bir modele kıyasla birçok farklı kullanım durumuna uygulanabilir.

"Bütünlüğü korumak ve kötüye kullanımı önlemek için, modelimizi araştırma kullanım durumlarına odaklanan ticari olmayan bir lisans altında yayınlıyoruz. Modele erişim, akademik araştırmacılara vaka bazında verilecektir; hükümet, sivil toplum ve akademideki kuruluşlara bağlı olanlar; ve dünya çapında endüstri araştırma laboratuvarları.”

Nasıl yapılır? "rehberi

Ancak Meta'nın LLaMA'ya erişimi kontrol etme çabaları boşuna olmuş gibi görünüyor, ya da öyle görünüyor. Modeli seçilen bilginlerle, endüstri ve sivil toplumla paylaştıktan kısa bir süre sonra, 4Chan'da biri eşler arası dosya paylaşımı yoluyla tüm modelin nasıl elde edileceğine dair ayrıntıları yayınladı ve sonunda hepsini nasıl indireceğinize dair talimatlar GitHub'da yayınlandı.

Her zaman olduğu gibi, birinin orada alçakça bir şey saklaması ihtimaline karşı, torrentlerden buna benzer şeyler getirirken dikkatli olun. 65 milyar parametreli modelin yaklaşık 220 GB disk alanı kapladığı söylendi.

GitHub aracılığıyla sunulan LLaMA kopyalarının yasal göründüğünü not ediyoruz. Shawn Presser, bir AI mühendisi Microsoft'un kod paylaşım sitesinde indirme talimatlarını yazan kişi, modelden başarılı bir şekilde metin oluşturduğunu gösteren ekran görüntülerini bize gösterdi. Meta'dan modele erişim verilen bir araştırmacının modeli sızdırdığına ve bunun belki de beklenenden daha geniş bir dağıtıma yol açtığına inanıyor.

Komplo teorisi motorlarınızı çalıştırın.

Presser, modeli herhangi bir uyarı olmaksızın özgürce yayınlamanın, onu sadece onaylı akademisyenlerle sınırlamaktan daha iyi olduğunu düşünüyor. “İyinin kötüden en az on kat daha ağır basacağını düşünüyorum. Muhtemelen 100x'e yakın" dedi. Kayıt. 

Son teknoloji büyük dil modellerini eğitmek ve çalıştırmak, genel olarak konuşursak, pahalıdır; yalnızca GPU yığınlarına ve diğer altyapıya erişimi olan kuruluşlar bunları oluşturma, düzenleme ve test etme konumundadır. Meta'daki AI araştırmacıları LLaMA daha küçük olacak şekilde inşa edildi, onu günümüzün ticari modellerinden daha kompakt hale getirir ve böylece önemsiz olmayan BT bütçeleri olmadan akademisyenler ve geliştiriciler için daha erişilebilir hale getirir. 

Meta'nın makine öğrenimi guruları, sistemlerinin OpenAI'nin GPT-3'ünden daha iyi performans gösterdiğini ve Google'ın 540 milyar parametreli PaLM'si veya DeepMind'ın 70 milyar parametreli Chinchilla'sı gibi diğer büyük dil modelleri kadar iyi olduğunu iddia etti. Daha küçük boyut, daha az hesaplama kaynağına sahip bilim adamları için kullanımının daha kolay olması gerektiği anlamına gelir. Ve evet, her şekil ve boyutta çok sayıda dil modeli var; OpenAI ve Facebook'tan daha fazlası.

LLaMA hala yüzlerce gigabayt depolama alanı ve onu çalıştırmak için yeterli miktarda bilgi işlem gerektiriyor. Bu tür sistemlerle uğraşmaya alışkın değilseniz ve modeli daha hain faaliyetler için yeniden kullanmak da daha fazla teknik uzmanlık gerektirecekse, modeli kurup çalışır hale getirmek de kolay değildir. Modelin sızdırılmasına rağmen Meta, LLaMA'yı yalnızca seçilmiş araştırmacılarla paylaşmaya devam edeceğini söyledi. 

Mevcut sürüm stratejisinin sorumluluk ve açıklığı dengelememize izin verdiğine inanıyoruz.

Bir sözcü, "Meta'nın amacı, bu modelleri değerlendirmemize ve geliştirmemize yardımcı olmak için araştırma topluluğu üyeleriyle en son teknoloji yapay zeka modellerini paylaşmaktır" dedi. Kayıt.

"LLaMA, önceki büyük dil modellerini paylaşma şeklimizle tutarlı olarak araştırma amacıyla paylaşıldı. Model herkes tarafından erişilebilir olmasa ve bazıları onay sürecini atlatmaya çalışsa da, mevcut sürüm stratejisinin sorumluluk ve açıklığı dengelememize izin verdiğine inanıyoruz."

Başka bir deyişle, Facebook grubu, teknolojisini dağıtma yaklaşımının arkasında duruyor.

Meta'nın son zamanlarda büyük dil modellerini yayınlama girişimleri sorunsuz gitmedi. Geçen yıl konuşkan BlenderBot eleştirdi yanlış bilgi ve Yahudi aleyhtarı görüşleri yaymak için. Bilimsel bilgiyi özetlemek için tasarlanan Galactica, kaldırıldı sahte ve ırkçı içerik ürettiği için başlatıldıktan üç gün sonra. ®

Zaman Damgası:

Den fazla Kayıt