ดราม่า LLaMA เมื่อโมเดลภาษาขนาดใหญ่ของ Meta รั่วไหล

ดราม่า LLaMA เมื่อโมเดลภาษาขนาดใหญ่ของ Meta รั่วไหล

ประทับเวลา: 8 มีนาคม 2023 3:14 น
ละคร LLaMA ในฐานะโมเดลภาษาขนาดใหญ่ของ Meta รั่วไหล PlatoBlockchain Data Intelligence ค้นหาแนวตั้ง AI.

LLaMA ซึ่งเป็นรูปแบบภาษาขนาดใหญ่ล่าสุดของ Meta รั่วไหลทางออนไลน์และพร้อมให้ดาวน์โหลด แม้ว่าจะมีความพยายามจำกัดการเข้าถึงเพื่อวัตถุประสงค์ในการวิจัยเท่านั้น

เจ้าของเฟสบุ๊ค ประกาศ ในเดือนกุมภาพันธ์ ได้มีการเปิดตัวโมเดลในลักษณะที่จำกัดเพื่อคัดเลือกนักวิชาการ ประเภทรัฐบาล และบริษัทที่จะเล่นด้วยท่ามกลางความกลัว โทร อาจถูกนำไปใช้ในทางที่ผิด แต่ข้อมูลต้องการเป็นอิสระ หรืออย่างน้อยก็มีบางคนต้องการให้เป็นเช่นนั้น และการสร้าง Meta ก็ได้หาทางออนไลน์อยู่ดี โดยเริ่มจากการรั่วไหลของฝนตกหนัก

โมเดลภาษาขนาดใหญ่ที่ใช้ทำนายประโยค ซึ่งสร้างข้อความจากข้อความแจ้งอินพุตได้พัฒนาอย่างต่อเนื่อง ตั้งแต่การเขียนข้อความอัตโนมัติไปจนถึงแชทบอทที่สามารถทำงานเมื่อถูกขอให้ใช้ภาษาธรรมชาติ

ผู้เชี่ยวชาญเตือนว่าเทคโนโลยีนี้สามารถใช้เพื่อผลิตข่าวปลอม สแปม อีเมลฟิชชิ่ง ข้อมูลบิดเบือน การยุยง จำนวนมากโดยอัตโนมัติ ในอีกหลายปีข้างหน้า องค์กรที่สร้างโมเดลเหล่านี้มักจะเก็บซอฟต์แวร์ไว้ภายใต้การแรป อยู่เบื้องหลัง API หรือปล่อยเวอร์ชันจำกัดหรือการสาธิต 

“ยังมีงานวิจัยอีกมากที่ต้องทำเพื่อจัดการกับความเสี่ยงของอคติ ความคิดเห็นที่เป็นพิษ และอาการประสาทหลอนในรูปแบบภาษาขนาดใหญ่” Meta กล่าวว่า อาทิตย์ที่แล้ว.

“เช่นเดียวกับรุ่นอื่นๆ LLaMA แบ่งปันความท้าทายเหล่านี้ ในฐานะที่เป็นรุ่นพื้นฐาน LLaMA ได้รับการออกแบบให้ใช้งานได้หลากหลายและสามารถนำไปใช้กับกรณีการใช้งานต่างๆ มากมาย เทียบกับรุ่นที่ปรับแต่งอย่างละเอียดซึ่งออกแบบมาสำหรับงานเฉพาะอย่าง

“เพื่อรักษาความสมบูรณ์และป้องกันการใช้งานในทางที่ผิด เราจึงเผยแพร่แบบจำลองของเราภายใต้ใบอนุญาตที่ไม่ใช่เชิงพาณิชย์ซึ่งมุ่งเน้นไปที่กรณีการใช้งานการวิจัย การเข้าถึงแบบจำลองจะได้รับเป็นกรณีไปสำหรับนักวิจัยทางวิชาการ ผู้ที่สังกัดองค์กรภาครัฐ ภาคประชาสังคม และภาควิชาการ และห้องปฏิบัติการวิจัยอุตสาหกรรมทั่วโลก”

คู่มือวิธีใช้

แต่ความพยายามของ Meta ในการควบคุมการเข้าถึง LLaMA ดูเหมือนจะไร้ผล หรือเป็นเช่นนั้น ไม่นานหลังจากแชร์โมเดลกับโบฟฟินที่เลือก รวมถึงผู้ที่อยู่ในอุตสาหกรรมและภาคประชาสังคม มีคนใน 4Chan โพสต์รายละเอียดเกี่ยวกับวิธีรับโมเดลทั้งหมดผ่านการแชร์ไฟล์แบบเพียร์ทูเพียร์ และในที่สุด คำแนะนำในการดาวน์โหลดทั้งหมด ถูกเผยแพร่บน GitHub

เช่นเคย ใช้ความระมัดระวังเมื่อเรียกข้อมูลเหล่านี้จาก torrents เผื่อว่ามีคนแอบซ่อนสิ่งชั่วร้ายไว้ในนั้น เราได้รับแจ้งว่าโมเดล 65 พันล้านพารามิเตอร์ใช้พื้นที่ดิสก์ประมาณ 220GB

สำเนาของ LLaMA ที่มีอยู่ใน GitHub ดูเหมือนจะถูกต้องตามกฏหมาย ชอว์น เพรสเซอร์ อ วิศวกร AI ผู้เขียนคำแนะนำการดาวน์โหลดบนเว็บไซต์แบ่งปันโค้ดของ Microsoft แสดงภาพหน้าจอของเขาที่สร้างข้อความจากแบบจำลองได้สำเร็จ เขาเชื่อว่านักวิจัยที่ได้รับสิทธิ์เข้าถึงแบบจำลองจาก Meta ได้รั่วไหลออกมา ซึ่งนำไปสู่การเผยแพร่ที่กว้างกว่าที่คาดไว้

เริ่มกลไกทฤษฎีสมคบคิดของคุณ

Presser คิดว่าการปล่อยโมเดลอย่างอิสระโดยไม่มีข้อแม้นั้นดีกว่าการจำกัดไว้เฉพาะนักวิชาการที่ได้รับการอนุมัติเท่านั้น “ฉันคิดว่าความดีจะมีมากกว่าความเลว อย่างน้อยสิบเท่า อาจจะเกือบถึง 100x” เขากล่าว ลงทะเบียน. 

การฝึกอบรมและเรียกใช้โมเดลภาษาขนาดใหญ่ที่ล้ำสมัยนั้นมีราคาแพง โดยทั่วไปแล้ว เฉพาะองค์กรที่สามารถเข้าถึงกอง GPU และโครงสร้างพื้นฐานอื่น ๆ เท่านั้นที่อยู่ในตำแหน่งที่จะสร้าง ปรับแต่ง และทดสอบได้ นักวิจัย AI ที่ Meta สร้าง LLaMA ให้มีขนาดเล็กลงทำให้มีขนาดกะทัดรัดกว่าโมเดลเชิงพาณิชย์ในปัจจุบัน และทำให้เข้าถึงได้มากขึ้นสำหรับนักวิชาการและนักพัฒนาโดยไม่ต้องมีงบประมาณด้านไอทีที่ไม่จำเป็น 

กูรูด้านแมชชีนเลิร์นนิงของ Meta อ้างว่าระบบของพวกเขามีประสิทธิภาพดีกว่า GPT-3 ของ OpenAI และดีพอๆ กับโมเดลภาษาขนาดใหญ่อื่นๆ เช่น PaLM 540 พันล้านพารามิเตอร์ของ Google หรือ Chinchilla 70 พันล้านพารามิเตอร์ของ DeepMind ขนาดที่เล็กลงหมายความว่าควรใช้ได้ง่ายกว่าสำหรับนักวิทยาศาสตร์ที่มีทรัพยากรในการคำนวณน้อย และใช่ มีโมเดลภาษามากมายเหลือเฟือจากรูปร่างและขนาดทั้งหมด มันเป็นมากกว่า OpenAI และ Facebook

LLaMA ยังคงต้องการพื้นที่จัดเก็บหลายร้อยกิกะไบต์และการประมวลผลในปริมาณที่เหมาะสมในการขับเคลื่อน การนำโมเดลขึ้นและใช้งานไม่ได้ตรงไปตรงมา เว้นแต่คุณจะเคยชินกับการจัดการระบบประเภทนี้ และการนำไปใช้ใหม่สำหรับกิจกรรมที่เลวร้ายยิ่งกว่านั้นยังต้องการความเชี่ยวชาญด้านเทคนิคเพิ่มเติมอีกด้วย แม้ว่าแบบจำลองจะรั่วไหล แต่ Meta กล่าวว่าจะยังคงแบ่งปัน LLaMA กับนักวิจัยที่ได้รับการคัดเลือกเท่านั้น 

เราเชื่อว่ากลยุทธ์การเปิดตัวปัจจุบันช่วยให้เราสร้างสมดุลระหว่างความรับผิดชอบและความใจกว้าง

“เป้าหมายของ Meta คือการแบ่งปันโมเดล AI ที่ล้ำสมัยกับสมาชิกของชุมชนการวิจัยเพื่อช่วยเราประเมินและปรับปรุงโมเดลเหล่านั้น” โฆษกกล่าว ลงทะเบียน.

“LLaMA ถูกแชร์เพื่อวัตถุประสงค์ในการวิจัย ซึ่งสอดคล้องกับวิธีที่เราแชร์โมเดลภาษาขนาดใหญ่ก่อนหน้านี้ แม้ว่าโมเดลจะไม่สามารถเข้าถึงได้สำหรับทุกคน และบางคนพยายามหลีกเลี่ยงกระบวนการอนุมัติ เราเชื่อว่ากลยุทธ์การเปิดตัวในปัจจุบันช่วยให้เรารักษาสมดุลของความรับผิดชอบและความเปิดกว้างได้”

กล่าวอีกนัยหนึ่งกลุ่ม Facebook ยืนหยัดในแนวทางการเผยแพร่เทคโนโลยีของตน

ความพยายามล่าสุดของ Meta ในการเปิดตัวโมเดลภาษาขนาดใหญ่ไม่ได้เป็นไปอย่างราบรื่น ปีที่แล้ว BlenderBot ช่างพูดช่างพูด วิพากษ์วิจารณ์ สำหรับการเผยแพร่ข้อมูลที่ผิดและมุมมองต่อต้านกลุ่มเซมิติก Galactica ถูกออกแบบมาเพื่อสรุปความรู้ทางวิทยาศาสตร์ ลบออก สามวันหลังจากเปิดตัวเนื่องจากสร้างเนื้อหาปลอมและเหยียดเชื้อชาติ ®

ประทับเวลา:

เพิ่มเติมจาก ลงทะเบียน