กลเม็ด AI ครั้งต่อไปของ Meta? Llama 3 มีข่าวลือต้นปี 2024 – ถอดรหัส

กลเม็ด AI ครั้งต่อไปของ Meta? Llama 3 มีข่าวลือในช่วงต้นปี 2024 – ถอดรหัส

ประทับเวลา: 9 พฤศจิกายน 2023 9:39 น

ความอยากรู้อยากเห็นเกี่ยวกับการเคลื่อนไหวครั้งใหญ่ครั้งต่อไปของ Meta กำลังมาถึงจุดเดือดในการแข่งขันเพื่อครองภูมิทัศน์ปัญญาประดิษฐ์ ด้วยโมเดลข้อความกำเนิด Llama 2 ซึ่งเปิดตัวในเดือนกรกฎาคม ซึ่งได้รับการยอมรับอย่างดีในตลาด ผู้เฝ้าดู AI ต่างค้นหาสัญญาณของ Llama 3 อย่างหิวโหย

หากเชื่อได้ว่าอุตสาหกรรมบ่น ผลสืบเนื่องของยักษ์ใหญ่ด้านเทคโนโลยีต่อความสำเร็จแบบโอเพ่นซอร์สอาจมาถึงต้นปี 2024

Meta ยังไม่ได้ยืนยันข่าวลืออย่างเป็นทางการ แต่เมื่อเร็ว ๆ นี้ Mark Zuckerberg ได้ให้ความกระจ่างเกี่ยวกับอนาคตของ LLM ของ Meta (โมเดลภาษาขนาดใหญ่) โดยเริ่มจากการยอมรับว่า Llama 3 อยู่ในผลงาน แต่เขากล่าวว่าโมเดล AI พื้นฐานใหม่ยังคงอยู่ที่ด้านหลัง ในขณะที่ลำดับความสำคัญยังคงอยู่ในการปรับแต่ง Llama 2 อย่างละเอียดเพื่อให้เป็นมิตรกับผู้บริโภคมากขึ้น

“ผมหมายความว่า มีโมเดลอื่นที่เรากำลังฝึกอยู่เสมอ” เขากล่าวในการสัมภาษณ์พอดแคสต์ที่เน้นไปที่ จุดตัดระหว่าง AI และ metaverse“เราฝึกอบรม Llama 2 และเปิดตัวมันเป็นโมเดลโอเพ่นซอร์ส และตอนนี้สิ่งสำคัญอันดับแรกคือการสร้างสิ่งนั้นให้เป็นผลิตภัณฑ์อุปโภคบริโภคจำนวนมาก...

“แต่ใช่แล้ว เรากำลังดำเนินการเกี่ยวกับโมเดลพื้นฐานในอนาคตด้วย และผมไม่มีอะไรใหม่หรือข่าวสารเกี่ยวกับเรื่องนั้น” เขากล่าวต่อ “ผมไม่รู้ว่าจะพร้อมเมื่อไร”

ในขณะที่ Meta ยังไม่ยืนยันข่าวลืออย่างเป็นทางการ แต่รูปแบบในวงจรการพัฒนาและการลงทุนด้านฮาร์ดแวร์จำนวนมากบ่งบอกถึงการเปิดตัวที่กำลังจะเกิดขึ้น Llama 1 และ Llama 2 ใช้เวลาฝึกซ้อมเป็นเวลา 3 เดือน และหากจังหวะนี้ยังคงอยู่ Llama 4 ใหม่ซึ่งคาดว่าจะทัดเทียมกับ GPT-2024 ของ OpenAI ก็จะเปิดตัวได้ในครึ่งแรกของปี XNUMX

เพิ่มความลึกในการเก็งกำไร ผู้ใช้ Reddit ลามะชิล ได้นำเสนอการวิเคราะห์ที่ครอบคลุมเกี่ยวกับวงจรการพัฒนาแบบจำลองในอดีตของ Meta

การฝึกอบรมของ Llama 1 ครอบคลุมตั้งแต่เดือนกรกฎาคม 2022 ถึงมกราคม 2023 โดย Llama 2 ตามมาจนถึงเดือนกรกฎาคม 2023 ผู้ใช้เสนอ โดยกำหนดขั้นตอนที่เป็นไปได้สำหรับการฝึกอบรมของ Llama 3 ตั้งแต่เดือนกรกฎาคม 2023 ถึงมกราคม 2024 ข้อมูลเชิงลึกเหล่านี้เชื่อมโยงกับการเล่าเรื่องของ Meta ที่ แสวงหาความเป็นเลิศด้าน AI อย่างไม่หยุดยั้ง โดยกระตือรือร้นที่จะแสดงความก้าวหน้าขั้นต่อไปที่สามารถยืนเคียงข้างกันด้วยความสามารถของ GPT-4

ในขณะเดียวกันฟอรัมเทคโนโลยีและ โซเชียลมีเดีย เต็มไปด้วย การอภิปราย เกี่ยวกับวิธีการทำซ้ำใหม่นี้สามารถสร้างความได้เปรียบทางการแข่งขันของ Meta ขึ้นมาใหม่ได้อย่างไร ชุมชนเทคโนโลยียังได้รวบรวมไทม์ไลน์ที่เป็นไปได้จากเศษข้อมูลที่มีอยู่

เพิ่มเข้าไปใน Twitter เล็กน้อย: มีการสนทนาที่ได้ยินในโซเชียล "Meta GenAI" ซึ่งภายหลังทวีตโดยนักวิจัย OpenAI Jason Wei “เรามีคอมพิวเตอร์สำหรับฝึก Llama 3 และ 4” แหล่งข่าวที่ไม่ระบุชื่อกล่าวตาม Wei กล่าว และยืนยันว่ามันจะเป็นโอเพ่นซอร์สเช่นกัน

ในขณะเดียวกัน ความร่วมมือระหว่างบริษัทกับเดลล์ ในการนำเสนอ Llama 2 on-premises สำหรับผู้ใช้ระดับองค์กร ตอกย้ำความมุ่งมั่นของบริษัทในการควบคุมและรักษาความปลอดภัยข้อมูลส่วนบุคคล ซึ่งเป็นการเคลื่อนไหวที่เป็นทั้งเชิงกลยุทธ์และบ่งชี้ถึงยุคสมัย ในขณะที่ Meta เตรียมพร้อมที่จะยืนหยัดต่อสู้กับยักษ์ใหญ่อย่าง OpenAI และ Google ความมุ่งมั่นนี้จึงมีความสำคัญอย่างยิ่ง

Meta ยังใส่ AI เข้าไปในผลิตภัณฑ์จำนวนมาก ดังนั้นจึงสมเหตุสมผลสำหรับบริษัทที่จะเดิมพันที่จะไม่ถูกทิ้งไว้ข้างหลัง Llama 2 ขับเคลื่อน Meta AI และบริการอื่นๆ เช่น แชทบอทของ Meta, บริการสร้าง Meta และแว่นตา AI ของ Meta เป็นต้น

ท่ามกลางกระแสลมแห่งการคาดเดานี้ ความคิดของ Mark Zuckerberg เกี่ยวกับ Llama 3 แบบโอเพ่นซอร์สมีไว้เพื่อวางอุบายและลึกลับเท่านั้น “เราจำเป็นต้องมีกระบวนการเพื่อแดงทีมนี้และทำให้มันปลอดภัย” Zuckerberg แบ่งปันระหว่างพอดแคสต์ล่าสุดกับนักวิทยาศาสตร์คอมพิวเตอร์ Lex Fridman

Llama 2 มีสถาปัตยกรรมแบบหลายชั้นซึ่งมีเวอร์ชันให้เลือก 7 พันล้าน, 13 พันล้าน และพารามิเตอร์ที่แข็งแกร่งถึง 70 หมื่นล้าน โดยแต่ละเวอร์ชันเหมาะสำหรับระดับความซับซ้อนและพลังในการคำนวณที่แตกต่างกัน พารามิเตอร์ใน LLM ทำหน้าที่เป็นโครงสร้างประสาทที่กำหนดความสามารถของโมเดลในการทำความเข้าใจและสร้างภาษา โดยจำนวนพารามิเตอร์มักจะสัมพันธ์กับความซับซ้อนและคุณภาพผลลัพธ์ที่เป็นไปได้ของโมเดล

โรงไฟฟ้า AI ได้รับการฝึกอบรมเกี่ยวกับคลังข้อมูลที่กว้างขวางของ 2 ล้านล้านโทเค็นซึ่งเป็นการตอกย้ำความสามารถในการนำทางและสร้างข้อความที่เหมือนมนุษย์ในหัวข้อและบริบทที่หลากหลาย

ได้รับความอนุเคราะห์จาก Meta

ในเบื้องหลัง ก็มีการวางรากฐานด้านฮาร์ดแวร์ด้วย เช่น รายงาน by ถอดรหัสMeta กำลังจัดเก็บศูนย์ข้อมูลที่มี Nvidia H100 ซึ่งเป็นหนึ่งในฮาร์ดแวร์ที่ทรงพลังที่สุดสำหรับการฝึกอบรม AI ซึ่งเป็นสัญญาณที่ชัดเจนว่าวงล้อมีการเคลื่อนไหวที่ดี

อย่างไรก็ตาม สำหรับความตื่นเต้นและการคาดเดาทั้งหมด ความจริงยังคงถูกปกปิดไว้เป็นความลับขององค์กร

ความตั้งใจของ Meta ในการแข่งขันในพื้นที่ AI ส่วนใหญ่ถูกกำหนดโดยเวลาการฝึกอบรมที่จำเป็น การลงทุนด้านฮาร์ดแวร์ และคำถามโอเพ่นซอร์ส ในขณะเดียวกัน ความคาดหวังก็ชัดเจนพอ ๆ กับการเปิดตัว Llama 2024 ในปี 3

แก้ไขโดย ไรอัน โอซาว่า.

ติดตามข่าวสาร crypto รับการอัปเดตทุกวันในกล่องจดหมายของคุณ

ประทับเวลา:

เพิ่มเติมจาก ถอดรหัส