เหตุใด OpenAI จึงอาจป้องกันความเสี่ยงในการเดิมพัน AI ควอนตัม

เหตุใด OpenAI จึงอาจป้องกันความเสี่ยงในการเดิมพัน AI ควอนตัม

ประทับเวลา: 13 มีนาคม 2024 8:24 น
เหตุใด OpenAI จึงอาจป้องกันความเสี่ยงในการเดิมพัน AI ควอนตัม PlatoBlockchain Data Intelligence ค้นหาแนวตั้ง AI.

การวิเคราะห์ คอมพิวเตอร์ควอนตัมยังคงอยู่ห่างไกลออกไปกว่าทศวรรษมานานกว่าทศวรรษแล้ว แต่ผู้เชี่ยวชาญในอุตสาหกรรมระบุว่า อาจเป็นความลับในการควบคุมความอยากอาหารอันไม่เพียงพอของ AI

ในแต่ละเดือนที่ผ่านไป โมเดลที่ใหญ่ขึ้นและมีพารามิเตอร์หนาแน่นมากขึ้นก็ปรากฏขึ้น และขนาดของการใช้งาน AI ก็ขยายตามไปด้วย ในปีนี้เพียงผู้เดียวที่มีไฮเปอร์สเกลเลอร์อย่าง Meta ก็วางแผนที่จะทำ ปรับใช้ คันเร่งหลายแสนตัว แม้แต่ Sam Altman ผู้ก่อตั้ง OpenAI ก็ยังเป็นเช่นนั้น ความเชื่อมั่น เราจะต้องมีการประมวลผลเพิ่มขึ้นอย่างมากหากเราต้องการพัฒนา AI ต่อไป

ดังนั้นจึงไม่น่าแปลกใจเลยที่ OpenAI จะได้รับการว่าจ้างล่าสุด จะ ป้องกันความเสี่ยงในการเดิมพันการคำนวณควอนตัมหากมีโอกาส เมื่อสัปดาห์ที่แล้ว ผู้นำด้าน AI ได้เพิ่ม Ben Bartlett อดีตสถาปนิกระบบควอนตัมที่ PsiQuantum เข้ามาดำรงตำแหน่ง

เราติดต่อ Open AI เพื่อหาข้อมูลเพิ่มเติมว่า Bartlett จะทำอะไรกับผู้นำเทรนด์ AI และยังไม่ได้รับการตอบกลับใดๆ อย่างไรก็ตามของเขา ไบโอ เสนอคำแนะนำบางประการเนื่องจากงานวิจัยของเขามุ่งเน้นไปที่จุดตัดระหว่างฟิสิกส์ควอนตัม การเรียนรู้ของเครื่องจักร และนาโนโฟโตนิกส์ และ "โดยพื้นฐานแล้วประกอบด้วยฉันที่ออกแบบสนามแข่งเล็ก ๆ สำหรับโฟตอนที่หลอกให้พวกเขาทำการคำนวณที่มีประโยชน์"

แล้ว OpenAI ต้องการอะไรจากนักฟิสิกส์ควอนตัมล่ะ? มีความเป็นไปได้สองสามอย่างตั้งแต่การใช้การเพิ่มประสิทธิภาพควอนตัมเพื่อปรับปรุงชุดข้อมูลการฝึกอบรม หรือใช้หน่วยประมวลผลควอนตัม (QPU) เพื่อลดภาระฐานข้อมูลกราฟที่ซับซ้อน ไปจนถึงการใช้ออปติกเพื่อขยายขนาดเกินขีดจำกัดของบรรจุภัณฑ์เซมิคอนดักเตอร์สมัยใหม่

โครงข่ายประสาทเทียมเป็นเพียงปัญหาการเพิ่มประสิทธิภาพอีกประการหนึ่ง

การประมวลผลควอนตัมมีศักยภาพในการปรับปรุงประสิทธิภาพของการฝึกอบรมโมเดล AI ขนาดใหญ่ได้อย่างมาก ช่วยให้ได้รับคำตอบที่แม่นยำยิ่งขึ้นจากโมเดลที่มีพารามิเตอร์น้อยกว่า Murray Thom จาก D-Wave กล่าว ลงทะเบียน.

ด้วยข่าวลือว่า GPT-4 มีค่าพารามิเตอร์เกินล้านล้าน จึงไม่ยากที่จะเห็นว่าเหตุใดจึงน่าดึงดูด โดยไม่ต้องใช้ปริมาณและกลยุทธ์การบีบอัดอื่นๆ โมเดล AI ต้องการหน่วยความจำประมาณ 1GB สำหรับพารามิเตอร์ทุกๆ พันล้านพารามิเตอร์เมื่อทำงานที่ความแม่นยำ FP8 หรือ Int8 และที่ความแม่นยำที่สูงกว่า ซึ่งมากกว่านั้นอย่างมาก

โมเดลพารามิเตอร์ล้านล้านใกล้ถึงขีดจำกัดของสิ่งที่เซิร์ฟเวอร์ AI เดียวสามารถรองรับได้อย่างมีประสิทธิภาพ สามารถรวมเซิร์ฟเวอร์หลายตัวเข้าด้วยกันเพื่อรองรับโมเดลขนาดใหญ่ แต่การปล่อยกล่องทิ้งไว้จะทำให้ประสิทธิภาพลดลง

และนั่นคือวันนี้ และถ้าอัลท์แมนพูดถูก โมเดลเหล่านี้ก็จะยิ่งใหญ่ขึ้นและแพร่หลายมากขึ้นเท่านั้น ด้วยเหตุนี้ เทคโนโลยีใดก็ตามที่สามารถทำให้ OpenAI เพิ่มขีดความสามารถของโมเดลโดยไม่ต้องเพิ่มจำนวนพารามิเตอร์อย่างมีความหมาย ก็สามารถยกระดับได้

“ในขณะที่คุณกำลังฝึกโมเดล จำนวนพารามิเตอร์ที่เข้าไปในโมเดลจะช่วยลดต้นทุนและความซับซ้อนของการฝึกโมเดล” Trevor Lanting รองประธานฝ่ายซอฟต์แวร์และอัลกอริธึมของ D-Wave กล่าว ลงทะเบียน.

เขาอธิบายว่าเพื่อหลีกเลี่ยงปัญหานี้ นักพัฒนามักจะเลือกย่อยคุณสมบัติที่พวกเขาคิดว่าจะเป็นสิ่งสำคัญที่สุดสำหรับการฝึกโมเดลนั้น ๆ ซึ่งจะช่วยลดจำนวนพารามิเตอร์ที่จำเป็น

แต่แทนที่จะพยายามทำเช่นนี้โดยใช้ระบบทั่วไป D-Wave เสนอว่าอัลกอริธึมการหาค่าเหมาะที่สุดควอนตัมอาจมีประสิทธิภาพมากกว่าในการกำหนดคุณสมบัติที่จะปล่อยเข้าหรือออก

หากคุณไม่คุ้นเคย ปัญหาการปรับให้เหมาะสม เช่น ปัญหาที่พบบ่อยในการค้นหาเส้นทางหรือลอจิสติกส์ได้พิสูจน์แล้วว่าเป็นหนึ่งในแอปพลิเคชันที่มีแนวโน้มมากที่สุดของการประมวลผลควอนตัมจนถึงขณะนี้

“สิ่งที่คอมพิวเตอร์ควอนตัมของเราทำได้ดีจริงๆ คือการเพิ่มประสิทธิภาพสิ่งต่าง ๆ ที่กำลังเกิดขึ้นหรือไม่เกิดขึ้น เช่น มีคนได้รับมอบหมายกำหนดการเฉพาะหรือได้รับมอบหมายให้จัดส่งโดยเฉพาะ” Thom กล่าว “หากการตัดสินใจเหล่านั้นเป็นอิสระ ก็คงจะดี และคอมพิวเตอร์คลาสสิกจะทำได้ง่าย แต่จริงๆ แล้วการตัดสินใจเหล่านั้นส่งผลกระทบต่อทรัพยากรอื่นๆ ในกลุ่ม และมีผลกระทบต่อเครือข่ายด้วย”

กล่าวอีกนัยหนึ่งโลกแห่งความเป็นจริงยุ่งเหยิง อาจมียานพาหนะหลายคันบนถนน การปิดถนน เหตุการณ์สภาพอากาศ และอื่นๆ เมื่อเปรียบเทียบกับคอมพิวเตอร์คลาสสิก คุณลักษณะเฉพาะที่มีอยู่ในคอมพิวเตอร์ควอนตัมช่วยให้พวกเขาสามารถสำรวจปัจจัยเหล่านี้ไปพร้อมๆ กันเพื่อระบุเส้นทางที่ดีที่สุด

สิ่งนี้ "คล้ายคลึงกับโครงข่ายประสาทเทียมโดยสมบูรณ์ซึ่งเซลล์ประสาทกำลังยิงหรือไม่ยิง และพวกมันและพวกมันมีการเชื่อมต่อแบบซินแนปติกกับเซลล์ประสาทอื่น ๆ ซึ่งจะกระตุ้นหรือยับยั้งเซลล์ประสาทอื่น ๆ จากการยิง" Thom อธิบาย

และนั่นหมายความว่าสามารถใช้อัลกอริธึมควอนตัมเพื่อเพิ่มประสิทธิภาพชุดข้อมูลการฝึกอบรม AI ให้เหมาะกับความต้องการเฉพาะ ซึ่งเมื่อได้รับการฝึกอบรมแล้วจะส่งผลให้ได้แบบจำลองที่บางและแม่นยำยิ่งขึ้น Lanting กล่าว

การสุ่มตัวอย่างและการขนถ่ายควอนตัม

ในระยะยาว D-Wave และบริษัทอื่นๆ กำลังมองหาวิธีนำ QPU ไปใช้ในกระบวนการฝึกอบรมให้ลึกซึ้งยิ่งขึ้น

หนึ่งในกรณีการใช้งานเหล่านี้เกี่ยวข้องกับการใช้คอมพิวเตอร์ควอนตัมในการสุ่มตัวอย่าง การสุ่มตัวอย่างหมายถึงวิธีที่โมเดล AI เช่น LLM พิจารณาว่าคำถัดไปหรือโทเค็นใดที่เจาะจงกว่านั้น ควรอิงจากการแจกแจงความน่าจะเป็น ด้วยเหตุนี้จึงมักพูดติดตลกว่า LLM เป็นเพียงการเติมสเตียรอยด์อัตโนมัติ

“ฮาร์ดแวร์สามารถผลิตตัวอย่างได้ดีมาก และคุณสามารถปรับแต่งการกระจายตัวได้ ดังนั้นคุณจึงสามารถปรับการถ่วงน้ำหนักของตัวอย่างเหล่านั้นได้ และสิ่งที่เรากำลังสำรวจคือ นี่เป็นวิธีที่ดีในการแทรกการประมวลผลควอนตัมที่หลอมละลายอย่างหนักและมากขึ้นลงในปริมาณงานการฝึกอบรมโดยตรงหรือไม่” Lanting อธิบาย

Pasqal สตาร์ทอัพด้านคอมพิวเตอร์ควอนตัมของฝรั่งเศสกำลังเล่นกับการใช้คอมพิวเตอร์ควอนตัมเพื่อถ่ายโอนชุดข้อมูลที่มีโครงสร้างกราฟซึ่งมักพบในโครงข่ายประสาทเทียม

“ในการเรียนรู้ของเครื่องไม่มีวิธีง่ายๆ ในการแสดงข้อมูลแบบดั้งเดิม เนื่องจากกราฟเป็นวัตถุที่ซับซ้อน” Loïc Henriet ซีอีโอร่วมของ Pasqal อธิบายในการให้สัมภาษณ์กับ ลงทะเบียน. “คุณสามารถฝังข้อมูลที่มีโครงสร้างกราฟลงในไดนามิกควอนตัมได้ค่อนข้างเป็นธรรมชาติ ซึ่งทำให้เกิดวิธีใหม่ๆ ในการจัดการกับข้อมูลเหล่านั้น”

อย่างไรก็ตาม ก่อนที่จะบรรลุเป้าหมายนี้ ระบบควอนตัมจะต้องมีขนาดใหญ่ขึ้นและเร็วขึ้นมาก Henriet อธิบาย

“ชุดข้อมูลขนาดใหญ่ไม่สามารถใช้งานได้จริงในขณะนี้” เขากล่าว “นั่นเป็นเหตุผลว่าทำไมเราถึงเพิ่มจำนวนคิวบิต อัตราการทำซ้ำ เพราะด้วย qubit ที่มากขึ้น คุณสามารถฝังข้อมูลได้มากขึ้น”

เราจะต้องรอนานแค่ไหนก่อนที่โครงข่ายประสาทเทียมกราฟควอนตัมจะทำงานได้มันยากที่จะพูด Pasqal มีระบบ 10,000 qubit แล้ว ในการทำงาน- น่าเสียดายที่การวิจัยชี้ให้เห็นว่าแม้แต่ระบบที่มีคิวบิตแก้ไขข้อผิดพลาด 10,000 รายการหรือประมาณล้านคิวบิตจริงก็อาจไม่เพียงพอที่จะ แข่งขัน ด้วย GPU ที่ทันสมัย

ซิลิคอนโฟโตนิกส์เล่นเหรอ?

นอกเหนือจากกรณีการใช้งาน AI ควอนตัมที่แปลกใหม่ ยังมีเทคโนโลยีอื่นๆ ที่ OpenAI สามารถดำเนินการได้ ซึ่ง Bartlett บังเอิญเป็นผู้เชี่ยวชาญ

สิ่งที่โดดเด่นที่สุดคือ PsiQuantum อดีตนายจ้างของ Bartlett ได้พัฒนาระบบโดยใช้ซิลิคอนโฟโตนิกส์ สิ่งนี้ชี้ให้เห็นว่าการจ้างงานของเขาอาจเกี่ยวข้องกับ OpenAI รายงาน ทำงานบนตัวเร่งความเร็ว AI แบบกำหนดเอง

บริษัทสตาร์ทอัพซิลิคอนโฟโตนิกส์หลายแห่ง รวมถึง Ayar Labs, Lightmatter และ Celestial AI ได้ผลักดันเทคโนโลยีนี้ให้เป็นหนทางในการเอาชนะขีดจำกัดแบนด์วิดท์ ซึ่งกลายเป็นปัจจัยจำกัดในการขยายประสิทธิภาพการเรียนรู้ของเครื่อง

แนวคิดนี้คือคุณสามารถส่งข้อมูลได้มากขึ้นในระยะทางที่ไกลกว่ามากด้วยแสง มากกว่าที่คุณสามารถทำได้ด้วยสัญญาณไฟฟ้าเพียงอย่างเดียว ในการออกแบบหลายชิ้นเหล่านี้ จริงๆ แล้วแสงถูกส่งไปโดยตัวนำคลื่นที่ฝังอยู่ในซิลิคอน ซึ่งฟังดูแย่มากเหมือนกับ "การออกแบบสนามแข่งเล็กๆ สำหรับโฟตอน"

แสงสว่าง เชื่อ เทคโนโลยีนี้จะช่วยให้ตัวเร่งความเร็วหลายตัวทำงานเป็นอันเดียวได้โดยไม่ต้องเสียแบนด์วิดท์สำหรับข้อมูลที่ออกจากชิป ในขณะเดียวกัน Celestial ก็มองเห็น โอกาส เพื่อเพิ่มจำนวนหน่วยความจำแบนด์วิธสูงให้กับ GPU อย่างมหาศาล โดยไม่จำเป็นต้องรวมโมดูลที่ติดกับตัวเร่งความเร็วโดยตรง ความสามารถทั้งสองนี้จะน่าสนใจสำหรับบริษัทที่ทำงานกับระบบ AI ในวงกว้าง

ไม่ว่าท้ายที่สุดแล้ว OpenAI จะติดตาม AI ควอนตัมหรือซิลิคอนโฟโตนิกส์หรือไม่ก็ตาม แต่สำหรับบริษัทที่ผู้ก่อตั้งไม่ใช่คนแปลกหน้าในการลงทุนระยะยาว มันจะไม่ใช่สิ่งที่แปลกประหลาดที่สุดที่อัลท์แมนให้การสนับสนุน ®

ประทับเวลา:

เพิ่มเติมจาก ลงทะเบียน