ชิปอะนาล็อกที่ได้รับแรงบันดาลใจจากสมองของ IBM มีเป้าหมายเพื่อทำให้ AI ยั่งยืนยิ่งขึ้น

เผยแพร่ซ้ำโดยเพลโต

ผู้ติดตาม: 0

ChatGPT, DALL-E, การแพร่กระจายที่เสถียรและเจเนอเรชันเอไออื่นๆ ได้บุกโจมตีโลกอย่างถล่มทลาย พวกเขาสร้างบทกวีและรูปภาพที่ยอดเยี่ยม พวกเขากำลังเจาะเข้าไปในทุกมุมโลกของเรา ตั้งแต่การตลาดไปจนถึงการเขียนบทสรุปทางกฎหมายและการค้นคว้ายา ดูเหมือนว่าพวกเขาจะเป็นเด็กโปสเตอร์สำหรับจิตใจมนุษย์และเครื่องจักรที่ผสมผสานเรื่องราวความสำเร็จเข้าด้วยกัน

แต่ภายใต้ฝากระโปรง สิ่งต่างๆ ดูพีชน้อยลง ระบบเหล่านี้เป็นแหล่งพลังงานขนาดใหญ่ ซึ่งต้องการศูนย์ข้อมูลที่ปล่อยก๊าซคาร์บอนหลายพันตัน และยังเน้นย้ำถึงสภาพอากาศที่ผันผวนอยู่แล้ว และดูดซับเงินหลายพันล้านดอลลาร์ เมื่อโครงข่ายประสาทเทียมมีความซับซ้อนมากขึ้นและใช้กันอย่างแพร่หลายมากขึ้น การใช้พลังงานจึงมีแนวโน้มที่จะเพิ่มสูงขึ้นอีก

มีหมึกจำนวนมากหกลงบน generative AI รอยเท้าคาร์บอน. ความต้องการพลังงานของบริษัทอาจเป็นจุดตกต่ำ ซึ่งเป็นอุปสรรคต่อการพัฒนาเมื่อมีการเติบโตมากขึ้น การใช้ฮาร์ดแวร์ในปัจจุบัน generative AI “คาดว่าจะหยุดทำงานเร็วๆ นี้ หากยังคงพึ่งพาฮาร์ดแวร์คอมพิวเตอร์มาตรฐาน” กล่าวว่า ดร. Hechen Wang จาก Intel Labs

ถึงเวลาแล้วที่เราจะสร้าง AI ที่ยั่งยืน

สัปดาห์นี้ เรียน จาก IBM ได้ดำเนินการตามขั้นตอนเชิงปฏิบัติไปในทิศทางนั้น พวกเขาสร้างชิปแอนะล็อกขนาด 14 นาโนเมตรที่อัดแน่นไปด้วยหน่วยความจำ 35 ล้านหน่วย ซึ่งแตกต่างจากชิปในปัจจุบัน การคำนวณเกิดขึ้นโดยตรงภายในหน่วยเหล่านั้น ทำให้ไม่จำเป็นต้องส่งข้อมูลกลับไปกลับมา ซึ่งจะช่วยประหยัดพลังงานได้

การรับส่งข้อมูลสามารถเพิ่มการใช้พลังงานได้ตั้งแต่ 3 ถึง 10,000 เท่า ซึ่งสูงกว่าที่จำเป็นสำหรับการคำนวณจริง Wang กล่าว

ชิปนี้มีประสิทธิภาพสูงเมื่อถูกท้าทายด้วยงานการรู้จำเสียงสองงาน หนึ่งคือ Google Speech Commands มีขนาดเล็กแต่ใช้งานได้จริง ที่นี่ความเร็วเป็นสิ่งสำคัญ Librispeech อีกระบบหนึ่งคือระบบแมมมอธที่ช่วยถอดเสียงคำพูดเป็นข้อความ ทำให้ชิปไม่สามารถประมวลผลข้อมูลจำนวนมหาศาลได้

เมื่อเปรียบเทียบกับคอมพิวเตอร์ทั่วไป ชิปจะทำงานได้อย่างแม่นยำพอๆ กัน แต่ทำงานเสร็จเร็วขึ้นและใช้พลังงานน้อยกว่ามาก โดยใช้พลังงานน้อยกว่าหนึ่งในสิบของที่จำเป็นสำหรับงานบางอย่างตามปกติ

“ตามความรู้ของเรา นี่เป็นการสาธิตครั้งแรกของระดับความแม่นยำที่เกี่ยวข้องในเชิงพาณิชย์ในแบบจำลองที่เกี่ยวข้องในเชิงพาณิชย์ … พร้อมประสิทธิภาพและความขนานขนาดใหญ่” สำหรับชิปอะนาล็อก ทีมงานกล่าว

ไบต์ฉลาด

นี่แทบจะไม่ใช่ชิปแอนะล็อกตัวแรกเลย อย่างไรก็ตาม มันผลักดันแนวคิดของการประมวลผลแบบนิวโรมอร์ฟิกไปสู่ขอบเขตของการใช้งานจริง ซึ่งเป็นชิปที่สามารถขับเคลื่อนโทรศัพท์ บ้านอัจฉริยะ และอุปกรณ์อื่น ๆ ของคุณได้อย่างมีประสิทธิภาพใกล้เคียงกับสมองในวันหนึ่ง

อืมอะไร? มาสำรองข้อมูลกันเถอะ

คอมพิวเตอร์ในปัจจุบันถูกสร้างขึ้นบน สถาปัตยกรรมฟอนนอยมันน์. คิดว่าเป็นบ้านที่มีหลายห้อง หนึ่งคือหน่วยประมวลผลกลาง (CPU) วิเคราะห์ข้อมูล อีกแห่งเก็บความทรงจำ

สำหรับการคำนวณแต่ละครั้ง คอมพิวเตอร์จำเป็นต้องรับส่งข้อมูลไปมาระหว่างสองห้องนั้น และจะต้องใช้เวลาและพลังงาน และทำให้ประสิทธิภาพลดลง

ในทางตรงกันข้าม สมองผสมผสานทั้งการคำนวณและความทรงจำเข้าด้วยกันในอพาร์ตเมนต์แบบสตูดิโอ จุดเชื่อมต่อคล้ายเห็ดที่เรียกว่าไซแนปส์ ทั้งสองสร้างโครงข่ายประสาทเทียมและเก็บความทรงจำไว้ที่ตำแหน่งเดียวกัน ไซแนปส์มีความยืดหยุ่นสูง โดยสามารถปรับความแรงของการเชื่อมต่อกับเซลล์ประสาทอื่นๆ ตามหน่วยความจำที่เก็บไว้และการเรียนรู้ใหม่ๆ ซึ่งเป็นคุณสมบัติที่เรียกว่า "น้ำหนัก" สมองของเราจะปรับตัวเข้ากับสภาพแวดล้อมที่เปลี่ยนแปลงตลอดเวลาอย่างรวดเร็วโดยการปรับน้ำหนักซินแนปติกเหล่านี้

IBM เป็นผู้นำด้านการออกแบบ ชิปอะนาล็อก เลียนแบบนั้น การคำนวณสมอง. ความก้าวหน้า มาใน2016เมื่อพวกเขาเปิดตัวชิปที่ใช้วัสดุที่น่าสนใจซึ่งมักพบในซีดีที่เขียนซ้ำได้ วัสดุนี้เปลี่ยนสถานะทางกายภาพและรูปร่างที่เปลี่ยนไปจากซุปเหนียวๆ ไปเป็นโครงสร้างคล้ายคริสตัลเมื่อถูกกระแสไฟฟ้า คล้ายกับเลข 0 และ 1 แบบดิจิทัล

สิ่งสำคัญคือ: ชิปยังสามารถมีอยู่ในสถานะไฮบริดได้ กล่าวอีกนัยหนึ่ง เช่นเดียวกับไซแนปส์ทางชีววิทยา ไซแนปส์เทียมสามารถเข้ารหัสน้ำหนักที่แตกต่างกันได้มากมาย ไม่ใช่แค่ไบนารี่ ทำให้สามารถสะสมการคำนวณได้หลายครั้งโดยไม่ต้องย้ายข้อมูลแม้แต่นิดเดียว

Jekyll และ Hyde

การศึกษาใหม่นี้ต่อยอดจากงานก่อนหน้านี้โดยใช้วัสดุเปลี่ยนเฟส ส่วนประกอบพื้นฐานคือ "ไทล์หน่วยความจำ" แต่ละชิ้นอัดแน่นไปด้วยวัสดุเปลี่ยนเฟสนับพันในโครงสร้างกริด กระเบื้องสามารถสื่อสารถึงกันได้อย่างง่ายดาย

แต่ละไทล์ถูกควบคุมโดยคอนโทรลเลอร์ภายในที่ตั้งโปรแกรมได้ ช่วยให้ทีมปรับแต่งส่วนประกอบคล้ายกับเซลล์ประสาทได้อย่างแม่นยำ ชิปยังจัดเก็บคำสั่งหลายร้อยคำสั่งตามลำดับ ทำให้เกิดกล่องดำที่ช่วยให้สามารถขุดกลับเข้าไปและวิเคราะห์ประสิทธิภาพของมันได้

โดยรวมแล้ว ชิปมีโครงสร้างหน่วยความจำแบบเปลี่ยนเฟสถึง 35 ล้านโครงสร้าง การเชื่อมต่อมีมากถึง 45 ล้านไซแนปส์ ซึ่งห่างไกลจากสมองของมนุษย์ แต่น่าประทับใจมากบนชิป 14 นาโนเมตร

ชิปอะนาล็อกที่ได้รับแรงบันดาลใจจากสมองของ IBM มีเป้าหมายเพื่อทำให้ AI มีความชาญฉลาดด้านข้อมูล PlatoBlockchain ที่ยั่งยืนยิ่งขึ้น ค้นหาแนวตั้ง AI. — ชิป AI แบบอะนาล็อกขนาด 14 นาโนเมตรวางอยู่ในมือของนักวิจัย เครดิตรูปภาพ: Ryan Lavine สำหรับ IBM

ตัวเลขที่ทำให้มึนงงเหล่านี้เป็นปัญหาในการเริ่มต้นชิป AI: มีพารามิเตอร์มากเกินไปที่จะค้นหา ทีมงานได้แก้ไขปัญหานี้ด้วยสิ่งที่เทียบเท่ากับโรงเรียนอนุบาล AI โดยตั้งโปรแกรมตุ้มน้ำหนักซินแนปติกไว้ล่วงหน้าก่อนที่การคำนวณจะเริ่มขึ้น (เหมือนกับการปรุงรสกระทะเหล็กหล่อใหม่ก่อนปรุงอาหาร)

พวกเขา “ปรับแต่งเทคนิคการฝึกอบรมเครือข่ายโดยคำนึงถึงคุณประโยชน์และข้อจำกัดของฮาร์ดแวร์” จากนั้นจึงกำหนดน้ำหนักเพื่อให้ได้ผลลัพธ์ที่เหมาะสมที่สุด Wang ผู้ซึ่งไม่ได้มีส่วนร่วมในการศึกษาอธิบาย

มันได้ผล ในการทดสอบครั้งแรก ชิปจะปั่นอย่างรวดเร็วถึง 12.4 ล้านล้านการดำเนินการต่อวินาทีสำหรับพลังงานแต่ละวัตต์ การใช้พลังงานนั้น “สูงกว่าซีพียูและ GPU ที่ทรงพลังที่สุดหลายสิบหรือหลายร้อยเท่า” Wang กล่าว

ชิปตอกย้ำกระบวนการคำนวณหลักที่อยู่ภายใต้โครงข่ายประสาทเทียมระดับลึก โดยมีส่วนประกอบฮาร์ดแวร์คลาสสิกเพียงไม่กี่ชิ้นในไทล์หน่วยความจำ ในทางตรงกันข้าม คอมพิวเตอร์แบบเดิมต้องการทรานซิสเตอร์นับร้อยหรือหลายพันตัว (หน่วยพื้นฐานที่ใช้คำนวณ)

ทอล์ค ออฟ เดอะ ทาวน์

ต่อไปทีมงานได้ท้าทายชิปให้ทำงานการรู้จำคำพูดสองงาน แต่ละคนเน้นด้านที่แตกต่างกันของชิป

การทดสอบครั้งแรกคือความเร็วเมื่อถูกท้าทายด้วยฐานข้อมูลที่มีขนาดค่อนข้างเล็ก ใช้ คำสั่งคำพูดของ Google งานนี้ต้องใช้ชิป AI เพื่อระบุคำหลัก 12 คำในชุดคลิปประมาณ 65,000 คลิปจากผู้คนนับพันที่พูดคำสั้น ๆ 30 คำ (“เล็ก” นั้นสัมพันธ์กันในจักรวาลการเรียนรู้เชิงลึก) เมื่อใช้เกณฑ์มาตรฐานที่ยอมรับ—ม.ล.เพอร์เฟค— ชิปทำงานเร็วขึ้นเจ็ดเท่า กว่าในงานที่ผ่านมา.

ชิปยังโดดเด่นเมื่อถูกท้าทายด้วยฐานข้อมูลขนาดใหญ่ บรรณารักษ์. คลังข้อมูลประกอบด้วยคำพูดภาษาอังกฤษที่อ่านมากกว่า 1,000 ชั่วโมงซึ่งมักใช้ในการฝึก AI สำหรับการแยกวิเคราะห์คำพูดและการถอดเสียงคำพูดเป็นข้อความอัตโนมัติ

โดยรวมแล้ว ทีมงานใช้ชิป 45 ตัวเพื่อเข้ารหัสน้ำหนักมากกว่า 140 ล้านน้ำหนักโดยใช้ข้อมูลจากอุปกรณ์เปลี่ยนเฟส 14 ล้านเครื่อง เมื่อเปรียบเทียบกับฮาร์ดแวร์ทั่วไป ชิปนี้ประหยัดพลังงานมากกว่าประมาณ 550 เท่า โดยประมวลผลตัวอย่างเกือบ 9 ตัวอย่างต่อวินาทีต่อวัตต์ของการใช้พลังงาน โดยมีอัตราข้อผิดพลาดมากกว่า XNUMX เปอร์เซ็นต์เล็กน้อย

แม้ว่าชิปอะนาล็อกจะน่าประทับใจ แต่ชิปอะนาล็อกยังอยู่ในช่วงเริ่มต้น พวกเขาแสดงให้เห็นถึง "คำมั่นสัญญาอันยิ่งใหญ่ในการต่อสู้กับปัญหาความยั่งยืนที่เกี่ยวข้องกับ AI" Wang กล่าว แต่เส้นทางข้างหน้าต้องผ่านอุปสรรคอีกสองสามอย่าง

ปัจจัยหนึ่งคือการออกแบบเทคโนโลยีหน่วยความจำอย่างละเอียดและส่วนประกอบโดยรอบ ซึ่งก็คือวิธีการจัดวางชิป ชิปใหม่ของ IBM ยังไม่มีองค์ประกอบทั้งหมดที่จำเป็น ขั้นตอนสำคัญถัดไปคือการรวมทุกอย่างไว้ในชิปตัวเดียวโดยยังคงรักษาประสิทธิภาพของชิปไว้

ในด้านซอฟต์แวร์ เรายังจำเป็นต้องมีอัลกอริธึมที่ปรับแต่งให้เหมาะกับชิปแอนะล็อกโดยเฉพาะ และซอฟต์แวร์ที่แปลโค้ดเป็นภาษาที่เครื่องจักรสามารถเข้าใจได้ทันที เนื่องจากชิปเหล่านี้สามารถนำไปใช้ได้ในเชิงพาณิชย์มากขึ้น การพัฒนาแอปพลิเคชันเฉพาะจะช่วยให้ความฝันของชิปแอนะล็อกในอนาคตยังคงอยู่ต่อไป

“ต้องใช้เวลาหลายทศวรรษในการกำหนดระบบนิเวศทางคอมพิวเตอร์ซึ่ง CPU และ GPU ทำงานได้สำเร็จ” Wang กล่าว “และอาจต้องใช้เวลาหลายปีในการสร้างสภาพแวดล้อมแบบเดียวกันสำหรับ AI แบบอะนาล็อก”

เครดิตภาพ: Ryan Lavine สำหรับ IBM