ชิปใหม่ขยายความเป็นไปได้สำหรับ AI

อัลกอริธึมปัญญาประดิษฐ์ไม่สามารถเติบโตตามจังหวะปัจจุบันได้ อัลกอริทึมเช่นเครือข่ายประสาทระดับลึกซึ่งได้รับแรงบันดาลใจอย่างหลวมๆ จากสมอง โดยมีเซลล์ประสาทเทียมหลายชั้นเชื่อมโยงถึงกันผ่านค่าตัวเลขที่เรียกว่าน้ำหนัก ซึ่งมีขนาดใหญ่ขึ้นทุกปี แต่ทุกวันนี้ การปรับปรุงฮาร์ดแวร์ไม่ได้ก้าวทันหน่วยความจำและความสามารถในการประมวลผลจำนวนมหาศาลอีกต่อไป ซึ่งจำเป็นต่อการรันอัลกอริธึมขนาดใหญ่เหล่านี้ ในไม่ช้า ขนาดของอัลกอริทึม AI อาจชนกำแพงได้

และแม้ว่าเราจะขยายขนาดฮาร์ดแวร์ให้ตอบสนองความต้องการของ AI ต่อไปได้ แต่ก็ยังมีปัญหาอีกประการหนึ่ง นั่นคือ การเรียกใช้ฮาร์ดแวร์เหล่านี้บนคอมพิวเตอร์แบบเดิมจะสิ้นเปลืองพลังงานอย่างมหาศาล การปล่อยคาร์บอนสูงที่เกิดจากการเรียกใช้อัลกอริธึม AI ขนาดใหญ่นั้นเป็นอันตรายต่อสิ่งแวดล้อมอยู่แล้ว และจะยิ่งแย่ลงไปอีกเมื่ออัลกอริทึมเติบโตอย่างใหญ่โตมากขึ้น

โซลูชันหนึ่งที่เรียกว่า Neuromorphic Computing ได้รับแรงบันดาลใจจากสมองทางชีวภาพเพื่อสร้างการออกแบบที่ประหยัดพลังงาน น่าเสียดายที่ในขณะที่ชิปเหล่านี้สามารถแซงหน้าคอมพิวเตอร์ดิจิทัลในด้านการอนุรักษ์พลังงาน ชิปเหล่านี้ยังขาดพลังในการคำนวณที่จำเป็นในการเรียกใช้โครงข่ายประสาทเทียมเชิงลึกขนาดใหญ่ นั่นทำให้นักวิจัย AI มองข้ามสิ่งเหล่านี้ได้ง่าย

ในที่สุดมันก็เปลี่ยนไปในเดือนสิงหาคมเมื่อ เวียร์ วาน, ฮ.-ส. ฟิลิป หว่อง, เกิร์ต เคาเวนเบิร์ก และเพื่อนร่วมงานของพวกเขา เปิดเผยชิป neuromorphic ใหม่ เรียกว่า NeuRRAM ซึ่งมีเซลล์หน่วยความจำ 3 ล้านเซลล์และเซลล์ประสาทนับพันที่สร้างไว้ในฮาร์ดแวร์เพื่อเรียกใช้อัลกอริทึม มันใช้หน่วยความจำที่ค่อนข้างใหม่ที่เรียกว่า RAM ตัวต้านทานหรือ RRAM ซึ่งแตกต่างจากชิป RRAM ก่อนหน้านี้ NeuRRAM ได้รับการตั้งโปรแกรมให้ทำงานแบบอะนาล็อกเพื่อประหยัดพลังงานและพื้นที่มากขึ้น แม้ว่าหน่วยความจำดิจิทัลจะเป็นแบบไบนารี การจัดเก็บเซลล์หน่วยความจำอะนาล็อกแบบ 1 หรือ 0 ในชิป NeuRRAM แต่ละเซลล์สามารถเก็บค่าได้หลายค่าตามช่วงที่ต่อเนื่องกันอย่างเต็มที่ ซึ่งช่วยให้ชิปเก็บข้อมูลได้มากขึ้นจากอัลกอริทึม AI ขนาดใหญ่ในพื้นที่ชิปเท่าเดิม

ผลที่ตามมาคือ ชิปใหม่สามารถทำงานได้เช่นเดียวกับคอมพิวเตอร์ดิจิทัลในงาน AI ที่ซับซ้อน เช่น การรู้จำภาพและเสียง และผู้เขียนอ้างว่ามันประหยัดพลังงานมากกว่าถึง 1,000 เท่า เปิดโอกาสให้ชิปขนาดเล็กเรียกใช้อัลกอริทึมที่ซับซ้อนขึ้นเรื่อยๆ ภายในอุปกรณ์ขนาดเล็กที่ก่อนหน้านี้ไม่เหมาะกับ AI เช่น สมาร์ทวอทช์และโทรศัพท์

นักวิจัยที่ไม่ได้มีส่วนร่วมในงานนี้รู้สึกประทับใจอย่างมากกับผลลัพธ์ที่ได้ “กระดาษนี้ค่อนข้างมีเอกลักษณ์” กล่าว จงรุย วังนักวิจัย RRAM ที่มหาวิทยาลัยฮ่องกงมายาวนาน “มันมีส่วนร่วมในระดับต่างๆ — ในระดับอุปกรณ์ ในระดับสถาปัตยกรรมวงจร และในระดับอัลกอริทึม”

สร้างความทรงจำใหม่

ในคอมพิวเตอร์ดิจิทัล พลังงานจำนวนมากที่สูญเสียไปในขณะที่เรียกใช้อัลกอริทึม AI เกิดจากข้อบกพร่องด้านการออกแบบที่เรียบง่ายและแพร่หลายซึ่งทำให้การคำนวณทุกรายการไม่มีประสิทธิภาพ โดยทั่วไปแล้ว หน่วยความจำของคอมพิวเตอร์ ซึ่งเก็บข้อมูลและค่าตัวเลขที่ประมวลผลระหว่างการคำนวณ จะถูกวางไว้บนเมนบอร์ดโดยห่างจากโปรเซสเซอร์ ซึ่งเป็นจุดที่ใช้ประมวลผล

สำหรับข้อมูลที่วิ่งผ่านโปรเซสเซอร์ “มันเหมือนกับว่าคุณใช้เวลา XNUMX ชั่วโมงในการเดินทาง แต่คุณทำงาน XNUMX ชั่วโมง” Wan นักวิทยาศาสตร์คอมพิวเตอร์ที่มหาวิทยาลัยสแตนฟอร์ดซึ่งเพิ่งย้ายไปที่ Aizip สตาร์ทอัพด้าน AI กล่าว

การแก้ไขปัญหานี้ด้วยชิป all-in-one ใหม่ที่รวมหน่วยความจำและการคำนวณไว้ในที่เดียวกันนั้นดูตรงไปตรงมา นอกจากนี้ยังใกล้เคียงกับวิธีที่สมองของเราประมวลผลข้อมูล เนื่องจากนักประสาทวิทยาหลายคนเชื่อว่าการคำนวณเกิดขึ้นภายในกลุ่มของเซลล์ประสาท ในขณะที่ความทรงจำจะเกิดขึ้นเมื่อไซแนปส์ระหว่างเซลล์ประสาทแข็งแรงขึ้นหรืออ่อนแรงลง แต่การสร้างอุปกรณ์ดังกล่าวพิสูจน์ได้ยาก เนื่องจากหน่วยความจำรูปแบบปัจจุบันไม่รองรับเทคโนโลยีในโปรเซสเซอร์

นักวิทยาศาสตร์คอมพิวเตอร์เมื่อหลายสิบปีก่อนได้พัฒนาวัสดุเพื่อสร้างชิปใหม่ที่ทำการคำนวณโดยเก็บหน่วยความจำไว้ ซึ่งเป็นเทคโนโลยีที่เรียกว่าการคำนวณในหน่วยความจำ แต่ด้วยคอมพิวเตอร์ดิจิทัลแบบดั้งเดิมที่ทำงานได้ดี แนวคิดเหล่านี้จึงถูกมองข้ามมานานหลายทศวรรษ

Wong ศาสตราจารย์แห่ง Stanford กล่าวว่า “งานนั้นก็เหมือนกับงานทางวิทยาศาสตร์ส่วนใหญ่ที่ถูกลืม”

แท้จริง อุปกรณ์ดังกล่าวก่อน ย้อนกลับไปอย่างน้อยในปี 1964 เมื่อวิศวกรไฟฟ้าที่ Stanford ค้นพบว่าพวกเขาสามารถจัดการกับวัสดุบางอย่างที่เรียกว่าโลหะออกไซด์ เพื่อเปิดและปิดความสามารถในการนำไฟฟ้า นั่นมีความสำคัญเนื่องจากความสามารถของวัสดุในการสลับไปมาระหว่างสองสถานะเป็นแกนหลักสำหรับการจัดเก็บหน่วยความจำแบบดั้งเดิม โดยทั่วไปแล้วในหน่วยความจำดิจิทัล สถานะของแรงดันไฟฟ้าสูงจะเท่ากับ 1 และแรงดันต่ำจะเท่ากับ 0

หากต้องการให้อุปกรณ์ RRAM เปลี่ยนสถานะ คุณต้องใช้แรงดันไฟฟ้ากับขั้วไฟฟ้าโลหะที่ต่อปลายทั้งสองด้านของออกไซด์ของโลหะ โดยปกติแล้ว ออกไซด์ของโลหะจะเป็นฉนวน ซึ่งหมายความว่าไม่นำไฟฟ้า แต่ด้วยแรงดันไฟฟ้าที่เพียงพอ กระแสจะก่อตัวขึ้น ในที่สุดก็ดันผ่านจุดที่อ่อนแอของวัสดุและสร้างเส้นทางไปยังอิเล็กโทรดในอีกด้านหนึ่ง เมื่อกระแสน้ำผ่านไปแล้วก็สามารถไหลไปตามเส้นทางนั้นได้อย่างอิสระ

Wong เปรียบเทียบกระบวนการนี้กับสายฟ้า: เมื่อมีประจุไฟฟ้าสะสมเพียงพอภายในก้อนเมฆ ก็จะพบเส้นทางที่มีความต้านทานต่ำและสายฟ้าฟาดอย่างรวดเร็ว แต่ต่างจากสายฟ้าตรงที่เส้นทางหายไป เส้นทางผ่านออกไซด์ของโลหะยังคงอยู่ หมายความว่ามันนำไฟฟ้าได้ตลอดไป และเป็นไปได้ที่จะลบเส้นทางการนำไฟฟ้าโดยใช้แรงดันไฟฟ้าอื่นกับวัสดุ ดังนั้นนักวิจัยจึงสามารถสลับ RRAM ระหว่างสองสถานะและใช้เพื่อจัดเก็บหน่วยความจำดิจิทัล

นักวิจัยของ Midcentury ไม่รู้จักศักยภาพของการประมวลผลแบบประหยัดพลังงาน และพวกเขายังไม่ต้องการมันด้วยอัลกอริธึมขนาดเล็กที่พวกเขากำลังทำงานด้วย นักวิจัยใช้เวลาจนถึงต้นทศวรรษ 2000 กับการค้นพบออกไซด์ของโลหะชนิดใหม่ เพื่อให้นักวิจัยตระหนักถึงความเป็นไปได้

Wong ซึ่งทำงานอยู่ที่ IBM ในขณะนั้น เล่าว่าเพื่อนร่วมงานที่ได้รับรางวัลซึ่งทำงานเกี่ยวกับ RRAM ยอมรับว่าเขาไม่เข้าใจฟิสิกส์ที่เกี่ยวข้องอย่างถ่องแท้ “ถ้าเขาไม่เข้าใจ” Wong จำได้ว่ากำลังคิดว่า “บางทีฉันไม่ควรพยายามเข้าใจมัน”

แต่ในปี 2004 นักวิจัยของ Samsung Electronics ประกาศว่าพวกเขามี รวมหน่วยความจำ RRAM สำเร็จแล้ว สร้างขึ้นบนชิปประมวลผลแบบดั้งเดิม ซึ่งบ่งชี้ว่าชิปประมวลผลในหน่วยความจำอาจเป็นไปได้ในที่สุด Wong ตัดสินใจที่จะลองอย่างน้อย

ชิปประมวลผลในหน่วยความจำสำหรับ AI

 เป็นเวลากว่าทศวรรษที่นักวิจัยอย่างหว่องทำงานเพื่อสร้างเทคโนโลยี RRAM จนถึงจุดที่สามารถรองรับงานคอมพิวเตอร์ที่ใช้พลังงานสูงได้อย่างน่าเชื่อถือ ประมาณปี 2015 นักวิทยาศาสตร์คอมพิวเตอร์เริ่มตระหนักถึงศักยภาพอันมหาศาลของอุปกรณ์ประหยัดพลังงานเหล่านี้สำหรับอัลกอริทึม AI ขนาดใหญ่ ซึ่งกำลังเริ่มต้นขึ้น ในปีนั้น นักวิทยาศาสตร์แห่งมหาวิทยาลัยแคลิฟอร์เนีย ซานตาบาร์บารา แสดงให้เห็นว่า ว่าอุปกรณ์ RRAM ทำได้มากกว่าการเก็บหน่วยความจำในรูปแบบใหม่ พวกเขาสามารถดำเนินการคำนวณขั้นพื้นฐานได้เอง รวมถึงการคำนวณส่วนใหญ่ที่เกิดขึ้นภายในเซลล์ประสาทเทียมของโครงข่ายประสาทเทียม ซึ่งเป็นงานการคูณเมทริกซ์อย่างง่าย

ในชิป NeuRRAM เซลล์ประสาทซิลิคอนถูกสร้างขึ้นในฮาร์ดแวร์ และเซลล์หน่วยความจำ RRAM จะเก็บน้ำหนัก ซึ่งเป็นค่าที่แสดงถึงความแข็งแรงของการเชื่อมต่อระหว่างเซลล์ประสาท และเนื่องจากเซลล์หน่วยความจำ NeuRRAM เป็นแบบอะนาล็อก น้ำหนักที่เก็บไว้จึงแสดงถึงสถานะความต้านทานทั้งหมดที่เกิดขึ้นในขณะที่อุปกรณ์สลับระหว่างสถานะที่มีความต้านทานต่ำเป็นสถานะที่มีความต้านทานสูง ซึ่งช่วยให้ประหยัดพลังงานได้สูงกว่าหน่วยความจำ RRAM แบบดิจิทัล เนื่องจากชิปสามารถเรียกใช้การคำนวณแบบเมทริกซ์หลายรายการพร้อมกัน แทนที่จะใช้การล็อกสเต็ปทีละขั้นตอนเหมือนในเวอร์ชันการประมวลผลแบบดิจิทัล

แต่เนื่องจากการประมวลผลแบบอะนาล็อกยังล้าหลังกว่าการประมวลผลแบบดิจิทัลหลายทศวรรษ จึงยังมีอีกหลายประเด็นที่ต้องแก้ไข หนึ่งคือชิป RRAM แบบอะนาล็อกต้องมีความแม่นยำผิดปกติเนื่องจากความไม่สมบูรณ์ของชิปทางกายภาพอาจทำให้เกิดความแปรปรวนและสัญญาณรบกวนได้ (สำหรับชิปแบบดั้งเดิมที่มีเพียงสองสถานะ ความไม่สมบูรณ์เหล่านี้ไม่สำคัญเท่า) นั่นทำให้อุปกรณ์ RRAM แบบอะนาล็อกเรียกใช้อัลกอริทึม AI ได้ยากขึ้นอย่างมาก เนื่องจากความแม่นยำในการจดจำภาพจะได้รับผลกระทบหาก สถานะการนำไฟฟ้าของอุปกรณ์ RRAM ไม่เหมือนกันทุกครั้ง

“เมื่อเรามองไปที่เส้นทางแสง ทุกครั้งมันจะแตกต่างกัน” Wong กล่าว “ด้วยเหตุนี้ RRAM จึงแสดงระดับสุ่ม – ทุกครั้งที่คุณตั้งโปรแกรมมันจะแตกต่างกันเล็กน้อย” Wong และเพื่อนร่วมงานของเขาพิสูจน์ให้เห็นว่าอุปกรณ์ RRAM สามารถจัดเก็บน้ำหนัก AI ได้อย่างต่อเนื่องและยังคงแม่นยำเทียบเท่ากับคอมพิวเตอร์ดิจิทัล หากอัลกอริทึมได้รับการฝึกฝนให้คุ้นเคยกับสัญญาณรบกวนที่พบบนชิป ซึ่งเป็นความก้าวหน้าที่ทำให้พวกเขาสามารถผลิตชิป NeuRRAM ได้

ปัญหาสำคัญอีกประการหนึ่งที่พวกเขาต้องแก้ไขคือความยืดหยุ่นที่จำเป็นในการรองรับโครงข่ายประสาทเทียมที่หลากหลาย ในอดีต นักออกแบบชิปต้องจัดเรียงอุปกรณ์ RRAM ขนาดเล็กในพื้นที่หนึ่งถัดจากเซลล์ประสาทซิลิคอนขนาดใหญ่ อุปกรณ์ RRAM และเซลล์ประสาทเป็นแบบใช้สายโดยไม่สามารถตั้งโปรแกรมได้ ดังนั้นการคำนวณสามารถทำได้ในทิศทางเดียวเท่านั้น เพื่อรองรับโครงข่ายประสาทเทียมที่มีการคำนวณแบบสองทิศทาง จำเป็นต้องมีสายไฟและวงจรเพิ่มเติม ซึ่งเพิ่มความต้องการด้านพลังงานและพื้นที่

ทีมงานของ Wong จึงออกแบบสถาปัตยกรรมชิปใหม่ที่ผสมผสานอุปกรณ์หน่วยความจำ RRAM และเซลล์ประสาทซิลิคอนเข้าด้วยกัน การเปลี่ยนแปลงเล็กๆ น้อยๆ ในการออกแบบนี้ช่วยลดพื้นที่ทั้งหมดและประหยัดพลังงาน

“ฉันคิดว่า [การจัด] สวยงามจริงๆ” กล่าว เมลิกา เพย์วันด์นักวิจัย neuromorphic ที่ Swiss Federal Institute of Technology Zurich “ฉันคิดว่ามันเป็นผลงานที่แหวกแนวอย่างแน่นอน”

เป็นเวลาหลายปีที่ทีมของ Wong ทำงานร่วมกับผู้ทำงานร่วมกันในการออกแบบ ผลิต ทดสอบ ปรับเทียบ และเรียกใช้อัลกอริทึม AI บนชิป NeuRRAM พวกเขาพิจารณาใช้หน่วยความจำชนิดใหม่อื่นๆ ที่สามารถใช้ในชิปประมวลผลในหน่วยความจำได้ แต่ RRAM ได้เปรียบเนื่องจากข้อดีในการเขียนโปรแกรมแบบอะนาล็อก และเนื่องจากค่อนข้างง่ายที่จะรวมเข้ากับวัสดุการประมวลผลแบบดั้งเดิม

ผลลัพธ์ล่าสุดของพวกเขาแสดงถึงชิป RRAM ตัวแรกที่สามารถเรียกใช้อัลกอริธึม AI ขนาดใหญ่และซับซ้อนเช่นนี้ได้ ซึ่งเป็นความสามารถที่ก่อนหน้านี้ทำได้ในการจำลองทางทฤษฎีเท่านั้น “เมื่อพูดถึงซิลิกอนจริง ความสามารถนั้นขาดหายไป” กล่าว อนุพ ดาสนักวิทยาศาสตร์คอมพิวเตอร์แห่ง Drexel University “งานนี้เป็นการสาธิตครั้งแรก”

Cauwenberghs กล่าวว่า “ระบบ AI ดิจิทัลมีความยืดหยุ่นและแม่นยำ แต่ลำดับความสำคัญมีประสิทธิภาพน้อยกว่า” ตอนนี้ Cauwenberghs กล่าวว่าชิป RRAM แบบอะนาล็อกที่ยืดหยุ่น แม่นยำ และประหยัดพลังงานได้ “เชื่อมช่องว่างเป็นครั้งแรก”

ขยายขนาด

การออกแบบของทีมทำให้ชิป NeuRRAM มีขนาดเล็ก – ขนาดเท่าเล็บมือ – ในขณะที่บีบอุปกรณ์หน่วยความจำ RRAM 3 ล้านเครื่องที่สามารถทำหน้าที่เป็นตัวประมวลผลแบบอะนาล็อก และในขณะที่มันสามารถรันโครงข่ายประสาทเทียมได้เช่นเดียวกับคอมพิวเตอร์ดิจิทัล ชิปยัง (และเป็นครั้งแรก) ที่สามารถเรียกใช้อัลกอริทึมที่ทำการคำนวณในทิศทางต่างๆ ชิปของพวกเขาสามารถป้อนแรงดันไฟฟ้าให้กับแถวของอาร์เรย์ RRAM และอ่านเอาต์พุตจากคอลัมน์ได้ตามมาตรฐานสำหรับชิป RRAM แต่ก็สามารถทำย้อนกลับจากคอลัมน์ไปยังแถวได้ ดังนั้นจึงสามารถใช้ในโครงข่ายประสาทเทียมที่ทำงาน ด้วยข้อมูลที่ไหลไปคนละทาง

เช่นเดียวกับเทคโนโลยี RRAM สิ่งนี้เป็นไปได้มานานแล้ว แต่ไม่มีใครคิดจะทำ “ทำไมเราไม่คิดเรื่องนี้มาก่อน” เพย์แวนด์ถาม “เบื้องหลังฉันไม่รู้”

“สิ่งนี้เปิดโอกาสอื่น ๆ มากมาย” Das กล่าว ตัวอย่างเช่น เขากล่าวถึงความสามารถของระบบอย่างง่ายในการเรียกใช้อัลกอริธึมมหาศาลที่จำเป็นสำหรับการจำลองทางฟิสิกส์หลายมิติหรือรถยนต์ที่ขับเคลื่อนด้วยตัวเอง

ขนาดยังเป็นปัญหา โครงข่ายประสาทเทียมที่ใหญ่ที่สุดในปัจจุบันมีน้ำหนักนับพันล้านชิ้น ไม่ใช่จำนวนนับล้านที่มีอยู่ในชิปใหม่ Wong วางแผนที่จะขยายขนาดโดยการซ้อนชิป NeuRRAM หลายตัวซ้อนทับกัน

การรักษาต้นทุนด้านพลังงานให้ต่ำสำหรับอุปกรณ์ในอนาคตจะมีความสำคัญพอๆ กัน หรือลดขนาดให้เล็กลงอีก วิธีหนึ่งที่จะไปถึงที่นั่นได้คือ คัดลอกสมอง อย่างใกล้ชิดยิ่งขึ้นเพื่อนำสัญญาณการสื่อสารที่ใช้ระหว่างเซลล์ประสาทที่แท้จริง: เข็มไฟฟ้า เป็นสัญญาณที่ส่งออกจากเซลล์ประสาทหนึ่งไปยังอีกเซลล์หนึ่งเมื่อความแตกต่างของแรงดันไฟฟ้าระหว่างภายในและภายนอกเซลล์ถึงเกณฑ์วิกฤต

“มีความท้าทายครั้งใหญ่ที่นั่น” กล่าว โทนี่ เคนยอนนักวิจัยด้านนาโนเทคโนโลยีแห่งมหาวิทยาลัยคอลเลจลอนดอน “แต่เราก็ยังอาจต้องการไปในทิศทางนั้น เพราะ… มีโอกาสที่คุณจะมีประสิทธิภาพด้านพลังงานมากขึ้นหากคุณใช้หนามแหลมที่เบาบางมาก” ในการเรียกใช้อัลกอริทึมที่พุ่งสูงขึ้นบนชิป NeuRRAM ในปัจจุบันอาจต้องใช้สถาปัตยกรรมที่แตกต่างกันโดยสิ้นเชิง Kenyon กล่าว

สำหรับตอนนี้ ประสิทธิภาพการใช้พลังงานที่ทีมทำได้ในขณะที่ใช้อัลกอริธึม AI ขนาดใหญ่บนชิป NeuRRAM ได้สร้างความหวังใหม่ว่าเทคโนโลยีหน่วยความจำอาจเป็นตัวแทนของอนาคตของการประมวลผลด้วย AI บางทีวันหนึ่งเราอาจจะสามารถจับคู่เซลล์ประสาท 86 พันล้านเซลล์ของสมองมนุษย์กับซินแนปส์นับล้านล้านที่เชื่อมต่อกันโดยที่พลังงานไม่เหลือ