การทำความเข้าใจว่าสมองจัดระเบียบและเข้าถึงข้อมูลเชิงพื้นที่ได้อย่างไร เราอยู่ที่ไหน ใกล้แค่ไหน ไปถึงที่นั่นได้อย่างไร ยังคงเป็นความท้าทายที่ยอดเยี่ยม กระบวนการนี้เกี่ยวข้องกับการเรียกคืนเครือข่ายความทรงจำทั้งหมดและจัดเก็บข้อมูลเชิงพื้นที่จากเซลล์ประสาทหลายหมื่นล้านเซลล์ แต่ละเซลล์เชื่อมต่อกับเซลล์อื่นๆ อีกหลายพันเซลล์ นักประสาทวิทยาได้ระบุองค์ประกอบสำคัญเช่น เซลล์กริดเซลล์ประสาทที่ทำแผนที่ตำแหน่ง แต่การลงลึกลงไปจะพิสูจน์ได้ยาก: ไม่ใช่ว่านักวิจัยสามารถเอาออกและศึกษาชิ้นสสารสีเทาของมนุษย์เพื่อดูว่าความทรงจำตามสถานที่ของภาพ เสียง และกลิ่นไหลผ่านและเชื่อมต่อกันอย่างไร
ปัญญาประดิษฐ์เป็นอีกทางหนึ่ง เป็นเวลาหลายปีที่นักประสาทวิทยาได้ควบคุมโครงข่ายประสาทเทียมหลายประเภท ซึ่งเป็นเอ็นจิ้นที่ขับเคลื่อนแอปพลิเคชันการเรียนรู้เชิงลึกที่สุด เพื่อจำลองการยิงของเซลล์ประสาทในสมอง ในงานวิจัยล่าสุด นักวิจัยได้แสดงให้เห็นว่าฮิปโปแคมปัสซึ่งเป็นโครงสร้างของสมองที่สำคัญต่อความจำนั้น โดยพื้นฐานแล้วเป็นโครงข่ายประสาทชนิดพิเศษที่เรียกว่า หม้อแปลงไฟฟ้า, ในการปลอมตัว. โมเดลใหม่ของพวกเขาติดตามข้อมูลเชิงพื้นที่ในลักษณะที่สอดคล้องกับการทำงานภายในของสมอง พวกเขาได้เห็นความสำเร็จที่โดดเด่น
“ความจริงที่ว่าเรารู้ว่าแบบจำลองของสมองเหล่านี้เทียบเท่ากับหม้อแปลงไฟฟ้า หมายความว่าแบบจำลองของเราทำงานได้ดีกว่ามากและฝึกได้ง่ายกว่ามาก” กล่าว เจมส์ วิตทิงตันนักประสาทวิทยาด้านความรู้ความเข้าใจที่แบ่งเวลาระหว่างมหาวิทยาลัยสแตนฟอร์ดกับห้องแล็บของ ทิม เบห์เรนส์ ที่มหาวิทยาลัยอ็อกซ์ฟอร์ด
การศึกษาโดย Whittington และคนอื่น ๆ บอกเป็นนัยว่าหม้อแปลงสามารถปรับปรุงความสามารถของแบบจำลองโครงข่ายประสาทเทียมได้อย่างมากเพื่อเลียนแบบการคำนวณประเภทที่ดำเนินการโดยกริดเซลล์และส่วนอื่น ๆ ของสมอง โมเดลดังกล่าวสามารถผลักดันความเข้าใจของเราว่าโครงข่ายประสาทเทียมทำงานอย่างไรและมีแนวโน้มมากขึ้นว่าการคำนวณจะดำเนินการในสมองอย่างไร Whittington กล่าว
“เราไม่ได้พยายามสร้างสมองขึ้นมาใหม่” . กล่าว เดวิด ฮานักวิทยาศาสตร์คอมพิวเตอร์ที่ Google Brain ซึ่งทำงานเกี่ยวกับโมเดลหม้อแปลงด้วย “แต่เราสามารถสร้างกลไกที่ทำในสิ่งที่สมองทำได้หรือไม่”
Transformers ปรากฏตัวครั้งแรกเมื่อห้าปีที่แล้วในฐานะวิธีใหม่สำหรับ AI ในการประมวลผลภาษา พวกเขาเป็นซอสลับในโปรแกรมเติมประโยคที่พาดหัวข่าวเช่น BERT และ GPT-3 ซึ่งสามารถสร้างเนื้อเพลงที่น่าเชื่อถือ แต่งบทกวีของ Shakespearean และเลียนแบบตัวแทนฝ่ายบริการลูกค้า
Transformers ทำงานโดยใช้กลไกที่เรียกว่า self-attention ซึ่งทุกข้อมูลที่ป้อน ไม่ว่าจะเป็นคำ พิกเซล ตัวเลขในลำดับ จะเชื่อมโยงกับอินพุตอื่นๆ ทุกครั้ง (โครงข่ายประสาทเทียมอื่นๆ เชื่อมต่ออินพุตกับอินพุตอื่นบางตัวเท่านั้น) แต่ในขณะที่หม้อแปลงได้รับการออกแบบสำหรับงานด้านภาษา นับตั้งแต่นั้นมาพวกเขาก็เก่งในด้านอื่นๆ เช่น การจำแนกภาพ และตอนนี้ก็สร้างแบบจำลองของสมอง
ในปี 2020 กลุ่มหนึ่งนำโดย เซปป์ โฮไครเตอร์นักวิทยาศาสตร์คอมพิวเตอร์ที่ Johannes Kepler University Linz ในออสเตรีย ใช้หม้อแปลงไฟฟ้าเพื่อปรับแต่งรูปแบบการดึงหน่วยความจำที่มีประสิทธิภาพและยาวนานซึ่งเรียกว่าเครือข่าย Hopfield เปิดตัวครั้งแรกเมื่อ 40 ปีที่แล้วโดย John Hopfield นักฟิสิกส์ของ Princeton เครือข่ายเหล่านี้เป็นไปตามกฎทั่วไป: เซลล์ประสาทที่ทำงานในเวลาเดียวกันจะสร้างการเชื่อมต่อที่แน่นแฟ้นซึ่งกันและกัน
Hochreiter และผู้ทำงานร่วมกันของเขา สังเกตว่านักวิจัยกำลังมองหาแบบจำลองการดึงหน่วยความจำที่ดีกว่า ได้เห็นความเชื่อมโยงระหว่างวิธีที่เครือข่าย Hopfield ดึงความทรงจำและวิธีที่หม้อแปลงให้ความสนใจ พวกเขาอัพเกรดเครือข่าย Hopfield โดยพื้นฐานแล้วเปลี่ยนเป็นหม้อแปลงไฟฟ้า การเปลี่ยนแปลงดังกล่าวทำให้โมเดลสามารถจัดเก็บและเรียกค้นความทรงจำได้มากขึ้นเนื่องจากการเชื่อมต่อที่มีประสิทธิภาพมากขึ้น Whittington กล่าว ตัวเขาเอง Hopfield ร่วมกับ Dmitry Krotov ที่ MIT-IBM Watson AI Lab ได้พิสูจน์ว่าเครือข่าย Hopfield ที่ใช้หม้อแปลงไฟฟ้านั้นมีความเป็นไปได้ทางชีวภาพ
จากนั้น ปีก่อนหน้านี้Whittington และ Behrens ช่วยปรับแต่งแนวทางของ Hochreiter เพิ่มเติม โดยปรับเปลี่ยน Transformer เพื่อให้แทนที่จะรักษาความทรงจำเป็นลำดับเชิงเส้น เช่น สตริงของคำในประโยค — โดยเข้ารหัสพวกมันเป็นพิกัดในพื้นที่มิติที่สูงกว่า "การบิด" ตามที่นักวิจัยเรียกมันว่าช่วยปรับปรุงประสิทธิภาพของแบบจำลองในงานด้านประสาทวิทยา พวกเขายังแสดงให้เห็นว่าแบบจำลองนี้เทียบเท่าทางคณิตศาสตร์กับแบบจำลองของรูปแบบการยิงเซลล์กริดที่นักประสาทวิทยาเห็นในการสแกน fMRI
Caswell Barry นักประสาทวิทยาจาก University College London กล่าวว่า "เซลล์กริดมีโครงสร้างที่น่าตื่นเต้น สวยงาม และสม่ำเสมอ และมีรูปแบบที่โดดเด่นซึ่งไม่น่าจะปรากฏขึ้นโดยบังเอิญ งานใหม่นี้แสดงให้เห็นว่าหม้อแปลงจำลองรูปแบบเหล่านั้นได้อย่างไรในฮิบโปแคมปัส "พวกเขาตระหนักดีว่าหม้อแปลงไฟฟ้าสามารถค้นหาได้ว่ามันอยู่ที่ไหนโดยอิงจากสถานะก่อนหน้าและวิธีการเคลื่อนย้าย และในลักษณะที่เป็นกุญแจสำคัญในโมเดลกริดเซลล์แบบดั้งเดิม"
งานล่าสุดอื่น ๆ ชี้ให้เห็นว่าหม้อแปลงสามารถพัฒนาความเข้าใจของเราเกี่ยวกับการทำงานของสมองอื่น ๆ ได้เช่นกัน ปีที่แล้ว Martin Schrimpf นักประสาทวิทยาคอมพิวเตอร์แห่งสถาบันเทคโนโลยีแมสซาชูเซตส์ วิเคราะห์ 43 แบบจำลองโครงข่ายประสาทที่แตกต่างกัน เพื่อดูว่าพวกเขาทำนายการวัดการทำงานของระบบประสาทของมนุษย์ได้ดีเพียงใดตามที่รายงานโดย fMRI และการตรวจคลื่นไฟฟ้าหัวใจ เขาพบว่า Transformers เป็นโครงข่ายประสาทเทียมชั้นนำในปัจจุบัน ซึ่งทำนายการเปลี่ยนแปลงเกือบทั้งหมดที่พบในภาพ
และฮา พร้อมด้วยเพื่อนนักวิทยาศาสตร์คอมพิวเตอร์ ยูจิน ถังเมื่อเร็ว ๆ นี้ได้ออกแบบแบบจำลองที่สามารถส่งข้อมูลจำนวนมากโดยเจตนาผ่านหม้อแปลงไฟฟ้าในลักษณะสุ่มที่ไม่เป็นระเบียบ โดยเลียนแบบวิธีที่ร่างกายมนุษย์ส่งการสังเกตทางประสาทสัมผัสไปยังสมอง หม้อแปลงของพวกเขา เช่นเดียวกับสมองของเราสามารถจัดการกับการไหลของข้อมูลที่ไม่เป็นระเบียบได้สำเร็จ
"โครงข่ายประสาทมีสายแบบแข็งเพื่อยอมรับอินพุตเฉพาะ" Tang กล่าว แต่ในชีวิตจริง ชุดข้อมูลมักจะเปลี่ยนแปลงอย่างรวดเร็ว และ AI ส่วนใหญ่ไม่มีทางที่จะปรับเปลี่ยนได้ “เราต้องการทดลองกับสถาปัตยกรรมที่สามารถปรับเปลี่ยนได้อย่างรวดเร็ว”
แม้จะมีสัญญาณความคืบหน้าเหล่านี้ แต่ Behrens มองว่าหม้อแปลงเป็นเพียงก้าวหนึ่งไปสู่แบบจำลองสมองที่แม่นยำ ไม่ใช่จุดสิ้นสุดของภารกิจ “ฉันต้องเป็นนักประสาทวิทยาที่ขี้สงสัยที่นี่” เขากล่าว “ฉันไม่คิดว่าทรานส์ฟอร์เมอร์จะเป็นแบบที่เราคิดเกี่ยวกับภาษาในสมอง แม้ว่าพวกมันจะมีรูปแบบประโยคที่ดีที่สุดในปัจจุบัน”
“นี่เป็นพื้นฐานที่มีประสิทธิภาพมากที่สุดในการคาดการณ์ว่าฉันอยู่ที่ไหนและจะเกิดอะไรขึ้นต่อไป? ถ้าฉันพูดตามตรง มันยังเร็วเกินไปที่จะบอก” แบร์รี่กล่าว
Schrimpf เช่นกัน ตั้งข้อสังเกตว่าแม้แต่หม้อแปลงที่มีประสิทธิภาพดีที่สุดก็มีจำกัด ทำงานได้ดีสำหรับคำและวลีสั้น ๆ เช่น แต่ไม่ใช่สำหรับงานภาษาขนาดใหญ่เช่นการเล่าเรื่อง
“ความรู้สึกของฉันคือสถาปัตยกรรมนี้ หม้อแปลงนี้ ทำให้คุณอยู่ในพื้นที่ที่เหมาะสมเพื่อทำความเข้าใจโครงสร้างของสมอง และสามารถปรับปรุงได้ด้วยการฝึก” Schrimpf กล่าว “นี่เป็นทิศทางที่ดี แต่สนามนี้ซับซ้อนมาก”
