เป็นเวลากว่าทศวรรษแล้วที่ระบบปัญญาประดิษฐ์ที่น่าประทับใจที่สุดจำนวนมากได้รับการสอนโดยใช้คลังข้อมูลขนาดใหญ่ที่มีป้ายกำกับ รูปภาพอาจมีป้ายกำกับว่า "แมวลาย" หรือ "แมวเสือ" เช่น เพื่อ "ฝึก" โครงข่ายประสาทเทียมเพื่อแยกแยะระหว่างแมวลายกับเสือได้อย่างถูกต้อง กลยุทธ์นี้ประสบความสำเร็จอย่างน่าทึ่งและขาดความฉิบหาย
การฝึกอบรม "ภายใต้การดูแล" ดังกล่าวต้องใช้ข้อมูลที่มนุษย์ติดป้ายกำกับอย่างลำบาก และเครือข่ายประสาทเทียมมักใช้ทางลัด เรียนรู้ที่จะเชื่อมโยงป้ายกำกับกับข้อมูลเพียงเล็กน้อยและบางครั้งอาจเป็นเพียงข้อมูลผิวเผิน ตัวอย่างเช่น โครงข่ายประสาทเทียมอาจใช้หญ้าในการจดจำภาพถ่ายของวัว เนื่องจากโดยทั่วไปแล้ว วัวมักถูกถ่ายภาพในทุ่งนา
“เรากำลังสร้างอัลกอริธึมรุ่นหนึ่งที่เหมือนกับนักศึกษาระดับปริญญาตรี [ที่] ไม่ได้มาเรียนทั้งภาคเรียน และในคืนก่อนรอบชิงชนะเลิศ พวกเขากำลังอัดแน่น” กล่าว อเล็กซี่ เอฟรอสนักวิทยาศาสตร์คอมพิวเตอร์แห่งมหาวิทยาลัยแคลิฟอร์เนีย เบิร์กลีย์ “พวกเขาไม่ได้เรียนรู้เนื้อหาจริงๆ แต่พวกเขาทำได้ดีในการทดสอบ”
สำหรับนักวิจัยที่สนใจเกี่ยวกับความฉลาดของสัตว์และเครื่องจักร ยิ่งไปกว่านั้น “การเรียนรู้ภายใต้การดูแล” นี้อาจถูกจำกัดในสิ่งที่สามารถเปิดเผยเกี่ยวกับสมองทางชีววิทยาได้ สัตว์—รวมทั้งมนุษย์—อย่าใช้ชุดข้อมูลที่มีป้ายกำกับเพื่อเรียนรู้ โดยส่วนใหญ่ พวกเขาสำรวจสิ่งแวดล้อมด้วยตัวเอง และในการทำเช่นนั้น พวกเขาจะได้รับความเข้าใจอย่างลึกซึ้งและแข็งแกร่งเกี่ยวกับโลก
ตอนนี้นักประสาทวิทยาด้านการคำนวณบางคนได้เริ่มสำรวจโครงข่ายประสาทเทียมที่ได้รับการฝึกด้วยข้อมูลที่ติดฉลากโดยมนุษย์เพียงเล็กน้อยหรือไม่มีเลย อัลกอริธึม "การเรียนรู้ด้วยตนเอง" เหล่านี้ได้รับการพิสูจน์แล้วว่าประสบความสำเร็จอย่างมากที่ การสร้างแบบจำลองภาษามนุษย์ และล่าสุดคือการจดจำภาพ ในงานล่าสุด แบบจำลองการคำนวณของระบบการมองเห็นและการได้ยินของสัตว์เลี้ยงลูกด้วยนมที่สร้างขึ้นโดยใช้แบบจำลองการเรียนรู้แบบควบคุมตนเองได้แสดงให้เห็นถึงความสอดคล้องต่อการทำงานของสมองอย่างใกล้ชิดกว่าแบบจำลองการเรียนรู้ภายใต้การดูแล สำหรับนักประสาทวิทยาบางคน ดูเหมือนว่าโครงข่ายประดิษฐ์กำลังเริ่มเปิดเผยวิธีการจริงบางอย่างที่สมองของเราใช้ในการเรียนรู้
การกำกับดูแลที่บกพร่อง
แบบจำลองสมองที่ได้รับแรงบันดาลใจจากโครงข่ายประสาทเทียมเกิดขึ้นเมื่อประมาณ 10 ปีที่แล้ว ในช่วงเวลาเดียวกับที่โครงข่ายประสาทเรียกว่า อเล็กซ์เน็ต ปฏิวัติงานจำแนกภาพที่ไม่รู้จัก โครงข่ายนั้น เช่นเดียวกับโครงข่ายประสาทเทียมทั้งหมด ถูกสร้างขึ้นจากชั้นของเซลล์ประสาทเทียม หน่วยคำนวณที่สร้างการเชื่อมต่อระหว่างกันซึ่งสามารถมีความแข็งแรงแตกต่างกันไป หรือ "น้ำหนัก" หากโครงข่ายประสาทไม่สามารถจำแนกภาพได้อย่างถูกต้อง อัลกอริธึมการเรียนรู้จะอัปเดตน้ำหนักของการเชื่อมต่อระหว่างเซลล์ประสาทเพื่อทำให้การจัดประเภทผิดนั้นมีโอกาสน้อยลงในการฝึกรอบถัดไป อัลกอริธึมจะทำซ้ำกระบวนการนี้หลายครั้งกับรูปภาพการฝึกทั้งหมด ปรับแต่งน้ำหนัก จนกว่าอัตราข้อผิดพลาดของเครือข่ายจะต่ำจนยอมรับได้
ในช่วงเวลาเดียวกัน นักประสาทวิทยาได้พัฒนาแบบจำลองการคำนวณครั้งแรกของ ระบบการมองเห็นของเจ้าคณะโดยใช้โครงข่ายประสาทเทียม เช่น AlexNet และผู้สืบทอด สหภาพดูมีความหวัง: เมื่อลิงและโครงข่ายประสาทเทียมแสดงภาพเดียวกัน ตัวอย่างเช่น กิจกรรมของเซลล์ประสาทจริงและเซลล์ประสาทเทียมแสดงการโต้ตอบที่น่าสนใจ ตามมาด้วยการจำลองการได้ยินและการตรวจจับกลิ่น
แต่เมื่อสาขาก้าวหน้าขึ้น นักวิจัยก็ตระหนักถึงข้อจำกัดของการฝึกอบรมภายใต้การดูแล ตัวอย่างเช่น ในปี 2017 Leon Gatys นักวิทยาศาสตร์คอมพิวเตอร์ที่มหาวิทยาลัย Tübingen ในเยอรมนี และเพื่อนร่วมงานของเขาได้ถ่ายภาพ Ford Model T จากนั้นจึงวางลวดลายหนังเสือดาวทับบนภาพถ่าย ทำให้เกิดภาพที่แปลกประหลาดแต่จดจำได้ง่าย . เครือข่ายประสาทเทียมชั้นนำจัดประเภทภาพต้นฉบับอย่างถูกต้องว่าเป็นโมเดล T แต่ถือว่าภาพที่ดัดแปลงเป็นเสือดาว มันจับจ้องอยู่ที่พื้นผิวและไม่เข้าใจรูปร่างของรถ (หรือเสือดาวสำหรับเรื่องนั้น)
กลยุทธ์การเรียนรู้ด้วยตนเองได้รับการออกแบบเพื่อหลีกเลี่ยงปัญหาดังกล่าว ในแนวทางนี้ มนุษย์จะไม่ติดป้ายกำกับข้อมูล แต่ “ฉลากมาจากตัวข้อมูลเอง” . กล่าว ฟรีดมันน์ เซนเก้นักประสาทวิทยาด้านคอมพิวเตอร์จากสถาบัน Friedrich Miescher เพื่อการวิจัยทางชีวการแพทย์ในเมืองบาเซิล ประเทศสวิตเซอร์แลนด์ อัลกอริธึมที่ควบคุมตนเองจะสร้างช่องว่างในข้อมูลเป็นหลักและขอให้โครงข่ายประสาทเทียมกรอกข้อมูลในช่องว่าง ในรูปแบบที่เรียกว่าภาษาขนาดใหญ่ อัลกอริธึมการฝึกอบรมจะแสดงคำสองสามคำแรกของประโยคให้โครงข่ายประสาทเห็นและขอให้ทำนายคำถัดไป เมื่อฝึกด้วยข้อความจำนวนมากที่รวบรวมมาจากอินเทอร์เน็ต แบบจำลอง ดูเหมือนจะเรียนรู้ โครงสร้างวากยสัมพันธ์ของภาษา แสดงให้เห็นถึงความสามารถทางภาษาที่น่าประทับใจ ทั้งหมดนี้ไม่มีป้ายกำกับหรือการควบคุมจากภายนอก
ความพยายามที่คล้ายคลึงกันกำลังดำเนินการในการมองเห็นคอมพิวเตอร์ ในช่วงปลายปี 2021 ไคหมิง เหอ และเพื่อนร่วมงานเปิดเผยว่า “ตัวเข้ารหัสอัตโนมัติที่สวมหน้ากาก” ซึ่งสร้างขึ้นบน a เทคนิค บุกเบิกโดยทีมของ Efros ในปี 2016 อัลกอริทึมการเรียนรู้แบบควบคุมตนเองจะสุ่มปิดบังรูปภาพ โดยบดบังเกือบสามในสี่ของแต่ละรายการ ตัวเข้ารหัสอัตโนมัติที่ปิดบังจะเปลี่ยนส่วนที่ไม่ปิดบังให้กลายเป็นการแสดงแทนแฝง — คำอธิบายทางคณิตศาสตร์ที่บีบอัดซึ่งมีข้อมูลสำคัญเกี่ยวกับวัตถุ (ในกรณีของรูปภาพ การแสดงแทนแฝงอาจเป็นคำอธิบายทางคณิตศาสตร์ที่จับรูปร่างของวัตถุในภาพ) จากนั้นตัวถอดรหัสจะแปลงการแทนค่าเหล่านั้นกลับเป็นรูปภาพเต็ม
อัลกอริธึมการเรียนรู้ที่ควบคุมตนเองจะฝึกการผสมผสานตัวเข้ารหัสและตัวถอดรหัสเพื่อเปลี่ยนภาพที่ปิดบังให้เป็นเวอร์ชันเต็ม ความแตกต่างใดๆ ระหว่างภาพจริงกับภาพที่สร้างขึ้นใหม่ จะถูกป้อนกลับเข้าสู่ระบบเพื่อช่วยให้มันเรียนรู้ กระบวนการนี้จะทำซ้ำสำหรับชุดอิมเมจการฝึกจนกว่าอัตราความผิดพลาดของระบบจะต่ำพอสมควร ในตัวอย่างหนึ่ง เมื่อเครื่องเข้ารหัสอัตโนมัติที่สวมหน้ากากซึ่งได้รับการฝึกฝนมาแสดงภาพบัสที่มองไม่เห็นก่อนหน้านี้โดยเกือบ 80% ของบัสนั้นถูกบดบัง ระบบได้สร้างโครงสร้างของบัสขึ้นใหม่ได้สำเร็จ
“นี่เป็นผลลัพธ์ที่น่าประทับใจมาก” Efros กล่าว
การแสดงแทนแฝงที่สร้างขึ้นในระบบเช่นนี้ ดูเหมือนว่าจะมีข้อมูลที่ลึกกว่ากลยุทธ์ก่อนหน้านี้อย่างมาก ระบบอาจเรียนรู้รูปร่างของรถ เช่น หรือเสือดาว ไม่ใช่แค่รูปแบบเท่านั้น "และนี่เป็นแนวคิดพื้นฐานของการเรียนรู้ด้วยตนเอง - คุณสร้างความรู้จากล่างขึ้นบน" Efros กล่าว ไม่มีการยัดเยียดในนาทีสุดท้ายให้ผ่านการทดสอบ
สมองที่ควบคุมตนเอง
ในระบบเช่นนี้ นักประสาทวิทยาบางคนเห็นเสียงสะท้อนของวิธีที่เราเรียนรู้ “ฉันคิดว่าไม่ต้องสงสัยเลยว่า 90% ของสิ่งที่สมองทำคือการเรียนรู้ด้วยตนเอง” . กล่าว เบลค ริชาร์ดส์นักประสาทวิทยาด้านการคำนวณที่มหาวิทยาลัย McGill และ Mila สถาบันปัญญาประดิษฐ์ควิเบก คิดว่าสมองชีวภาพจะคาดเดาตำแหน่งในอนาคตของวัตถุในขณะที่มันเคลื่อนที่หรือคำถัดไปในประโยคอย่างต่อเนื่อง เช่นเดียวกับที่อัลกอริธึมการเรียนรู้แบบควบคุมตนเองพยายามทำนายช่องว่างในภาพหรือส่วนของข้อความ และสมองก็เรียนรู้จากความผิดพลาดของตัวเองเช่นกัน — มีเพียงส่วนเล็ก ๆ ของความคิดเห็นจากสมองที่มาจากแหล่งภายนอกที่บอกว่า "คำตอบที่ผิด" โดยพื้นฐานแล้ว
ตัวอย่างเช่น พิจารณาระบบการมองเห็นของมนุษย์และไพรเมตอื่นๆ ระบบเหล่านี้ได้รับการศึกษาอย่างดีที่สุดจากระบบประสาทสัมผัสของสัตว์ทั้งหมด แต่นักประสาทวิทยาได้พยายามอธิบายว่าทำไมพวกเขาจึงรวมสองเส้นทางที่แยกจากกัน: กระแสการมองเห็นหน้าท้องซึ่งมีหน้าที่ในการจดจำวัตถุและใบหน้า และกระแสการมองเห็นด้านหลังซึ่งประมวลผลการเคลื่อนไหว (" อะไร” และ “ที่ไหน” ตามลำดับ)
Richards และทีมของเขาได้สร้างแบบจำลองการควบคุมตนเองซึ่งบอกเป็นนัยถึงคำตอบ พวกเขา ผ่านการฝึกอบรม AI ที่รวมสองโครงข่ายประสาทเทียมที่แตกต่างกัน: อันแรกเรียกว่าสถาปัตยกรรม ResNet ได้รับการออกแบบมาเพื่อประมวลผลภาพ เครือข่ายที่สองเรียกว่าเครือข่ายที่เกิดซ้ำ สามารถติดตามลำดับของอินพุตก่อนหน้าเพื่อคาดการณ์เกี่ยวกับอินพุตที่คาดหวังถัดไป ในการฝึก AI ที่รวมกัน ทีมงานเริ่มต้นด้วยลำดับ 10 เฟรมจากวิดีโอและให้ ResNet ประมวลผลทีละรายการ จากนั้นเครือข่ายที่เกิดซ้ำจะคาดการณ์การแสดงแฝงของเฟรมที่ 11 โดยไม่เพียงแค่จับคู่ 10 เฟรมแรกเท่านั้น อัลกอริธึมการเรียนรู้ที่ควบคุมตนเองได้เปรียบเทียบการทำนายกับค่าจริง และสั่งให้โครงข่ายประสาทอัปเดตน้ำหนักเพื่อทำให้การทำนายดีขึ้น
ทีมของ Richards พบว่า AI ที่ฝึกด้วย ResNet ตัวเดียวนั้นดีในการจดจำวัตถุ แต่ไม่จัดหมวดหมู่การเคลื่อนไหว แต่เมื่อพวกเขาแยก ResNet เดียวออกเป็นสองทาง สร้างสองเส้นทาง (โดยไม่เปลี่ยนจำนวนเซลล์ประสาททั้งหมด) AI ได้พัฒนาตัวแทนสำหรับวัตถุในที่หนึ่งและสำหรับการเคลื่อนไหวในอีกที่หนึ่ง ทำให้สามารถจัดหมวดหมู่คุณสมบัติเหล่านี้ได้เช่นเดียวกับที่สมองของเรา ทำ.
เพื่อทดสอบ AI เพิ่มเติม ทีมงานได้แสดงชุดวิดีโอที่นักวิจัยจาก Allen Institute for Brain Science ในซีแอตเทิลเคยแสดงให้หนูเห็น เช่นเดียวกับไพรเมต หนูมีบริเวณสมองสำหรับภาพนิ่งและการเคลื่อนไหวโดยเฉพาะ นักวิจัยของ Allen บันทึกกิจกรรมของระบบประสาทใน Visual cortex ของเมาส์ขณะที่สัตว์ต่างๆ ดูวิดีโอ
ที่นี่เช่นกัน ทีมของ Richards พบความคล้ายคลึงกันในวิธีที่ AI และสมองที่มีชีวิตตอบสนองต่อวิดีโอ ระหว่างการฝึก เส้นทางหนึ่งในโครงข่ายประสาทเทียมจะคล้ายกับบริเวณหน้าท้อง ซึ่งเป็นบริเวณที่ตรวจจับวัตถุของสมองของหนู และอีกเส้นทางหนึ่งคล้ายกับบริเวณหลังที่เน้นการเคลื่อนไหว
ผลการวิจัยชี้ให้เห็นว่าระบบการมองเห็นของเรามีเส้นทางเฉพาะสองทางเพราะช่วยทำนายอนาคตของภาพ Richards กล่าว; ทางเดียวไม่ดีพอ
แบบจำลองของระบบการได้ยินของมนุษย์บอกเล่าเรื่องราวที่คล้ายคลึงกัน ในเดือนมิถุนายน นำทีมโดย ฌอง-เรมี คิงนักวิทยาศาสตร์การวิจัยที่ Meta AI ฝึก AI ชื่อ Wav2Vec 2.0ซึ่งใช้โครงข่ายประสาทเทียมเพื่อแปลงเสียงเป็นการแสดงแทนแฝง นักวิจัยปิดบังการแสดงแทนเหล่านี้บางส่วนซึ่งจะป้อนเข้าสู่โครงข่ายประสาทเทียมที่เรียกว่าหม้อแปลงไฟฟ้า ระหว่างการฝึก หม้อแปลงจะทำนายข้อมูลที่ปิดบังไว้ ในกระบวนการนี้ AI ทั้งหมดเรียนรู้ที่จะเปลี่ยนเสียงเป็นการแสดงแทนแฝง — อีกครั้ง ไม่จำเป็นต้องใช้ป้ายกำกับ ทีมงานใช้ข้อมูลเสียงพูดประมาณ 600 ชั่วโมงในการฝึกอบรมเครือข่าย “ซึ่งเป็นประสบการณ์ที่เด็กจะได้รับในช่วงสองปีแรก [the]” กล่าว
เมื่อระบบได้รับการฝึกอบรมแล้ว นักวิจัยจะเล่นส่วนต่างๆ ของหนังสือเสียงเป็นภาษาอังกฤษ ฝรั่งเศส และจีนกลาง จากนั้นนักวิจัยได้เปรียบเทียบประสิทธิภาพของ AI กับข้อมูลจาก 412 คน ซึ่งเป็นการผสมผสานระหว่างเจ้าของภาษาของทั้งสามภาษาที่เคยฟังเสียงแบบเดียวกันในขณะที่สมองของพวกเขาถูกสร้างภาพในเครื่องสแกน fMRI King กล่าวว่าโครงข่ายประสาทของเขาและสมองของมนุษย์ แม้จะมีภาพ fMRI ที่มีเสียงรบกวนและความละเอียดต่ำ "ไม่เพียงแต่สัมพันธ์กันเท่านั้น แต่ยังสัมพันธ์กันอย่างเป็นระบบ": กิจกรรมในเลเยอร์แรกของ AI นั้นสอดคล้องกับกิจกรรม ในคอร์เทกซ์การได้ยินขั้นต้น ในขณะที่กิจกรรมของเลเยอร์ที่ลึกที่สุดของ AI นั้นสอดคล้องกับกิจกรรมในเลเยอร์ที่สูงกว่าในสมอง ในกรณีนี้คือคอร์เทกซ์ส่วนหน้าส่วนหน้า “มันเป็นข้อมูลที่สวยงามมาก” ริชาร์ดส์กล่าว “ยังไม่เป็นที่แน่ชัด แต่ [เป็น] หลักฐานที่น่าสนใจอีกชิ้นหนึ่งที่ชี้ว่า แท้จริงแล้ว วิธีที่เราเรียนรู้ภาษานั้นส่วนใหญ่มาจากการพยายามทำนายสิ่งต่อไปที่จะพูด”
โรคที่ไม่ได้รับการรักษา
ทุกคนไม่มั่นใจ จอช แมคเดอร์มอตต์นักประสาทวิทยาด้านคอมพิวเตอร์จากสถาบันเทคโนโลยีแมสซาชูเซตส์ ได้ทำงานเกี่ยวกับแบบจำลองการมองเห็นและการได้ยินโดยใช้การเรียนรู้ทั้งแบบมีผู้ดูแลและควบคุมตนเอง ห้องทดลองของเขาได้ออกแบบสิ่งที่เขาเรียกว่า "เมตาเมอร์" ซึ่งสังเคราะห์สัญญาณเสียงและภาพซึ่งสำหรับมนุษย์แล้ว เสียงที่ไม่อาจเข้าใจได้. อย่างไรก็ตาม สำหรับโครงข่ายประสาทเทียม metamers นั้นแยกไม่ออกจากสัญญาณจริง นี่แสดงให้เห็นว่าการเป็นตัวแทนที่เกิดขึ้นในชั้นลึกของโครงข่ายประสาทเทียม แม้จะเรียนรู้ด้วยตนเองก็ตาม ก็ไม่ตรงกับการเป็นตัวแทนในสมองของเรา แนวทางการเรียนรู้ที่ควบคุมตนเองเหล่านี้ “เป็นความก้าวหน้าในแง่ที่ว่าคุณสามารถเรียนรู้การเป็นตัวแทนที่สามารถสนับสนุนพฤติกรรมการจดจำจำนวนมากโดยไม่จำเป็นต้องใช้ป้ายกำกับเหล่านี้ทั้งหมด” McDermott กล่าว “แต่พวกเขายังคงมีพยาธิสภาพของโมเดลภายใต้การดูแลอยู่มากมาย”
อัลกอริทึมเองก็ต้องการการทำงานมากขึ้นเช่นกัน ตัวอย่างเช่น ใน Wav2Vec 2.0 ของ Meta AI AI จะคาดการณ์การแสดงเสียงที่แฝงอยู่เพียงสองสามสิบมิลลิวินาทีของเสียง ซึ่งใช้เวลาน้อยกว่าที่ใช้ในการเปล่งสัญญาณรบกวนที่รับรู้ได้อย่างชัดเจน นับประสาคำเพียงอย่างเดียว “มีหลายสิ่งที่ต้องทำเพื่อทำสิ่งที่คล้ายกับที่สมองทำ” คิงกล่าว
การเข้าใจการทำงานของสมองอย่างแท้จริงนั้นต้องการมากกว่าการเรียนรู้ด้วยตนเอง ประการหนึ่ง สมองเต็มไปด้วยการเชื่อมต่อความคิดเห็น ในขณะที่แบบจำลองปัจจุบันมีการเชื่อมต่อดังกล่าวเพียงเล็กน้อย หากมี ขั้นตอนต่อไปที่ชัดเจนคือการใช้การเรียนรู้ด้วยตนเองเพื่อฝึกเครือข่ายที่เกิดซ้ำสูง ซึ่งเป็นกระบวนการที่ยาก และดูว่ากิจกรรมในเครือข่ายดังกล่าวเป็นอย่างไรเมื่อเปรียบเทียบกับกิจกรรมของสมองจริง ขั้นตอนสำคัญอื่น ๆ คือการจับคู่กิจกรรมของเซลล์ประสาทเทียมในรูปแบบการเรียนรู้ที่ควบคุมตนเองกับกิจกรรมของเซลล์ประสาททางชีววิทยาแต่ละเซลล์ “หวังว่าในอนาคต ผลลัพธ์ [ของเรา] จะได้รับการยืนยันด้วยการบันทึกเซลล์เดียวเช่นกัน” คิงกล่าว
หากความคล้ายคลึงที่สังเกตได้ระหว่างสมองกับแบบจำลองการเรียนรู้ที่ควบคุมตนเองมีไว้สำหรับงานทางประสาทสัมผัสอื่น ๆ มันจะเป็นเครื่องบ่งชี้ที่ชัดเจนยิ่งขึ้นว่าเวทย์มนตร์ที่สมองของเราสามารถเรียนรู้ได้นั้นต้องใช้การเรียนรู้ด้วยตนเองในบางรูปแบบ “หากเราพบความคล้ายคลึงกันอย่างเป็นระบบระหว่างระบบที่แตกต่างกันอย่างมากมาย มัน [จะ] แนะนำว่าบางทีอาจไม่มีหลายวิธีในการประมวลผลข้อมูลอย่างชาญฉลาด” คิงกล่าว “อย่างน้อย นั่นเป็นสมมติฐานที่สวยงามที่เราอยากร่วมงานด้วย”
