स्व-सिखाया एआई मस्तिष्क के काम करने के तरीके में समानता दिखाता है

अब एक दशक के लिए, लेबल किए गए डेटा की एक विशाल सूची का उपयोग करके कई सबसे प्रभावशाली कृत्रिम बुद्धि प्रणालियों को सिखाया गया है। एक छवि को "टैबी कैट" या "टाइगर कैट" लेबल किया जा सकता है, उदाहरण के लिए, एक कृत्रिम तंत्रिका नेटवर्क को "ट्रेन" करने के लिए एक बाघ से एक टैब्बी को सही ढंग से अलग करने के लिए। रणनीति शानदार रूप से सफल और बुरी तरह से दोषपूर्ण दोनों रही है।

इस तरह के "पर्यवेक्षित" प्रशिक्षण के लिए मनुष्यों द्वारा श्रमसाध्य रूप से लेबल किए गए डेटा की आवश्यकता होती है, और तंत्रिका नेटवर्क अक्सर शॉर्टकट लेते हैं, लेबल को न्यूनतम और कभी-कभी सतही जानकारी के साथ जोड़ना सीखते हैं। उदाहरण के लिए, एक तंत्रिका नेटवर्क गाय की तस्वीर को पहचानने के लिए घास की उपस्थिति का उपयोग कर सकता है, क्योंकि गायों की तस्वीरें आमतौर पर खेतों में खींची जाती हैं।

"हम एल्गोरिदम की एक पीढ़ी बढ़ा रहे हैं जो अंडरग्रेड की तरह हैं [जो] पूरे सेमेस्टर में कक्षा में नहीं आए और फिर फाइनल से एक रात पहले, वे क्रैमिंग कर रहे थे," एलेक्सी एफ्रोसो, कैलिफोर्निया विश्वविद्यालय, बर्कले में एक कंप्यूटर वैज्ञानिक। "वे वास्तव में सामग्री नहीं सीखते हैं, लेकिन वे परीक्षण पर अच्छा करते हैं।"

जानवरों और मशीन इंटेलिजेंस के प्रतिच्छेदन में रुचि रखने वाले शोधकर्ताओं के लिए, इसके अलावा, यह "पर्यवेक्षित शिक्षा" जैविक दिमाग के बारे में जो कुछ भी प्रकट कर सकती है, उसमें सीमित हो सकती है। जानवरों - मनुष्यों सहित - सीखने के लिए लेबल किए गए डेटा सेट का उपयोग न करें। अधिकांश भाग के लिए, वे अपने दम पर पर्यावरण का पता लगाते हैं, और ऐसा करने पर, वे दुनिया की एक समृद्ध और मजबूत समझ हासिल करते हैं।

अब कुछ कम्प्यूटेशनल न्यूरोसाइंटिस्ट्स ने तंत्रिका नेटवर्क का पता लगाना शुरू कर दिया है जिन्हें बहुत कम या बिना मानव-लेबल वाले डेटा के साथ प्रशिक्षित किया गया है। ये "स्व-पर्यवेक्षित शिक्षण" एल्गोरिदम काफी हद तक सफल साबित हुए हैं मानव भाषा मॉडलिंग और, हाल ही में, छवि पहचान। हाल के काम में, स्व-पर्यवेक्षित शिक्षण मॉडल का उपयोग करके निर्मित स्तनधारी दृश्य और श्रवण प्रणालियों के कम्प्यूटेशनल मॉडल ने उनके पर्यवेक्षित-सीखने वाले समकक्षों की तुलना में मस्तिष्क के कार्य के लिए एक करीबी पत्राचार दिखाया है। कुछ न्यूरोसाइंटिस्टों के लिए, ऐसा लगता है जैसे कृत्रिम नेटवर्क कुछ वास्तविक तरीकों को प्रकट करना शुरू कर रहे हैं जो हमारे दिमाग सीखने के लिए उपयोग करते हैं।

त्रुटिपूर्ण पर्यवेक्षण

कृत्रिम तंत्रिका नेटवर्क से प्रेरित मस्तिष्क मॉडल लगभग 10 साल पहले आए थे, लगभग उसी समय जब एक तंत्रिका नेटवर्क का नाम था एलेक्सनेट अज्ञात छवियों को वर्गीकृत करने के कार्य में क्रांति ला दी। वह नेटवर्क, सभी तंत्रिका नेटवर्क की तरह, कृत्रिम न्यूरॉन्स की परतों से बना था, कम्प्यूटेशनल इकाइयां जो एक दूसरे से कनेक्शन बनाती हैं जो ताकत या "वजन" में भिन्न हो सकती हैं। यदि एक तंत्रिका नेटवर्क एक छवि को सही ढंग से वर्गीकृत करने में विफल रहता है, तो लर्निंग एल्गोरिदम न्यूरॉन्स के बीच कनेक्शन के वजन को अपडेट करता है ताकि प्रशिक्षण के अगले दौर में गलत वर्गीकरण की संभावना कम हो। एल्गोरिथ्म इस प्रक्रिया को कई बार सभी प्रशिक्षण छवियों के साथ दोहराता है, वजन को कम करता है, जब तक कि नेटवर्क की त्रुटि दर स्वीकार्य रूप से कम न हो।

लगभग उसी समय, न्यूरोसाइंटिस्ट्स ने के पहले कम्प्यूटेशनल मॉडल विकसित किए अंतरंग दृश्य प्रणाली, एलेक्सनेट और उसके उत्तराधिकारियों जैसे तंत्रिका नेटवर्क का उपयोग करना। संघ आशाजनक लग रहा था: जब बंदरों और कृत्रिम तंत्रिका जाल को एक ही चित्र दिखाया गया था, उदाहरण के लिए, वास्तविक न्यूरॉन्स और कृत्रिम न्यूरॉन्स की गतिविधि ने एक दिलचस्प पत्राचार दिखाया। श्रवण और गंध का पता लगाने के कृत्रिम मॉडल का पालन किया गया।

लेकिन जैसे-जैसे क्षेत्र आगे बढ़ा, शोधकर्ताओं को पर्यवेक्षित प्रशिक्षण की सीमाओं का एहसास हुआ। उदाहरण के लिए, 2017 में, लियोन गैटिस, एक कंप्यूटर वैज्ञानिक, जो तब जर्मनी में टुबिंगन विश्वविद्यालय में थे, और उनके सहयोगियों ने एक फोर्ड मॉडल टी की एक छवि ली, फिर एक तेंदुए की त्वचा के पैटर्न को पूरी तस्वीर पर मढ़ा, एक विचित्र लेकिन आसानी से पहचानने योग्य छवि उत्पन्न की। . एक प्रमुख कृत्रिम तंत्रिका नेटवर्क ने मूल छवि को मॉडल टी के रूप में सही ढंग से वर्गीकृत किया, लेकिन संशोधित छवि को तेंदुआ माना। यह बनावट पर ठीक हो गया था और उसे कार (या उस मामले के लिए एक तेंदुआ) के आकार की कोई समझ नहीं थी।

ऐसी समस्याओं से बचने के लिए स्व-पर्यवेक्षित शिक्षण रणनीतियाँ तैयार की गई हैं। इस दृष्टिकोण में, मनुष्य डेटा को लेबल नहीं करते हैं। बल्कि, "लेबल डेटा से ही आते हैं," ने कहा फ्रीडेमैन ज़ेंके, स्विट्जरलैंड के बासेल में फ्रेडरिक मिशर इंस्टीट्यूट फॉर बायोमेडिकल रिसर्च में एक कम्प्यूटेशनल न्यूरोसाइंटिस्ट। स्व-पर्यवेक्षित एल्गोरिदम अनिवार्य रूप से डेटा में अंतराल बनाते हैं और तंत्रिका नेटवर्क को रिक्त स्थान भरने के लिए कहते हैं। उदाहरण के लिए, एक तथाकथित बड़े भाषा मॉडल में, प्रशिक्षण एल्गोरिथ्म तंत्रिका नेटवर्क को एक वाक्य के पहले कुछ शब्द दिखाएगा और अगले शब्द की भविष्यवाणी करने के लिए कहेगा। जब इंटरनेट से एकत्रित पाठ के विशाल संग्रह के साथ प्रशिक्षित किया जाता है, तो मॉडल सीखने लगता है भाषा की वाक्यात्मक संरचना, प्रभावशाली भाषाई क्षमता का प्रदर्शन - सभी बाहरी लेबल या पर्यवेक्षण के बिना।

कंप्यूटर विजन में भी इसी तरह का प्रयास किया जा रहा है। 2021 के अंत में, कैमिंग ही और सहकर्मियों ने उनका खुलासा किया "नकाबपोश ऑटो-एनकोडर, "जो a . पर बनाता है तकनीक 2016 में एफ्रोस की टीम द्वारा अग्रणी। स्व-पर्यवेक्षित शिक्षण एल्गोरिदम बेतरतीब ढंग से छवियों को मुखौटा करता है, प्रत्येक के लगभग तीन-चौथाई को अस्पष्ट करता है। नकाबपोश ऑटो-एनकोडर अव्यक्त भागों को गुप्त प्रतिनिधित्व में बदल देता है - संकुचित गणितीय विवरण जिसमें किसी वस्तु के बारे में महत्वपूर्ण जानकारी होती है। (एक छवि के मामले में, अव्यक्त प्रतिनिधित्व एक गणितीय विवरण हो सकता है, जो अन्य बातों के अलावा, छवि में किसी वस्तु के आकार को कैप्चर करता है।) एक डिकोडर फिर उन अभ्यावेदन को पूर्ण छवियों में परिवर्तित करता है।

स्व-पर्यवेक्षित शिक्षण एल्गोरिथ्म नकाबपोश छवियों को उनके पूर्ण संस्करणों में बदलने के लिए एन्कोडर-डिकोडर संयोजन को प्रशिक्षित करता है। वास्तविक छवियों और पुनर्निर्मित छवियों के बीच कोई भी अंतर इसे सीखने में मदद करने के लिए सिस्टम में वापस फीड हो जाता है। यह प्रक्रिया प्रशिक्षण छवियों के एक सेट के लिए दोहराती है जब तक कि सिस्टम की त्रुटि दर उपयुक्त रूप से कम न हो। एक उदाहरण में, जब एक प्रशिक्षित नकाबपोश ऑटो-एनकोडर को एक बस की पहले की अनदेखी छवि दिखाई गई थी, जिसमें से लगभग 80% अस्पष्ट थी, तो सिस्टम ने बस की संरचना को सफलतापूर्वक पुनर्निर्माण किया।

"यह एक बहुत ही प्रभावशाली परिणाम है," एफ्रोस ने कहा।

इस तरह की एक प्रणाली में बनाए गए अव्यक्त अभ्यावेदन में पिछली रणनीतियों की तुलना में काफी गहरी जानकारी शामिल हो सकती है। सिस्टम कार के आकार को सीख सकता है, उदाहरण के लिए - या एक तेंदुआ - और न केवल उनके पैटर्न। "और यह वास्तव में स्व-पर्यवेक्षित सीखने का मूल विचार है - आप अपने ज्ञान को नीचे से ऊपर तक बनाते हैं," एफ्रोस ने कहा। परीक्षण पास करने के लिए कोई अंतिम समय में ऐंठन नहीं।

स्व-पर्यवेक्षित दिमाग

इस तरह की प्रणालियों में, कुछ न्यूरोसाइंटिस्ट हम कैसे सीखते हैं, इसकी प्रतिध्वनि देखते हैं। "मुझे लगता है कि इसमें कोई संदेह नहीं है कि मस्तिष्क जो करता है उसका 90% स्व-पर्यवेक्षित शिक्षण है," ने कहा ब्लेक रिचर्ड्स, मैकगिल विश्वविद्यालय में एक कम्प्यूटेशनल न्यूरोसाइंटिस्ट और क्यूबेक आर्टिफिशियल इंटेलिजेंस इंस्टीट्यूट मिला। ऐसा माना जाता है कि जैविक दिमाग लगातार भविष्यवाणी कर रहा है, जैसे कि किसी वस्तु की भविष्य की स्थिति, या वाक्य में अगला शब्द, जैसे कि एक स्व-पर्यवेक्षित शिक्षण एल्गोरिथ्म एक छवि या पाठ के एक खंड में अंतर की भविष्यवाणी करने का प्रयास करता है। और दिमाग अपनी गलतियों से खुद भी सीखता है - हमारे मस्तिष्क की प्रतिक्रिया का केवल एक छोटा सा हिस्सा बाहरी स्रोत से आता है, अनिवार्य रूप से, "गलत उत्तर।"

उदाहरण के लिए, मनुष्यों और अन्य प्राइमेट की दृश्य प्रणालियों पर विचार करें। ये सभी पशु संवेदी प्रणालियों का सबसे अच्छा अध्ययन है, लेकिन न्यूरोसाइंटिस्टों ने यह समझाने के लिए संघर्ष किया है कि उनमें दो अलग-अलग रास्ते क्यों शामिल हैं: उदर दृश्य धारा, जो वस्तुओं और चेहरों को पहचानने के लिए जिम्मेदार है, और पृष्ठीय दृश्य धारा, जो आंदोलन को संसाधित करती है (" क्या" और "कहां" रास्ते, क्रमशः)।

रिचर्ड्स और उनकी टीम ने एक स्व-पर्यवेक्षित मॉडल बनाया जो एक उत्तर पर संकेत देता है। वे प्रशिक्षित एक एआई जो दो अलग-अलग तंत्रिका नेटवर्क को जोड़ती है: पहला, जिसे रेसनेट आर्किटेक्चर कहा जाता है, को छवियों को संसाधित करने के लिए डिज़ाइन किया गया था; दूसरा, एक आवर्तक नेटवर्क के रूप में जाना जाता है, अगले अपेक्षित इनपुट के बारे में भविष्यवाणी करने के लिए पूर्व इनपुट के अनुक्रम का ट्रैक रख सकता है। संयुक्त AI को प्रशिक्षित करने के लिए, टीम ने एक वीडियो से 10 फ़्रेमों के अनुक्रम के साथ शुरुआत की और ResNet को एक-एक करके उन्हें संसाधित करने दें। आवर्तक नेटवर्क ने तब 11वें फ्रेम के अव्यक्त प्रतिनिधित्व की भविष्यवाणी की, जबकि केवल पहले 10 फ्रेम से मेल नहीं खा रहा था। स्व-पर्यवेक्षित शिक्षण एल्गोरिथ्म ने भविष्यवाणी की तुलना वास्तविक मूल्य से की और तंत्रिका नेटवर्क को भविष्यवाणी को बेहतर बनाने के लिए अपने वजन को अपडेट करने का निर्देश दिया।

रिचर्ड्स की टीम ने पाया कि एकल ResNet के साथ प्रशिक्षित AI ऑब्जेक्ट रिकग्निशन में अच्छा था, लेकिन मूवमेंट को वर्गीकृत करने में नहीं। लेकिन जब उन्होंने एकल ResNet को दो में विभाजित किया, दो रास्ते बनाए (न्यूरॉन्स की कुल संख्या को बदले बिना), AI ने एक में वस्तुओं के लिए और दूसरे में गति के लिए प्रतिनिधित्व विकसित किया, जिससे इन गुणों के डाउनस्ट्रीम वर्गीकरण को सक्षम किया गया - जैसे कि हमारे दिमाग की संभावना है करना।

एआई का और परीक्षण करने के लिए, टीम ने इसे वीडियो का एक सेट दिखाया जो सिएटल में एलन इंस्टीट्यूट फॉर ब्रेन साइंस के शोधकर्ताओं ने पहले चूहों को दिखाया था। प्राइमेट्स की तरह, चूहों के मस्तिष्क के क्षेत्र स्थिर छवियों और गति के लिए विशिष्ट होते हैं। जब जानवरों ने वीडियो देखा तो एलन शोधकर्ताओं ने माउस विज़ुअल कॉर्टेक्स में तंत्रिका गतिविधि को रिकॉर्ड किया।

यहां भी, रिचर्ड्स की टीम ने एआई और जीवित दिमागों के वीडियो पर प्रतिक्रिया करने के तरीके में समानताएं पाईं। प्रशिक्षण के दौरान, कृत्रिम तंत्रिका नेटवर्क में एक मार्ग माउस के मस्तिष्क के उदर, वस्तु-पहचानने वाले क्षेत्रों के समान हो गया, और दूसरा मार्ग आंदोलन-केंद्रित पृष्ठीय क्षेत्रों के समान हो गया।

परिणाम बताते हैं कि हमारी दृश्य प्रणाली में दो विशेष मार्ग हैं क्योंकि वे दृश्य भविष्य की भविष्यवाणी करने में मदद करते हैं, रिचर्ड्स ने कहा; एक ही रास्ता काफी अच्छा नहीं है।

मानव श्रवण प्रणाली के मॉडल एक समान कहानी बताते हैं। जून में, के नेतृत्व में एक टीम जीन-रेमी किंग, मेटा एआई के एक शोध वैज्ञानिक, Wav2Vec 2.0 . नामक AI को प्रशिक्षित किया, जो ऑडियो को गुप्त प्रतिनिधित्व में बदलने के लिए एक तंत्रिका नेटवर्क का उपयोग करता है। शोधकर्ता इनमें से कुछ अभ्यावेदन को मुखौटा बनाते हैं, जो तब एक अन्य घटक तंत्रिका नेटवर्क में फीड होते हैं जिसे ट्रांसफॉर्मर कहा जाता है। प्रशिक्षण के दौरान, ट्रांसफार्मर नकाबपोश जानकारी की भविष्यवाणी करता है। इस प्रक्रिया में संपूर्ण AI ध्वनियों को अव्यक्त अभ्यावेदन में बदलना सीखता है - फिर से, किसी लेबल की आवश्यकता नहीं होती है। टीम ने नेटवर्क को प्रशिक्षित करने के लिए लगभग 600 घंटे के भाषण डेटा का उपयोग किया, "जो लगभग एक बच्चे को [द] पहले दो वर्षों के अनुभव में मिलेगा," किंग ने कहा।

एक बार सिस्टम को प्रशिक्षित करने के बाद, शोधकर्ताओं ने इसे अंग्रेजी, फ्रेंच और मंदारिन में ऑडियोबुक के अनुभागों को चलाया। शोधकर्ताओं ने तब 412 लोगों के डेटा के खिलाफ एआई के प्रदर्शन की तुलना की - तीन भाषाओं के देशी वक्ताओं का मिश्रण, जिन्होंने एफएमआरआई स्कैनर में अपने दिमाग की नकल करते हुए ऑडियो के समान हिस्सों को सुना था। किंग ने कहा कि उनके तंत्रिका नेटवर्क और मानव मस्तिष्क, शोर और कम-रिज़ॉल्यूशन fMRI छवियों के बावजूद, "न केवल एक दूसरे के साथ सहसंबद्ध हैं, बल्कि वे एक व्यवस्थित फैशन में सहसंबंधित हैं": AI की शुरुआती परतों में गतिविधि गतिविधि के साथ संरेखित होती है प्राथमिक श्रवण प्रांतस्था में, जबकि एआई की सबसे गहरी परतों की गतिविधि मस्तिष्क में उच्च परतों में गतिविधि के साथ संरेखित होती है, इस मामले में प्रीफ्रंटल कॉर्टेक्स। "यह वास्तव में सुंदर डेटा है," रिचर्ड्स ने कहा। "यह निर्णायक नहीं है, लेकिन [यह] यह सुझाव देने के लिए सबूत का एक और सम्मोहक टुकड़ा है कि, वास्तव में, जिस तरह से हम भाषा सीखते हैं वह बड़े हिस्से में अगली चीजों की भविष्यवाणी करने की कोशिश कर रहा है जो कहा जाएगा।"

अनक्योर्ड पैथोलॉजी

हर कोई आश्वस्त नहीं है। जोश मैकडरमॉटमैसाचुसेट्स इंस्टीट्यूट ऑफ टेक्नोलॉजी के एक कम्प्यूटेशनल न्यूरोसाइंटिस्ट ने पर्यवेक्षित और स्व-पर्यवेक्षित शिक्षा दोनों का उपयोग करके दृष्टि और श्रवण धारणा के मॉडल पर काम किया है। उनकी प्रयोगशाला ने डिजाइन किया है जिसे वे "मेटामर" कहते हैं, संश्लेषित ऑडियो और विजुअल सिग्नल, जो मानव के लिए, उचित हैं अचूक शोर. एक कृत्रिम तंत्रिका नेटवर्क के लिए, हालांकि, मेटामर्स वास्तविक संकेतों से अप्रभेद्य दिखाई देते हैं। इससे पता चलता है कि स्व-पर्यवेक्षित सीखने के साथ भी, तंत्रिका नेटवर्क की गहरी परतों में बनने वाले प्रतिनिधित्व हमारे दिमाग में प्रतिनिधित्व से मेल नहीं खाते हैं। मैकडरमॉट ने कहा, "ये स्व-पर्यवेक्षित सीखने के दृष्टिकोण" इस अर्थ में प्रगति कर रहे हैं कि आप ऐसे अभ्यावेदन सीखने में सक्षम हैं जो इन सभी लेबलों की आवश्यकता के बिना बहुत से मान्यता व्यवहारों का समर्थन कर सकते हैं। "लेकिन उनके पास अभी भी पर्यवेक्षित मॉडल की बहुत सारी विकृति है।"

स्वयं एल्गोरिदम को भी अधिक काम करने की आवश्यकता है। उदाहरण के लिए, मेटा एआई के Wav2Vec 2.0 में, एआई केवल कुछ दसियों मिलीसेकंड की ध्वनि के लिए अव्यक्त प्रतिनिधित्व की भविष्यवाणी करता है - एक अवधारणात्मक रूप से अलग शोर को बोलने में कम समय लगता है, अकेले एक शब्द। "मस्तिष्क के समान कुछ करने के लिए बहुत सी चीजें हैं," राजा ने कहा।

वास्तव में मस्तिष्क के कार्य को समझने के लिए स्व-पर्यवेक्षित सीखने की तुलना में अधिक की आवश्यकता होती है। एक बात के लिए, मस्तिष्क फीडबैक कनेक्शन से भरा है, जबकि वर्तमान मॉडलों में ऐसे कुछ कनेक्शन हैं, यदि कोई हो। एक स्पष्ट अगला कदम अत्यधिक आवर्तक नेटवर्क को प्रशिक्षित करने के लिए स्व-पर्यवेक्षित शिक्षण का उपयोग करना होगा - एक कठिन प्रक्रिया - और देखें कि ऐसे नेटवर्क में गतिविधि वास्तविक मस्तिष्क गतिविधि की तुलना कैसे करती है। अन्य महत्वपूर्ण कदम व्यक्तिगत जैविक न्यूरॉन्स की गतिविधि के लिए स्व-पर्यवेक्षित शिक्षण मॉडल में कृत्रिम न्यूरॉन्स की गतिविधि का मिलान करना होगा। "उम्मीद है, भविष्य में, [हमारे] परिणामों की पुष्टि सिंगल-सेल रिकॉर्डिंग के साथ भी की जाएगी," किंग ने कहा।

यदि मस्तिष्क और स्व-पर्यवेक्षित शिक्षण मॉडल के बीच देखी गई समानताएं अन्य संवेदी कार्यों के लिए हैं, तो यह और भी मजबूत संकेत होगा कि हमारे दिमाग में जो भी जादू है, उसे किसी न किसी रूप में स्व-पर्यवेक्षित सीखने की आवश्यकता है। किंग ने कहा, "अगर हम बहुत अलग-अलग प्रणालियों के बीच व्यवस्थित समानताएं पाते हैं, तो यह [यह सुझाव देगा] कि शायद जानकारी को एक बुद्धिमान तरीके से संसाधित करने के इतने तरीके नहीं हैं।" "कम से कम, यह उस तरह की सुंदर परिकल्पना है जिसके साथ हम काम करना चाहेंगे।"