डीप लर्निंग में डोमेन विशेषज्ञों का उदय

जेरेमी हॉवर्ड और कृत्रिम बुद्धि शोधकर्ता और सह-संस्थापक हैं फास्ट.एआई, गैर-विशेषज्ञों के लिए कृत्रिम बुद्धिमत्ता और मशीन लर्निंग सीखने का एक मंच। Fast.ai शुरू करने से पहले, उन्होंने कई कंपनियों की स्थापना की - जिनमें FastMail और Enlitic शामिल हैं, जो चिकित्सा क्षेत्र में गहन शिक्षा को लागू करने में अग्रणी हैं - और मशीन-लर्निंग प्रतियोगिता प्लेटफॉर्म Kaggle के अध्यक्ष और मुख्य वैज्ञानिक थे। 

इस साक्षात्कार में, हॉवर्ड ने चर्चा की कि अब विभिन्न उद्योगों और यहां तक ​​कि वैश्विक क्षेत्रों के लिए इसका क्या अर्थ है कि विशेष अनुसंधान प्रयोगशालाओं से पीएचडी के बिना लोग गहन शिक्षण मॉडल का निर्माण और काम कर सकते हैं। इस व्यापक छत्र के तहत अन्य विषयों के अलावा, वह अपने विचारों को साझा करता है कि कैसे अत्याधुनिक तकनीकों, एक नए कौशल सेट के रूप में त्वरित इंजीनियरिंग, और कोडेक्स जैसे कोड-जनरेशन सिस्टम के पेशेवरों और विपक्षों के साथ सर्वोत्तम तरीके से बनाए रखा जाए।

---

भविष्य: पिछले कई वर्षों से fast.ai चलाने के बाद, आप क्या प्रभाव देख रहे हैं कि इतने अधिक लोग गहन शिक्षा की बुनियादी अवधारणाओं से परिचित हैं - बनाम कई साल पहले जब ज्ञान वाले लोग यूनिकॉर्न थे?

जेरेमी हावर्ड: जब हमने fast.ai शुरू किया था, तो मूल रूप से, पांच महत्वपूर्ण विश्वविद्यालय अनुसंधान प्रयोगशालाएं गहन शिक्षा पर काम कर रही थीं - और केवल वे लोग थे जो गहन शिक्षा के साथ लगभग कुछ भी करना जानते थे, वे लोग थे जो उन पांच प्रयोगशालाओं में थे, या थे . कुल मिलाकर, कोड प्रकाशित नहीं किया जा रहा था, डेटा की तो बात ही छोड़िए। और यहां तक ​​कि कागजात भी इसका विवरण प्रकाशित नहीं कर रहे थे कि इसे व्यवहार में कैसे लाया जाए, आंशिक रूप से क्योंकि अकादमिक स्थानों ने व्यावहारिक कार्यान्वयन के बारे में ज्यादा परवाह नहीं की थी। यह सिद्धांत पर बहुत केंद्रित था। 

इसलिए जब हमने शुरुआत की, तो यह एक बहुत ही सट्टा प्रश्न था, "क्या पीएचडी के बिना विश्व स्तरीय गहन शिक्षा करना संभव है?"। अब हम जानते हैं कि इसका उत्तर है हाँ; हमने अपने पहले ही कोर्स में यह दिखाया। हमारे पहले पूर्व छात्रों ने डीप लर्निंग का उपयोग करके पेटेंट बनाने, डीप लर्निंग का उपयोग करने वाली कंपनियों का निर्माण करने और डीप लर्निंग का उपयोग करके शीर्ष स्थानों में प्रकाशित करने के लिए आगे बढ़े। 

मुझे लगता है कि आपका प्रश्न बिल्कुल सही है, जो इस बारे में है कि क्या होता है जब डोमेन विशेषज्ञ प्रभावी गहन शिक्षण अभ्यासकर्ता बन जाते हैं? यहीं पर हमने सबसे दिलचस्प चीजें देखी हैं। आम तौर पर, सबसे अच्छे स्टार्टअप उन लोगों द्वारा बनाए जाते हैं जिन्हें व्यक्तिगत रूप से खरोंच से खुजली होती है। वे रिक्रूटर्स हुआ करते थे, इसलिए वे एक रिक्रूटिंग स्टार्टअप कर रहे थे, या वे एक पैरालीगल हुआ करते थे, इसलिए वे एक लीगल स्टार्टअप कर रहे थे, या जो भी हो। और वे, जैसे, "ओह, मुझे इस नौकरी से नफरत है जो मेरे पास थी। और अब जब मैं गहन शिक्षा के बारे में जानता हूं, तो मुझे पता है कि मैं उस पूरी चीज को लगभग स्वचालित कर सकता हूं।"

हमारे बहुत से छात्र भी पीएचडी कर रहे हैं या कर चुके हैं, लेकिन गणित या कंप्यूटर विज्ञान में नहीं; इसके बजाय, वे उन्हें रसायन सूचना विज्ञान, प्रोटिओमिक्स, डेटा पत्रकारिता, या जो कुछ भी कर रहे हैं। और हम अक्सर पाते हैं कि वे अपने शोध को दूसरे स्तर पर ले जाने में सक्षम हैं। उदाहरण के लिए, हम पहली बार इंटरनेट पर कुछ बड़े डेटाबेस और सार्वजनिक पुस्तकालय सामग्री के डेटा संग्रह को देखना शुरू कर रहे हैं। और उस क्षेत्र में लोग हैं - पुस्तकालय विज्ञान - अब जो सामान कर रहे हैं जहां यह कभी नहीं हुआ कि वे पहले कभी उस पैमाने पर कुछ भी कर सकें। लेकिन अचानक, ऐसा लगता है, "हे भगवान, देखो क्या होता है जब आप एक पुस्तकालय का विश्लेषण करते हैं a बात". 

मैंने एक पशुपालन सम्मेलन में एक भाषण दिया जहाँ हर कोई गहन शिक्षा के बारे में बात कर रहा था। मेरे लिए, यह वास्तव में गैर-स्पष्ट उपयोग है, लेकिन उनके लिए यह अब तक का सबसे स्पष्ट उपयोग है। लोग वास्तविक दुनिया की बाधाओं के भीतर वास्तविक दुनिया के डेटा का उपयोग करके वास्तविक दुनिया की समस्याओं को हल करने के लिए इसका उपयोग कर रहे हैं।

पिछले कुछ वर्षों में मेरे अनुभव से ऐसा लगता है कि गहन शिक्षा को हर उद्योग पर लागू किया जा सकता है - नहीं प्रत्येक का हिस्सा प्रत्येक उद्योग, लेकिन कुछ इसके भाग बहुत ज्यादा हर उद्योग. 

हमें एक ऐसे व्यक्ति के बारे में पता चला जो मलेरिया डायग्नोस्टिक्स के साथ बहुत सारी दिलचस्प चीजें कर रहा था, जैसा कि आप कल्पना कर सकते हैं, यह शीर्ष समस्या नहीं है जिसे सैन फ्रांसिस्को में लोग हल करने की कोशिश कर रहे थे।

ऐसा लगता है कि ज्ञान के आधारों का उलटा होना - गहन शिक्षण अब डोमेन विशेषज्ञता का पूरक है - सिद्धांत और अनुप्रयोग के बीच संतुलन को बदल सकता है।

ठीक है, और आप ऐसा होते हुए देख सकते हैं। गहन शिक्षण युग की शुरुआत में Google ब्रेन द्वारा किया गया कार्य था, जहां उन्होंने बहुत सारे YouTube वीडियो का विश्लेषण किया और पाया कि बिल्लियाँ एक गुप्त कारक थीं कई वीडियो में। उनके मॉडल ने बिल्लियों को पहचानना सीखा क्योंकि उसने उनमें से बहुतों को देखा था। और यह बहुत दिलचस्प काम है, लेकिन किसी ने भी जाकर उस पर एक कंपनी नहीं बनाई। 

चीजें जो लोग थे निर्माण - फिर से, उपयोगी, लेकिन कुछ क्षेत्रों के भीतर - जैसे कि Google और Apple छवि फोटो-खोज बहुत जल्दी बहुत अच्छी हो गई क्योंकि आप वास्तव में उन चीजों की खोज कर सकते थे जो तस्वीरों में थीं। यह वास्तव में मददगार है। और इस तरह का सामान हर कोई काम कर रहा था - या तो वास्तव में अमूर्त सामान या वास्तविक प्रथम-विश्व-समस्या सामग्री। इसमें कुछ भी गलत नहीं है, लेकिन कई अन्य चीजें भी हैं जिन पर काम करने की जरूरत है। 

इसलिए मैं रोमांचित था, जब कुछ वर्षों के बाद, मैंने उन लोगों की जनसांख्यिकी को देखा, जिन्होंने हमारा कोर्स किया था और मुझे पता चला कि अमेरिका के बाहर सबसे बड़े शहरों में से एक लागोस [नाइजीरिया की राजधानी] था। मैंने सोचा कि यह वास्तव में बहुत अच्छा था क्योंकि यह एक ऐसा समुदाय है जो पहले गहन शिक्षा नहीं कर रहा था। मैंने पहले कोर्स में लोगों से सचमुच पूछा: "यहां अफ्रीका से कोई है?" और मुझे लगता है कि आइवरी कोस्ट का एक आदमी था जिसे अपनी लाइब्रेरी में सीडी-रोम में चीजें जलानी पड़ रही थीं क्योंकि उनके पास पर्याप्त इंटरनेट कनेक्शन नहीं है। तो यह वास्तव में बहुत जल्दी बढ़ गया।

और फिर यह अच्छा था क्योंकि हमें युगांडा, केन्या और नाइजीरिया के लोगों के समूह व्यक्तिगत रूप से पाठ्यक्रम करने और एक-दूसरे को जानने के लिए सैन फ्रांसिस्को में उड़ान भरने लगे। उदाहरण के लिए, हम एक व्यक्ति को जानते हैं, जो मलेरिया डायग्नोस्टिक्स के साथ बहुत सारी दिलचस्प चीजें कर रहा था, जैसा कि आप कल्पना कर सकते हैं, सैन फ्रांसिस्को में लोग इसे हल करने की कोशिश नहीं कर रहे थे।

मुझे ऐसा लगता है कि 16% इंटरनेट पर प्रशिक्षित 5 अलग-अलग बड़े भाषा मॉडल होना आपके घर में 16 पानी के पाइप आने और बिजली के 16 सेट आपके घर में आने जैसा है। 

आपके जैसे गहन शिक्षण कार्यक्रम से बाहर आने वाले किसी व्यक्ति के लिए औसत करियर पथ कैसा दिखता है?

यह बहुत विविध है। यह वास्तव में शुरुआती दिनों से बहुत बदल गया है, जब यह सिर्फ सुपर अर्ली-एडॉप्टर मानसिकता थी - वे लोग जो बड़े पैमाने पर या तो उद्यमी या पीएचडी और शुरुआती पोस्टडॉक्स थे, और जो सिर्फ अत्याधुनिक शोध और नई चीजों की कोशिश करना पसंद करते हैं। यह अब केवल शुरुआती अपनाने वाले नहीं हैं, यह ऐसे लोग भी हैं जो अपने उद्योग के आगे बढ़ने के तरीके को पकड़ने या बनाए रखने की कोशिश कर रहे हैं।

आजकल, इसमें बहुत से ऐसे लोग हैं जो इस तरह हैं, "हे भगवान, मुझे लगता है कि गहरी शिक्षा मेरे उद्योग में विशेषज्ञता को नष्ट करना शुरू कर रही है। लोग कुछ ऐसी चीजें कर रहे हैं, जिनके बारे में मैं सोच भी नहीं सकता और मैं इसे मिस नहीं करना चाहता। कुछ लोग कुछ और आगे देख रहे हैं, और वे अधिक हैं, जैसे, "ठीक है, कोई भी वास्तव में मेरे उद्योग में गहन शिक्षा का उपयोग नहीं कर रहा है, लेकिन मैं इसकी कल्पना नहीं कर सकता एक उद्योग वह है नहीं प्रभावित होने जा रहा हूं, इसलिए मैं सबसे पहले बनना चाहता हूं।" 

कुछ लोगों के पास निश्चित रूप से एक कंपनी के लिए एक विचार होता है जिसे वे बनाना चाहते हैं। 

दूसरी चीज जो हमें बहुत कुछ मिलती है वह यह है कि कंपनियां अपने शोध या इंजीनियरिंग टीमों का एक समूह सिर्फ इसलिए भेजती हैं क्योंकि उन्हें लगता है कि यह एक कॉर्पोरेट क्षमता है जो उनके पास होनी चाहिए। और यह उन ऑनलाइन एपीआई के साथ विशेष रूप से सहायक है जो अभी उपलब्ध हैं जिनके साथ लोग खेल सकते हैं - ज़ाब्ता or DALL-E या जो कुछ भी - और यह समझ लें, "ओह, यह कुछ ऐसा है जो मैं अपने काम में करता हूं, लेकिन अगर मैं इसे इन तरीकों से बदल सकता हूं तो यह थोड़ा अलग है।" 

हालाँकि, इन मॉडलों का दुर्भाग्यपूर्ण दुष्प्रभाव भी है, हो सकता है कि लोगों की यह महसूस करने की प्रवृत्ति बढ़ रही हो कि एआई नवाचार केवल बड़ी कंपनियों के लिए है, और यह उनकी क्षमताओं से बाहर है। वे प्रौद्योगिकी के निष्क्रिय उपभोक्ता बनना चुन सकते हैं क्योंकि उन्हें विश्वास नहीं है कि उनके पास व्यक्तिगत रूप से कुछ ऐसा बनाने की क्षमता है जो Google या ओपनएआई के निर्माण से बेहतर होगा।

एक मॉडल जो यह तय करता है कि आपको फिल्म पसंद है या नहीं और एक मॉडल जो हाइकु उत्पन्न कर सकता है वह 98% समान होगा। . . यह बहुत ही दुर्लभ है कि हमें वास्तव में एक विशाल मॉडल को इंटरनेट के एक बड़े हिस्से पर खरोंच से प्रशिक्षित करने की आवश्यकता है।

यहां तक ​​​​कि अगर ऐसा है - अगर आप OpenAI या Google को पछाड़ नहीं सकते हैं - निश्चित रूप से उनके द्वारा किए गए कार्यों का लाभ उठाने का एक तरीका है, अविश्वसनीय रूप से शक्तिशाली मॉडल के लिए एपीआई एक्सेस, है ना?

कहने वाली पहली बात है यह सच नहीं है, कुछ सामान्य अर्थों में नहीं, कम से कम। एआई प्रशिक्षण का एक निश्चित विभाजन अभी चल रहा है: Google और ओपनएआई पक्ष हैं, जो सभी ऐसे मॉडल बनाने के बारे में हैं जो यथासंभव सामान्य हैं, और लगभग हमेशा, उन शोधकर्ताओं के पास विशेष रूप से एजीआई तक पहुंचने का लक्ष्य होता है। मैं यह टिप्पणी नहीं कर रहा हूं कि यह अच्छा है या बुरा; यह निश्चित रूप से हमारे लिए सामान्य लोगों के लिए उपयोगी कलाकृतियों का परिणाम है, तो यह ठीक है। 

हालांकि, एक पूरी तरह से अलग रास्ता है, जिसे हमारे लगभग सभी छात्र अपनाते हैं, जो है: "मैं अपने समुदाय के लोगों की वास्तविक दुनिया की समस्याओं को यथासंभव व्यावहारिक तरीके से कैसे हल कर सकता हूं?" और दो विधियों, दो डेटासेट, दो तकनीकों के बीच आप जितना सोच सकते हैं, उससे कहीं कम ओवरलैप है।

मेरी दुनिया में, हम मूल रूप से कभी भी किसी मॉडल को खरोंच से प्रशिक्षित नहीं करते हैं। यह हमेशा फाइन-ट्यूनिंग है। इसलिए हम निश्चित रूप से बड़े लोगों के काम का लाभ उठाते हैं, लेकिन यह हमेशा स्वतंत्र रूप से उपलब्ध, डाउनलोड करने योग्य मॉडल है। ओपन-सोर्स लार्ज लैंग्वेज मॉडल जैसी सामग्री बिग साइंस उसके लिए बहुत मददगार है। 

हालाँकि, वे शायद बड़े लोगों से 6 से 12 महीने पीछे चल रहे हैं, हो सकता है, हमें ऐसा करने का कोई और लोकतांत्रिक तरीका मिल जाए। मुझे ऐसा लगता है कि 16% इंटरनेट पर प्रशिक्षित 5 अलग-अलग बड़े भाषा मॉडल होना आपके घर में 16 पानी के पाइप आने और बिजली के 16 सेट आपके घर में आने जैसा है। ऐसा लगता है कि यह एक सार्वजनिक उपयोगिता का अधिक होना चाहिए। प्रतिस्पर्धा करना बहुत अच्छा है, लेकिन यह भी अच्छा होगा यदि कुछ बेहतर सहयोग चल रहा हो, इसलिए हम सभी को अपना समय एक ही काम करने में बर्बाद नहीं करना पड़ा।

तो, हाँ, हम अपने विशेष उद्देश्यों के लिए, अन्य लोगों द्वारा बनाए गए मॉडल के लिए फ़ाइन-ट्यूनिंग समाप्त करते हैं। और यह इस तरह है कि कैसे मानव जीनोम और बंदर जीनोम लगभग पूरी तरह से समान हैं, यहां और वहां कुछ प्रतिशत को छोड़कर, जो वास्तव में एक बड़ा अंतर बनाते हैं। तंत्रिका जाल के साथ भी ऐसा ही है: एक मॉडल जो यह तय करता है कि आप एक फिल्म को पसंद करते हैं या नहीं और एक मॉडल जो हाइकु उत्पन्न कर सकता है वह 98% समान होगा क्योंकि इसमें से अधिकांश दुनिया को समझने और भाषा और सामान को समझने के बारे में है। . यह बहुत ही दुर्लभ है कि हमें वास्तव में एक विशाल मॉडल को इंटरनेट के एक बड़े हिस्से पर खरोंच से प्रशिक्षित करने की आवश्यकता है।

और इसलिए आप बिल्कुल कर सकते हैं Google और OpenAI के साथ प्रतिस्पर्धा करें - क्योंकि वे शायद आपके स्थान पर भी नहीं होंगे। यदि आप पैरालीगल के काम को स्वचालित करने के लिए कुछ बनाने की कोशिश कर रहे हैं, या आपदा लचीलापन योजना में मदद कर रहे हैं, या पिछले 100 वर्षों में या जो भी हो, लिंग भाषा की बेहतर समझ उत्पन्न कर रहे हैं, तो आप Google के साथ प्रतिस्पर्धा नहीं कर रहे हैं, आप प्रतिस्पर्धा कर रहे हैं उस जगह के साथ जो आपके डोमेन में है।

तेजी से कैसे जाना है, यह जानने में अभी एक महत्वपूर्ण कोडिंग कौशल है। . . सही कोडेक्स टिप्पणियों के साथ आने में वास्तव में अच्छा होने के कारण। . . बहुत से लोगों के लिए, कोडिंग में वास्तव में अच्छा होने की तुलना में शायद यह एक अधिक मूल्यवान, तत्काल सीखने वाली बात है।

एआई स्पेस में सभी प्रगति को बनाए रखना कितना महत्वपूर्ण है, खासकर यदि आप इसके साथ छोटे पैमाने पर काम कर रहे हैं?

कोई भी सभी अग्रिमों को नहीं रख सकता है। आपको साथ रहना होगा कुछ प्रगति, लेकिन हम जिस वास्तविक तकनीक के साथ काम कर रहे हैं, वह आजकल बहुत धीरे-धीरे बदल रही है। 2017 fast.ai पाठ्यक्रम और 2018 fast.ai पाठ्यक्रम के बीच का अंतर बहुत बड़ा था, और 2018 और 2019 के पाठ्यक्रमों के बीच यह बहुत बड़ा था-ish. आजकल, दो साल की अवधि में बहुत कम परिवर्तन होते हैं।

जिन चीज़ों के बारे में हम सोचते हैं कि वे वास्तव में महत्वपूर्ण हैं, जैसे का उदय ट्रांसफार्मर वास्तुकला, उदाहरण के लिए, वास्तव में अब कुछ साल पुराना है और मुख्य रूप से केवल सैंडविच, सादा फ़ीड-फ़ॉरवर्ड तंत्रिका नेटवर्क परतों का एक गुच्छा है, और कुछ डॉट-उत्पाद. यह बहुत अच्छा है, लेकिन किसी के लिए जो इसे समझना चाहता है, जो पहले से ही समझता है दीक्षांत समारोह, आवर्तक जाल, और बुनियादी बहुपरत परसेप्ट्रोन, यह कुछ घंटों के काम जैसा है।

पिछले कुछ वर्षों में हुई बड़ी चीजों में से एक यह है कि अधिक लोग मॉडल को प्रभावी ढंग से प्रशिक्षित करने के व्यावहारिक पहलुओं को समझने लगे हैं। उदाहरण के लिए, हाल ही में डीपमाइंड एक कागज जारी किया यह अनिवार्य रूप से दिखाता है कि सभी भाषा मॉडल नाटकीय रूप से कम कुशल थे, सचमुच क्योंकि वे कुछ बुनियादी चीजें नहीं कर रहे थे। फेसबुक - और, विशेष रूप से, एक फेसबुक इंटर्न कागज पर मुख्य लेखक था - ने एक चीज बनाई जिसे कहा जाता है रूपांतरण, जो मूल रूप से कह रहा है, "यहाँ क्या होता है यदि हम एक सामान्य कनवल्शनल न्यूरल नेटवर्क लेते हैं और केवल उन स्पष्ट ट्वीक्स में डालते हैं जिनके बारे में हर कोई जानता है।" और वे मूल रूप से अब अत्याधुनिक छवि मॉडल हैं। 

तो, हाँ, अच्छे गहन शिक्षण मॉडल का निर्माण करने की मूलभूत बुनियादी बातों के साथ अप टू डेट रहना जितना लगता है उससे कम कठिन है। और आपको निश्चित रूप से क्षेत्र के हर पेपर को पढ़ने की जरूरत नहीं है। विशेष रूप से इस बिंदु पर, अब जब चीजें इतनी कम तेजी से चल रही हैं।

लेकिन मुझे लगता है कि व्यापक समझ होना उपयोगी है, न कि केवल आपके अपने विशेष क्षेत्र के बारे में। मान लें कि आप एक कंप्यूटर-दृष्टि वाले व्यक्ति हैं, यह एनएलपी, सहयोगी फ़िल्टरिंग और सारणीबद्ध विश्लेषण में भी अच्छा होने में बहुत मदद करता है - और इसके विपरीत क्योंकि इन समूहों के बीच लगभग पर्याप्त पार-परागण नहीं है। और समय-समय पर, कोई दूसरे क्षेत्र में झांकता है, उसके कुछ विचारों को चुराता है, और एक सफल परिणाम के साथ आता है। 

मैंने ठीक यही किया है ULMFiT चार या पांच साल पहले। मैंने कहा, "आइए सभी बुनियादी कंप्यूटर-विज़न ट्रांसफर लर्निंग तकनीकों को एनएलपी पर लागू करें," और मीलों तक एक अत्याधुनिक परिणाम प्राप्त किया। OpenAI . के शोधकर्ता कुछ ऐसा ही किया, लेकिन मेरे आरएनएन को एक ट्रांसफॉर्मर से बदल दिया और इसे बढ़ा दिया, और वह बन गया GPT. हम सभी जानते हैं कि यह कैसे हुआ। 

अच्छे गहन शिक्षण मॉडल का निर्माण करने की मूलभूत बुनियादी बातों के साथ अद्यतित रहना जितना लगता है उससे कहीं कम कठिन है। और आपको निश्चित रूप से क्षेत्र के हर पेपर को पढ़ने की जरूरत नहीं है।

आपने उल्लेख किया है कि हमने पिछले तीन से छह महीनों में AI में स्टेप-फंक्शन शिफ्ट देखा है। क्या आप इसे विस्तार में बताने में सक्षम हैं?

मैं वास्तव में इसे a . कहूंगा हुक इसके बजाय समारोह की ओर कदम बढ़ाएं. मुझे लगता है कि हम एक घातीय वक्र पर हैं, और समय-समय पर, आप देख सकते हैं कि चीजें वास्तव में ध्यान देने योग्य तरीके से बढ़ गई हैं। जहां हमें यह मिला है कि पाठ और छवियों के बहुत बड़े संग्रह पर प्रशिक्षित पूर्व-प्रशिक्षित मॉडल अब काफी सामान्य तरीकों से बहुत प्रभावशाली एक-शॉट या कुछ-शॉट चीजें कर सकते हैं, आंशिक रूप से क्योंकि पिछले कुछ महीनों में लोग बेहतर हो गए हैं समझ में शीघ्र इंजीनियरिंग. अनिवार्य रूप से, सही प्रश्न पूछने का तरीका जानना - "अपने तर्क की व्याख्या करें" चरण-दर-चरण प्रकार के संकेत। 

और हम खोज रहे हैं कि ये मॉडल वास्तव में उन चीजों को करने में सक्षम हैं जो बहुत सारे शिक्षाविद हमें बता रहे हैं कि दुनिया की एक रचनात्मक समझ के संदर्भ में संभव नहीं है और चरण-दर-चरण तर्क दिखाने में सक्षम हैं। बहुत से लोग कह रहे थे, "ओह, आपको प्रतीकात्मक तकनीकों का उपयोग करना होगा; तंत्रिका जाल और गहरी शिक्षा कभी नहीं मिलेगी। ” खैर, यह पता चला है कि वे करते हैं। मुझे लगता है कि जब हम सभी देख सकते हैं कि यह ऐसे काम कर सकता है जो लोग दावा कर रहे थे कि यह कभी नहीं कर सकता, यह हमें उनके साथ और अधिक करने की कोशिश करने के बारे में थोड़ा और साहसी बनाता है.

यह मुझे याद दिलाता है कि मैंने पहली बार इंटरनेट पर एक वीडियो देखा था, जिसे मुझे अपनी मां को दिखाना याद है क्योंकि यह एक फिजियोथेरेपी वीडियो था, और वह एक फिजियोथेरेपिस्ट है। यह आपके कंधे में संयुक्त गतिशीलता अभ्यास का एक वीडियो था, और मुझे लगता है कि यह 128 गुणा 128 पिक्सेल था। यह काला और सफेद था, अत्यधिक संकुचित, और शायद लगभग 3 या 4 सेकंड लंबा। मैं बहुत उत्साहित था, और मैंने अपनी माँ से कहा, "वाह, इसे देखो: इंटरनेट पर एक वीडियो!" और, ज़ाहिर है, वह बिल्कुल भी उत्साहित नहीं थी। वह ऐसी थी, “इसका क्या फायदा? यह अब तक की सबसे व्यर्थ चीज है जिसे मैंने देखा है।"

बेशक, मैं सोच रहा था कि एक दिन यह एक हजार गुणा एक हजार पिक्सल, 60 फ्रेम प्रति सेकेंड, पूर्ण रंग, सुंदर वीडियो होने वाला है। सबूत है, अब बस बाकी के पकड़ने का इंतजार है। 

इसलिए मुझे लगता है कि जब लोगों ने शुरुआती दिनों में गहरी शिक्षा से वास्तव में निम्न-गुणवत्ता वाली छवियां देखीं, तो बहुत उत्साह नहीं था क्योंकि अधिकांश लोगों को इस तरह की तकनीक के पैमाने का एहसास नहीं था। अब जबकि हम वास्तव में उच्च-गुणवत्ता वाली, पूर्ण-रंगीन छवियों का उत्पादन कर सकते हैं जो कि हममें से किसी भी चित्र या तस्वीर से बेहतर दिखती हैं, लोगों को किसी कल्पना की आवश्यकता नहीं है। वे बस कर सकते हैं देखना कि अभी जो किया जा रहा है वह बहुत प्रभावशाली है। मुझे लगता है कि इससे बहुत फर्क पड़ता है।

मुझे ऐसा लगता है कि मैंने देखा है कि लगभग हर गहन शिक्षण परियोजना में एचसीआई सबसे बड़ा लापता टुकड़ा है। . . अगर मैं एचसीआई में होता, तो मैं चाहता था कि मेरा पूरा क्षेत्र इस सवाल पर केंद्रित हो कि हम गहन शिक्षण एल्गोरिदम के साथ कैसे बातचीत करते हैं.

शीघ्र इंजीनियरिंग का विचार - यदि एक नए कैरियर के रूप में नहीं, लेकिन कम से कम एक नए कौशल सेट के रूप में - वास्तव में दिलचस्प है।

यह है, और मैं इसमें भयानक हूँ। उदाहरण के लिए, DALL-E वास्तव में टेक्स्ट को ठीक से लिखना नहीं जानता, जो कोई समस्या नहीं होगी, सिवाय इसके कि वह अपनी सभी खूनी छवियों में टेक्स्ट डालना पसंद करता है। तो हमेशा ये यादृच्छिक प्रतीक होते हैं और मैं अपने जीवन के लिए यह पता नहीं लगा सकता कि कैसे एक संकेत के साथ आना है जिसमें पाठ नहीं है। और फिर कभी-कभी, मैं यहाँ या वहाँ एक शब्द को बेतरतीब ढंग से बदल देता हूँ और, अचानक, उनमें से किसी के पास अब कोई टेक्स्ट नहीं है। इसमें कुछ तरकीब है, और मुझे अभी तक इसका पता नहीं चला है।

इसके अलावा, उदाहरण के लिए, तेजी से कैसे जाना है, यह जानने में अभी एक महत्वपूर्ण कोडिंग कौशल है - विशेष रूप से, यदि आप विशेष रूप से अच्छे कोडर नहीं हैं - तो सही कोडेक्स टिप्पणियों के साथ आने में वास्तव में अच्छा होने के कारण यह आपके लिए चीजें उत्पन्न करता है . और यह जानते हुए कि यह किस प्रकार की त्रुटियां करता है, यह किस प्रकार की चीजों में अच्छा और बुरा है, और यह जानना कि इसे उस चीज़ के लिए एक परीक्षण बनाने के लिए कैसे प्राप्त किया जाए जो उसने अभी आपके लिए बनाई है।

बहुत से लोगों के लिए, कोडिंग में वास्तव में अच्छा होने की तुलना में शायद यह एक अधिक मूल्यवान, तत्काल सीखने वाली बात है।

विशेष रूप से कोडेक्स पर, मशीन-जनरेटेड कोड के विचार पर आपके क्या विचार हैं?

I एक ब्लॉग पोस्ट लिखा था उस पर जब गिटहब कोपिलॉट बाहर आया, वास्तव में। उस समय, मैं ऐसा था, "वाह, यह वास्तव में अच्छा और प्रभावशाली है, लेकिन मुझे पूरा यकीन नहीं है कि यह कितना उपयोगी है।" और मुझे अभी भी यकीन नहीं है।

एक प्रमुख कारण यह है कि मुझे लगता है कि हम सभी जानते हैं कि गहन शिक्षण मॉडल को इस बात की कोई समझ नहीं है कि वे सही हैं या गलत। जब से मैंने इसके पहले संस्करण की समीक्षा की है तब से कोडेक्स में बहुत सुधार हुआ है, लेकिन यह अभी भी बहुत सारे गलत कोड लिखता है। साथ ही, यह वर्बोज़ कोड लिखता है क्योंकि यह उत्पन्न कर रहा है औसत कोड। मेरे लिए, औसत कोड लेना और इसे उस कोड में बनाना जो मुझे पसंद है और मैं सही होना जानता हूं, इसे केवल खरोंच से लिखने की तुलना में बहुत धीमा है - कम से कम उन भाषाओं में जिन्हें मैं अच्छी तरह से जानता हूं। 

लेकिन मुझे लगता है कि यहाँ एक संपूर्ण मानव-कंप्यूटर इंटरफ़ेस (HCI) प्रश्न है, और मुझे ऐसा लगता है कि मैंने देखा है कि लगभग हर गहन शिक्षण परियोजना में एचसीआई सबसे बड़ा लापता टुकड़ा है: लगभग कभी भी ये चीजें पूरी तरह से इंसानों की जगह नहीं लेतीं। इसलिए, हम काम कर रहे हैं एक साथ इन एल्गोरिदम के साथ। अगर मैं एचसीआई में होता, तो मैं चाहता था कि मेरा पूरा क्षेत्र इस सवाल पर केंद्रित हो कि हम गहन शिक्षण एल्गोरिदम के साथ कैसे बातचीत करते हैं. क्योंकि हमें ग्राफिकल यूजर इंटरफेस, कमांड लाइन इंटरफेस और वेब इंटरफेस के साथ इंटरैक्ट करना सीखने का दशकों का अनुभव है, लेकिन यह पूरी तरह से अलग चीज है। 

और मुझे नहीं पता कि मैं एक प्रोग्रामर के रूप में कोडेक्स जैसी किसी चीज़ के साथ सबसे अच्छी तरह से कैसे इंटरैक्ट करता हूं। मुझे यकीन है कि हर क्षेत्र के लिए इसे करने के लिए वास्तव में शक्तिशाली तरीके हैं - इंटरफेस और बाध्यकारी डेटा बनाना, एल्गोरिदम बनाना, और आगे - लेकिन मुझे नहीं पता कि वे चीजें क्या हैं।

21 जुलाई 2022 को पोस्ट किया गया