मैरीलैंड विश्वविद्यालय (यूएमडी) के कंप्यूटर वैज्ञानिकों ने रोबोट निर्माताओं से भाषा और दृष्टि मॉडल को अपने हार्डवेयर में जोड़ने से पहले और अधिक सुरक्षा अनुसंधान करने के लिए कहा है।
पिछले वर्ष के दौरान त्रुटि-प्रवण, पक्षपाती, अपारदर्शी एलएलएम और वीएलएम के बारे में रिपोर्टों की निरंतर धारा को देखते हुए, यह स्पष्ट प्रतीत हो सकता है कि चैटबॉट को मैकेनिकल आर्म या फ्री-रोमिंग रोबोट का प्रभारी बनाना एक जोखिम भरा कदम होगा।
फिर भी, रोबोटिक्स समुदाय, आविष्कार करने की अपनी स्पष्ट उत्सुकता में पीड़ा नेक्सस, एलएलएम/वीएलएम को रोबोट से जोड़ने के प्रयासों को आगे बढ़ाया है। Google जैसे प्रोजेक्ट RT2 विज़न-एक्शन-लैंग्वेज मॉडल, मिशिगन विश्वविद्यालय एलएलएम-ग्राउंडर, और प्रिंसटन का साफ-सुथरा बॉट स्पष्ट करें कि चीजें किस ओर जा रही हैं - चाकू से लैस एक रूमबा।
इस तरह के एक उपाय पर पिछले साल विचार किया गया था ज़बान-में-गाल अनुसंधान परियोजना बुलाया स्टैबजीपीटी [पीडीएफ], तीन एमआईटी छात्रों से। लेकिन हमारे पास कैलिफ़ोर्निया और एरिज़ोना में पहले से ही सड़क पर वेमो कारें हैं मोशनएलएम, जो भाषा मॉडलिंग तकनीकों का उपयोग करके गति की भविष्यवाणी करता है। और बोस्टन डायनेमिक्स ने प्रयोग किया है चैटजीपीटी जोड़ना इसके स्पॉट रोबोट के लिए.
वाणिज्यिक और ओपन सोर्स मल्टी-मोडल मॉडल के प्रसार को देखते हुए, जो छवियों, ध्वनि और भाषा को इनपुट के रूप में स्वीकार कर सकते हैं, आने वाले वर्षों में यांत्रिक प्रणालियों के साथ भाषा और दृष्टि मॉडल को एकीकृत करने के लिए कई और प्रयास किए जाने की संभावना है।
सावधानी बरतने की सलाह दी जा सकती है. मैरीलैंड विश्वविद्यालय के नौ बोफ़िन - ज़ियांग वू, रुईकी जियान, तियानरुई गुआन, जिंग लियांग, सौरदीप चक्रवर्ती, फुक्सियाओ लियू, ब्रायन सैडलर, दिनेश मनोचा और अमृत सिंह बेदी - ने रोबोट के लिए उपयोग किए जाने वाले तीन भाषा मॉडल ढांचे पर एक नज़र डाली। नहीं जानता, विमा और Instruct2Act. उन्होंने पाया कि रोबोट को एलएलएम-संचालित मस्तिष्क पर चलने की अनुमति देने से पहले और अधिक सुरक्षा कार्य करने की आवश्यकता है।
इन रूपरेखाओं में GPT-3.5/4 और PaLM-2L जैसे मशीन लर्निंग मॉडल शामिल हैं, जो रोबोटों को अपने वातावरण के साथ बातचीत करने और बोले गए या टेम्पलेट किए गए आदेशों और दृश्य प्रतिक्रिया के आधार पर विशिष्ट कार्य करने की अनुमति देते हैं।
In एक पेपर शीर्षक, "रोबोटिक्स में एलएलएम/वीएलएम को तैनात करने की सुरक्षा चिंताओं पर: जोखिमों और कमजोरियों को उजागर करना," सह-लेखकों की रिपोर्ट, "रोबोट के कार्यों में हेरफेर करना या गुमराह करना आसान है, जिससे सुरक्षा खतरे पैदा होते हैं।"
“कंपनियां और अनुसंधान संस्थान सक्रिय रूप से एलएलएम को रोबोटिक्स में एकीकृत कर रहे हैं, संवादी एजेंटों को बढ़ाने और रोबोटों को प्राकृतिक भाषा का उपयोग करके भौतिक दुनिया को समझने और नेविगेट करने में सक्षम बनाने पर ध्यान केंद्रित कर रहे हैं, उदाहरण के लिए ग्राहक सेवा, हेल्थकेयर सहायक, घरेलू रोबोटिक्स, शैक्षिक उपकरण, औद्योगिक और रसद आदि। , “यूएमडी में कंप्यूटर विज्ञान और इलेक्ट्रिकल और कंप्यूटर इंजीनियरिंग के प्रोफेसर दिनेश मनोचा ने एक ईमेल में समझाया रजिस्टर.
यूएमडी शोधकर्ताओं ने संकेतों, धारणा और अनुरूपित वातावरण में दोनों के मिश्रण का उपयोग करके तीन प्रकार के प्रतिकूल हमलों का पता लगाया। हालांकि, मनोचा ने कहा, "ये हमले किसी प्रयोगशाला सेटिंग तक सीमित नहीं हैं और वास्तविक दुनिया की स्थितियों में भी हो सकते हैं।"
शीघ्र-आधारित हमले का एक उदाहरण भाषा-निर्देशित यांत्रिक शाखा के लिए कमांड को "हरे और नीले रंग की धारी वाले अक्षर R को हरे और नीले पोल्का डॉट पैन में डालें" से "अक्षर R को हरे और नीले रंग की धारियों के साथ रखें" में बदलना होगा। हरे और नीले पोल्का डॉट पैन में।"
शोधकर्ताओं का दावा है कि यह पुन: चरणबद्ध हमला वीआईएमए-बेंच सिम्युलेटर में रोबोट बांह को गलत वस्तु उठाकर गलत स्थान पर रखने से विफल करने के लिए पर्याप्त है।
धारणा-आधारित हमलों में एलएलएम प्रबंधन दृष्टि कार्यों को भ्रमित करने के प्रयास में छवियों में शोर जोड़ना या छवियों को बदलना (उदाहरण के लिए उन्हें घुमाना) शामिल है। और मिश्रित हमलों में त्वरित और छवि परिवर्तन दोनों शामिल थे।
बोफिन्स ने पाया कि ये तकनीकें काफी अच्छी तरह से काम करती हैं। "विशेष रूप से, हमारा डेटा त्वरित हमलों के तहत 21.2 प्रतिशत की औसत प्रदर्शन गिरावट और धारणा हमलों के तहत 30.2 प्रतिशत की अधिक खतरनाक गिरावट दर्शाता है," वे अपने पेपर में दावा करते हैं। "ये परिणाम उन्नत एलएलएम/वीएलएम-आधारित रोबोटिक सिस्टम की सुरक्षित और विश्वसनीय तैनाती सुनिश्चित करने के लिए मजबूत जवाबी उपायों की महत्वपूर्ण आवश्यकता को रेखांकित करते हैं।"
अपने निष्कर्षों के आधार पर, शोधकर्ताओं ने कई सुझाव दिए हैं। सबसे पहले, वे कहते हैं कि हमें रोबोट द्वारा उपयोग किए जाने वाले भाषा मॉडल का परीक्षण करने के लिए और अधिक बेंचमार्क की आवश्यकता है। दूसरा, उनका तर्क है कि रोबोटों को मनुष्यों से मदद मांगने में सक्षम होना चाहिए जब वे अनिश्चित हों कि कैसे प्रतिक्रिया दें।
तीसरा, वे कहते हैं कि रोबोटिक एलएलएम-आधारित प्रणालियों को ब्लैक बॉक्स घटकों के बजाय समझाने योग्य और व्याख्या करने योग्य बनाने की आवश्यकता है। चौथा, वे रोबोट निर्माताओं से हमले का पता लगाने और चेतावनी देने की रणनीतियों को लागू करने का आग्रह करते हैं। अंत में, उनका सुझाव है कि परीक्षण और सुरक्षा को मॉडल के प्रत्येक इनपुट मोड को संबोधित करने की आवश्यकता है, चाहे वह दृष्टि, शब्द या ध्वनि हो।
मनोचा ने कहा, "ऐसा प्रतीत होता है कि उद्योग एलएलएम और वीएलएम के विकास पर बहुत सारे संसाधनों का निवेश कर रहा है और रोबोटिक्स के लिए उनका उपयोग कर रहा है।" “हमें लगता है कि उन्हें रोबोटिक्स अनुप्रयोगों के लिए उत्पन्न होने वाली सुरक्षा चिंताओं से अवगत कराना महत्वपूर्ण है। इनमें से अधिकांश रोबोट भौतिक दुनिया में काम करते हैं। जैसा कि हमने स्वायत्त ड्राइविंग में पिछले काम से सीखा है, भौतिक दुनिया अक्षम्य हो सकती है, खासकर एआई प्रौद्योगिकियों के उपयोग के मामले में। इसलिए रोबोटिक्स अनुप्रयोगों के लिए इन मुद्दों को ध्यान में रखना महत्वपूर्ण है।" ®
- एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
- प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
- प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
- प्लेटोईएसजी. कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
- प्लेटोहेल्थ। बायोटेक और क्लिनिकल परीक्षण इंटेलिजेंस। यहां पहुंचें।
- स्रोत: https://go.theregister.com/feed/www.theregister.com/2024/02/27/boffins_caution_against_running_robots/
- :हैस
- :है
- :नहीं
- :कहाँ
- $यूपी
- 30
- 7
- a
- योग्य
- About
- स्वीकार करें
- लेखा
- कार्रवाई
- सक्रिय रूप से
- जोड़ने
- पता
- उन्नत
- विरोधात्मक
- उचित
- के खिलाफ
- एजेंटों
- आगे
- AI
- एआई मॉडल
- अनुमति देना
- की अनुमति दी
- पहले ही
- अमृत
- an
- और
- कोई
- स्पष्ट
- प्रकट होता है
- अनुप्रयोगों
- हैं
- बहस
- उठता
- एरिज़ोना
- एआरएम
- सशस्त्र
- AS
- पूछना
- सहायकों
- At
- आक्रमण
- आक्रमण
- स्वायत्त
- औसत
- जागरूक
- आधारित
- BE
- से पहले
- मानक
- झुका हुआ
- काली
- नीला
- बोस्टन
- के छात्रों
- मुक्केबाज़ी
- ब्रायन
- लेकिन
- by
- कैलिफ़ोर्निया
- बुलाया
- कर सकते हैं
- कारों
- कारण
- सावधानी
- बदलना
- प्रभार
- chatbot
- दावा
- CO
- कैसे
- वाणिज्यिक
- समुदाय
- कंपनियों
- घटकों
- कंप्यूटर
- कंप्यूटर इंजीनियरिंग
- कम्प्यूटर साइंस
- चिंताओं
- स्थिर
- विचार
- संवादी
- महत्वपूर्ण
- ग्राहक
- ग्राहक सेवा
- तिथि
- दिखाना
- तैनाती
- तैनाती
- खोज
- विकास
- do
- घरेलू
- किया
- DOT
- ड्राइविंग
- गतिकी
- e
- से प्रत्येक
- आसान
- शैक्षिक
- प्रयास
- प्रयासों
- ईमेल
- समर्थकारी
- अभियांत्रिकी
- बढ़ाने
- पर्याप्त
- सुनिश्चित
- वातावरण
- विशेष रूप से
- आदि
- उदाहरण
- समझाया
- पता लगाया
- असफल
- काफी
- प्रतिक्रिया
- लग रहा है
- अंत में
- निष्कर्ष
- प्रथम
- ध्यान केंद्रित
- के लिए
- पाया
- चौथा
- चौखटे
- से
- आगे
- GitHub
- गूगल
- हरा
- हैंडलिंग
- होना
- हार्डवेयर
- है
- शीर्षक
- स्वास्थ्य सेवा
- मदद
- पर प्रकाश डाला
- कैसे
- How To
- तथापि
- http
- HTTPS
- मनुष्य
- समझाना
- की छवि
- छवियों
- लागू करने के
- महत्वपूर्ण
- in
- सम्मिलित
- औद्योगिक
- उद्योग
- निवेश
- संस्थानों
- एकीकृत
- घालमेल
- बातचीत
- में
- निवेश करना
- शामिल करना
- शामिल
- मुद्दों
- IT
- आईटी इस
- जेपीजी
- प्रयोगशाला
- भाषा
- पिछली बार
- पिछले साल
- प्रमुख
- सीखा
- सीख रहा हूँ
- पत्र
- पसंद
- संभावित
- सीमित
- एलएलएम
- स्थान
- रसद
- देखिए
- लॉट
- मशीन
- यंत्र अधिगम
- बनाया गया
- बनाना
- निर्माताओं
- बहुत
- मेरीलैंड
- मई..
- यांत्रिक
- मिशिगन
- हो सकता है
- एमआईटी
- मिश्रण
- मिश्रित
- मोड
- आदर्श
- मोडलिंग
- मॉडल
- अधिक
- अधिकांश
- प्रस्ताव
- चाल
- प्राकृतिक
- नेविगेट करें
- आवश्यकता
- की जरूरत है
- नौ
- शोर
- वस्तु
- स्पष्ट
- of
- on
- अपारदर्शी
- खुला
- खुला स्रोत
- संचालित
- or
- हमारी
- के ऊपर
- काग़ज़
- अतीत
- पीडीएफ
- प्रतिशत
- धारणा
- निष्पादन
- प्रदर्शन
- भौतिक
- चयन
- जगह
- लगाना
- प्लेटो
- प्लेटो डेटा इंटेलिजेंस
- प्लेटोडाटा
- भविष्यवाणी
- प्रिंस्टन
- पूर्व
- प्रोफेसर
- परियोजनाओं
- संकेतों
- रखना
- लाना
- R
- बल्कि
- RE
- असली दुनिया
- विश्वसनीय
- रिपोर्ट
- रिपोर्ट
- अनुसंधान
- अनुसंधान संस्थानों
- शोधकर्ताओं
- उपयुक्त संसाधन चुनें
- प्रतिक्रिया
- परिणाम
- जोखिम
- जोखिम भरा
- सड़क
- रोबोट
- रोबोटिक्स
- रोबोट
- मजबूत
- रन
- दौड़ना
- s
- सुरक्षित
- सुरक्षा
- कहा
- कहना
- विज्ञान
- वैज्ञानिकों
- दूसरा
- सुरक्षा
- लगता है
- सेवा
- की स्थापना
- कई
- चाहिए
- सिम्युलेटर
- स्थितियों
- So
- ध्वनि
- स्रोत
- विशिष्ट
- विशेष रूप से
- बात
- Spot
- रणनीतियों
- धारा
- धारी
- धारियों
- छात्र
- सुझाव
- सिस्टम
- लेना
- कार्य
- तकनीक
- टेक्नोलॉजीज
- शर्तों
- परीक्षण
- परीक्षण
- से
- कि
- RSI
- लेकिन हाल ही
- उन
- वहाँ।
- इन
- वे
- चीज़ें
- तीन
- यहाँ
- शीर्षक से
- सेवा मेरे
- ले गया
- उपकरण
- बदलने
- दो
- प्रकार
- अनिश्चित
- के अंतर्गत
- जांचना
- समझना
- विश्वविद्यालय
- प्रयुक्त
- का उपयोग
- दृष्टि
- दृश्य
- कमजोरियों
- था
- waymo
- we
- कुंआ
- कब
- या
- कौन कौन से
- साथ में
- शब्द
- काम
- काम किया
- विश्व
- होगा
- गलत
- wu
- वर्ष
- साल
- यूट्यूब
- जेफिरनेट