2023 के समाप्त होने से बहुत पहले ही, इसे जेनरेटिव एआई के वर्ष के रूप में ताज पहनाया जा चुका था। चैटजीपीटी जैसे मॉडलों के आगमन से प्रेरित होकर, जो उपयोगकर्ता के संकेतों पर विस्तृत, चौंकाने वाले मानवीय उत्तर देते थे, विशेषज्ञों और नौसिखियों ने समान रूप से काम, शिक्षा और रचनात्मकता पर प्रौद्योगिकी के संभावित प्रभावों पर विचार करना शुरू कर दिया।
लेकिन आज के बड़े भाषा मॉडल (एलएलएम) आश्चर्यजनक रूप से सक्षम हैं, लेकिन वे आश्चर्यजनक रूप से कमजोर भी हैं, खुरे प्रोफेसर अलीना ओपरिया का कहना है। वह एक दशक से अधिक समय से साइबर सुरक्षा के संदर्भ में एआई का अध्ययन कर रही हैं, और हाल ही में उन्होंने एक रिपोर्ट का सह-लेखन किया है जो एआई पर इन हमलों पर प्रकाश डालती है - वे कैसे काम करते हैं, उन्हें कैसे वर्गीकृत किया जाता है, और वे कैसे हो सकते हैं (और नहीं) कम किया गया
ओपरा का कहना है, ''जेनेरेटिव एआई को सुरक्षित रखना वाकई मुश्किल है।'' “इन मॉडलों का पैमाना और उनका प्रशिक्षण डेटा समय के साथ बढ़ेगा, जो इन हमलों को आसान बनाता है। और एक बार जब आप जेनेरिक एआई के बारे में बात करना शुरू कर देते हैं जो टेक्स्ट से छवियों और भाषण तक जाता है, तो सुरक्षा एक बहुत ही खुला प्रश्न बन जाती है।
वाणिज्य विभाग के राष्ट्रीय मानक और प्रौद्योगिकी संस्थान (एनआईएसटी) द्वारा प्रकाशित रिपोर्ट, पिछले साल एनआईएसटी के एपोस्टोल वासिलेव के साथ सह-लिखित रिपोर्ट का अद्यतन है। वह प्रारंभिक रिपोर्ट अधिक पारंपरिक भविष्य कहनेवाला एआई से संबंधित थी, लेकिन तब से जेनेरिक एआई की लोकप्रियता में विस्फोट के साथ, ओपेरा और वासिलेव ने परियोजना के दायरे का विस्तार करने के लिए रोबस्ट इंटेलिजेंस से जेनेरिक एआई विशेषज्ञों एली फोर्डिस और हायरम एंडरसन का स्वागत किया।
"अब हमारे पास शिक्षाविद, सरकार और उद्योग एक साथ काम कर रहे हैं," ओपरिया ने कहा, "जो रिपोर्ट के लिए लक्षित दर्शक हैं।"
रिपोर्ट के अनुसार, जेनेरिक एआई मॉडल विभिन्न कारकों के कारण अपनी भेद्यता का कारण बनते हैं। एक बात के लिए, ओपरिया नोट करता है, अधिकांश हमले "काफी आसान होते हैं और एआई प्रणाली के न्यूनतम ज्ञान की आवश्यकता होती है।" दूसरी ओर, मॉडल के विशाल प्रशिक्षण डेटा सेट मनुष्यों की निगरानी और सत्यापन के लिए बहुत बड़े हैं। और मॉडलों को रेखांकित करने वाला कोड स्वचालित नहीं है; यह मानवीय संयम पर निर्भर है और दुर्भावनापूर्ण मानवीय हस्तक्षेप के संपर्क में है।
शोधकर्ताओं की चौकड़ी का कहना है कि नतीजा यह है कि चार प्रमुख प्रकार के हमले हैं जो एआई सिस्टम को भ्रमित करते हैं और उनमें खराबी का कारण बनते हैं: चोरी के हमले जो अपनी प्रतिक्रियाओं को बदलने के लिए मॉडल के इनपुट को बदलते हैं, जहरीले हमले जो मॉडल के अंतर्निहित एल्गोरिदम या प्रशिक्षण डेटा, गोपनीयता को भ्रष्ट करते हैं ऐसे हमले जो मॉडल को संवेदनशील प्रशिक्षण डेटा जैसे कि चिकित्सा जानकारी प्रकट करने के लिए बाध्य करते हैं, और दुरुपयोग के हमले जो गलत जानकारी को वैध स्रोतों में फीड करते हैं जिनसे मॉडल सीखता है। मॉडल के इनपुट में हेरफेर करके, हमलावर इसके आउटपुट को पहले से चुन सकते हैं।
"इसका उपयोग व्यावसायिक उद्देश्यों के लिए, विज्ञापन के लिए, मैलवेयर स्पैम या घृणास्पद भाषण उत्पन्न करने के लिए किया जा सकता है - ऐसी चीजें जो मॉडल आमतौर पर उत्पन्न नहीं करता है," ओपिया बताते हैं।
स्वयं पर अधिक बोझ डाले बिना, दुर्भावनापूर्ण अभिनेता उस वेब डेटा को नियंत्रित कर सकते हैं जिस पर एआई मॉडल प्रशिक्षित होता है, एक पिछला दरवाजा पेश करता है, और फिर चुपचाप वहां से मॉडल के व्यवहार को नियंत्रित कर सकता है। इन मॉडलों की बढ़ती लोकप्रियता को देखते हुए, ऐसे बैकडोर अपने आप में काफी चिंताजनक होंगे। लेकिन नुकसान यहीं नहीं रुकता.
“अब हमारे पास ये एकीकृत अनुप्रयोग हैं जो एलएलएम का उपयोग करते हैं। उदाहरण के लिए, एक कंपनी एक ईमेल एजेंट बनाती है जो पृष्ठभूमि में एलएलएम के साथ एकीकृत होता है, और यह अब आपके ईमेल पढ़ सकता है और आपकी ओर से ईमेल भेज सकता है, ”ओप्रिया का कहना है। “लेकिन हमलावर हजारों लोगों को मैलवेयर और स्पैम भेजने के लिए उसी टूल का उपयोग कर सकते हैं। हमले की सतह बढ़ गई है क्योंकि हम एलएलएम को इन अनुप्रयोगों में एकीकृत कर रहे हैं।"
घृणास्पद भाषण और सामूहिक स्पैम जितने विनाशकारी और खतरनाक हैं, क्षितिज पर उससे भी बड़ी सुरक्षा चिंताएँ हैं।
ओपरा का कहना है, "कुछ एप्लिकेशन सुरक्षा-महत्वपूर्ण हैं, जैसे सेल्फ-ड्राइविंग कारें।" "यदि वे मॉडल गलत भविष्यवाणियाँ करते हैं, तो उनका उपयोग नहीं किया जा सकता है।"
तो क्या कर सकते हैं? टीम ने रिपोर्ट तैयार की, जिसे वे कुछ दर्शकों - नीति निर्माताओं, एआई डेवलपर्स और शिक्षाविदों के लिए सालाना अपडेट करने की योजना बना रहे हैं, जो रिपोर्ट की वर्गीकरण को अपने काम के लिए आधार या संदर्भ के रूप में उपयोग कर सकते हैं। ओपरिया का कहना है कि इन सभी समूहों को यह सुनिश्चित करने के लिए काम करना है कि एआई मॉडल मानवीय मूल्यों के अनुरूप हों, गोपनीयता बनाए रखें और उपयोगकर्ताओं के सर्वोत्तम हित में काम करें। लेकिन वह स्वीकार करती हैं कि रिपोर्ट में उठाए गए हर मुद्दे को संबोधित करना चुनौतीपूर्ण है, और जो कोई भी शमन के बजाय समाधान की बात कर रहा है, वह बहुत गलत है।
ओपरा चेतावनी देते हैं, "शमन की तुलना में कई और हमले होते हैं, और प्रत्येक शमन के लिए हम उल्लेख करते हैं, मॉडल सटीकता में गिरावट सहित एक व्यापार या प्रदर्शन ओवरहेड होता है।" "शमन मुफ़्त में नहीं मिलता है और एआई को सुरक्षित करना वास्तव में एक चुनौतीपूर्ण प्रयास है, लेकिन हमें उम्मीद है कि रिपोर्ट हमलों को समझने के लिए एक उपयोगी प्रारंभिक बिंदु प्रदान करेगी।"
- एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
- प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
- प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
- प्लेटोईएसजी. कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
- प्लेटोहेल्थ। बायोटेक और क्लिनिकल परीक्षण इंटेलिजेंस। यहां पहुंचें।
- स्रोत: https://www.mtlc.co/in-the-age-of-chatgpt-ai-models-are-massively-popular-and-easily-compromised/
- :हैस
- :है
- 2023
- a
- About
- गाली
- शिक्षाविदों
- शुद्धता
- अभिनेताओं
- को संबोधित
- उन्नत
- आगमन
- विज्ञापन
- उम्र
- एजेंट
- AI
- एआई मॉडल
- एआई सिस्टम
- एल्गोरिदम
- संरेखित करें
- एक जैसे
- सब
- पहले ही
- भी
- बदल
- an
- और
- एंडरसन
- प्रतिवर्ष
- अन्य
- किसी
- अनुप्रयोगों
- हैं
- AS
- आक्रमण
- आक्रमण
- दर्शक
- दर्शकों
- स्वचालित
- पिछले दरवाजे
- पिछले दरवाजे
- पृष्ठभूमि
- BE
- क्योंकि
- हो जाता है
- किया गया
- से पहले
- शुरू किया
- पक्ष
- व्यवहार
- BEST
- परे
- बड़ा
- बनाता है
- लेकिन
- by
- कर सकते हैं
- सक्षम
- कारों
- कारण
- सावधानियों
- चुनौतीपूर्ण
- परिवर्तन
- ChatGPT
- चुनें
- वर्गीकृत
- कोड
- कैसे
- वाणिज्यिक
- कंपनी
- छेड़छाड़ की गई
- के विषय में
- चिंताओं
- प्रसंग
- नियंत्रण
- भ्रष्ट
- सका
- परिषद
- रचनात्मकता
- साइबर सुरक्षा
- क्षति
- खतरनाक
- तिथि
- डेटा सेट
- निपटा
- दशक
- विशद जानकारी देता है
- विभाग
- विस्तृत
- डेवलपर्स
- मुश्किल
- do
- नहीं करता है
- किया
- dont
- आसान
- आसानी
- आसान
- शिक्षा
- ईमेल
- ईमेल
- प्रयास
- समाप्त
- विशाल
- पर्याप्त
- सुनिश्चित
- अपवंचन
- और भी
- प्रत्येक
- उदाहरण
- विस्तार
- विशेषज्ञों
- बताते हैं
- उजागर
- कारकों
- कुछ
- के लिए
- बुनियाद
- चार
- मुक्त
- से
- उत्पन्न
- सृजन
- उत्पादक
- जनरेटिव एआई
- दी
- चला जाता है
- सरकार
- समूह की
- आगे बढ़ें
- था
- नफरत
- है
- आशा
- क्षितिज
- कैसे
- HTTPS
- मानव
- मनुष्य
- छवियों
- Impacts
- in
- सहित
- गलत
- वृद्धि हुई
- उद्योग
- करें-
- प्रारंभिक
- निविष्टियां
- संस्थान
- एकीकृत
- एकीकृत
- घालमेल
- बुद्धि
- इरादा
- ब्याज
- में
- परिचय कराना
- मुद्दा
- IT
- आईटी इस
- रखना
- ज्ञान
- भाषा
- बड़ा
- पिछली बार
- पिछले साल
- नेतृत्व
- सीखता
- वैध
- पसंद
- एलएलएम
- प्रमुख
- बनाना
- बनाता है
- दुर्भावनापूर्ण
- मैलवेयर
- छेड़खानी
- बहुत
- सामूहिक
- बड़े पैमाने पर
- मेडिकल
- उल्लेख
- कम से कम
- शमन
- आदर्श
- मॉडल
- संयम
- मॉनिटर
- अधिक
- अधिकांश
- माउंट
- राष्ट्रीय
- NIST
- विख्यात
- नोट्स
- novices
- अभी
- of
- on
- एक बार
- ONE
- केवल
- खुला
- Opera
- संचालित
- or
- outputs के
- के ऊपर
- उपरि
- अपना
- स्टाफ़
- प्रदर्शन
- योजना
- प्लेटो
- प्लेटो डेटा इंटेलिजेंस
- प्लेटोडाटा
- बिन्दु
- जहर
- नीति
- लोकप्रिय
- लोकप्रियता
- संभावित
- भविष्यवाणियों
- तैयार
- एकांत
- प्रस्तुत
- प्रोफेसर
- परियोजनाओं
- संकेतों
- प्रदान करता है
- प्रकाशित
- प्रयोजनों
- प्रश्न
- उठाया
- बल्कि
- पढ़ना
- वास्तव में
- हाल ही में
- निर्भर करता है
- रिपोर्ट
- की आवश्यकता होती है
- शोधकर्ताओं
- प्रतिक्रियाएं
- खुलासा
- मजबूत
- वही
- कहना
- कहते हैं
- स्केल
- सुरक्षित
- हासिल करने
- सुरक्षा
- स्वयं ड्राइविंग
- भेजें
- संवेदनशील
- सेट
- वह
- के बाद से
- समाधान ढूंढे
- सूत्रों का कहना है
- स्पैम
- भाषण
- मानकों
- प्रारंभ
- शुरुआत में
- रास्ते पर लाना
- रुकें
- का अध्ययन
- ऐसा
- सतह
- प्रणाली
- सिस्टम
- में बात कर
- वर्गीकरण
- टीम
- तकनीक
- टेक्नोलॉजी
- टेक्स्ट
- से
- कि
- RSI
- लेकिन हाल ही
- उन
- अपने
- फिर
- वहाँ।
- इन
- वे
- चीज़ें
- उन
- हजारों
- पहर
- सेवा मेरे
- आज का दि
- एक साथ
- भी
- साधन
- परंपरागत
- प्रशिक्षण
- गाड़ियों
- प्रकार
- आधारभूत
- मज़बूती
- समझ
- अपडेट
- उपयोग
- प्रयुक्त
- उपयोगी
- उपयोगकर्ता
- उपयोगकर्ताओं
- आमतौर पर
- सत्यापित करें
- मान
- विविधता
- बहुत
- भेद्यता
- चपेट में
- we
- वेब
- स्वागत किया
- क्या
- कौन कौन से
- जब
- कौन
- मर्जी
- साथ में
- काम
- काम कर रहे
- होगा
- वर्ष
- आप
- आपका
- जेफिरनेट