शिक्षाविदों ने दावा किया है कि एआई एजेंट, जो ऑटोमेशन सॉफ्टवेयर के साथ बड़े भाषा मॉडल को जोड़ते हैं, सुरक्षा सलाह पढ़कर वास्तविक दुनिया की सुरक्षा कमजोरियों का सफलतापूर्वक फायदा उठा सकते हैं।
एक नए जारी में काग़ज़इलिनोइस विश्वविद्यालय अर्बाना-शैंपेन (यूआईयूसी) के चार कंप्यूटर वैज्ञानिकों - रिचर्ड फैंग, रोहन बिंदु, अकुल गुप्ता और डैनियल कांग - की रिपोर्ट है कि ओपनएआई का जीपीटी -4 बड़ा भाषा मॉडल (एलएलएम) वास्तविक दुनिया प्रणालियों में कमजोरियों का स्वायत्त रूप से फायदा उठा सकता है। दोष का वर्णन करने वाली एक सीवीई सलाह।
"इसे दिखाने के लिए, हमने 15 एक दिवसीय कमजोरियों का एक डेटासेट एकत्र किया, जिसमें सीवीई विवरण में गंभीर गंभीरता के रूप में वर्गीकृत किया गया है," यूएस-आधारित लेखक अपने पेपर में बताते हैं।
“सीवीई विवरण दिए जाने पर, जीपीटी-4 हमारे द्वारा परीक्षण किए गए हर दूसरे मॉडल (जीपीटी-87, ओपन-सोर्स एलएलएम) और ओपन-सोर्स भेद्यता स्कैनर (जेडएपी और मेटास्प्लोइट) के लिए 0 प्रतिशत की तुलना में इन कमजोरियों का 3.5 प्रतिशत फायदा उठाने में सक्षम है। ।”
यदि आप यह अनुमान लगाएं कि भविष्य के मॉडल क्या कर सकते हैं, तो ऐसा लगता है कि वे उस स्क्रिप्ट की तुलना में कहीं अधिक सक्षम होंगे जो आज बच्चों को मिल सकती है।
शब्द "एक दिवसीय भेद्यता" उन कमजोरियों को संदर्भित करता है जिनका खुलासा किया गया है लेकिन उन्हें ठीक नहीं किया गया है। और सीवीई विवरण से, टीम का मतलब एनआईएसटी द्वारा साझा की गई सीवीई-टैग की गई सलाह है - उदाहरण के लिए, यह एक सीवीई-2024-28859 के लिए।
असफल मॉडल का परीक्षण किया गया - GPT-3.5, OpenHermes-2.5-मिस्ट्रल-7B, लामा-2 चैट (70B), LLaMA-2 चैट (13B), LLaMA-2 चैट (7B), मिक्सट्राल-8x7B इंस्ट्रक्शन, मिस्ट्रल (7B) इंस्ट्रक्शन v0.2, नूस हर्मीस-2 यी 34बी, और ओपनचैट 3.5 - में जीपीटी-4 के दो प्रमुख वाणिज्यिक प्रतिद्वंद्वी, एंथ्रोपिक के क्लाउड 3 और गूगल के जेमिनी 1.5 प्रो शामिल नहीं थे। यूआईयूसी बोफिन्स के पास उन मॉडलों तक पहुंच नहीं थी, हालांकि उन्हें उम्मीद है कि किसी बिंदु पर उनका परीक्षण किया जाएगा।
शोधकर्ताओं का काम आगे बढ़ता है पूर्व निष्कर्ष एलएलएम का उपयोग सैंडबॉक्स वाले वातावरण में वेबसाइटों पर हमलों को स्वचालित करने के लिए किया जा सकता है।
GPT-4, UIUC के सहायक प्रोफेसर डैनियल कांग ने एक ईमेल में कहा रजिस्टर, "वास्तव में स्वायत्त रूप से कुछ कारनामे करने के लिए कदम उठा सकते हैं जो ओपन-सोर्स भेद्यता स्कैनर (लेखन के समय) नहीं ढूंढ सकते हैं।"
कांग ने कहा कि उन्हें उम्मीद है कि एलएलएम एजेंट, (इस उदाहरण में) एक चैटबॉट मॉडल को वायरिंग करके बनाए जाएंगे प्रतिक्रिया लैंगचेन में लागू स्वचालन ढांचा, सभी के लिए शोषण को बहुत आसान बना देगा। हमें बताया गया है कि ये एजेंट अधिक जानकारी के लिए सीवीई विवरण में दिए गए लिंक का अनुसरण कर सकते हैं।
उन्होंने कहा, "इसके अलावा, यदि आप यह अनुमान लगाते हैं कि जीपीटी-5 और भविष्य के मॉडल क्या कर सकते हैं, तो ऐसा लगता है कि वे आज की स्क्रिप्ट किड्स तक पहुंच की तुलना में कहीं अधिक सक्षम होंगे।"
एलएलएम एजेंट (जीपीटी-4) को प्रासंगिक सीवीई विवरण तक पहुंच से वंचित करने से इसकी सफलता दर 87 प्रतिशत से घटकर केवल सात प्रतिशत रह गई। हालाँकि, कांग ने कहा कि उनका मानना नहीं है कि सुरक्षा जानकारी की सार्वजनिक उपलब्धता को सीमित करना एलएलएम एजेंटों से बचाव का एक व्यवहार्य तरीका है।
"मैं व्यक्तिगत रूप से नहीं सोचता कि अस्पष्टता के माध्यम से सुरक्षा व्यवहार्य है, जो कि सुरक्षा शोधकर्ताओं के बीच प्रचलित ज्ञान प्रतीत होता है," उन्होंने समझाया। "मुझे उम्मीद है कि मेरा काम, और अन्य काम, सुरक्षा पैच आने पर पैकेजों को नियमित रूप से अपडेट करने जैसे सक्रिय सुरक्षा उपायों को प्रोत्साहित करेंगे।"
एलएलएम एजेंट 15 नमूनों में से केवल दो का उपयोग करने में विफल रहा: आइरिस एक्सएसएस (सीवीई-2024-25640) और हर्ट्जबीट आरसीई (सीवीई-2023-51653)। पेपर के अनुसार, पहला समस्याग्रस्त साबित हुआ क्योंकि आइरिस वेब ऐप में एक इंटरफ़ेस है जिसे एजेंट के लिए नेविगेट करना बेहद मुश्किल है। और उत्तरार्द्ध में चीनी भाषा में एक विस्तृत विवरण शामिल है, जो संभवतः अंग्रेजी भाषा संकेत के तहत काम करने वाले एलएलएम एजेंट को भ्रमित करता है।
परीक्षण की गई ग्यारह कमजोरियाँ GPT-4 के प्रशिक्षण कटऑफ के बाद हुईं, जिसका अर्थ है कि मॉडल ने प्रशिक्षण के दौरान उनके बारे में कोई डेटा नहीं सीखा था। इन सीवीई के लिए इसकी सफलता दर थोड़ी कम 82 प्रतिशत या 9 में से 11 थी।
जहां तक बग की प्रकृति का सवाल है, वे सभी उपरोक्त पेपर में सूचीबद्ध हैं, और हमें बताया गया है: “हमारी कमजोरियां वेबसाइट की कमजोरियों, कंटेनर कमजोरियों और कमजोर पायथन पैकेजों तक फैली हुई हैं। सीवीई विवरण के अनुसार आधे से अधिक को 'उच्च' या 'गंभीर' गंभीरता के रूप में वर्गीकृत किया गया है।
कांग और उनके सहयोगियों ने एक सफल एलएलएम एजेंट हमले को अंजाम देने की लागत की गणना की और $8.80 प्रति शोषण का आंकड़ा निकाला, जो उनका कहना है कि 2.8 मिनट के लिए मानव प्रवेश परीक्षक को किराए पर लेने की लागत से लगभग 30 गुना कम है।
कांग के अनुसार, एजेंट कोड में कोड की केवल 91 पंक्तियाँ और प्रॉम्प्ट के लिए 1,056 टोकन होते हैं। GPT-4 के निर्माता OpenAI ने शोधकर्ताओं से कहा था कि वे अपने प्रॉम्प्ट को जनता के लिए जारी न करें, हालाँकि उनका कहना है कि वे अनुरोध पर उन्हें प्रदान करेंगे।
ओपनएआई ने टिप्पणी के अनुरोध का तुरंत जवाब नहीं दिया। ®
- एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
- प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
- प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
- प्लेटोईएसजी. कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
- प्लेटोहेल्थ। बायोटेक और क्लिनिकल परीक्षण इंटेलिजेंस। यहां पहुंचें।
- स्रोत: https://go.theregister.com/feed/www.theregister.com/2024/04/17/gpt4_can_exploit_real_vulnerabilities/
- :हैस
- :है
- :नहीं
- $यूपी
- 056
- 1
- 11
- 15% तक
- 30
- 7
- 80
- 87
- 9
- 91
- a
- About
- ऊपर
- शिक्षाविदों
- पहुँच
- अनुसार
- वास्तव में
- सलाहकार
- बाद
- के खिलाफ
- एजेंट
- एजेंटों
- सब
- भी
- बीच में
- an
- और
- anthropic
- कोई
- अनुप्रयोग
- हैं
- AS
- सहायक
- At
- आक्रमण
- आक्रमण
- लेखकों
- को स्वचालित रूप से
- स्वचालन
- स्वायत्त
- उपलब्धता
- BE
- क्योंकि
- किया गया
- मानना
- कीड़े
- बनाता है
- लेकिन
- by
- आया
- कर सकते हैं
- पा सकते हैं
- नही सकता
- सक्षम
- ले जाना
- वर्गीकृत किया
- कुछ
- बातचीत
- chatbot
- चीनी
- ने दावा किया
- CO
- कोड
- सहयोगियों
- गठबंधन
- कैसे
- टिप्पणी
- वाणिज्यिक
- तुलना
- अभिकलन
- कंप्यूटर
- आचरण
- उलझन में
- होते हैं
- कंटेनर
- लागत
- बनाया
- महत्वपूर्ण
- सीवीई
- डैनियल
- तिथि
- का वर्णन
- विवरण
- विस्तृत
- डीआईडी
- मुश्किल
- do
- नहीं करता है
- डॉन
- दौरान
- आसान
- ईमेल
- प्रोत्साहित करना
- अंग्रेज़ी
- वातावरण
- प्रत्येक
- हर कोई
- उम्मीद
- समझाना
- समझाया
- शोषण करना
- शोषण
- शोषण
- कारनामे
- अत्यंत
- विफल रहे
- विशेषताएं
- आकृति
- खोज
- दोष
- का पालन करें
- के लिए
- पूर्व
- चार
- ढांचा
- से
- भविष्य
- मिथुन राशि
- मिल
- दी
- गूगल
- गुप्ता
- था
- आधा
- है
- he
- हाई
- किराया
- उसके
- आशा
- उम्मीद कर रहा
- तथापि
- HTTPS
- मानव
- i
- if
- इलेनॉइस
- तुरंत
- कार्यान्वित
- in
- शामिल
- करें-
- उदाहरण
- इंटरफेस
- IT
- आईटी इस
- जेपीजी
- केवल
- भाषा
- बड़ा
- प्रमुख
- सीखा
- कम
- संभावित
- सीमित
- पंक्तियां
- लिंक
- सूचीबद्ध
- एलएलएम
- कम
- बनाना
- निर्माता
- अर्थ
- साधन
- उपायों
- मिनटों
- आदर्श
- मॉडल
- अधिक
- बहुत
- my
- प्रकृति
- नेविगेट करें
- नए नए
- NIST
- हुआ
- of
- on
- लोगों
- खुला स्रोत
- OpenAI
- परिचालन
- or
- अन्य
- हमारी
- आउट
- के ऊपर
- संकुल
- काग़ज़
- पैच
- प्रवेश
- प्रति
- प्रतिशत
- निष्पादन
- व्यक्तिगत रूप से
- प्लेटो
- प्लेटो डेटा इंटेलिजेंस
- प्लेटोडाटा
- बिन्दु
- प्रति
- प्रोएक्टिव
- समस्यात्मक
- प्रोफेसर
- संकेतों
- साबित
- प्रदान करना
- सार्वजनिक
- अजगर
- मूल्यांकन करें
- RE
- पढ़ना
- वास्तविक
- असली दुनिया
- घटी
- संदर्भित करता है
- नियमित तौर पर
- और
- रिहा
- प्रासंगिक
- रिपोर्ट
- का अनुरोध
- शोधकर्ताओं
- प्रतिक्रिया
- रिचर्ड
- प्रतिद्वंद्वियों
- s
- कहा
- कहना
- वैज्ञानिकों
- लिपि
- सुरक्षा
- सुरक्षा उपाय
- लगता है
- सात
- साझा
- दिखाना
- सॉफ्टवेयर
- कुछ
- विस्तार
- कदम
- सफलता
- सफल
- सफलतापूर्वक
- ऐसा
- सिस्टम
- टीम
- अवधि
- परीक्षण
- परीक्षण किया
- से
- कि
- RSI
- लेकिन हाल ही
- उन
- इन
- वे
- सोचना
- इसका
- उन
- हालांकि?
- यहाँ
- पहर
- सेवा मेरे
- आज
- टोकन
- बोला था
- प्रशिक्षण
- दो
- के अंतर्गत
- विश्वविद्यालय
- अद्यतन
- के ऊपर
- प्रयुक्त
- व्यवहार्य
- कमजोरियों
- भेद्यता
- चपेट में
- था
- मार्ग..
- we
- वेब
- वेबसाइट
- वेबसाइटों
- थे
- क्या
- कब
- कौन कौन से
- मर्जी
- बुद्धिमत्ता
- साथ में
- काम
- विश्व
- होगा
- लिख रहे हैं
- XSS
- आप
- जेफिरनेट