مدلهای هوش مصنوعی، موضوع نگرانیهای ایمنی مداوم در مورد خروجی مضر و مغرضانه، خطری فراتر از انتشار محتوا دارند. وقتی با ابزارهایی که تعامل خودکار با سیستمهای دیگر را امکانپذیر میکنند، میتوانند به تنهایی به عنوان عوامل مخرب عمل کنند.
دانشمندان کامپیوتر وابسته به دانشگاه ایلینوی Urbana-Champaign (UIUC) این را با استفاده از چندین مدل زبان بزرگ (LLM) برای به خطر انداختن وبسایتهای آسیبپذیر بدون راهنمایی انسانی نشان دادهاند. تحقیقات قبلی نشان می دهد که LLM ها را می توان علیرغم کنترل های ایمنی استفاده کرد همکاری [PDF] با ایجاد بدافزار.
محققان ریچارد فانگ، روهان بیندو، آکول گوپتا، کیوسی ژان و دانیل کانگ یک گام فراتر رفتند و نشان دادند که عوامل مبتنی بر LLM - LLM هایی که ابزارهایی برای دسترسی به API ها، مرور وب خودکار و برنامه ریزی مبتنی بر بازخورد دارند - می توانند در وب سرگردان شوند. خود به خود و بدون نظارت وارد برنامه های وب باگ می شوند.
آنها یافته های خود را در یک کاغذ با عنوان، "نمایندگان LLM می توانند به طور مستقل وب سایت ها را هک کنند."
دانشگاهیان UIUC در مقاله خود توضیح می دهند: "در این کار، ما نشان می دهیم که عوامل LLM می توانند به طور مستقل وب سایت ها را هک کنند و وظایف پیچیده ای را بدون اطلاع قبلی از آسیب پذیری انجام دهند."
به عنوان مثال، این عوامل میتوانند حملات پیچیده SQL Union را انجام دهند که شامل یک فرآیند چند مرحلهای (38 اقدام) استخراج یک طرح پایگاه داده، استخراج اطلاعات از پایگاه داده بر اساس این طرح و انجام هک نهایی است.
در مصاحبه ای با ثبت نامدانیل کانگ، استادیار UIUC، تاکید کرد که او و همکارانش در واقع اجازه ندادند که عوامل مخرب LLM خود در جهان رها شوند. او گفت که این آزمایشها بر روی وبسایتهای واقعی در یک محیط سندباکس انجام شد تا اطمینان حاصل شود که هیچ آسیبی وارد نمیشود و هیچ اطلاعات شخصی به خطر نمیافتد.
آنچه ما دریافتیم این است که GPT-4 توانایی بالایی در انجام این وظایف دارد. هر مدل منبع باز ناموفق بود و GPT-3.5 فقط اندکی بهتر از مدل های منبع باز است
کانگ گفت: «ما از سه ابزار اصلی استفاده کردیم. ما از OpenAI Assistants API, LangChain، و نمایشنامهنویس چارچوب تست مرورگر
OpenAI Assistants API اساساً برای داشتن زمینه، انجام فراخوانی عملکرد و بسیاری از موارد دیگر مانند بازیابی اسناد که برای عملکرد بالا واقعا مهم هستند استفاده می شود. LandChain اساساً برای جمع کردن همه چیز استفاده شد. و چارچوب تست مرورگر وب Playwright برای تعامل واقعی با وب سایت ها استفاده شد.
محققان با استفاده از 10 LLM مختلف عامل ایجاد کردند: GPT-4، GPT-3.5، OpenHermes-2.5-Mistral-7B، LLaMA-2 Chat (70B)، LLaMA-2 Chat (13B)، LLaMA-2 Chat (7B)، Mixtral. -8x7B Instruct، Mistral (7B) Instruct v0.2، Nous Hermes-2 Yi (34B) و OpenChat 3.5.
دو مدل اول، GPT-4 و GPT-3.5، مدلهای اختصاصی هستند که توسط OpenAI اداره میشوند در حالی که هشت مدل باقیمانده منبع باز هستند. مدل Gemini گوگل که گفته می شود حداقل به اندازه GPT-4 توانایی دارد آخرین تکرار آن، در آن زمان در دسترس نبود.
محققان وبسایتهای LLM-agents خود را برای بررسی 15 آسیبپذیری، از جمله تزریق SQL، اسکریپت بین سایتی، و جعل درخواستهای متقابل سایت، بررسی کردند. مدلهای منبع باز که آزمایش شدند، همگی شکست خوردند.
اما GPT-4 OpenAI با 73.3 پاس موفق به 42.7 درصد و با یک پاس 3.5 درصد شد. رقیب دوم، GPT-6.7 از OpenAI، با 2.7 پاس تنها XNUMX درصد و با یک پاس XNUMX درصد موفقیت کسب کرد.
کانگ گفت: "این یکی از چیزهایی است که ما خیلی تعجب آور می دانیم." بنابراین بسته به اینکه با چه کسی صحبت میکنید، ممکن است این قانون مقیاسپذیری یا قابلیت اضطراری نامیده شود. آنچه ما دریافتیم این است که GPT-4 توانایی بالایی در انجام این وظایف دارد. هر مدل منبع باز ناموفق بود و GPT-3.5 فقط کمی بهتر از مدل های منبع باز است.
یکی از توضیحات ذکر شده در مقاله این است که GPT-4 نسبت به مدلهای منبع باز بهتر میتوانست اقدامات خود را بر اساس پاسخی که از وبسایت مورد نظر دریافت میکرد، تغییر دهد.
کانگ گفت دشوار است که مطمئن شویم چرا چنین است. از نظر کیفی، متوجه شدیم که مدلهای منبع باز تقریباً به خوبی مدلهای OpenAI در فراخوانی عملکرد خوب نیستند.»
وی همچنین به نیاز به پردازش زمینه های بزرگ (اعلان ها) اشاره کرد. او توضیح داد: «GPT-4 برای انجام برخی از این هکها باید تا 50 اقدام را انجام دهد، در صورتی که به عقب برگردید، و این نیاز به زمینه زیادی برای اجرای واقعی دارد. ما متوجه شدیم که مدلهای منبع باز تقریباً به خوبی GPT-4 برای زمینههای طولانی نیستند.»
عقب نشینی به بازگشت یک مدل به حالت قبلی خود اشاره دارد تا در صورت مواجهه با خطا، رویکرد دیگری را امتحان کند.
محققان تجزیه و تحلیل هزینه های حمله به وب سایت ها را با عوامل LLM انجام دادند و دریافتند که عامل نرم افزاری بسیار مقرون به صرفه تر از استخدام یک تستر نفوذ است.
این مقاله میگوید: «برای تخمین هزینه GPT-4، پنج اجرا را با استفاده از تواناترین عامل (خواندن سند و درخواست دقیق) انجام دادیم و هزینه کل توکنهای ورودی و خروجی را اندازهگیری کردیم. در این 5 دوره، میانگین هزینه 4.189 دلار بود. با نرخ موفقیت کلی 42.7 درصد، این مبلغ در مجموع 9.81 دلار برای هر وب سایت خواهد بود.
با فرض اینکه یک تحلیلگر امنیت انسانی سالانه 100,000 دلار یا 50 دلار در ساعت پرداخت می کند، حدود 20 دقیقه طول می کشد تا یک وب سایت را به صورت دستی بررسی کند، محققان می گویند که یک آزمایشگر قلم زنده حدود 80 دلار یا هشت برابر هزینه یک نماینده LLM هزینه دارد. کانگ گفت که در حالی که این اعداد بسیار حدس و گمان هستند، او انتظار دارد که LLM ها در رژیم های تست نفوذ در سال های آینده گنجانده شوند.
کانگ در پاسخ به این سوال که آیا هزینه ممکن است یک عامل دروازه ای برای جلوگیری از استفاده گسترده از عوامل LLM برای حملات خودکار باشد، گفت که ممکن است امروز تا حدودی درست باشد اما او انتظار دارد هزینه ها کاهش یابد.
کانگ گفت که در حالی که نگرانیهای ایمنی سنتی مربوط به دادههای آموزشی مغرضانه و مضر و خروجی مدل آشکارا بسیار مهم هستند، اما زمانی که LLMها به عامل تبدیل میشوند، خطر گسترش مییابد.
نمایندگان چیزی هستند که واقعاً من را از نظر نگرانی های ایمنی آینده می ترساند
او گفت: "نمایندگان چیزی هستند که واقعاً من را از نظر نگرانی های ایمنی آینده می ترسانند." برخی از آسیبپذیریهایی که ما روی آنها آزمایش کردیم، امروز میتوانید با استفاده از اسکنرهای خودکار پیدا کنید. می توانید متوجه شوید که آنها وجود دارند، اما نمی توانید به طور مستقل با استفاده از اسکنر خودکار از آنها بهره برداری کنید، حداقل تا آنجا که من از آن مطلع هستم. شما نمی توانید به طور مستقل از آن اطلاعات استفاده کنید.
چیزی که واقعاً من را در مورد مدلهای بسیار توانمند آینده نگران میکند، توانایی انجام هکهای مستقل و بازتاب خود برای آزمایش چندین استراتژی مختلف در مقیاس است.
از او پرسیده شد که آیا توصیه ای برای توسعه دهندگان، صنعت و سیاست گذاران دارد یا خیر. کانگ گفت: "اولین چیز این است که با دقت در مورد اینکه این مدل ها می توانند به طور بالقوه برای چه مواردی استفاده شوند فکر کنید." او همچنین برای ضمانتهای بندر امن بحث کرد که به محققان امنیتی اجازه میدهد این نوع تحقیقات را همراه با موافقتنامههای افشای مسئولانه ادامه دهند.
او گفت که Midjourney برخی از محققان و روزنامه نگارانی را که به نظر می رسد مدل های آنها از مطالب دارای حق چاپ استفاده می کنند، ممنوع کرده است. او گفت که OpenAI با مسدود نکردن حساب کاربری خود سخاوتمندانه عمل کرده است.
ثبت نام از OpenAI خواست تا در مورد یافته های محققان نظر دهد. یک سخنگوی به ما گفت: "ما ایمنی محصولات خود را جدی می گیریم و به طور مستمر اقدامات ایمنی خود را بر اساس نحوه استفاده مردم از محصولاتمان بهبود می دهیم."
ما نمیخواهیم از ابزارهایمان برای اهداف مخرب استفاده شود، و همیشه در حال کار بر روی این هستیم که چگونه میتوانیم سیستمهای خود را در برابر این نوع سوءاستفاده قویتر کنیم. ما از محققان برای به اشتراک گذاشتن کار خود با ما تشکر می کنیم.
OpenAI زودتر فرومایه تواناییهای GPT-4 در کمک به حملات سایبری، میگوید که این مدل «تنها قابلیتهای محدود و افزایشی را برای وظایف مخرب سایبری فراتر از آنچه در حال حاضر با ابزارهای در دسترس عمومی و بدون هوش مصنوعی قابل دستیابی است، ارائه میکند». ®
- محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
- PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
- PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
- PlatoESG. کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
- PlatoHealth. هوش بیوتکنولوژی و آزمایشات بالینی. دسترسی به اینجا.
- منبع: https://go.theregister.com/feed/www.theregister.com/2024/02/17/ai_models_weaponized/
- : دارد
- :است
- :نه
- $UP
- 000
- 10
- ٪۱۰۰
- 20
- 50
- 7
- a
- توانایی
- توانایی
- قادر
- درباره ما
- سو استفاده کردن
- دانشگاهیان
- دسترسی
- انجام دادن
- حساب
- قابل دستیابی است
- در میان
- عمل
- اقدامات
- واقعا
- نصیحت
- وابسته
- مقرون به صرفه
- در برابر
- عامل
- عاملان
- موافقت نامه
- AI
- مدل های هوش مصنوعی
- معرفی
- اجازه دادن
- در امتداد
- قبلا
- همچنین
- همیشه
- در میان
- an
- تحلیل
- روانکاو
- و
- سالانه
- دیگر
- هر
- API
- رابط های برنامه کاربردی
- به نظر می رسد
- روش
- برنامه های
- هستند
- استدلال کرد
- AS
- دستیار
- دستیاران
- At
- هجوم بردن
- حمله
- خودکار
- اتوماتیک
- خود مختار
- بصورت خودگردان
- در دسترس
- میانگین
- مطلع
- توقیف شده
- مستقر
- اساسا
- BE
- بوده
- بهتر
- خارج از
- جانبدارانه
- شکستن
- مرورگر
- مرور
- اما
- by
- نام
- فراخوانی
- CAN
- قابلیت های
- قابلیت
- توانا
- Осторожно
- مورد
- معین
- تغییر دادن
- گپ
- بررسی
- اشاره
- CO
- آینده
- توضیح
- پیچیده
- سازش
- در معرض خطر
- نگرانی ها
- انجام
- محتوا
- زمینه
- زمینه ها
- به طور مستمر
- ادامه دادن
- گروه شاهد
- هزینه
- هزینه
- میتوانست
- ایجاد شده
- ایجاد
- حملات سایبری
- امنیت سایبری
- دانیل
- داده ها
- پایگاه داده
- نشان
- بستگی دارد
- توصیف
- با وجود
- دقیق
- توسعه دهندگان
- DID
- مختلف
- مشکل
- افشاء
- do
- سند
- دان
- انجام شده
- پیش از آن
- هشت
- نشر
- تاکید
- قادر ساختن
- اطمینان حاصل شود
- محیط
- خطا
- تخمین زدن
- هر
- مثال
- وجود داشته باشد
- گسترش می یابد
- انتظار می رود
- توضیح دهید
- توضیح داده شده
- توضیح
- بهره برداری
- عامل
- ناموفق
- سقوط
- بسیار
- نهایی
- پیدا کردن
- یافته ها
- نام خانوادگی
- پنج
- برای
- جعل اسناد
- یافت
- چارچوب
- از جانب
- تابع
- بیشتر
- آینده
- دروازه بان
- برج جوزا
- سخاوتمندانه
- دریافت کنید
- خوب
- گوگل
- کردم
- تضمین می کند
- راهنمایی
- گوپتا
- هک
- هک
- بود
- بندرگاه
- صدمه
- مضر
- آیا
- داشتن
- he
- زیاد
- خیلی
- استخدام
- خود را
- ساعت
- چگونه
- HTTPS
- انسان
- i
- if
- ایلینوی
- مهم
- بهبود
- in
- شامل
- از جمله
- ادغام شده
- افزایشی
- صنعت
- اطلاعات
- ورودی
- تعامل
- اثر متقابل
- مصاحبه
- به
- شامل
- IT
- ITS
- روزنامه نگاران
- JPG
- تنها
- نوع
- دانش
- زبان
- بزرگ
- آخرین
- قانون
- کمترین
- اجازه
- قدرت نفوذ
- پسندیدن
- محدود شده
- زنده
- LLM
- طولانی
- خیلی
- عمده
- ساخت
- سازندگان
- مخرب
- نرم افزارهای مخرب
- دستی
- بسیاری
- ماده
- ممکن است..
- me
- معیارهای
- قدرت
- دقیقه
- مدل
- مدل
- بیش
- اکثر
- چندگانه
- تقریبا
- نیاز
- نیازهای
- نه
- تعداد
- of
- پیشنهادات
- on
- ONE
- مداوم
- فقط
- باز کن
- منبع باز
- OpenAI
- عمل
- or
- دیگر
- دیگران
- ما
- خارج
- تولید
- به طور کلی
- نظارت
- خود
- پرداخت
- مقاله
- عبور
- عبور می کند
- نفوذ
- مردم
- برای
- در صد
- انجام
- کارایی
- انجام
- انجام
- شخصی
- محل
- برنامه ریزی
- افلاطون
- هوش داده افلاطون
- PlatoData
- سیاست
- سیاست گذاران
- در برخواهد داشت
- بالقوه
- صفحه اصلی
- جلوگیری از
- قبلی
- قبلا
- کاوشگر
- روند
- محصولات
- معلم
- پرسیدن
- اختصاصی
- عمومی
- اهداف
- نرخ
- مطالعه
- واقعی
- واقعا
- اشاره دارد
- رژیمها
- مربوط
- باقی مانده
- درخواست
- نیاز
- تحقیق
- تحقیقات نشان می دهد
- محققان
- پاسخ
- مسئوليت
- بازیابی
- برگرداندن
- ریچارد
- خطر
- تنومند
- اجرا می شود
- s
- امن
- ایمنی
- سعید
- گفتن
- گفته
- می گوید:
- مقیاس
- مقیاس گذاری
- دانشمندان
- دوم
- تیم امنیت لاتاری
- به طور جدی
- چند
- اشتراک
- نشان
- نشان داد
- So
- نرم افزار
- برخی از
- تاحدی
- منبع
- صحبت کردن
- نظری
- سخنگوی
- دولت
- گام
- استراتژی ها
- موضوع
- موفقیت
- حاکی از
- تعجب آور
- سیستم های
- گرفتن
- صحبت
- هدف
- وظایف
- قوانین و مقررات
- آزمون
- آزمایش
- تست
- تست
- نسبت به
- تشکر
- که
- La
- جهان
- شان
- آنها
- اینها
- آنها
- چیز
- اشیاء
- فکر می کنم
- این
- سه
- زمان
- بار
- با عنوان
- به
- امروز
- نشانه
- گفته شده
- ابزار
- جمع
- سنتی
- آموزش
- درست
- امتحان
- تبدیل
- دو
- نوع
- اتحادیه
- دانشگاه
- us
- استفاده کنید
- استفاده
- با استفاده از
- بسیار
- آسیب پذیری ها
- آسیب پذیری
- آسیب پذیر
- می خواهم
- بود
- we
- وب
- مرورگر وب
- سایت اینترنتی
- وب سایت
- رفت
- بود
- چی
- چه شده است
- چه زمانی
- چه
- که
- در حین
- WHO
- چرا
- بطور گسترده
- اراده
- با
- بدون
- مهاجرت کاری
- کارگر
- جهان
- خواهد بود
- بسته بندی کردن
- سال
- شما
- زفیرنت