يمثل استخدام مطوري البرامج لنماذج اللغات الكبيرة (LLMs) فرصة أكبر مما كان يُعتقد سابقًا للمهاجمين لتوزيع الحزم الضارة على بيئات التطوير، وفقًا لبحث تم إصداره مؤخرًا.
تعد الدراسة التي أجرتها شركة Lasso Security، شركة LLM المتخصصة في مجال الأمن، بمثابة متابعة لتقرير صدر العام الماضي حول إمكانات يستغل المهاجمون ميل LLMs إلى الهلوسة، أو لإنشاء نتائج تبدو معقولة ولكنها لا تستند إلى حقائق، استجابة لإدخالات المستخدم.
هلوسة حزمة الذكاء الاصطناعي
• الدراسة السابقة ركز على ميل ChatGPT إلى اختلاق أسماء مكتبات الأكواد - من بين افتراءات أخرى - عندما طلب مطورو البرامج مساعدة chatbot المدعم بالذكاء الاصطناعي في بيئة التطوير. بمعنى آخر، يقوم برنامج الدردشة الآلي أحيانًا بنشر روابط لحزم غير موجودة في مستودعات التعليمات البرمجية العامة عندما يطلب منه المطور اقتراح حزم لاستخدامها في المشروع.
وجد الباحث الأمني Bar Lanyado، مؤلف الدراسة والذي يعمل الآن في Lasso Security، أن المهاجمين يمكنهم بسهولة إسقاط حزمة ضارة فعلية في الموقع الذي يشير إليه ChatGPT وإعطائها نفس اسم الحزمة المهلوسة. يمكن لأي مطور يقوم بتنزيل الحزمة بناءً على توصية ChatGPT أن ينتهي به الأمر إلى إدخال برامج ضارة في بيئة التطوير الخاصة به.
لانيادو متابعة البحوث فحص مدى انتشار مشكلة هلوسة الحزمة عبر أربعة نماذج لغوية كبيرة مختلفة: GPT-3.5-Turbo، وGPT-4، وGemini Pro (Bard سابقًا)، وCoral (Cohere). كما اختبر أيضًا ميل كل نموذج إلى توليد حزم مهلوسة عبر لغات برمجة مختلفة والتكرار الذي قاموا من خلاله بتوليد نفس الحزمة المهلوسة.
بالنسبة للاختبارات، قام Lanyado بتجميع قائمة تضم الآلاف من أسئلة "كيفية القيام بذلك" التي يطلبها المطورون في بيئات البرمجة المختلفة - python، وnode.js، وgo، و.net، وروبي - الأكثر شيوعًا الحصول على المساعدة من حاملي شهادات الماجستير في بيئات التطوير. بعد ذلك، طرح Lanyado على كل نموذج سؤالًا متعلقًا بالبرمجة بالإضافة إلى توصية لحزمة تتعلق بالسؤال. كما طلب من كل نموذج أن يوصي بـ 10 حزم إضافية لحل نفس المشكلة.
النتائج المتكررة
وكانت النتائج مثيرة للقلق. لقد أدت 64.5% من "المحادثات" التي أجراها Lanyado مع الجوزاء إلى توليد حزم مهلوسة. وفي كورال، كان هذا الرقم 29.1%؛ لم يكن أداء دورات LLM الأخرى مثل GPT-4 (24.2%) وGPT3.5 (22.5%) أفضل كثيرًا.
عندما سأل لانيادو كل نموذج نفس مجموعة الأسئلة 100 مرة لمعرفة عدد المرات التي تهلوس فيها العارضات بنفس الحزم، وجد أن معدلات التكرار مثيرة للدهشة أيضًا. على سبيل المثال، أطلق كوهير نفس الطرود المهلوسة في أكثر من 24% من الحالات؛ تحدث مع GPT-3.5 وGemini بنسبة 14% تقريبًا، وGPT-4 بنسبة 20%. في عدة حالات، هلوسة نماذج مختلفة بنفس العبوات أو عبوات مماثلة. حدث أكبر عدد من هذه النماذج المهلوسة بين GPT-3.5 وGemini.
يقول Lanyado أنه حتى لو قام مطورون مختلفون بطرح سؤال على ماجستير إدارة الأعمال (LLM) حول نفس الموضوع ولكنهم قاموا بصياغة الأسئلة بشكل مختلف، فهناك احتمال أن توصي LLM بنفس الحزمة المهلوسة في كل حالة. بمعنى آخر، من المحتمل أن يواجه أي مطور يستخدم LLM للمساعدة في البرمجة العديد من نفس الحزم المهلوسة.
يقول لانيادو: “يمكن أن يكون السؤال مختلفًا تمامًا ولكن حول موضوع مماثل، وستظل الهلوسة تحدث، مما يجعل هذه التقنية فعالة للغاية”. "في البحث الحالي، تلقينا "حزمًا متكررة" للعديد من الأسئلة والموضوعات المختلفة وحتى عبر نماذج مختلفة، مما يزيد من احتمالية استخدام هذه الحزم المهلوسة".
سهل الاستغلال
على سبيل المثال، يمكن للمهاجم المسلح بأسماء بعض الحزم المهلوسة تحميل الحزم التي تحمل نفس الأسماء إلى المستودعات المناسبة مع العلم أن هناك احتمالًا كبيرًا بأن يقوم LLM بتوجيه المطورين إليها. ولإثبات أن التهديد ليس نظريًا، أخذ لانيادو حزمة مهلوسة تسمى "huggingface-cli" واجهها أثناء اختباراته وقام بتحميل حزمة فارغة تحمل الاسم نفسه إلى مستودع Hugging Face لنماذج التعلم الآلي. ويقول إن المطورين قاموا بتنزيل هذه الحزمة أكثر من 32,000 مرة.
من وجهة نظر جهة التهديد، توفر هلوسة الحزمة ناقلًا مباشرًا نسبيًا لتوزيع البرامج الضارة. ويقول: "كما رأينا من نتائج البحث، فإن الأمر ليس بهذه الصعوبة". ويضيف لانيادو أنه في المتوسط، كانت جميع العارضات يهلوسن معًا بنسبة 35% لحوالي 48,000 ألف سؤال. وكان GPT-3.5 هو أقل نسبة من الهلوسة. وأشار إلى أن برج الجوزاء سجل أعلى المعدلات، بمتوسط تكرار بلغ 18% في جميع النماذج الأربعة.
يقترح Lanyado أن يتوخى المطورون الحذر عند التصرف بناءً على توصيات الحزمة من LLM عندما لا يكونون متأكدين تمامًا من دقتها. ويقول أيضًا أنه عندما يواجه المطورون حزمة مفتوحة المصدر غير مألوفة، فإنهم يحتاجون إلى زيارة مستودع الحزمة وفحص حجم مجتمعها، وسجلات الصيانة الخاصة بها، ونقاط الضعف المعروفة، ومعدل المشاركة الإجمالي. يجب على المطورين أيضًا فحص الحزمة جيدًا قبل إدخالها في بيئة التطوير.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://www.darkreading.com/application-security/pervasive-llm-hallucinations-expand-code-developer-attack-surface
- :يكون
- :ليس
- $ UP
- 000
- 10
- 100
- 2%
- 22
- 24
- 29
- 32
- 35%
- 7
- a
- سوء المعاملة
- وفقا
- دقة
- في
- التمثيل
- يقدم
- يضيف
- AI
- الكل
- تقريبا
- أيضا
- من بين
- an
- و
- أي وقت
- مناسب
- هي
- مسلح
- حول
- AS
- تطلب
- مساعدة
- At
- مهاجمة
- مهاجم
- المؤلفة
- المتوسط
- شريط
- على أساس
- BE
- قبل
- أفضل
- ما بين
- أكبر
- لكن
- تسمى
- حقيبة
- الحذر
- الدردشة
- chatbot
- شات جي بي تي
- الكود
- البرمجة
- عادة
- مجتمع
- جمعت
- تماما
- المحادثات
- مرجان
- استطاع
- وضعت
- حالياًّ
- شرح
- المطور
- المطورين
- التطوير التجاري
- ديدن
- مختلف
- بشكل مختلف
- نشر
- توزيع
- تحميل
- التنزيلات
- قطرة
- أثناء
- كل
- بسهولة
- سهل
- الطُرق الفعّالة
- لقاء
- النهاية
- اشتباك
- البيئة
- البيئات
- حتى
- بحث
- ممارسة
- وسع
- استغلال
- الوجه
- قليل
- ركز
- في حالة
- سابقا
- وجدت
- أربعة
- تردد
- كثيرا
- تبدأ من
- الجوزاء
- توليد
- ولدت
- منح
- Go
- خير
- على الارض
- كان
- يحدث
- الثابت
- he
- مساعدة
- أعلى
- له
- كيفية
- كيفية
- HTTPS
- if
- in
- في أخرى
- الزيادات
- إدخال
- مثل
- إلى
- إدخال
- IT
- انها
- JPG
- معرفة
- معروف
- لغة
- اللغات
- كبير
- اسم العائلة
- العام الماضي
- تعلم
- المكتبات
- مثل
- أرجحية
- على الأرجح
- وصلات
- قائمة
- LLM
- موقع
- أدنى
- آلة
- آلة التعلم
- صيانة
- القيام ب
- خبيث
- البرمجيات الخبيثة
- كثير
- ربما
- نموذج
- عارضات ازياء
- الأكثر من ذلك
- أكثر
- كثيرا
- الاسم
- أسماء
- حاجة
- صاف
- العقدة
- نود.جي إس
- معدوم
- ملاحظة
- الآن
- عدد
- حدث
- of
- عرض
- on
- ONE
- جاكيت
- المصدر المفتوح
- الفرصة
- or
- أخرى
- خارج
- على مدى
- الكلي
- صفقة
- حزم
- نسبة مئوية
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- معقول
- البوينت
- نقاط
- محتمل
- الهدايا
- سابقا
- برو
- المشكلة
- برمجة وتطوير
- لغات البرمجة
- تنفيذ المشاريع
- جمهور
- بايثون
- سؤال
- الأسئلة المتكررة
- معدل
- الأجور
- تلقى
- مؤخرا
- نوصي
- توصية مجاناً
- ساندي خ. ميليك
- تسجيل
- ذات صلة
- نسبيا
- صدر
- تكرارية
- تقرير
- مستودع
- بحث
- الباحث
- استجابة
- النتائج
- s
- نفسه
- رأى
- يقول
- تفحص
- وسجل
- أمن
- انظر تعريف
- طلب
- على ما يبدو
- طقم
- عدة
- ينبغي
- مماثل
- المقاس
- تطبيقات الكمبيوتر
- مطوري البرامج
- حل
- أحيانا
- مصدر
- وجهة نظر
- مذهل
- لا يزال
- صريح
- دراسة
- موضوع
- هذه
- اقترح
- وتقترح
- بالتأكيد
- المساحة
- تقنية
- ميل
- اختبار
- اختبارات
- من
- أن
- •
- من مشاركة
- then
- نظري
- هناك.
- تشبه
- هم
- بعناية
- فكر
- الآلاف
- التهديد
- الوقت
- مرات
- إلى
- سويا
- استغرق
- موضوع
- تماما
- مقلقة
- غير مألوف
- تم التحميل
- تستخدم
- مستعمل
- مستخدم
- استخدام
- بائع
- جدا
- قم بزيارتنا
- نقاط الضعف
- وكان
- we
- حسن
- كان
- متى
- التي
- مع
- كلمات
- سوف
- عام
- زفيرنت