OWASP LLM چیٹ بوٹ کے حفاظتی خطرات کی فہرست پیش کرتا ہے۔

اوپن ورلڈ وائیڈ ایپلیکیشن سیکیورٹی پروجیکٹ (OWASP) نے بڑے لینگوئج ماڈل (LLM) ایپلی کیشنز کے ساتھ سب سے زیادہ عام سیکیورٹی مسائل کی ایک سرفہرست فہرست جاری کی ہے تاکہ ڈویلپرز کو اپنے کوڈ کو محفوظ طریقے سے نافذ کرنے میں مدد ملے۔

LLMs میں بنیادی مشین لرننگ ماڈلز شامل ہیں، جیسے OpenAI کے GPT-3 اور GPT-4، Google کے BERT اور LaMDA 2، اور Meta/Facebook کے RoBERTa جن کو ڈیٹا کی بڑی مقدار - متن، تصاویر، اور اسی طرح کی تربیت دی گئی ہے - اور تعینات کیے جاتے ہیں۔ ChatGPT جیسی ایپلی کیشنز میں۔

بڑی زبان کے ماڈل ایپلی کیشنز کے لیے OWASP ٹاپ 10 ہے۔ منصوبے جو کہ سب سے زیادہ عام سیکورٹی نقصانات کی فہرست بناتا ہے تاکہ ڈویلپرز، ڈیٹا سائنسدان، اور سیکورٹی ماہرین اپنے کوڈ میں LLMs سے نمٹنے کی پیچیدگیوں کو بہتر طور پر سمجھ سکیں۔

کنٹراسٹ سیکیورٹی کے چیف پروڈکٹ آفیسر اور OWASP پروجیکٹ کے لیڈ اسٹیو ولسن نے کہا کہ 130 سے ​​زیادہ سیکیورٹی ماہرین، AI ماہرین، صنعت کے رہنماؤں اور ماہرین تعلیم نے ممکنہ مسائل کے مجموعہ میں اپنا حصہ ڈالا۔ OWASP دیگر سافٹ ویئر سیکیورٹی کمپلیشنز پیش کرتا ہے، جیسے اس ویب ایپ کی خامیوں کے بارے میں اور اس API غلطیوں کے بارے میں، اگر آپ واقف نہیں ہیں۔

ولسن لکھا ہے لنکڈ ان پر

"اس وسائل کی تخلیق میں مکمل ذہن سازی، محتاط ووٹنگ، اور سوچ سمجھ کر اصلاح شامل ہے۔ یہ ہماری ٹیم کی متنوع مہارت کے عملی اطلاق کی نمائندگی کرتا ہے۔"

ابھی بھی کچھ شک باقی ہے کہ LLMs جیسا کہ فی الحال وضع کیا گیا ہے واقعی محفوظ کیا جا سکتا ہے۔ جیسے مسائل فوری انجکشن - LLM کو اس طرح سے استفسار کرنا جس سے یہ ناپسندیدہ طریقے سے جواب دے - نقصان دہ آؤٹ پٹ کو روکنے والے "گارڈ ریلز" کے ذریعے کم کیا جا سکتا ہے۔

لیکن اس کے لیے پہلے سے اندازہ لگانے کی ضرورت ہے کہ کسی ایسے ماڈل سے کیا بلاک کیا جانا چاہیے جس نے اپنے تربیتی ڈیٹا کو ظاہر نہ کیا ہو۔ اور یہ ممکن ہو سکتا ہے بائی پاس ان میں سے کچھ دفاع۔

پروجیکٹ کی دستاویزات یہ واضح کرتی ہیں: "ایل ایل ایم کی نوعیت کی وجہ سے فوری انجیکشن کے خطرات ممکن ہیں، جو ہدایات اور بیرونی ڈیٹا کو ایک دوسرے سے الگ نہیں کرتے ہیں۔ چونکہ ایل ایل ایم فطری زبان استعمال کرتے ہیں، اس لیے وہ ان پٹ کی دونوں شکلوں کو صارف کی طرف سے فراہم کردہ سمجھتے ہیں۔ نتیجتاً، LLM کے اندر کوئی فول پروف روک تھام نہیں ہے…"

بہر حال، OWASP پروجیکٹ کچھ تخفیف کی تکنیک تجویز کرتا ہے۔ اس کا مقصد ڈویلپرز کو زہریلے مواد کے بارے میں تربیت یافتہ ماڈلز کو پوچھے جانے پر اس طرح کے مواد کو پھیلانے سے روکنے اور دیگر ممکنہ مسائل کو ذہن میں رکھنے کے لیے کچھ اختیارات دینا ہے۔

فہرست [پی ڈی ایف] ہے:

• LLM01: فوری انجیکشن
• LLM02: غیر محفوظ آؤٹ پٹ ہینڈلنگ
• LLM03: ڈیٹا پوائزننگ کی تربیت
• LLM04: سروس کا ماڈل انکار
• LLM05: سپلائی چین کی کمزوریاں
• LLM06: حساس معلومات کا انکشاف
• LLM07: غیر محفوظ پلگ ان ڈیزائن
• LLM08: ضرورت سے زیادہ ایجنسی
• LLM09: حد سے زیادہ انحصار
• LLM10: ماڈل چوری

ان میں سے کچھ خطرات LLMs سے نمٹنے والوں سے زیادہ متعلقہ ہیں۔ سپلائی چین کی کمزوریاں اس خطرے کی نمائندگی کرتی ہیں جس سے ہر سافٹ ویئر ڈویلپر کو فریق ثالث کوڈ یا ڈیٹا استعمال کرنے والے کو تشویش ہونی چاہیے۔ لیکن اس کے باوجود، LLMs کے ساتھ کام کرنے والوں کو یہ جاننے کی ضرورت ہے کہ انسانی پڑھنے کے قابل اوپن سورس کوڈ کے مقابلے بلیک باکس تھرڈ پارٹی ماڈل میں چھیڑ چھاڑ کا پتہ لگانا زیادہ مشکل ہے۔

اسی طرح، حساس ڈیٹا/معلومات کے افشاء کا امکان ایسی چیز ہے جس سے ہر ڈویلپر کو آگاہ ہونا چاہیے۔ لیکن ایک بار پھر، روایتی ایپلی کیشنز میں ڈیٹا سینیٹائزیشن نامعلوم اعداد و شمار پر تربیت یافتہ LLM کو شامل کرنے والی ایپس کے مقابلے میں معلوم مقدار میں زیادہ ہوتی ہے۔

مخصوص خطرات کو شمار کرنے کے علاوہ جن پر غور کرنے کی ضرورت ہے، OWASP فہرست کو ڈویلپرز کو LLM پر مبنی حملے کے منظرناموں کی حد سے واقف کرنے میں بھی مدد کرنی چاہیے، جو شاید واضح نہ ہوں کیونکہ وہ نسبتاً نئے ہیں اور جنگلی میں اکثر ان کا پتہ نہیں چلتا۔ رن آف دی مل ویب یا ایپلیکیشن حملوں کے طور پر۔

مثال کے طور پر، مندرجہ ذیل ٹریننگ ڈیٹا پوائزننگ کا منظر نامہ تجویز کیا گیا ہے: "ایک بدنیتی پر مبنی اداکار، یا ایک مدمقابل برانڈ جان بوجھ کر غلط یا بدنیتی پر مبنی دستاویزات تخلیق کرتا ہے جو کہ ماڈل کے تربیتی ڈیٹا کو نشانہ بنایا جاتا ہے۔ متاثرہ ماڈل غلط معلومات کا استعمال کرتے ہوئے ٹریننگ کرتا ہے جس کی عکاسی اس کے صارفین کو پیدا کرنے والے AI پرامپٹ سے ہوتی ہے۔

کمپیوٹر سائنس کی تعلیمی تحقیق میں اس طرح کی مداخلت، شاید کسی ایپ میں چیٹ کی صلاحیتوں کو شامل کرنے میں دلچسپی رکھنے والے سافٹ ویئر تخلیق کاروں کے لیے ذہن میں نہیں ہوگی۔ OWASP LLM پروجیکٹ کا مقصد اس طرح کے منظرناموں کو کچھ ٹھیک کرنے کے لیے بنانا ہے۔ ®

• SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
• پلیٹو ڈیٹا ڈاٹ نیٹ ورک ورٹیکل جنریٹو اے آئی۔ اپنے آپ کو بااختیار بنائیں۔ یہاں تک رسائی حاصل کریں۔
• پلیٹوآئ اسٹریم۔ ویب 3 انٹیلی جنس۔ علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
• پلیٹو ای ایس جی۔ آٹوموٹو / ای وی، کاربن، کلین ٹیک، توانائی ، ماحولیات، شمسی، ویسٹ مینجمنٹ یہاں تک رسائی حاصل کریں۔
• بلاک آفسیٹس۔ ماحولیاتی آفسیٹ ملکیت کو جدید بنانا۔ یہاں تک رسائی حاصل کریں۔
• ماخذ: https://go.theregister.com/feed/www.theregister.com/2023/08/02/owasp_llm_flaws/