2023 کے ختم ہونے سے بہت پہلے، یہ پہلے سے ہی تخلیقی AI کے سال کے طور پر تاج کیا گیا تھا. ChatGPT جیسے ماڈلز کی آمد سے حوصلہ افزائی ہوئی جس نے صارف کے اشارے پر تفصیلی، بے تکلف انسانی جوابات تیار کیے، ماہرین اور نوزائیدہوں نے کام، تعلیم اور تخلیقی صلاحیتوں پر ٹیکنالوجی کے ممکنہ اثرات پر غور کرنا شروع کیا۔
خوری کی پروفیسر الینا اوپریا کہتی ہیں، لیکن جب کہ آج کے بڑے لینگوئج ماڈلز (LLMs) حیرت انگیز طور پر قابل ہیں، وہ حیران کن طور پر کمزور بھی ہیں۔ وہ ایک دہائی سے زیادہ عرصے سے سائبرسیکیوریٹی سیاق و سباق میں AI کا مطالعہ کر رہی ہے، اور حال ہی میں اس نے ایک رپورٹ کی شریک تصنیف کی ہے جس میں AI پر ہونے والے ان حملوں کی تحقیق کی گئی ہے — وہ کیسے کام کرتے ہیں، ان کی درجہ بندی کیسے کی جاتی ہے، اور وہ کیسے ہو سکتے ہیں (اور نہیں ہو سکتے) تخفیف
اوپیریا کا کہنا ہے کہ "جنریٹیو اے آئی کو محفوظ رکھنا واقعی مشکل ہے۔ "ان ماڈلز اور ان کے تربیتی ڈیٹا کا پیمانہ وقت کے ساتھ ساتھ بڑھتا جائے گا، جو صرف ان حملوں کو آسان بناتا ہے۔ اور ایک بار جب آپ تخلیقی AI کے بارے میں بات کرنا شروع کردیتے ہیں جو متن سے آگے تصاویر اور تقریر تک جاتا ہے، تو سیکیورٹی ایک بہت کھلا سوال بن جاتا ہے۔"
محکمہ تجارت کے نیشنل انسٹی ٹیوٹ آف اسٹینڈرڈز اینڈ ٹیکنالوجی (NIST) کی طرف سے شائع ہونے والی رپورٹ، Oprea کی اس رپورٹ کی تازہ کاری ہے جو گزشتہ سال NIST کے Apostol Vassilev کے ساتھ مل کر لکھی گئی تھی۔ اس ابتدائی رپورٹ میں زیادہ روایتی پیشن گوئی کرنے والے AI سے نمٹا گیا تھا، لیکن اس کے بعد سے پیدا ہونے والی AI کی مقبولیت میں پھٹنے کے ساتھ، Opera اور Vassilev نے پروجیکٹ کی ترسیل کو بڑھانے کے لیے Robust Intelligence کے جنریٹیو AI ماہرین Alie Fordyce اور Hyrum Anderson کا خیرمقدم کیا۔
"اب ہمارے پاس ماہرین تعلیم، حکومت اور صنعت مل کر کام کر رہے ہیں،" اوپریا نے نوٹ کیا، "جو رپورٹ کے لیے مطلوبہ سامعین ہیں۔"
رپورٹ کے مطابق، تخلیقی AI ماڈلز مختلف عوامل کی وجہ سے اپنی کمزوری کے مرہون منت ہیں۔ ایک تو، Oprea نوٹ کرتا ہے، زیادہ تر حملے "ماؤنٹ کرنے میں کافی آسان اور AI سسٹم کے بارے میں کم سے کم علم کی ضرورت ہوتی ہے۔" دوسرے کے لیے، ماڈلز کے بہت زیادہ تربیتی ڈیٹا سیٹ انسانوں کے لیے نگرانی اور تصدیق کرنے کے لیے بہت بڑے ہیں۔ اور ماڈلز کو زیر کرنے والا کوڈ خودکار نہیں ہے۔ یہ انسانی اعتدال پر انحصار کرتا ہے اور بدنیتی پر مبنی انسانی مداخلت کا شکار ہے۔
محققین کے حلقے کا کہنا ہے کہ اس کا نتیجہ، حملوں کی چار بڑی اقسام ہیں جو AI سسٹمز کو الجھا دیتے ہیں اور ان کی خرابی کا باعث بنتے ہیں: چوری کے حملے جو ماڈل کے ان پٹس کو اس کے ردعمل کو تبدیل کرنے کے لیے تبدیل کرتے ہیں، زہریلے حملے جو ماڈل کے بنیادی الگورتھم یا تربیتی ڈیٹا کو خراب کرتے ہیں، رازداری ایسے حملے جو ماڈل کو حساس تربیتی ڈیٹا جیسے کہ طبی معلومات کو ظاہر کرنے پر اکساتے ہیں، اور غلط معلومات کو جائز ذرائع میں فیڈ کرنے والے غلط استعمال کے حملے جن سے ماڈل سیکھتا ہے۔ ماڈل کے ان پٹس میں ہیرا پھیری کرکے، حملہ آور اس کے آؤٹ پٹس کا پہلے سے انتخاب کر سکتے ہیں۔
"یہ تجارتی مقاصد کے لیے، اشتہار کے لیے، میلویئر سپیم یا نفرت انگیز تقریر پیدا کرنے کے لیے استعمال کیا جا سکتا ہے - ایسی چیزیں جو ماڈل عام طور پر پیدا نہیں کرتا،" Oprea وضاحت کرتا ہے۔
خود کو اوورٹیکس کیے بغیر، بدنیتی پر مبنی اداکار ویب ڈیٹا کو کنٹرول کر سکتے ہیں جس پر AI ماڈل ٹرین کرتا ہے، بیک ڈور متعارف کروا سکتا ہے، اور پھر چپکے سے ماڈل کے رویے کو وہاں سے چلا سکتا ہے۔ ان ماڈلز کی بڑھتی ہوئی مقبولیت کو دیکھتے ہوئے، اس طرح کے پچھلے دروازے اپنے طور پر کافی ہوں گے۔ لیکن نقصان وہیں نہیں رکتا۔
"اب ہمارے پاس یہ مربوط ایپلی کیشنز ہیں جو LLMs استعمال کرتی ہیں۔ مثال کے طور پر، ایک کمپنی ایک ای میل ایجنٹ بناتی ہے جو پس منظر میں LLM کے ساتھ ضم ہوتا ہے، اور یہ اب آپ کی ای میلز پڑھ سکتا ہے اور آپ کی طرف سے ای میلز بھیج سکتا ہے،" Oprea کہتی ہے۔ "لیکن حملہ آور ہزاروں لوگوں کو میلویئر اور سپیم بھیجنے کے لیے اسی ٹول کا استعمال کر سکتے ہیں۔ حملے کی سطح بڑھ گئی ہے کیونکہ ہم ان ایپلی کیشنز میں LLM کو ضم کر رہے ہیں۔
نفرت انگیز تقریر اور بڑے پیمانے پر سپیم جتنے تباہ کن اور خطرناک ہیں، افق پر اس سے بھی بڑے سیکورٹی خدشات ہیں۔
اوپیریا کا کہنا ہے کہ "کچھ ایپلی کیشنز حفاظتی لحاظ سے اہم ہیں، جیسے خود چلانے والی کاریں"۔ "اگر وہ ماڈل غلط پیشین گوئیاں کرتے ہیں، تو ان کا استعمال نہیں کیا جا سکتا۔"
تو کیا کیا جا سکتا ہے؟ ٹیم نے رپورٹ تیار کی، جسے وہ ہر سال چند سامعین کے لیے اپ ڈیٹ کرنے کا ارادہ رکھتے ہیں — پالیسی سازوں، AI ڈویلپرز، اور ماہرین تعلیم جو اپنے کام کے لیے رپورٹ کی درجہ بندی کو بنیاد یا سیاق و سباق کے طور پر استعمال کر سکتے ہیں۔ اوپیریا کا کہنا ہے کہ ان تمام گروپس کو یہ یقینی بنانے کے لیے کام کرنا ہے کہ اے آئی ماڈلز انسانی اقدار کے مطابق ہوں، رازداری کو محفوظ رکھیں اور صارفین کے بہترین مفاد میں کام کریں۔ لیکن وہ تسلیم کرتی ہیں کہ رپورٹ میں اٹھائے گئے ہر مسئلے کو حل کرنا ایک چیلنجنگ ہے، اور یہ کہ جو کوئی تخفیف کے بجائے حل تلاش کرتا ہے وہ بہت بڑی غلطی ہے۔
"تخفیف کے مقابلے میں اور بھی بہت سے حملے ہوتے ہیں، اور ہر تخفیف کے لیے جس کا ہم ذکر کرتے ہیں، ایک ٹریڈ آف یا پرفارمنس اوور ہیڈ ہوتا ہے، بشمول ماڈل کی درستگی کا انحطاط،" اوپیریا نے خبردار کیا۔ "تخفیف مفت میں نہیں آتے ہیں اور AI کو محفوظ بنانا واقعی ایک چیلنجنگ کوشش ہے، لیکن ہم امید کرتے ہیں کہ رپورٹ حملوں کو سمجھنے کے لیے ایک مفید نقطہ آغاز فراہم کرے گی۔"
- SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
- پلیٹو ڈیٹا ڈاٹ نیٹ ورک ورٹیکل جنریٹو اے آئی۔ اپنے آپ کو بااختیار بنائیں۔ یہاں تک رسائی حاصل کریں۔
- پلیٹوآئ اسٹریم۔ ویب 3 انٹیلی جنس۔ علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
- پلیٹو ای ایس جی۔ کاربن، کلین ٹیک، توانائی ، ماحولیات، شمسی، ویسٹ مینجمنٹ یہاں تک رسائی حاصل کریں۔
- پلیٹو ہیلتھ۔ بائیوٹیک اینڈ کلینیکل ٹرائلز انٹیلی جنس۔ یہاں تک رسائی حاصل کریں۔
- ماخذ: https://www.mtlc.co/in-the-age-of-chatgpt-ai-models-are-massively-popular-and-easily-compromised/
- : ہے
- : ہے
- 2023
- a
- ہمارے بارے میں
- بدسلوکی
- اکادمک
- درستگی
- اداکار
- خطاب کرتے ہوئے
- آگے بڑھانے کے
- آمد
- اشتہار
- عمر
- ایجنٹ
- AI
- اے آئی ماڈلز
- اے آئی سسٹمز
- یلگوردمز
- سیدھ کریں
- اسی طرح
- تمام
- پہلے ہی
- بھی
- تبدیل
- an
- اور
- اینڈرسن
- سالانہ
- ایک اور
- کسی
- ایپلی کیشنز
- کیا
- AS
- حملہ
- حملے
- سامعین
- سماعتوں
- آٹومیٹڈ
- پچھلے دروازے
- گھر کے دروازے
- پس منظر
- BE
- کیونکہ
- ہو جاتا ہے
- رہا
- اس سے پہلے
- شروع ہوا
- کی طرف سے
- رویے
- BEST
- سے پرے
- بڑا
- بناتا ہے
- لیکن
- by
- کر سکتے ہیں
- صلاحیت رکھتا
- کاریں
- کیونکہ
- احتیاطی تدابیر
- چیلنج
- تبدیل
- چیٹ جی پی ٹی
- میں سے انتخاب کریں
- درجہ بندی
- کوڈ
- کس طرح
- تجارتی
- کمپنی کے
- سمجھوتہ کیا
- بارہ
- اندراج
- سیاق و سباق
- کنٹرول
- بدعنوان
- سکتا ہے
- کونسل
- تخلیقی
- سائبر سیکیورٹی
- نقصان
- خطرناک
- اعداد و شمار
- ڈیٹا سیٹ
- dealt,en
- دہائی
- delves
- شعبہ
- تفصیلی
- ڈویلپرز
- مشکل
- do
- نہیں کرتا
- کیا
- نہیں
- آسان
- آسانی سے
- آسان
- تعلیم
- ای میل
- ای میل
- کوشش کریں
- ختم
- بہت بڑا
- کافی
- کو یقینی بنانے کے
- چوری
- بھی
- ہر کوئی
- مثال کے طور پر
- توسیع
- ماہرین
- بیان کرتا ہے
- ظاہر
- عوامل
- چند
- کے لئے
- فاؤنڈیشن
- چار
- مفت
- سے
- پیدا
- پیدا کرنے والے
- پیداواری
- پیداواری AI۔
- دی
- جاتا ہے
- حکومت
- گروپ کا
- بڑھائیں
- تھا
- نفرت
- ہے
- امید ہے کہ
- افق
- کس طرح
- HTTPS
- انسانی
- انسان
- تصاویر
- اثرات
- in
- سمیت
- غلط
- اضافہ
- صنعت
- معلومات
- ابتدائی
- آدانوں
- انسٹی ٹیوٹ
- ضم
- انٹیگریٹٹس
- انضمام کرنا
- انٹیلی جنس
- ارادہ
- دلچسپی
- میں
- متعارف کرانے
- مسئلہ
- IT
- میں
- رکھیں
- علم
- زبان
- بڑے
- آخری
- آخری سال
- قیادت
- سیکھتا ہے
- جائز
- کی طرح
- ایل ایل ایم
- اہم
- بنا
- بناتا ہے
- بدقسمتی سے
- میلویئر
- جوڑ توڑ
- بہت سے
- ماس
- بڑے پیمانے پر
- طبی
- ذکر
- کم سے کم
- تخفیف
- ماڈل
- ماڈل
- اعتدال پسند
- کی نگرانی
- زیادہ
- سب سے زیادہ
- چڑھکر
- قومی
- نیسٹ
- کا کہنا
- نوٹس
- نوسکھئیے
- اب
- of
- on
- ایک بار
- ایک
- صرف
- کھول
- اوپرا
- کام
- or
- نتائج
- پر
- زمین کے اوپر
- خود
- لوگ
- کارکردگی
- منصوبہ
- پلاٹا
- افلاطون ڈیٹا انٹیلی جنس
- پلیٹو ڈیٹا
- پوائنٹ
- وینکتتا
- پولیسی ساز
- مقبول
- مقبولیت
- ممکنہ
- پیشن گوئی
- تیار
- کی رازداری
- تیار
- ٹیچر
- منصوبوں
- اشارہ کرتا ہے
- فراہم کرتا ہے
- شائع
- مقاصد
- سوال
- اٹھایا
- بلکہ
- پڑھیں
- واقعی
- حال ہی میں
- انحصار کرتا ہے
- رپورٹ
- کی ضرورت
- محققین
- جوابات
- انکشاف
- مضبوط
- اسی
- کا کہنا ہے کہ
- کا کہنا ہے کہ
- پیمانے
- محفوظ بنانے
- محفوظ
- سیکورٹی
- خود ڈرائیونگ
- بھیجنے
- حساس
- سیٹ
- وہ
- بعد
- حل
- ذرائع
- سپیم سے
- تقریر
- معیار
- شروع کریں
- شروع
- راستے پر لانا
- بند کرو
- مطالعہ
- اس طرح
- سطح
- کے نظام
- سسٹمز
- بات کر
- تشہیر
- ٹیم
- ٹیک
- ٹیکنالوجی
- متن
- سے
- کہ
- ۔
- ان
- ان
- خود
- تو
- وہاں.
- یہ
- وہ
- چیزیں
- ان
- ہزاروں
- وقت
- کرنے کے لئے
- آج کا
- مل کر
- بھی
- کے آلے
- روایتی
- ٹریننگ
- ٹرینوں
- اقسام
- بنیادی
- انڈرپننگ
- افہام و تفہیم
- اپ ڈیٹ کریں
- استعمال کی شرائط
- استعمال کیا جاتا ہے
- مفید
- رکن کا
- صارفین
- عام طور پر
- تصدیق کریں۔
- اقدار
- مختلف اقسام کے
- بہت
- خطرے کا سامنا
- قابل اطلاق
- we
- ویب
- خیر مقدم کیا
- کیا
- جس
- جبکہ
- ڈبلیو
- گے
- ساتھ
- کام
- کام کر
- گا
- سال
- تم
- اور
- زیفیرنیٹ