مائیکروسافٹ نے Azure AI میں دفاع کو بڑھاوا دیا۔

مائیکروسافٹ نے Azure AI سٹوڈیو میں کئی نئی صلاحیتوں کا اعلان کیا جس کے بارے میں کمپنی کا کہنا ہے کہ ڈویلپرز کو جنریٹیو AI ایپس بنانے میں مدد کرنی چاہیے جو کہ خراب ماڈل کی ہیرا پھیری اور دیگر ابھرتے ہوئے خطرات کے خلاف زیادہ قابل اعتماد اور لچکدار ہوں۔

29 مارچ کی ایک بلاگ پوسٹ میں، مائیکروسافٹ کی ذمہ دار اے آئی کی چیف پروڈکٹ آفیسر، سارہ برڈ نے دھمکی آمیز اداکاروں کے استعمال کے بارے میں بڑھتے ہوئے خدشات کی طرف اشارہ کیا۔ فوری انجکشن حملے نئے ٹولز کے لیے بنیادی ڈرائیونگ عنصر کے طور پر AI سسٹمز کو خطرناک اور غیر متوقع طریقوں سے برتاؤ کرنے کے لیے۔

"تنظیمیں بھی ہیں۔ معیار اور وشوسنییتا کے بارے میں فکر مند ہے" پرندے نے کہا. "وہ اس بات کو یقینی بنانا چاہتے ہیں کہ ان کے AI سسٹم غلطیاں پیدا نہیں کر رہے ہیں یا ایسی معلومات شامل نہیں کر رہے ہیں جو ایپلی کیشن کے ڈیٹا کے ذرائع میں ثابت نہیں ہیں، جو صارف کے اعتماد کو ختم کر سکتے ہیں۔"

Azure AI اسٹوڈیو ایک میزبان پلیٹ فارم ہے جسے تنظیمیں اپنی مرضی کے مطابق AI اسسٹنٹس، copilots، بوٹس، سرچ ٹولز اور دیگر ایپلی کیشنز بنانے کے لیے استعمال کر سکتی ہیں، جو ان کے اپنے ڈیٹا میں ہیں۔ نومبر 2023 میں اعلان کیا گیا، پلیٹ فارم مائیکروسافٹ کے مشین لرننگ ماڈلز کی میزبانی کرتا ہے اور OpenAI سمیت کئی دوسرے ذرائع سے ماڈلز بھی۔ میٹا، گلے لگانے والا چہرہ اور Nvidia۔ یہ ڈویلپرز کو اپنے ماڈلز میں ملٹی موڈل صلاحیتوں اور ذمہ دار AI خصوصیات کو تیزی سے ضم کرنے کی اجازت دیتا ہے۔

دیگر بڑے کھلاڑی جیسے Amazon اور Google نے دنیا بھر میں AI ٹیکنالوجیز میں بڑھتی ہوئی دلچسپی کو حاصل کرنے کے لیے گزشتہ ایک سال کے دوران اسی طرح کی پیش کشوں کے ساتھ مارکیٹ کا رخ کیا ہے۔ ایک حالیہ IBM-کمشنڈ مطالعہ پایا گیا ہے کہ 42٪ تنظیمیں 1,000 سے زیادہ ملازمین پہلے ہی کسی نہ کسی انداز میں AI کو فعال طور پر استعمال کر رہے ہیں جن میں سے بہت سے اگلے چند سالوں میں ٹیکنالوجی میں سرمایہ کاری کو بڑھانے اور تیز کرنے کا ارادہ کر رہے ہیں۔ اور ان سب میں سے نہیں۔ یہ بتا رہے تھے پہلے سے ان کے AI استعمال کے بارے میں۔

پرامپٹ انجینئرنگ کے خلاف تحفظ

پانچ نئی صلاحیتیں جو مائیکروسافٹ نے Azure AI اسٹوڈیو میں شامل کی ہیں — یا جلد ہی شامل کریں گی — یہ ہیں: پرامپٹ شیلڈز؛ زمینی پن کا پتہ لگانا؛ حفاظتی نظام کے پیغامات؛ حفاظت کی تشخیص؛ اور خطرے اور حفاظت کی نگرانی۔ ان خصوصیات کو کچھ اہم چیلنجوں سے نمٹنے کے لیے ڈیزائن کیا گیا ہے جن کا محققین نے حال ہی میں انکشاف کیا ہے — اور معمول کی بنیاد پر — بڑے لینگویج ماڈلز اور جنریٹیو AI ٹولز کے استعمال کے حوالے سے انکشاف کرنا جاری رکھے ہوئے ہیں۔

فوری شیلڈز مثال کے طور پر مائیکروسافٹ کا تخفیف ہے جسے بالواسطہ فوری حملوں اور جیل بریک کے نام سے جانا جاتا ہے۔ یہ خصوصیت Azure AI اسٹوڈیو میں جیل بریک کے خطرے کے خلاف موجودہ تخفیف پر مبنی ہے۔ میں فوری انجینئرنگ حملے، مخالف ایسے اشارے استعمال کرتے ہیں جو نقصان دہ اور ناپسندیدہ ردعمل پیدا کرنے کے لیے AI ماڈل کو آزمانے اور چلانے کے لیے بے ضرر دکھائی دیتے ہیں اور ظاہری طور پر نقصان دہ نہیں ہوتے۔ پرامپٹ انجینئرنگ حملوں کے بڑھتے ہوئے طبقے میں سب سے زیادہ خطرناک ہے جو کوشش کرتے ہیں۔ جیل بریک AI ماڈلز یا ان سے اس انداز میں برتاؤ کرنے پر آمادہ کریں جو کسی بھی فلٹرز اور رکاوٹوں سے مطابقت نہ رکھتا ہو جو ڈویلپرز نے ان میں بنایا ہو۔  

محققین نے حال ہی میں دکھایا ہے کہ کس طرح مخالف AI ماڈلز حاصل کرنے کے لیے فوری انجینئرنگ حملوں میں ملوث ہو سکتے ہیں۔ ان کی تربیت کا ڈیٹا پھیلائیں۔ذاتی معلومات کو پھیلانے کے لیے، غلط معلومات پیدا کریں اور ممکنہ طور پر نقصان دہ مواد، جیسے کہ گاڑی کو گرم کرنے کے طریقے سے متعلق ہدایات۔

پرامپٹ شیلڈز کے ساتھ ڈویلپرز اپنے ماڈلز میں ان صلاحیتوں کو ضم کر سکتے ہیں جو درست اور ممکنہ طور پر ناقابل اعتماد سسٹم ان پٹ کے درمیان فرق کرنے میں مدد کرتی ہیں۔ ان پٹ ٹیکسٹ کے آغاز اور اختتام کو نشان زد کرنے اور ان پٹ ٹیکسٹس کو نشان زد کرنے کے لیے ڈیٹا مارکنگ کا استعمال کرنے کے لیے حد بندی سیٹ کریں۔ Prompt Shields فی الحال Azure AI Content Safety میں پیش نظارہ موڈ میں دستیاب ہے اور Microsoft کے مطابق جلد ہی عام طور پر دستیاب ہو جائے گی۔

ماڈل ہیلوسینیشنز اور نقصان دہ مواد کے لیے تخفیف

زمینی پن کا پتہ لگانے کے ساتھ، اسی دوران، مائیکروسافٹ نے Azure AI اسٹوڈیو میں ایک خصوصیت شامل کی ہے جس کے بارے میں کہا گیا ہے کہ ڈویلپرز کو ان کے AI ماڈلز کے "ہیلوسینٹنگ" کے خطرے کو کم کرنے میں مدد مل سکتی ہے۔ ماڈل ہیلوسینیشن AI ماڈلز کی طرف سے ایسے نتائج پیدا کرنے کا رجحان ہے جو قابل فہم معلوم ہوتے ہیں لیکن مکمل طور پر بنائے گئے ہیں اور تربیتی ڈیٹا پر مبنی — یا بنیاد نہیں ہیں۔ LLM فریب کاری بہت زیادہ پریشانی کا باعث ہو سکتی ہے اگر کوئی تنظیم آؤٹ پٹ کو حقائق کے طور پر لے اور کسی طرح اس پر عمل کرے۔ مثال کے طور پر سافٹ ویئر ڈویلپمنٹ ماحول میں، LLM فریب کاری کے نتیجے میں ڈویلپرز ممکنہ طور پر اپنی ایپلی کیشنز میں کمزور کوڈ متعارف کروا سکتے ہیں۔

Azure AI اسٹوڈیو کا نیا زمینی پن کا پتہ لگانا صلاحیت بنیادی طور پر - زیادہ قابل اعتماد اور بڑے پیمانے پر - ممکنہ طور پر بے بنیاد جنریٹو AI آؤٹ پٹ کا پتہ لگانے میں مدد کرنے کے بارے میں ہے۔ مقصد یہ ہے کہ ڈویلپرز کو ماڈل کو پروڈکٹ میں تعینات کرنے سے پہلے اپنے AI ماڈلز کو جانچنے کا ایک طریقہ فراہم کیا جائے جسے مائیکروسافٹ گراؤنڈ نیس میٹرکس کہتا ہے۔ یہ خصوصیت LLM آؤٹ پٹس میں ممکنہ طور پر بے بنیاد بیانات کو بھی نمایاں کرتی ہے، تاکہ صارفین اسے استعمال کرنے سے پہلے آؤٹ پٹ کو حقیقت میں چیک کرنا جانتے ہوں۔ مائیکروسافٹ کے مطابق، زمینی پن کا پتہ لگانے ابھی دستیاب نہیں ہے، لیکن مستقبل قریب میں دستیاب ہونا چاہئے.

نیا سسٹم میسج فریم ورک ڈویلپرز کو اپنے ماڈل کی صلاحیتوں، اس کی پروفائل اور ان کے مخصوص ماحول میں حدود کو واضح طور پر بیان کرنے کا ایک طریقہ پیش کرتا ہے۔ ڈویلپرز آؤٹ پٹ کے فارمیٹ کی وضاحت کرنے اور مطلوبہ رویے کی مثالیں فراہم کرنے کی صلاحیت کا استعمال کر سکتے ہیں، لہذا صارفین کے لیے مطلوبہ رویے سے انحراف کا پتہ لگانا آسان ہو جاتا ہے۔ یہ ایک اور نئی خصوصیت ہے جو ابھی دستیاب نہیں ہے لیکن جلد ہی ہونی چاہیے۔

Azure AI اسٹوڈیو کا نیا اعلان حفاظت کی تشخیص صلاحیت اور اس کی خطرے اور حفاظت کی نگرانی فیچر دونوں فی الحال پیش نظارہ حالت میں دستیاب ہیں۔ تنظیمیں اپنے LLM ماڈل کی جیل بریک حملوں اور غیر متوقع مواد تیار کرنے کے خطرے کا اندازہ لگانے کے لیے سابقہ ​​کو استعمال کر سکتی ہیں۔ خطرے اور حفاظت کی نگرانی کی صلاحیت ڈویلپرز کو ایسے ماڈل ان پٹس کا پتہ لگانے کی اجازت دیتی ہے جو پریشانی کا شکار ہیں اور ممکنہ طور پر فریب یا غیر متوقع مواد کو متحرک کرسکتے ہیں، تاکہ وہ اس کے خلاف تخفیف کو نافذ کرسکیں۔

مائیکروسافٹ کے برڈ نے کہا کہ "جنریٹو AI ہر محکمے، کمپنی اور صنعت کے لیے ایک طاقت کا ضخامت ثابت ہو سکتا ہے۔" "ایک ہی وقت میں، فاؤنڈیشن ماڈل سیکورٹی اور حفاظت کے لیے نئے چیلنجز متعارف کراتے ہیں جن کے لیے نئے تخفیف اور مسلسل سیکھنے کی ضرورت ہوتی ہے۔"

• SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
• پلیٹو ڈیٹا ڈاٹ نیٹ ورک ورٹیکل جنریٹو اے آئی۔ اپنے آپ کو بااختیار بنائیں۔ یہاں تک رسائی حاصل کریں۔
• پلیٹوآئ اسٹریم۔ ویب 3 انٹیلی جنس۔ علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
• پلیٹو ای ایس جی۔ کاربن، کلین ٹیک، توانائی ، ماحولیات، شمسی، ویسٹ مینجمنٹ یہاں تک رسائی حاصل کریں۔
• پلیٹو ہیلتھ۔ بائیوٹیک اینڈ کلینیکل ٹرائلز انٹیلی جنس۔ یہاں تک رسائی حاصل کریں۔
• ماخذ: https://www.darkreading.com/application-security/microsoft-adds-tools-for-protecting-against-prompt-injection-other-threats-in-azure-ai