Boffins have managed to pry open closed AI services from OpenAI and Google with an attack that recovers an otherwise hidden portion of transformer models.
The attack partially illuminates a particular type of so-called “black box” model, revealing the embedding projection layer of a transformer model through API queries. The cost to do so ranges from a few dollars to several thousand, depending upon the size of the model being attacked and the number of queries.
No less than 13 computer scientists from Google DeepMind, ETH Zurich, University of Washington, OpenAI, and McGill University have penned ایک کاغذ describing the attack, which builds upon a model extraction attack technique مجوزہ 2016.
“For under $20 USD, our attack extracts the entire projection matrix of OpenAI’s ada and babbage language models,” the researchers state in their paper. “We thereby confirm, for the first time, that these black-box models have a hidden dimension of 1024 and 2048, respectively. We also recover the exact hidden dimension size of the gpt-3.5-turbo model, and estimate it would cost under $2,000 in queries to recover the entire projection matrix.”
The researchers have disclosed their findings to OpenAI and Google, both of which are said to have implemented defenses to mitigate the attack. They chose not to publish the size of two OpenAI gpt-3.5-turbo models, which are still in use. The ada and babbage models are both deprecated, so disclosing their respective sizes was deemed harmless.
While the attack does not completely expose a model, the researchers say that it can reveal the model’s final weight matrix – or its width, which is often related to the parameter count – and provides information about the model’s capabilities that could inform further probing. They explain that being able to obtain any parameters from a production model is surprising and undesirable, because the attack technique may be extensible to recover even more information.
“If you have the weights, then you just have the full model,” explained Edouard Harris, CTO at Gladstone AI, in an email to رجسٹر. “What Google [et al.] did was reconstruct some parameters of the full model by querying it, like a user would. They were showing that you can reconstruct important aspects of the model without having access to the weights at all.”
Access to enough information about a proprietary model might allow someone to replicate it – a scenario that Gladstone AI considered in ایک رپورٹ commissioned by the US Department of State titled “Defense in Depth: An Action Plan to Increase the Safety and Security of Advanced AI”.
رپورٹ کل جاری, provides analysis and recommendations for how the government should harness AI and guard against the ways in which it poses a potential threat to national security.
One of the recommendations of the report is “that the US government urgently explore approaches to restrict the open-access release or sale of advanced AI models above key thresholds of capability or total training compute.” That includes “[enacting] adequate security measures to protect critical IP including model weights.”
Asked about the Gladstone report’s recommendations in light of Google’s findings, Harris relied, “Basically, in order to execute attacks like these, you need – at least for now – to execute queries in patterns that may be detectable by the company that’s serving the model, which is OpenAI in the case of GPT-4. We recommend tracking high level usage patterns, which should be done in a privacy-preserving way, in order to identify attempts to reconstruct model parameters using these approaches.”
“Of course this kind of first-pass defense might become impractical as well, and we may need to develop more sophisticated countermeasures (e.g., slightly randomizing which models serve which responses at any given time, or other approaches). We don’t get into that level of detail in the plan itself however.” ®
- SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
- پلیٹو ڈیٹا ڈاٹ نیٹ ورک ورٹیکل جنریٹو اے آئی۔ اپنے آپ کو بااختیار بنائیں۔ یہاں تک رسائی حاصل کریں۔
- پلیٹوآئ اسٹریم۔ ویب 3 انٹیلی جنس۔ علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
- پلیٹو ای ایس جی۔ کاربن، کلین ٹیک، توانائی ، ماحولیات، شمسی، ویسٹ مینجمنٹ یہاں تک رسائی حاصل کریں۔
- پلیٹو ہیلتھ۔ بائیوٹیک اینڈ کلینیکل ٹرائلز انٹیلی جنس۔ یہاں تک رسائی حاصل کریں۔
- ماخذ: https://go.theregister.com/feed/www.theregister.com/2024/03/13/researchers_pry_open_closed_models/
- : ہے
- : نہیں
- 000
- 13
- 2016
- 7
- a
- قابلیت
- ہمارے بارے میں
- اوپر
- تک رسائی حاصل
- عمل
- ایڈا
- مناسب
- اعلی درجے کی
- کے خلاف
- AI
- اے آئی ماڈلز
- AI خدمات
- AL
- تمام
- کی اجازت
- بھی
- an
- تجزیہ
- اور
- کوئی بھی
- اے پی آئی
- نقطہ نظر
- کیا
- AS
- پہلوؤں
- At
- حملہ
- حملے
- کوششیں
- babbage
- بنیادی طور پر
- BE
- کیونکہ
- بن
- کیا جا رہا ہے
- سیاہ
- دونوں
- باکس
- بناتا ہے
- by
- کر سکتے ہیں
- صلاحیتوں
- صلاحیت
- کیس
- کا انتخاب کیا
- بند
- CO
- کمپنی کے
- مکمل طور پر
- کمپیوٹنگ
- کمپیوٹر
- کی توثیق
- سمجھا
- قیمت
- سکتا ہے
- شمار
- کورس
- اہم
- CTO
- سمجھا
- Deepmind
- دفاع
- دفاع
- شعبہ
- منحصر ہے
- خراب ہے
- گہرائی
- بیان
- تفصیل
- ترقی
- DID
- طول و عرض
- انکشاف کرنا
- do
- کرتا
- ڈالر
- ڈان
- کیا
- e
- ای اینڈ ٹی
- ای میل
- سرایت کرنا
- کافی
- پوری
- تخمینہ
- ETH
- بھی
- ٹھیک ہے
- عملدرآمد
- وضاحت
- وضاحت کی
- تلاش
- نکالنے
- نچوڑ۔
- چند
- فائنل
- نتائج
- پہلا
- پہلی بار
- کے لئے
- سے
- مکمل
- مزید
- حاصل
- دی
- گوگل
- حکومت
- گارڈ
- کنٹرول
- ہے
- ہونے
- پوشیدہ
- ہائی
- کس طرح
- تاہم
- HTML
- HTTPS
- شناخت
- if
- عملدرآمد
- اہم
- ناقابل عمل
- in
- شامل ہیں
- سمیت
- اضافہ
- مطلع
- معلومات
- میں
- IP
- IT
- میں
- خود
- جمی
- فوٹو
- صرف
- کلیدی
- بچے
- زبان
- پرت
- کم سے کم
- کم
- سطح
- روشنی
- کی طرح
- میں کامیاب
- میٹرکس
- مئی..
- اقدامات
- شاید
- تخفیف کریں
- ماڈل
- ماڈل
- زیادہ
- قومی
- قومی سلامتی
- ضرورت ہے
- اب
- تعداد
- حاصل
- of
- اکثر
- کھول
- اوپنائی
- or
- حکم
- دیگر
- دوسری صورت میں
- ہمارے
- کاغذ.
- پیرامیٹر
- پیرامیٹرز
- خاص طور پر
- پیٹرن
- منصوبہ
- پلاٹا
- افلاطون ڈیٹا انٹیلی جنس
- پلیٹو ڈیٹا
- حصہ
- متصور ہوتا ہے
- ممکنہ
- پیداوار
- پروجیکشن
- ملکیت
- حفاظت
- فراہم کرتا ہے
- شائع
- سوالات
- حدود
- سفارش
- سفارشات
- بازیافت
- بازیافت
- متعلقہ
- جاری
- رپورٹ
- محققین
- متعلقہ
- بالترتیب
- جوابات
- محدود
- ظاہر
- انکشاف
- s
- سیفٹی
- سیفٹی اور سیکورٹی
- کہا
- فروخت
- کا کہنا ہے کہ
- منظر نامے
- سائنسدانوں
- سیکورٹی
- حفاظتی اقدامات
- خدمت
- سروسز
- خدمت
- کئی
- ہونا چاہئے
- ظاہر
- سائز
- سائز
- So
- کچھ
- کسی
- بہتر
- حالت
- ابھی تک
- حیرت انگیز
- تکنیک
- سے
- کہ
- ۔
- ان
- تو
- اس طرح
- یہ
- وہ
- اس
- ہزار
- خطرہ
- کے ذریعے
- وقت
- عنوان
- کرنے کے لئے
- کل
- ٹریکنگ
- ٹریننگ
- ٹرانسفارمر
- دو
- قسم
- کے تحت
- یونیورسٹی
- صلی اللہ علیہ وسلم
- us
- امریکی محکمہ خارجہ
- امریکی حکومت
- استعمال
- امریکی ڈالر
- استعمال کی شرائط
- رکن کا
- کا استعمال کرتے ہوئے
- تھا
- واشنگٹن
- راستہ..
- طریقوں
- we
- اچھا ہے
- تھے
- کیا
- جس
- چوڑائی
- ساتھ
- بغیر
- گا
- تم
- زیفیرنیٹ
- زیورخ