محققان جیمی OpenAI و مدل های بسته گوگل

Boffins با حمله ای که بخش دیگری از مدل های ترانسفورماتور را بازیابی می کند، خدمات هوش مصنوعی بسته را از OpenAI و Google بازیابی کرده است.

این حمله تا حدی نوع خاصی از مدل به اصطلاح "جعبه سیاه" را روشن می کند و لایه طرح ریزی تعبیه شده یک مدل ترانسفورماتور را از طریق پرس و جوهای API آشکار می کند. هزینه انجام این کار بسته به اندازه مدل مورد حمله و تعداد پرس و جوها از چند دلار تا چندین هزار متغیر است.

کمتر از 13 دانشمند کامپیوتر از Google DeepMind، ETH زوریخ، دانشگاه واشنگتن، OpenAI و دانشگاه مک گیل نوشته اند. یک کاغذ توصیف حمله، که بر اساس تکنیک حمله استخراج مدل ساخته شده است پیشنهاد شده در 2016.

محققان در مقاله خود می گویند: "با هزینه کمتر از 20 دلار، حمله ما کل ماتریس طرح ریزی مدل های زبان آدا و زبان بابیج OpenAI را استخراج می کند." بنابراین، ما برای اولین بار تأیید می کنیم که این مدل های جعبه سیاه دارای ابعاد پنهان به ترتیب 1024 و 2048 هستند. ما همچنین اندازه دقیق ابعاد پنهان مدل gpt-3.5-turbo را بازیابی می‌کنیم و تخمین می‌زنیم که برای بازیابی کل ماتریس پروجکشن، هزینه‌ای کمتر از 2,000 دلار خواهد داشت.

محققان یافته‌های خود را در اختیار OpenAI و Google قرار داده‌اند که گفته می‌شود هر دوی آنها برای کاهش حمله از دفاعی استفاده کرده‌اند. آنها تصمیم گرفتند اندازه دو مدل OpenAI gpt-3.5-turbo را که هنوز در حال استفاده هستند منتشر نکنند. مدل‌های ada و babbage هر دو منسوخ شده‌اند، بنابراین افشای اندازه‌های مربوطه آنها بی‌ضرر تلقی می‌شود.

در حالی که این حمله یک مدل را به طور کامل آشکار نمی کند، محققان می گویند که می تواند نهایی مدل را فاش کند ماتریس وزن - یا عرض آن، که اغلب به تعداد پارامترها مربوط می شود - و اطلاعاتی در مورد قابلیت های مدل ارائه می دهد که می تواند به بررسی بیشتر کمک کند. آنها توضیح می دهند که دستیابی به هر پارامتری از یک مدل تولیدی شگفت انگیز و نامطلوب است، زیرا تکنیک حمله ممکن است برای بازیابی اطلاعات بیشتر قابل گسترش باشد.

ادوارد هریس، CTO در Gladstone AI، در ایمیلی به ثبت نام. کاری که گوگل [و همکاران] انجام داد بازسازی برخی از پارامترهای مدل کامل با پرس و جو در آن بود، مانند یک کاربر. آنها نشان می دادند که شما می توانید جنبه های مهم مدل را بدون دسترسی به وزنه ها بازسازی کنید.

دسترسی به اطلاعات کافی در مورد یک مدل اختصاصی ممکن است به کسی اجازه دهد آن را تکرار کند - سناریویی که هوش مصنوعی گلادستون در آن در نظر گرفت. گزارش به سفارش وزارت امور خارجه ایالات متحده با عنوان "دفاع در عمق: یک برنامه اقدام برای افزایش ایمنی و امنیت هوش مصنوعی پیشرفته".

این گزارش، دیروز منتشر شد، تجزیه و تحلیل و توصیه هایی را برای نحوه استفاده دولت از هوش مصنوعی و محافظت در برابر راه هایی که از طریق آن تهدیدی بالقوه برای امنیت ملی است ارائه می دهد.

یکی از توصیه‌های این گزارش این است که «دولت ایالات متحده فوراً رویکردهایی را برای محدود کردن عرضه یا فروش مدل‌های پیشرفته هوش مصنوعی بالاتر از آستانه‌های کلیدی توانایی یا محاسبات آموزشی کامل بررسی کند». این شامل «[تصویب] اقدامات امنیتی کافی برای محافظت از IP حیاتی از جمله وزن مدل است».

هریس در پاسخ به سوالی درباره توصیه‌های گزارش گلادستون با توجه به یافته‌های گوگل، گفت: «اساساً برای اجرای حملاتی از این دست، حداقل فعلاً باید پرس‌وجوها را در الگوهایی اجرا کنید که ممکن است توسط شرکتی که مدل را ارائه می‌کند قابل شناسایی باشد. ، که در مورد GPT-4 OpenAI است. توصیه می‌کنیم الگوهای استفاده در سطح بالا را ردیابی کنید، که باید به روشی با حفظ حریم خصوصی انجام شود تا تلاش‌ها برای بازسازی پارامترهای مدل با استفاده از این رویکردها شناسایی شود."

"البته این نوع دفاع از اولین پاس ممکن است غیرعملی نیز باشد، و ما ممکن است نیاز به توسعه اقدامات متقابل پیچیده تری داشته باشیم (به عنوان مثال، کمی تصادفی کردن مدل هایی که در هر زمان معین به کدام پاسخ پاسخ می دهند، یا رویکردهای دیگر). با این حال، ما به این سطح از جزئیات در خود طرح وارد نمی‌شویم.» ®

• محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
• PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
• PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
• PlatoESG. کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
• PlatoHealth. هوش بیوتکنولوژی و آزمایشات بالینی. دسترسی به اینجا.
• منبع: https://go.theregister.com/feed/www.theregister.com/2024/03/13/researchers_pry_open_closed_models/