مدتها قبل از پایان سال 2023، این سال به عنوان سال هوش مصنوعی مولد نامگذاری شده بود. با ظهور مدلهایی مانند ChatGPT که پاسخهای دقیق و بینظیر انسانی به درخواستهای کاربر ایجاد میکرد، کارشناسان و تازهکاران به طور یکسان شروع به بررسی تأثیرات بالقوه این فناوری بر کار، تحصیل و خلاقیت کردند.
پروفسور آلینا اوپرا میگوید در حالی که مدلهای زبان بزرگ امروزی (LLM) به طرز خیرهکنندهای توانایی دارند، اما بهطور تکاندهندهای آسیبپذیر هستند. او بیش از یک دهه است که هوش مصنوعی را در زمینه امنیت سایبری مطالعه میکند و اخیراً گزارشی را به نگارش درآورده است که به بررسی این حملات علیه هوش مصنوعی میپردازد - چگونه کار میکنند، چگونه طبقهبندی میشوند، و چگونه میتوانند (و نمیتوانند) باشند. کاهش یافته است.
اپرا می گوید: «ایمن نگه داشتن هوش مصنوعی مولد واقعاً دشوار است. مقیاس این مدلها و دادههای آموزشی آنها در طول زمان افزایش مییابد، که فقط این حملات را آسانتر میکند. و هنگامی که شروع به صحبت در مورد هوش مصنوعی مولد می کنید که فراتر از متن به تصاویر و گفتار می رود، امنیت به یک سوال بسیار باز تبدیل می شود.
این گزارش که توسط مؤسسه ملی استاندارد و فناوری وزارت بازرگانی (NIST) منتشر شده است، بهروزرسانی گزارش Oprea است که سال گذشته با همکاری Apostol Vassilev از NIST تهیه شد. آن گزارش اولیه با هوش مصنوعی پیشبینیکننده سنتیتر سروکار داشت، اما با توجه به محبوبیت هوش مصنوعی مولد از آن زمان، اپرا و واسیلف از متخصصان هوش مصنوعی مولد علی فوردایس و هیروم اندرسون از Robust Intelligence استقبال کردند تا وظایف پروژه را گسترش دهند.
اوپرا خاطرنشان کرد: «اکنون ما دانشگاهیان، دولت و صنعت را داریم که با هم کار می کنند، که مخاطبان مورد نظر برای گزارش هستند.»
بر اساس این گزارش، مدلهای هوش مصنوعی مولد آسیبپذیری خود را مدیون عوامل مختلفی هستند. اولاً، Oprea خاطرنشان میکند که اکثر حملات «بهسادگی قابل نصب هستند و به حداقل دانش سیستم هوش مصنوعی نیاز دارند». برای دیگری، مجموعه دادههای آموزشی عظیم مدلها برای نظارت و اعتبارسنجی برای انسان بسیار بزرگ است. و کد زیربنای مدل ها خودکار نیست. متکی بر اعتدال انسان است و در معرض دخالت بدخواهانه انسان است.
چهار نوع از محققان می گویند که نتیجه چهار نوع حمله اصلی است که سیستم های هوش مصنوعی را گیج می کند و باعث اختلال در عملکرد آنها می شود: حملات فرار که ورودی های مدل را برای تغییر پاسخ های آن تغییر می دهند، حملات مسموم کننده ای که الگوریتم های اساسی مدل یا داده های آموزشی را خراب می کنند، حریم خصوصی. حملاتی که مدل را به افشای داده های آموزشی حساس مانند اطلاعات پزشکی ترغیب می کند و حملات سوء استفاده ای که اطلاعات نادرست را به منابع قانونی وارد می کند که مدل از آنها یاد می گیرد. با دستکاری ورودی های مدل، مهاجمان می توانند خروجی های آن را از قبل انتخاب کنند.
اوپرا توضیح میدهد: «این میتواند برای مقاصد تجاری، برای تبلیغات، برای ایجاد هرزنامه بدافزار یا سخنان مشوق نفرتانگیز استفاده شود – چیزهایی که مدل معمولاً تولید نمیکند.»
بازیگران مخرب میتوانند دادههای وب را که یک مدل هوش مصنوعی روی آن آموزش میدهد، کنترل کنند، یک درب پشتی معرفی کنند، و سپس رفتار مدل را مخفیانه از آنجا هدایت کنند. با توجه به محبوبیت انفجاری این مدل ها، چنین درب های پشتی به تنهایی نگران کننده هستند. اما آسیب به همین جا ختم نمی شود.
ما اکنون این برنامه های یکپارچه را داریم که از LLM استفاده می کنند. به عنوان مثال، یک شرکت یک نماینده ایمیل می سازد که با یک LLM در پس زمینه ادغام می شود و اکنون می تواند ایمیل های شما را بخواند و از طرف شما ایمیل ارسال کند. اما مهاجمان می توانند از همان ابزار برای ارسال بدافزار و هرزنامه به هزاران نفر استفاده کنند. سطح حمله افزایش یافته است زیرا ما در حال ادغام LLM در این برنامه ها هستیم.
به همان اندازه که سخنان نفرت انگیز و هرزنامه های انبوه مخرب و خطرناک هستند، نگرانی های امنیتی حتی بزرگتری در افق وجود دارد.
اوپرا میگوید: «برخی برنامهها مانند اتومبیلهای خودران از نظر ایمنی بسیار مهم هستند. اگر آن مدلها پیشبینیهای نادرستی داشته باشند، نمیتوان از آنها استفاده کرد.»
پس چه می توان کرد؟ این تیم گزارشی را که قصد دارند سالانه بهروزرسانی کنند، برای چند مخاطب - سیاستگذاران، توسعهدهندگان هوش مصنوعی و دانشگاهیان که میتوانند از طبقهبندی گزارش بهعنوان پایه یا زمینهای برای کار خود استفاده کنند، آماده کردند. اوپرا میگوید همه این گروهها برای اطمینان از همسویی مدلهای هوش مصنوعی با ارزشهای انسانی، حفظ حریم خصوصی و عملکرد به نفع کاربران، باید کاری انجام دهند. اما او اذعان میکند که پرداختن به هر موضوعی که در این گزارش مطرح میشود، چالش برانگیز است و هر کسی که به جای کاهش راهحلها دست به کار شود، سخت در اشتباه است.
اوپرا هشدار میدهد: «حملات بسیار بیشتر از کاهشدهندهها هستند، و برای هر کاهشی که ذکر میکنیم، یک معاوضه یا سربار عملکرد، از جمله کاهش دقت مدل وجود دارد». کاهشها رایگان نیستند و ایمنسازی هوش مصنوعی یک تلاش واقعا چالشبرانگیز است، اما امیدواریم که این گزارش نقطه شروع مفیدی برای درک حملات باشد.»
- محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
- PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
- PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
- PlatoESG. کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
- PlatoHealth. هوش بیوتکنولوژی و آزمایشات بالینی. دسترسی به اینجا.
- منبع: https://www.mtlc.co/in-the-age-of-chatgpt-ai-models-are-massively-popular-and-easily-compromised/
- : دارد
- :است
- 2023
- a
- درباره ما
- سو استفاده کردن
- دانشگاهیان
- دقت
- بازیگران
- خطاب به
- پیشرفت
- ظهور
- تبلیغات
- سن
- عامل
- AI
- مدل های هوش مصنوعی
- سیستم های هوش مصنوعی
- الگوریتم
- تراز
- به طور یکسان
- معرفی
- قبلا
- همچنین
- تغییر دادن
- an
- و
- اندرسون
- سالانه
- دیگر
- هر کس
- برنامه های کاربردی
- هستند
- AS
- حمله
- حمله
- حضار
- جلسات
- خودکار
- درپشتی
- پشتيباني
- زمینه
- BE
- زیرا
- شود
- بوده
- قبل از
- آغاز شد
- از طرف
- رفتار
- بهترین
- خارج از
- بزرگتر
- می سازد
- اما
- by
- CAN
- توانا
- اتومبیل
- علت
- هشدارها
- به چالش کشیدن
- تغییر دادن
- GPT چت
- را انتخاب کنید
- طبقه بندی
- رمز
- بیا
- تجاری
- شرکت
- در معرض خطر
- در باره
- نگرانی ها
- زمینه
- کنترل
- فاسد
- میتوانست
- شورا
- خلاقیت
- امنیت سایبری
- خسارت
- خطرناک
- داده ها
- مجموعه داده ها
- رسیدگی کرد
- دهه
- غوطه ور شدن
- بخش
- دقیق
- توسعه دهندگان
- مشکل
- do
- نمی کند
- انجام شده
- آیا
- آسان تر
- به آسانی
- ساده
- آموزش
- پست الکترونیک
- ایمیل
- تلاش کن
- به پایان رسید
- عظیم
- کافی
- اطمینان حاصل شود
- فرار از زندان
- حتی
- هر
- مثال
- گسترش
- کارشناسان
- توضیح می دهد
- قرار گرفتن در معرض
- عوامل
- کمی از
- برای
- پایه
- چهار
- رایگان
- از جانب
- تولید می کنند
- مولد
- مولد
- هوش مصنوعی مولد
- داده
- می رود
- دولت
- گروه ها
- شدن
- بود
- نفرت
- آیا
- امید
- افق
- چگونه
- HTTPS
- انسان
- انسان
- تصاویر
- اثرات
- in
- از جمله
- غلط
- افزایش
- صنعت
- اطلاعات
- اول
- ورودی
- موسسه
- یکپارچه
- ادغام
- ادغام
- اطلاعات
- مورد نظر
- علاقه
- به
- معرفی
- موضوع
- IT
- ITS
- نگاه داشتن
- دانش
- زبان
- بزرگ
- نام
- پارسال
- رهبری
- می آموزد
- قانونی
- پسندیدن
- LLM
- عمده
- ساخت
- باعث می شود
- مخرب
- نرم افزارهای مخرب
- دستکاری کردن
- بسیاری
- توده
- انبوه
- پزشکی
- ذکر
- حداقل
- کاهش
- مدل
- مدل
- اعتدال
- مانیتور
- بیش
- اکثر
- استقرار (mount)
- ملی
- نیست
- اشاره کرد
- یادداشت
- تازه کارها
- اکنون
- of
- on
- یک بار
- ONE
- فقط
- باز کن
- اپرا
- کار
- or
- خروجی
- روی
- در بالای سر
- خود
- مردم
- کارایی
- برنامه
- افلاطون
- هوش داده افلاطون
- PlatoData
- نقطه
- مسمومیت
- سیاستگذاران
- محبوب
- محبوبیت
- پتانسیل
- پیش بینی
- آماده شده
- خلوت
- ساخته
- معلم
- پروژه ها
- پرسیدن
- فراهم می کند
- منتشر شده
- اهداف
- سوال
- مطرح شده
- نسبتا
- خواندن
- واقعا
- تازه
- تکیه می کند
- گزارش
- نیاز
- محققان
- پاسخ
- آشکار
- تنومند
- همان
- گفتن
- می گوید:
- مقیاس
- امن
- امنیت
- تیم امنیت لاتاری
- خود رانندگی
- ارسال
- حساس
- مجموعه
- او
- پس از
- مزایا
- منابع
- اسپم
- سخنرانی - گفتار
- استانداردهای
- شروع
- راه افتادن
- هدایت کردن
- توقف
- در حال مطالعه
- چنین
- سطح
- سیستم
- سیستم های
- سخنگو
- طبقه بندی
- تیم
- فن آوری
- پیشرفته
- متن
- نسبت به
- که
- La
- شان
- آنها
- خودشان
- سپس
- آنجا.
- اینها
- آنها
- اشیاء
- کسانی که
- هزاران نفر
- زمان
- به
- امروز
- با هم
- هم
- ابزار
- سنتی
- آموزش
- قطار
- انواع
- اساسی
- زیرین
- درک
- بروزرسانی
- استفاده کنید
- استفاده
- مفید
- کاربر
- کاربران
- معمولا
- تصدیق
- ارزشها
- تنوع
- بسیار
- آسیب پذیری
- آسیب پذیر
- we
- وب
- استقبال
- چی
- که
- در حین
- WHO
- اراده
- با
- مهاجرت کاری
- کارگر
- خواهد بود
- سال
- شما
- شما
- زفیرنت