ویژگی در حالی که برای درک، ساخت و ارسال محصولات هوش مصنوعی عجله دارند، از توسعه دهندگان و دانشمندان داده خواسته می شود که مراقب امنیت باشند و قربانی حملات زنجیره تامین نشوند.
مدل ها، کتابخانه ها، الگوریتم ها، ابزارهای از پیش ساخته شده و بسته های بی شماری برای بازی وجود دارد و پیشرفت بی وقفه است. خروجی این سیستم ها شاید داستان دیگری باشد، هرچند غیرقابل انکار است که همیشه چیز جدیدی برای بازی کردن وجود دارد، حداقل.
به این همه هیجان، هیاهو، کنجکاوی و ترس از دست دادن اهمیت ندهید، امنیت را نمی توان فراموش کرد. اگر این یک شوک برای شما نیست، فوق العاده است. اما یک یادآوری در اینجا مفید است، به ویژه از آنجایی که فناوری یادگیری ماشینی تمایل دارد حداقل در مرحله توسعه توسط دانشمندان به جای مهندسان جمع آوری شود، و در حالی که این افراد راه خود را در مورد مسائلی مانند معماری شبکه های عصبی، کوانتیزاسیون و بعدی می دانند. تکنیک های آموزشی ژن، infosec قابل درک ممکن است نقطه قوت آنها نباشد.
جمع کردن یک پروژه هوش مصنوعی با ساخت هر نرم افزار دیگری تفاوت چندانی ندارد. شما معمولاً کتابخانه ها، بسته ها، داده های آموزشی، مدل ها و کد منبع سفارشی را برای انجام وظایف استنتاج به هم می چسبانید. مؤلفههای کد موجود از مخازن عمومی میتوانند حاوی درهای پشتی مخفی یا حذفکنندههای داده باشند، و مدلهای از پیش ساخته شده و مجموعه دادهها میتوانند مسموم شوند و باعث شوند برنامهها به طور غیرمنتظرهای رفتار نامناسب داشته باشند.
در واقع، برخی از مدل ها می توانند حاوی بدافزار باشند اجرا شده اگر محتویات آنها به طور ایمن از سریال خارج نشده باشد. امنیت افزونه های ChatGPT نیز دارد بیا زیر بررسی دقیق
به عبارت دیگر، حملات زنجیره تامین که در دنیای توسعه نرمافزار دیدهایم میتوانند در سرزمین هوش مصنوعی رخ دهند. بستههای بد میتوانند ایستگاههای کاری توسعهدهندگان را در معرض خطر قرار دهند و منجر به نفوذ آسیبرسان به شبکههای شرکتی شوند، و دستکاری مدلها و مجموعه دادههای آموزشی میتواند باعث شود برنامهها به اشتباه چیزها را طبقهبندی کنند، کاربران را آزار دهند و غیره. کتابخانهها و مدلهای پشتیبان یا دارای بدافزار، اگر در نرمافزار ارسالشده گنجانده شوند، میتوانند کاربران آن برنامهها را نیز در معرض حمله قرار دهند.
آنها یک مسئله ریاضی جالب را حل می کنند و سپس آن را مستقر می کنند و تمام. این قلم تست نشده است، هیچ تیمی قرمز هوش مصنوعی وجود ندارد
در پاسخ، استارت آپ های امنیت سایبری و هوش مصنوعی به طور خاص برای مقابله با این تهدید ظهور می کنند. بدون شک بازیکنان معتبر نیز به آن توجه دارند، یا ما امیدواریم. پروژه های یادگیری ماشینی باید ممیزی و بازرسی شوند، از نظر امنیت آزمایش شوند و از نظر ایمنی ارزیابی شوند.
«[AI] از دانشگاه خارج شده است. تام بونر، معاون پژوهشی HiddenLayer، یکی از پروژههای تحقیقاتی در دانشگاه یا پروژههای کوچک توسعه نرمافزاری بوده است که عمدتاً توسط دانشگاهیان یا شرکتهای بزرگ منحل شدهاند، و امنیت درون آنها وجود ندارد. چنین استارت آپ متمرکز بر امنیت، گفت ثبت نام.
آنها یک مسئله ریاضی جالب را با استفاده از نرم افزار حل می کنند و سپس آن را مستقر می کنند و تمام. این قلم تست نشده است، هیچ تیمی قرمز هوش مصنوعی، ارزیابی ریسک، یا چرخه عمر توسعه ایمن وجود ندارد. به طور ناگهانی هوش مصنوعی و یادگیری ماشینی واقعاً رشد کرده است و همه به دنبال ورود به آن هستند. همه آنها میروند و همه بستههای نرمافزاری رایج را که از دانشگاه رشد کردهاند، انتخاب میکنند و ببینید، آنها پر از آسیبپذیری هستند، پر از حفرهها.»
زنجیره تامین هوش مصنوعی دارای نقاط ورودی متعددی برای مجرمان است که می توانند از مواردی مانند استفاده کنند جعلی استدلال میشود که برای فریب توسعهدهندگان به استفاده از کپیهای مخرب کتابخانههای قانونی، که به کلاهبرداران اجازه میدهد دادههای حساس و اعتبار شرکتها را بدزدند، سرورهایی را که کد را اجرا میکنند، ربودند و موارد دیگر. دفاع های زنجیره تامین نرم افزار باید برای توسعه سیستم های یادگیری ماشینی نیز اعمال شود.
دن مکاینرنی، محقق ارشد امنیت هوش مصنوعی در Protect AI، گفت: «اگر به نمودار دایرهای فکر میکنید که چگونه پس از باز کردن یک بخش هوش مصنوعی در شرکت یا سازمان خود، هک خواهید شد. ثبت نامبخش کوچکی از این پای، حملات ورودی مدل خواهد بود، چیزی که همه درباره آن صحبت میکنند. و بخش بزرگی قرار است به زنجیره تامین حمله کند - ابزارهایی که برای ساختن خود مدل استفاده می کنید.
بودن حملات ورودی راه های جالب که افراد می توانند با استفاده از آن نرم افزار هوش مصنوعی را بشکنند.
برای نشان دادن خطر احتمالی، هفته دیگر HiddenLayer را انجام دهید برجسته چیزی که قویاً معتقد است یک مشکل امنیتی با یک سرویس آنلاین ارائه شده توسط Hugging Face است که مدلها را در قالب ناامن Pickle به مدلهای ایمنتر تبدیل میکند. محافظ های ایمنی، همچنین توسط Hugging Face توسعه یافته است.
مدلهای Pickle میتوانند حاوی بدافزار و سایر کدهای دلخواه باشند که میتوانند بهصورت بیصدا و غیرمنتظره در صورت عدم سریال اجرا شوند، که عالی نیست. Safetensors بهعنوان یک جایگزین امنتر ایجاد شد: مدلهایی که از آن قالب استفاده میکنند، نباید در نهایت کدهای تعبیهشده را اجرا کنند. برای کسانی که نمیدانند، Hugging Face میزبان صدها هزار مدل شبکه عصبی، مجموعه دادهها و بیتهایی از کد است که توسعهدهندگان میتوانند تنها با چند کلیک یا دستور دانلود کرده و از آن استفاده کنند.
مبدل Safetensors بر روی زیرساخت Hugging Face اجرا میشود و میتوان به او دستور داد که یک مدل PyTorch Pickle میزبانی شده توسط Hugging Face را به یک نسخه در قالب Safetensors تبدیل کند. اما طبق گفته HiddenLayer، این فرآیند تبدیل آنلاین خود در برابر اجرای کد دلخواه آسیب پذیر است.
محققان HiddenLayer گفتند که آنها دریافتهاند که میتوانند یک درخواست تبدیل برای یک مدل مخرب Pickle حاوی کد دلخواه ارسال کنند، و در طول فرآیند تبدیل، این کد بر روی سیستمهای Hugging Face اجرا میشود و به کسی اجازه میدهد تا با ربات مبدل و کاربرانش درگیر شود. اگر کاربر یک مدل مخرب را تبدیل کند، توکن Hugging Face او میتواند توسط کد مخفی استخراج شود و «ما در واقع میتوانیم توکن Hugging Face او را بدزدیم، مخزن آنها را به خطر بیندازیم، و تمام مخازن خصوصی، مجموعه دادهها و مدلهای آن کاربر را مشاهده کنیم. HiddenLayer استدلال کرد.
علاوه بر این، به ما گفته میشود که اعتبار ربات مبدل میتواند توسط کد مخفیشده در مدل Pickle قابل دسترسی و لو رفتن باشد، که به کسی اجازه میدهد تا به عنوان ربات ظاهر شود و درخواستهای کشش را برای تغییرات در مخازن دیگر باز کند. این تغییرات در صورت پذیرش میتوانند محتوای مخرب را معرفی کنند. ما از Hugging Face برای پاسخ به یافته های HiddenLayer خواسته ایم.
HiddenLayer's Bonner به ما گفت: «از قضا، سرویس تبدیل برای تبدیل به Safetensors خودش به طرز وحشتناکی ناامن بود. "با توجه به سطح دسترسی ربات تبدیل به مخازن، در واقع امکان سرقت رمزی که آنها برای ارسال تغییرات از طریق مخازن دیگر استفاده می کنند، وجود داشت.
بنابراین در تئوری، یک مهاجم میتوانست هر تغییری را در هر مخزن ارسال کند و به نظر برسد که از Hugging Face آمده است، و یک بهروزرسانی امنیتی میتواند آنها را فریب دهد تا آن را بپذیرند. مردم فقط مدلهای درب پشتی یا مدلهای ناامن را در مخازن خود داشتند و نمیدانستند.»
این چیزی بیش از یک تهدید نظری است: Devops فروشگاه JFrog است گفت پیدا شد کد مخرب پنهان شده در 100 مدل میزبانی شده در Hugging Face.
در حقیقت، روشهای مختلفی برای مخفی کردن بارهای مضر کد در مدلها وجود دارد که - بسته به فرمت فایل - هنگام بارگیری و تجزیه شبکههای عصبی اجرا میشوند و به افراد بدخواه اجازه دسترسی به ماشینهای افراد را میدهند. JFrog خاطرنشان کرد: مدلهای PyTorch و Tensorflow Keras "بالاترین خطر بالقوه اجرای کدهای مخرب را دارند، زیرا آنها انواع مدلهای محبوب با تکنیکهای اجرای کد شناخته شدهای هستند که منتشر شدهاند."
توصیه های ناامن
Bonner هشدار داد که برنامه نویسانی که از دستیارهای پیشنهاد کد برای توسعه برنامه ها استفاده می کنند نیز باید مراقب باشند، در غیر این صورت ممکن است کد ناامن را وارد کنند. به عنوان مثال، GitHub Copilot بر روی مخازن منبع باز آموزش دیده است و حداقل 350,000 مورد از آنها به طور بالقوه در معرض آسیب پذیری هستند. مشکل امنیتی قدیمی شامل پایتون و آرشیو تار.
پایتون tarfile همانطور که از نام آن پیداست، ماژول به برنامه ها کمک می کند تا آرشیوهای tar را باز کنند. می توان یک tar . به گونه ای ایجاد کرد که وقتی یک فایل در بایگانی توسط ماژول پایتون استخراج می شود، سعی می کند یک فایل دلخواه را روی سیستم فایل کاربر بازنویسی کند. این می تواند برای حذف تنظیمات، جایگزینی اسکریپت ها و ایجاد شرارت های دیگر مورد سوء استفاده قرار گیرد.
این نقص در سال 2007 مشاهده شد و برجسته مجدداً در سال 2022، مردم را ترغیب کرد که برای جلوگیری از این سوءاستفاده، پروژهها را اصلاح کنند. بونر ابراز تاسف کرد، این به روز رسانی های امنیتی ممکن است به مجموعه داده های مورد استفاده برای آموزش مدل های زبان بزرگ برای برنامه نویسی راه پیدا نکرده باشند. بنابراین اگر از یک LLM بخواهید همین الان برود و یک فایل tar را باز کند، احتمالاً کد آسیبپذیر [قدیمی] را به شما بازمیگرداند.»
Bonner از جامعه هوش مصنوعی خواست تا اجرای شیوههای امنیتی زنجیره تامین را آغاز کنند، مانند الزام توسعهدهندگان بهطور دیجیتالی ثابت کنند که در هنگام ایجاد تغییرات در مخازن کد عمومی، کسانی هستند که میگویند هستند، که به مردم اطمینان میدهد که نسخههای جدیدی از چیزها توسط توسعهدهندگان قانونی تولید شدهاند. و تغییرات مخربی نبودند. این امر مستلزم آن است که توسعهدهندگان هر چیزی را که برای احراز هویت استفاده میکنند ایمن کنند تا شخص دیگری نتواند خود را به عنوان آنها بپوشاند.
و همه توسعهدهندگان، بزرگ و کوچک، باید ارزیابیهای امنیتی را انجام دهند و ابزارهایی را که استفاده میکنند بررسی کنند و نرمافزار خود را قبل از استقرار قلم آزمایش کنند.
تلاش برای تقویت امنیت در زنجیره تامین هوش مصنوعی دشوار است و با توجه به ساخت و عرضهی ابزارها و مدلهای بسیار، ادامه دادن به آن دشوار است.
مک اینرنی از هوش مصنوعی محافظت کرد، تاکید کرد: «این وضعیتی است که ما در حال حاضر در آن هستیم. میوه های کم آویزان زیادی در همه جا وجود دارد. فقط نیروی انسانی کافی برای بررسی همه چیز وجود ندارد زیرا همه چیز به سرعت در حال حرکت است.» ®
- محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
- PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
- PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
- PlatoESG. کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
- PlatoHealth. هوش بیوتکنولوژی و آزمایشات بالینی. دسترسی به اینجا.
- منبع: https://go.theregister.com/feed/www.theregister.com/2024/03/17/ai_supply_chain/
- : دارد
- :است
- :نه
- $UP
- 000
- 100
- 2022
- 350
- 7
- a
- درباره ما
- آکادمی
- دانشگاهیان
- پذیرفته
- پذیرش
- دسترسی
- قابل دسترسی است
- مطابق
- واقعا
- اضافه
- از نو
- AI
- الگوریتم
- معرفی
- اجازه دادن
- همچنین
- جایگزین
- همیشه
- an
- و
- دیگر
- هر
- برنامه های کاربردی
- اعمال می شود
- برنامه های
- دلخواه
- معماری
- بایگانی
- بایگانی
- هستند
- استدلال کرد
- دور و بر
- AS
- پرسیدن
- ارزیابی ها
- دستیاران
- At
- حمله
- مهاجم
- هجوم بردن
- حمله
- کوشش
- حسابرسی
- تصدیق کردن
- در دسترس
- اجتناب از
- به عقب
- پشتيباني
- بد
- BE
- زیرا
- گوشت گاو
- بوده
- قبل از
- پشت سر
- بودن
- معتقد است که
- بزرگ
- بیت
- ربات
- شکستن
- ساختن
- ساخته
- اما
- by
- آمد
- CAN
- دقیق
- علت
- زنجیر
- تغییر دادن
- تبادل
- چارت سازمانی
- GPT چت
- طبقه بندی کنید
- نزدیک
- CO
- رمز
- مشترک
- انجمن
- شرکت
- شرکت
- اجزاء
- سازش
- در معرض خطر
- رفتار
- ساخت
- شامل
- محتوا
- محتویات
- تبدیل
- تبدیل
- مبدل
- کپی کنید
- شرکت
- میتوانست
- سادگی
- ایجاد شده
- مجوزها و اعتبارات
- جنایتکاران
- حس کنجکاوی
- سفارشی
- امنیت سایبری
- آسیب رساندن
- خطر
- داده ها
- مجموعه داده ها
- دفاع
- بخش
- بستگی دارد
- گسترش
- مستقر
- توسعه
- توسعه
- توسعه دهندگان
- پروژه
- سازندگان
- مختلف
- مشکل
- دیجیتالی
- دان
- شک
- دانلود
- در طی
- اثر
- دیگر
- جاسازی شده
- سنگ سنباده
- پایان
- مورد تأیید
- کافی
- ورود
- به خصوص
- تاسیس
- ارزیابی
- هر کس
- هر کس
- همه چیز
- مثال
- هیجان
- اجرا شده
- اجرا کردن
- اعدام
- وجود دارد
- بهره برداری
- سوء استفاده قرار گیرد
- چشم
- چهره
- واقعیت
- سقوط
- خارق العاده
- FAST
- ترس
- کمی از
- پرونده
- یافته ها
- نقص
- برای
- فراموش
- قالب
- قوی
- یافت
- کسر
- از جانب
- کامل
- افزایش
- دریافت کنید
- غول
- GitHub
- داده
- Go
- رفتن
- بزرگ
- رشد کرد
- هک
- بود
- سیار
- مضر
- آیا
- کمک می کند
- اینجا کلیک نمایید
- پنهان
- پنهان شدن
- پنهان کردن
- بالاترین
- ربودن
- سوراخ
- امید
- میزبانی
- میزبان
- چگونه
- HTML
- HTTPS
- صدها نفر
- هیپ
- if
- نشان دادن
- اجرای
- in
- ادغام شده
- گنجاندن
- infosec
- شالوده
- ورودی
- ناامن
- داخل
- جالب
- به
- معرفی
- شامل
- طعنه آمیز
- نیست
- موضوع
- IT
- ITS
- خود
- JPG
- تنها
- نگاه داشتن
- کراس
- نوع
- دانستن
- شناخته شده
- برچسب
- زمین
- زبان
- بزرگ
- تا حد زیادی
- رهبری
- برجسته
- یادگیری
- کمترین
- ترک کردن
- Legit
- سطح
- کتابخانه ها
- wifecycwe
- پسندیدن
- ll
- LLM
- نگاه کنيد
- شبیه
- به دنبال
- خیلی
- دستگاه
- فراگیری ماشین
- ماشین آلات
- ساخته
- عمده
- ساخت
- مخرب
- نرم افزارهای مخرب
- بسیاری
- masquerade
- ریاضی
- ممکن است..
- ذهن
- گم
- مدل
- مدل
- ماژول ها
- بیش
- متحرک
- بسیار
- نام
- نیاز
- شبکه
- شبکه
- عصبی
- شبکه های عصبی
- شبکه های عصبی
- جدید
- نه
- اشاره کرد
- اکنون
- متعدد
- رخ می دهد
- of
- خاموش
- قدیمی
- on
- یک بار
- ONE
- آنلاین
- باز کن
- منبع باز
- or
- کدام سازمان ها
- دیگر
- در غیر این صورت
- خارج
- تولید
- روی
- بسته
- پچ کردن
- مردم
- انجام
- شاید
- فاز
- پس مانده
- قطعه
- محل
- افلاطون
- هوش داده افلاطون
- PlatoData
- بازی
- بازیکنان
- پلاگین ها
- نقطه
- محبوب
- بخشی
- در برخواهد داشت
- ممکن
- پتانسیل
- بالقوه
- شیوه های
- شکار
- خصوصی
- شاید
- مشکل
- روند
- ساخته
- محصولات
- برنامه
- برنامه ها
- پیشرفت
- پروژه
- پروژه ها
- محافظت از
- ثابت كردن
- ارائه
- عمومی
- منتشر شده
- قرار دادن
- پــایتــون
- مارماهی
- نسبتا
- RE
- واقعا
- اطمینان
- قرمز
- منتشر شد
- بی امان
- یادآور
- جایگزین کردن
- مخزن
- درخواست
- درخواست
- نیاز
- تحقیق
- پژوهشگر
- محققان
- پاسخ
- راست
- خطر
- در حال اجرا
- اجرا می شود
- هجوم بردن
- s
- با خیال راحت
- امن تر
- ایمنی
- سعید
- گفتن
- دانشمندان
- اسکریپت
- بررسی موشکافانه
- امن
- تیم امنیت لاتاری
- مشاهده گردید
- حساس
- سرور
- سرویس
- تنظیمات
- کشتی
- حمل
- فروشگاه
- باید
- پس از
- کوچک
- So
- نرم افزار
- توسعه نرم افزار
- حل
- برخی از
- کسی
- چیزی
- منبع
- کد منبع
- به طور خاص
- چرخید
- شروع
- شروع
- نوپا
- دولت
- داستان
- به شدت
- ارسال
- ارسال
- چنین
- ناگهانی
- حاکی از
- عرضه
- زنجیره تامین
- سیستم
- سیستم های
- برخورد با
- صورت گرفته
- مذاکرات
- وظایف
- فن آوری
- تکنیک
- تمایل دارد
- جریان تنسور
- آزمون
- آزمایش
- نسبت به
- که
- La
- دولت
- شان
- آنها
- خودشان
- سپس
- نظری
- نظریه
- آنجا.
- اینها
- آنها
- اشیاء
- فکر می کنم
- این
- کسانی که
- اگر چه؟
- هزاران نفر
- تهدید
- از طریق
- به
- با هم
- رمز
- گفته شده
- تام
- هم
- ابزار
- قطار
- آموزش دیده
- آموزش
- دگرگونی
- فوت و فن
- حقیقت
- انواع
- به طور معمول
- غیر قابل انکار
- فهمیدن
- قابل درک است
- دانشگاه
- بروزرسانی
- به روز رسانی
- درخواست کرد
- us
- استفاده کنید
- استفاده
- کاربر
- کاربران
- با استفاده از
- مختلف
- Ve
- نسخه
- چشم انداز
- vp
- آسیب پذیری ها
- آسیب پذیر
- هشدار داد
- بود
- مسیر..
- راه
- we
- هفته
- خوب
- بود
- چی
- هر چه
- چه زمانی
- که
- در حین
- WHO
- اراده
- با
- در داخل
- کلمات
- جهان
- خواهد بود
- نمی خواست
- شما
- شما
- زفیرنت