اگر فکر میکردید مشکل امنیت زنجیره تامین نرمافزار امروز به اندازه کافی دشوار است، دست و پنجه نرم کنید. رشد انفجاری در استفاده از هوش مصنوعی (AI) در حال تبدیل شدن به مشکلات زنجیره تامین در سالهای آینده است.
توسعهدهندگان، متخصصان امنیت برنامهها و متخصصان DevSecOps فراخوانده شدهاند تا بالاترین خطراتی را که در کمین ترکیبهای بیپایان منبع باز و مؤلفههای اختصاصی است که در برنامههای کاربردی و زیرساختهای ابری آنها بافته شده است، برطرف کنند. اما این یک نبرد دائمی است که تلاش میکنیم حتی بفهمیم کدام مؤلفهها دارند، کدام یک آسیبپذیر هستند، و کدام نقص بیشتر آنها را در معرض خطر قرار میدهد. واضح است که آنها در حال تلاش برای مدیریت عاقلانه این وابستگی ها در نرم افزار خود هستند.
چیزی که قرار است سخت تر شود، اثر چند برابری است که هوش مصنوعی به وضعیت اضافه می کند.
مدلهای هوش مصنوعی به عنوان کد خوداجرا
ابزارهای فعالشده با هوش مصنوعی و یادگیری ماشین (ML) نرمافزاری مانند هر نوع برنامه دیگری هستند – و کد آنها به همان اندازه احتمال دارد که از ناامنیهای زنجیره تامین رنج ببرند. با این حال، آنها متغیر دارایی دیگری را به ترکیب اضافه می کنند که سطح حمله زنجیره تامین نرم افزار هوش مصنوعی را به شدت افزایش می دهد: مدل های AI/ML.
داریان دهقان پیشه، یکی از بنیانگذاران Protect AI توضیح می دهد: «آنچه برنامه های کاربردی هوش مصنوعی را از هر نوع نرم افزار دیگری جدا می کند این است که به نوعی به چیزی به نام مدل یادگیری ماشینی تکیه می کنند. "در نتیجه، خود آن مدل یادگیری ماشینی اکنون یک دارایی در زیرساخت شما است. وقتی دارایی در زیرساخت خود دارید، به توانایی اسکن محیط خود نیاز دارید، شناسایی کنید که کجا هستند، حاوی چه چیزی هستند، چه کسی مجوز دارد و چه کاری انجام می دهد. و اگر امروز نمیتوانید این کار را با مدلها انجام دهید، نمیتوانید آنها را مدیریت کنید.»
مدلهای AI/ML پایه و اساس توانایی سیستم هوش مصنوعی در تشخیص الگوها، پیشبینی، تصمیمگیری، انجام اقدامات یا ایجاد محتوا را فراهم میکنند. اما حقیقت این است که بسیاری از سازمانها حتی نمیدانند چگونه میتوانند همه مدلهای هوش مصنوعی تعبیهشده در نرمافزارشان را بهدست آورند. مدلها و زیرساختهای اطراف آنها متفاوت از سایر اجزای نرمافزار ساخته شدهاند، و ابزارهای امنیتی و نرمافزاری سنتی برای اسکن یا درک نحوه عملکرد مدلهای هوش مصنوعی یا نقص آنها ساخته نشدهاند. دهقان پیشه می گوید که این چیزی است که آنها را منحصر به فرد می کند و توضیح می دهد که آنها اساساً قطعات پنهانی از کدهای خوداجرا هستند.
«مدل، بر اساس طراحی، یک قطعه کد است که خود اجرا می شود. دهقان پیشه میگوید: این یک مقدار نمایندگی دارد. «اگر به شما بگویم که داراییهایی در سرتاسر زیرساخت خود دارید که نمیتوانید آنها را ببینید، نمیتوانید شناسایی کنید، نمیدانید حاوی چه چیزهایی هستند، نمیدانید کد چیست، و آنها خودشان اجرا میشوند. و تماس های خارجی داشته باشید، که به طرز مشکوکی مانند ویروس مجوز به نظر می رسد، اینطور نیست؟
مشاهدهگر اولیه ناامنیهای هوش مصنوعی
پیشی گرفتن از این موضوع، انگیزه بزرگی بود که او و همبنیانگذارانش، Protect AI را در سال 2022 راهاندازی کردند، که یکی از انبوهی از شرکتهای جدید است که برای رسیدگی به مسائل مربوط به امنیت مدل و نسل دادهها در عصر هوش مصنوعی ظاهر میشوند. دهقان پیشه و یکی از بنیانگذاران، یان سوانسون، زمانی که قبلاً با هم در ساخت راهحلهای AI/ML در AWS کار میکردند، نمایی از آینده را دیدند. دهقان پیشه رهبر جهانی معماران راه حل AI/ML بوده است.
او میگوید: «در طول زمانی که با هم در AWS گذراندیم، مشتریانی را دیدیم که سیستمهای AI/ML را با سرعتی فوقالعاده سریع میسازند، مدتها قبل از اینکه هوش مصنوعی مولد قلب و ذهن همه را از C-suite گرفته تا کنگره را تسخیر کند.» او با طیف وسیعی از مهندسان و کارشناسان توسعه تجارت و همچنین به طور گسترده با مشتریان کار کرد. در آن زمان بود که متوجه شدیم آسیبپذیریهای امنیتی منحصر به فرد سیستمهای AI/ML چگونه و کجا هستند.
او می گوید که آنها سه چیز اساسی در مورد هوش مصنوعی/ML مشاهده کردند که پیامدهای باورنکردنی برای آینده امنیت سایبری داشت. اولین مورد این بود که سرعت پذیرش آنقدر سریع بود که آنها از نزدیک دیدند که نهادهای IT سایه با چه سرعتی در اطراف توسعه هوش مصنوعی و استفاده تجاری ظاهر میشوند که از نوع حاکمیتی که بر هر نوع توسعه دیگری در شرکت نظارت میکند فرار میکند.
مورد دوم این بود که اکثر ابزارهایی که مورد استفاده قرار میگرفتند - چه تجاری و چه منبع باز - توسط دانشمندان داده و مهندسان ML جدید ساخته شده بودند که هرگز در مفاهیم امنیتی آموزش ندیده بودند.
او میگوید: «در نتیجه، شما ابزارهای واقعاً مفید، بسیار محبوب، بسیار توزیعشده و بهطور گستردهای در اختیار داشتید که با یک طرز فکر امنیتی ساخته نشده بودند.
سیستمهای هوش مصنوعی «اول امنیت» ساخته نشدهاند
او توضیح میدهد که در نتیجه، بسیاری از سیستمهای AI/ML و ابزارهای مشترک فاقد اصول اولیه در احراز هویت و مجوز هستند و اغلب به خواندن و نوشتن بیش از حد در سیستمهای فایل دسترسی دارند. همراه با پیکربندی های شبکه ناامن و سپس آن مشکلات ذاتی در مدل ها، سازمان ها شروع به گرفتار شدن در مسائل امنیتی آبشاری در این سیستم های بسیار پیچیده و دشوار می کنند.
او میگوید: «این باعث شد متوجه شویم که ابزارها، فرآیندها، چارچوبهای امنیتی موجود - مهم نیست که چقدر به سمت چپ رفتید، زمینهای را که مهندسان یادگیری ماشین، دانشمندان داده و سازندگان هوش مصنوعی به آن نیاز دارند را از دست دادند.
در نهایت، سومین مشاهدۀ مهمی که او و سوانسون در آن روزهای AWS انجام دادند این بود که نقضهای هوش مصنوعی در راه نبودند. آنها قبلاً آمده بودند.
او میگوید: «ما دیدیم که مشتریان در انواع سیستمهای AI/ML نفوذهایی داشتند که باید دستگیر میشدند، اما نشد. «آنچه به ما گفت این است که مجموعه و فرآیندها، و همچنین عناصر مدیریت واکنش به حادثه، برای روشی که AI/ML طراحی شده است، ساخته نشده اند. با شتاب گرفتن هوش مصنوعی مولد، این مشکل بسیار بدتر شده است."
مدل های هوش مصنوعی به طور گسترده به اشتراک گذاشته می شوند
دهقان پیشه و سوانسون همچنین متوجه شدند که چگونه مدلها و دادههای آموزشی در حال ایجاد یک زنجیره تامین جدید هوش مصنوعی جدید هستند که باید به اندازه سایر زنجیرههای تامین نرمافزار جدی گرفته شود. درست مانند بقیه توسعه نرمافزارهای مدرن و نوآوریهای بومی ابری، دانشمندان داده و کارشناسان هوش مصنوعی با استفاده گسترده از منبع باز و اجزای مشترک - از جمله مدلهای هوش مصنوعی و دادههای مورد استفاده برای آموزش آنها، به پیشرفتها در سیستمهای AI/ML دامن زدهاند. بسیاری از سیستمهای هوش مصنوعی، چه دانشگاهی و چه تجاری، با استفاده از مدل شخص دیگری ساخته میشوند. و مانند بقیه توسعههای مدرن، انفجار در توسعه هوش مصنوعی باعث میشود هجوم روزانه عظیمی از داراییهای مدل جدید در زنجیره تامین افزایش یابد، که به این معنی است که پیگیری آنها همچنان سختتر میشود.
برای مثال، صورت در آغوش گرفتن را در نظر بگیرید. امروزه این یکی از پرکاربردترین مخازن مدل های AI منبع باز آنلاین است – بنیانگذاران آن می گویند که می خواهند GitHub هوش مصنوعی باشند. در نوامبر 2022، کاربران Hugging Face 93,501 مدل مختلف را با جامعه به اشتراک گذاشته بودند. نوامبر بعد، 414,695 مدل منفجر شد. اکنون، تنها سه ماه بعد، این تعداد به 527,244 افزایش یافته است. این موضوعی است که دامنه آن روز به روز در حال افزایش است. دهقان پیشه می گوید و قرار است مشکل امنیتی زنجیره تامین نرم افزار را «روی استروئیدها» قرار دهد.
A تجزیه و تحلیل اخیر توسط شرکت او هزاران مدلی که آشکارا در Hugging Face به اشتراک گذاشته میشوند، پیدا کرده است که میتوانند کد دلخواه را در بارگذاری یا استنتاج مدل اجرا کنند. در حالی که Hugging Face برخی از اسکنهای اساسی مخزن خود را برای مسائل امنیتی انجام میدهد، بسیاری از مدلها در طول مسیر نادیده گرفته میشوند - حداقل نیمی از مدلهای بسیار پرخطر کشفشده در این تحقیق توسط پلتفرم ناامن تلقی نمیشوند، و Hugging Face این را در مستندات روشن میکند. که تعیین ایمنی یک مدل در نهایت به عهده کاربران آن است.
مراحل مقابله با زنجیره تامین هوش مصنوعی
دهقان پیشه معتقد است که محور امنیت سایبری در عصر هوش مصنوعی ابتدا با ایجاد درک ساختاریافته از نسل هوش مصنوعی آغاز خواهد شد. این شامل اصل و نسب مدل و اصل داده است که اساساً منشاء و تاریخچه این دارایی ها، نحوه تغییر آنها و ابرداده های مرتبط با آنها هستند.
این اولین جایی برای شروع است. شما نمی توانید آنچه را که نمی توانید ببینید و آنچه را که نمی توانید بدانید و نمی توانید تعریف کنید درست کنید، درست است؟ او می گوید.
در همین حال، دهقان پیشه معتقد است که در سطح عملیاتی روزانه، سازمانها باید قابلیتهایی را برای اسکن مدلهای خود ایجاد کنند و به دنبال نقصهایی باشند که میتواند نه تنها بر سخت شدن سیستم، بلکه بر یکپارچگی خروجی آن تأثیر بگذارد. این شامل مسائلی مانند سوگیری هوش مصنوعی و نقص است که میتواند باعث آسیب فیزیکی در دنیای واقعی، مثلاً تصادف یک خودروی خودران با عابر پیاده شود.
او می گوید: «اولین چیز این است که باید اسکن کنید. نکته دوم این است که باید آن اسکن ها را درک کنید. و سوم این است که وقتی چیزی دارید که پرچم گذاری شده است، اساساً باید از فعال شدن آن مدل جلوگیری کنید. باید نمایندگی آن را محدود کنید.»
فشار برای MLSecOps
MLSecOps یک جنبش خنثی فروشنده است که منعکس کننده جنبش DevSecOps در دنیای نرم افزار سنتی است.
مشابه حرکت از DevOps به DevSecOps، شما باید دو کار را همزمان انجام دهید. دهقان پیشه می گوید: اولین کاری که باید انجام دهید این است که تمرین کنندگان را آگاه کنید که امنیت یک چالش است و یک مسئولیت مشترک است. دومین کاری که باید انجام دهید این است که زمینه ایجاد کنید و امنیت را در ابزارهایی قرار دهید که دانشمندان داده، مهندسان یادگیری ماشین، [و] سازندگان هوش مصنوعی را در لبههای پرخطر نگه میدارند و دائماً نوآوری میکنند، اما اجازه میدهد نگرانیهای امنیتی در پسزمینه ناپدید شوند. "
علاوه بر این، او میگوید که سازمانها باید شروع به اضافه کردن سیاستهای حاکمیت، ریسک، و انطباق و قابلیتهای اجرایی و رویههای واکنش به حوادث کنند که به کنترل اقدامات و فرآیندهایی که هنگام کشف ناامنی انجام میشوند کمک میکند. همانند یک اکوسیستم DevSecOps، این بدان معناست که MLSecOps به مشارکت قوی سهامداران کسب و کار تا نردبان اجرایی نیاز دارد.
خبر خوب این است که امنیت AI/ML از یک چیز سود می برد که هیچ نوآوری سریع فناوری دیگری به درستی از گیت برخوردار نبوده است - یعنی دستورات نظارتی مستقیماً خارج از دروازه.
دهقان پیشه می گوید: «به هر انتقال فناوری دیگری فکر کنید. یک بار نام ببرید که یک تنظیمکننده فدرال یا حتی تنظیمکنندههای ایالتی این را در اوایل گفتهاند، وای، اوه، اوه، شما باید همه چیز را به من بگویید. شما باید دانش آن سیستم را در اولویت قرار دهید. شما باید یک لایحه مواد را اولویت بندی کنید. هیچ وجود ندارد.»
این به این معنی است که بسیاری از رهبران امنیتی احتمال بیشتری برای ایجاد قابلیتهای امنیتی هوش مصنوعی در چرخه عمر نوآوری دارند. یکی از بارزترین نشانه های این حمایت، تغییر سریع برای حمایت از کارکردهای شغلی جدید در سازمان ها است.
"بزرگترین تفاوتی که ذهنیت نظارتی روی میز آورده است این است که در ژانویه 2023، مفهوم مدیر امنیت هوش مصنوعی جدید بود و وجود نداشت. دهقان پیشه میگوید، اما در خرداد ماه، شما شروع به دیدن آن نقشها کردید. "اکنون آنها همه جا هستند - و بودجه آنها تامین می شود."
- محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
- PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
- PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
- PlatoESG. کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
- PlatoHealth. هوش بیوتکنولوژی و آزمایشات بالینی. دسترسی به اینجا.
- منبع: https://www.darkreading.com/cyber-risk/do-you-know-where-your-ai-models-are-tonight
- : دارد
- :است
- :نه
- :جایی که
- ][پ
- $UP
- 10
- 2022
- 2023
- 501
- 7
- a
- توانایی
- درباره ما
- دانشگاهی
- دسترسی
- در میان
- اقدامات
- فعال کردن
- اضافه کردن
- اضافه کردن
- اضافه
- نشانی
- به تصویب رسید
- اتخاذ
- پیشرفت
- نمایندگی
- پیش
- AI
- مدل های هوش مصنوعی
- سیستم های هوش مصنوعی
- AI / ML
- معرفی
- اجازه دادن
- در امتداد
- قبلا
- همچنین
- مقدار
- an
- و
- دیگر
- هر
- کاربرد
- امنیت نرم افزار
- برنامه های کاربردی
- دلخواه
- معماری شده است
- معماران
- هستند
- دور و بر
- وارد
- مصنوعی
- هوش مصنوعی
- هوش مصنوعی (AI)
- AS
- دارایی
- دارایی
- مرتبط است
- At
- حمله
- تصدیق
- مجوز
- خود مختار
- مطلع
- AWS
- به عقب
- زمینه
- اساسی
- مبانی
- نبرد
- BE
- شدن
- بوده
- قبل از
- پشت سر
- بودن
- معتقد است که
- سودمند است
- تعصب
- بزرگ
- بزرگترین
- لایحه
- خون ریزی
- گرفتار
- نقض
- آورده
- سگک
- ساختن
- سازندگان
- بنا
- ساخته
- کسب و کار
- توسعه تجاری
- اما
- by
- C- مجموعه
- نام
- تماس ها
- CAN
- قابلیت های
- اسیر
- ماشین
- گرفتار
- علت
- معین
- زنجیر
- به چالش
- تغییر
- واضح
- به وضوح
- ابر
- زیرساخت های ابری
- بنیانگذاران
- بنیانگذاران
- رمز
- ترکیب
- بیا
- آینده
- تجاری
- انجمن
- پیچیده
- انطباق
- اجزاء
- مفهوم
- مفاهیم
- نگرانی ها
- کنگره
- در نظر گرفته
- ثابت
- به طور مداوم
- شامل
- محتوا
- زمینه
- میتوانست
- همراه
- سقوط
- ایجاد
- ایجاد
- مشتریان
- امنیت سایبری
- چرخه
- روزانه
- داده ها
- روز
- روز
- تصمیم گیری
- تلقی می شود
- تعريف كردن
- وابستگی
- طرح
- تعیین
- پروژه
- نشد
- تفاوت
- مختلف
- متفاوت است
- مشکل
- مدیر
- ناپدید می شوند
- کشف
- توزیع شده
- do
- مستندات
- میکند
- ندارد
- دان
- پایین
- رانندگی
- در طی
- پیش از آن
- در اوایل
- اکوسیستم
- لبه
- اثر
- عناصر
- دیگر
- جاسازی شده
- بی پایان
- اجرای
- مورد تأیید
- کافی
- سرمایه گذاری
- اشخاص
- محیط
- عصر
- اساسا
- حتی
- هر
- هر کس
- همه چیز
- در همه جا
- مثال
- اجرا کردن
- اجرایی
- وجود داشته باشد
- موجود
- منبسط
- کارشناسان
- توضیح دادن
- توضیح می دهد
- انفجار
- نمایی
- گسترده
- چهره
- روش
- FAST
- فدرال
- پرونده
- شرکت
- شرکت ها
- نام خانوادگی
- دست اول
- رفع
- پرچم گذاری شده
- ناقص
- معایب
- پیروی
- برای
- فرم
- یافت
- پایه
- بنیانگذاران
- چارچوب
- از جانب
- سوخت
- توابع
- بودجه
- آینده
- به دست آوردن
- دروازه
- مولد
- هوش مصنوعی مولد
- دریافت کنید
- گرفتن
- GitHub
- دادن
- نظر اجمالی
- جهانی
- رفتن
- خوب
- کردم
- حکومت می کند
- حکومت
- اعطا کردن
- تا حد زیادی
- رشد
- بود
- نیم
- سخت تر
- صدمه
- آیا
- he
- کمک
- پنهان
- بالاترین
- خیلی
- او را
- خود را
- تاریخ
- چگونه
- چگونه
- اما
- HTTPS
- بزرگ
- i
- شناسایی
- if
- تأثیر
- پیامدهای
- in
- حادثه
- پاسخ حادثه
- شامل
- از جمله
- افزایش
- باور نکردنی
- بطور باور نکردنی
- هجوم
- شالوده
- ذاتی
- نوآوری
- ابداع
- ناامن
- تمامیت
- اطلاعات
- به
- درگیری
- نیست
- موضوع
- مسائل
- IT
- ITS
- خود
- ژانویه
- کار
- JPG
- ژوئن
- تنها
- نگاه داشتن
- نگهداری
- نگه می دارد
- نوع
- دانستن
- دانش
- عدم
- نردبان
- بعد
- راه اندازی
- رهبر
- رهبران
- یادگیری
- کمترین
- ترک کرد
- سطح
- زندگی
- پسندیدن
- احتمالا
- اصل و نسب
- بار
- طولانی
- به دنبال
- نزدیک
- خیلی
- دستگاه
- فراگیری ماشین
- ساخته
- عمده
- اکثریت
- ساخت
- باعث می شود
- مدیریت
- مدیریت
- ماموریت ها
- بسیاری
- مصالح
- ماده
- me
- به معنی
- متاداده
- ذهن
- ذهنیت
- از دست رفته
- گم
- مخلوط
- ML
- مدل
- مدل
- مدرن
- حرکت
- ماه
- بیش
- اکثر
- حرکت
- جنبش
- بسیار
- نام
- از جمله
- هدایت
- نیاز
- شبکه
- هرگز
- جدید
- شرکت های جدید
- اخبار
- نه
- رمان
- نوامبر
- اکنون
- عدد
- مشاهده
- واضح
- of
- غالبا
- on
- یک بار
- ONE
- آنهایی که
- آنلاین
- فقط
- باز کن
- منبع باز
- بی پرده
- قابل استفاده
- or
- سازمان های
- منشاء
- دیگر
- خارج
- تولید
- خارج از
- روی
- نظارت
- سرعت
- الگوهای
- اجازه
- مجوز
- فیزیکی
- برگزیده
- قطعه
- قطعات
- محل
- سکو
- افلاطون
- هوش داده افلاطون
- PlatoData
- سیاست
- محبوب
- پیش بینی
- قبلا
- اولویت بندی
- مشکل
- مشکلات
- روش
- فرآیندهای
- حرفه ای
- اختصاصی
- مثبت
- محافظت از
- ارائه
- فشار
- قرار دادن
- به سرعت
- محدوده
- سریع
- RE
- خواندن
- دنیای واقعی
- تحقق بخشیدن
- متوجه
- واقعا
- شناختن
- تنظیم کننده
- رگولاتور
- تنظیم کننده
- تکیه
- مخزن
- تحقیق
- پاسخ
- مسئوليت
- REST
- محدود کردن
- نتیجه
- راست
- خطر
- مدل های خطر
- نقش
- s
- ایمنی
- سعید
- همان
- دید
- گفتن
- می گوید:
- اسکن
- پویش
- اسکن
- دانشمندان
- حوزه
- دوم
- تیم امنیت لاتاری
- دیدن
- مشاهده
- به نظر می رسد
- به طور جدی
- تنظیم
- سایه
- به اشتراک گذاشته شده
- تغییر
- باید
- نشانه ها
- مشابه
- وضعیت
- So
- نرم افزار
- اجزای نرم افزار
- توسعه نرم افزار
- زنجیره تامین نرم افزار
- جامد
- راه حل
- مزایا
- برخی از
- کسی
- چیزی
- برای تلفن های موبایل
- منبع
- صرف
- حامی
- حمایت مالی
- سهامداران
- می ایستد
- شروع
- آغاز شده
- دولت
- مراحل
- توقف
- قوی
- ساخت یافته
- تلاش
- عرضه
- زنجیره تامین
- پشتیبانی
- سطح
- مشکوک
- سیستم
- سیستم های
- جدول
- مقابله با
- گرفتن
- پیشرفته
- نوآوری فناوری
- گفتن
- نسبت به
- که
- La
- مبانی
- آینده
- شان
- آنها
- سپس
- آنجا.
- اینها
- آنها
- چیز
- اشیاء
- فکر می کنم
- سوم
- این
- کسانی که
- فکر
- هزاران نفر
- سه
- از طریق
- زمان
- به
- امروز
- با هم
- گفته شده
- هم
- ابزار
- مسیر
- سنتی
- قطار
- آموزش دیده
- آموزش
- انتقال
- ماشه
- حقیقت
- تلاش
- دو
- در نهایت
- فهمیدن
- درک
- منحصر به فرد
- us
- استفاده کنید
- استفاده
- مفید
- کاربران
- با استفاده از
- متغیر
- تنوع
- Ve
- بسیار
- ویروس
- دید
- آسیب پذیری ها
- آسیب پذیر
- می خواهم
- بود
- مسیر..
- we
- خوب
- رفت
- بود
- بودند
- چی
- چه زمانی
- چه
- که
- در حین
- WHO
- که
- به طور گسترده ای
- اراده
- با
- مهاجرت کاری
- مشغول به کار
- جهان
- بدتر
- خواهد بود
- نوشتن
- سال
- شما
- شما
- زفیرنت