אם חשבתם שבעיית האבטחה של שרשרת האספקה של התוכנה הייתה קשה מספיק היום, התקדמו. הגידול הנפיץ בשימוש בבינה מלאכותית (AI) עומד להפוך את הבעיות הללו בשרשרת האספקה לקשות יותר באופן אקספוננציאלי לניווט בשנים הבאות.
מפתחים, מקצועני אבטחת יישומים ומקצועני DevSecOps נקראים לתקן את פגמי הסיכון הגבוהים ביותר שאורבים במה שנראה כמו השילובים האינסופיים של קוד פתוח ורכיבים קנייניים השזורים באפליקציות ובתשתית הענן שלהם. אבל זה קרב מתמיד שמנסה אפילו להבין אילו רכיבים יש להם, אילו פגיעים, ואילו פגמים מסכנים אותם ביותר. ברור שהם כבר נאבקים לנהל בצורה שפויה את התלות הללו בתוכנה שלהם כפי שהיא.
מה שהולך להיות קשה יותר הוא אפקט הכפיל ש-AI עשוי להוסיף למצב.
מודלים של AI כקוד לביצוע עצמי
כלים התומכים ב-AI ולמידת מכונה (ML) הם תוכנה בדיוק כמו כל סוג אחר של יישום - וסביר להניח שהקוד שלהם יסבול מחוסר ביטחון בשרשרת האספקה. עם זאת, הם מוסיפים משתנה נכס נוסף לתמהיל שמגדיל מאוד את משטח ההתקפה של שרשרת האספקה של תוכנת AI: דגמי AI/ML.
"מה שמפריד בין יישומי בינה מלאכותית מכל צורה אחרת של תוכנה הוא שהם מסתמכים בדרך כלשהי על דבר שנקרא מודל למידת מכונה", מסביר דריאן דהג'אנפישה, מייסד שותף של Protect AI. "כתוצאה מכך, מודל למידת המכונה עצמו הוא כעת נכס בתשתית שלך. כאשר יש לך נכס בתשתית שלך, אתה צריך את היכולת לסרוק את הסביבה שלך, לזהות היכן הם נמצאים, מה הם מכילים, למי יש הרשאות ומה הם עושים. ואם אתה לא יכול לעשות את זה עם דוגמניות היום, אתה לא יכול לנהל אותן".
מודלים של AI/ML מספקים את הבסיס ליכולת של מערכת AI לזהות דפוסים, לבצע תחזיות, לקבל החלטות, להפעיל פעולות או ליצור תוכן. אבל האמת היא שרוב הארגונים אפילו לא יודעים איך להתחיל להשיג נראות לכל דגמי ה-AI המוטמעים בתוכנה שלהם. מודלים והתשתית סביבם בנויים בצורה שונה ממרכיבי תוכנה אחרים, וכלי אבטחה ותוכנה מסורתיים אינם בנויים כדי לסרוק או להבין כיצד מודלים של AI עובדים או כיצד הם פגומים. זה מה שעושה אותם ייחודיים, אומר Dehghanpisheh, שמסביר שהם בעצם חלקים נסתרים של קוד לביצוע עצמי.
"מודל, בעיצובו, הוא פיסת קוד לביצוע עצמי. יש לזה מידה מסוימת של סוכנות", אומר דהגנפישה. "אם אמרתי לך שיש לך נכסים בכל התשתית שלך שאתה לא יכול לראות, אתה לא יכול לזהות, אתה לא יודע מה הם מכילים, אתה לא יודע מה הקוד, והם מבצעים את עצמם ולקיים שיחות חיצוניות, זה נשמע באופן חשוד כמו וירוס הרשאות, לא?"
צופה מוקדם של אי-ביטחון בינה מלאכותית
ההקדמה לנושא הזה הייתה הדחף הגדול שמאחוריו ומייסדיו שהשיקו את Protect AI בשנת 2022, שהיא אחת משלל החברות החדשות שצצו כדי לטפל בבעיות אבטחת מודל ושושלת נתונים המתרחשות בעידן ה-AI. Dehghanpisheh והמייסד השותף איאן סוונסון ראו הצצה לעתיד כאשר עבדו בעבר יחד בבניית פתרונות AI/ML ב-AWS. Dehghanpisheh היה המנהיג העולמי של ארכיטקטים של פתרונות AI/ML.
"במהלך הזמן שבילינו יחד ב-AWS, ראינו לקוחות בונים מערכות בינה מלאכותית/ML בקצב מהיר להפליא, הרבה לפני שה-AI הגנרטיבי כבש את הלב והמוח של כולם, מחבילת C ועד לקונגרס", הוא אומר, ומסביר כי הוא עבד עם מגוון מהנדסים ומומחי פיתוח עסקי, כמו גם רבות עם לקוחות. "אז הבנו איך ואיפה פגיעות האבטחה הייחודיות למערכות AI/ML."
הם הבחינו בשלושה דברים בסיסיים על AI/ML שהיו להם השלכות מדהימות על עתיד אבטחת הסייבר, הוא אומר. הראשון היה שקצב האימוץ היה כל כך מהיר שהם ראו ממקור ראשון באיזו מהירות צצו ישויות IT צל סביב פיתוח בינה מלאכותית ושימוש עסקי שנמלטו מהסוג הממשל שיפקח על כל סוג אחר של פיתוח בארגון.
השני היה שרוב הכלים שהיו בשימוש - בין אם מסחרי או קוד פתוח - נבנו על ידי מדעני נתונים ומהנדסי ML מתפתחים שמעולם לא הוכשרו במושגי אבטחה.
"כתוצאה מכך, היו לך כלים ממש שימושיים, מאוד פופולריים, מבוזרים מאוד, מאומצים מאוד, שלא נבנו עם חשיבה של אבטחה ראשית", הוא אומר.
מערכות בינה מלאכותית לא נבנו 'קודם אבטחה'
כתוצאה מכך, מערכות AI/ML וכלים משותפים רבים חסרים את היסודות באימות והרשאה ולעתים קרובות מעניקים יותר מדי גישת קריאה וכתיבה במערכות קבצים, הוא מסביר. יחד עם תצורות רשת לא מאובטחות ולאחר מכן אותן הבעיות המובנות במודלים, ארגונים מתחילים להסתבך בבעיות אבטחה מדורגות במערכות המורכבות והקשות להבנה הללו.
"זה גרם לנו להבין שכלי האבטחה, התהליכים, המסגרות הקיימים - לא משנה באיזו תזוזה עזבת, היו חסרים את ההקשר שמהנדסי למידת מכונה, מדעני נתונים ובוני בינה מלאכותית יצטרכו", הוא אומר.
לבסוף, התצפית העיקרית השלישית שהוא וסוונסון ערכו במהלך אותם ימי AWS הייתה שהפרות בינה מלאכותית לא מגיעות. הם כבר הגיעו.
"ראינו שללקוחות יש הפרות במגוון מערכות AI/ML שהיו אמורות להיתפס אבל לא היו", הוא אומר. "מה שזה אמר לנו הוא שהסט והתהליכים, כמו גם מרכיבי ניהול התגובה לאירועים, לא נבנו ייעודיים לאופן בו נבנה AI/ML. הבעיה הזו הפכה הרבה יותר גרועה ככל שה-AI הגנרטיבי תפס תאוצה".
מודלים של AI משותפים
Dehghanpisheh ו-Swanson גם התחילו לראות כיצד מודלים ונתוני הכשרה יוצרים שרשרת אספקה חדשה ייחודית של AI שיהיה צורך להתייחס אליו ברצינות לא פחות משאר שרשרת האספקה של התוכנה. בדיוק כמו עם שאר פיתוח התוכנה המודרני וחדשנות מקורית בענן, מדעני נתונים ומומחי בינה מלאכותית הניעו התקדמות במערכות AI/ML באמצעות שימוש משתולל בקוד פתוח וברכיבים משותפים - כולל מודלים של AI והנתונים המשמשים להכשרתם. כל כך הרבה מערכות בינה מלאכותית, בין אם הן אקדמיות או מסחריות, נבנות באמצעות מודל של מישהו אחר. וכמו בשאר הפיתוח המודרני, הפיצוץ בפיתוח הבינה המלאכותית ממשיך להוביל לזרם יומי עצום של נכסי דגמים חדשים המתרבים ברחבי שרשרת האספקה, מה שאומר שהמעקב אחריהם רק הולך ונהיה קשה יותר.
קחו את Hugging Face, למשל. זהו אחד המאגרים הנפוצים ביותר של דגמי AI בקוד פתוח באינטרנט כיום - מייסדיו אומרים שהם רוצים להיות GitHub של AI. עוד בנובמבר 2022, משתמשי Hugging Face שיתפו 93,501 דגמים שונים עם הקהילה. בנובמבר שלאחר מכן, זה התפוצץ ל-414,695 דגמים. כעת, שלושה חודשים בלבד לאחר מכן, המספר הזה התרחב ל-527,244. מדובר בסוגיה שהיקפו גדל מיום ליום. וזה הולך לשים את בעיית האבטחה של שרשרת אספקת התוכנה "על סטרואידים", אומר Dehghanpisheh.
A הניתוח האחרון על ידי החברה שלו מצאו אלפי דגמים המשותפים בגלוי ב-Huging Face יכולים להפעיל קוד שרירותי על עומס מודל או מסקנות. בעוד ש-Hugging Face מבצע סריקה בסיסית של המאגר שלו לאיתור בעיות אבטחה, דגמים רבים מתפספסים בדרך - לפחות מחצית מהמודלים בסיכון גבוה שהתגלו במחקר לא נחשבו כלא בטוחים על ידי הפלטפורמה, ו-Huging Face מבהיר זאת בתיעוד כי קביעת הבטיחות של דגם היא בסופו של דבר באחריות המשתמשים בו.
שלבים להתמודדות עם שרשרת האספקה של AI
Dehghanpisheh מאמין שהלינץ' של אבטחת סייבר בעידן הבינה המלאכותית יתחיל קודם כל ביצירת הבנה מובנית של שושלת הבינה המלאכותית. זה כולל שושלת מודל ושושלת נתונים, שהם בעצם המקור וההיסטוריה של הנכסים האלה, האופן שבו הם שונו והמטא נתונים המשויכים אליהם.
"זה המקום הראשון להתחיל. אתה לא יכול לתקן מה שאתה לא יכול לראות ומה שאתה לא יכול לדעת ומה אתה לא יכול להגדיר, נכון?" הוא אומר.
בינתיים, ברמה התפעולית היומיומית, Dehghanpisheh מאמין שארגונים צריכים לבנות יכולות כדי לסרוק את המודלים שלהם, בחיפוש אחר פגמים שיכולים להשפיע לא רק על התקשות המערכת אלא על שלמות התפוקה שלה. זה כולל בעיות כמו הטיית בינה מלאכותית ותקלה שעלולה לגרום לנזק פיזי בעולם האמיתי כתוצאה, למשל, מכונית אוטונומית שמתנגשת בהולך רגל.
"הדבר הראשון הוא שאתה צריך לסרוק," הוא אומר. "הדבר השני הוא שאתה צריך להבין את הסריקות האלה. והשלישי הוא אז ברגע שיש לך משהו מסומן, אתה בעצם צריך לעצור את המודל הזה מלהפעיל. אתה צריך להגביל את הסוכנות שלה."
הדחיפה עבור MLSecOps
MLSecOps היא תנועה ניטראלית של ספקים המשקפת את תנועת DevSecOps בעולם התוכנה המסורתי.
"בדומה למעבר מ-DevOps ל-DevSecOps, אתה צריך לעשות שני דברים בבת אחת. הדבר הראשון שעליך לעשות הוא לגרום למתרגלים להיות מודעים לכך שאבטחה היא אתגר ושזו אחריות משותפת", אומר Dehghanpisheh. "הדבר השני שאתה צריך לעשות הוא לתת הקשר ולהכניס אבטחה לכלים ששומרים על מדעני מידע, מהנדסי למידת מכונה, [ובוני בינה מלאכותית] על הקצה המדמם ומחדשים כל הזמן, אבל מאפשרים לחששות האבטחה להיעלם ברקע ."
בנוסף, הוא אומר שארגונים יצטרכו להתחיל להוסיף מדיניות ממשל, סיכונים ותאימות ויכולות אכיפה ונהלי תגובה לאירועים המסייעים לשלוט בפעולות ובתהליכים המתרחשים כאשר מתגלים חוסר ביטחון. כמו עם מערכת אקולוגית מוצקה של DevSecOps, זה אומר ש-MLSecOps יזדקק למעורבות חזקה מבעלי עניין עסקיים לאורך כל הסולם המנהלים.
החדשות הטובות הן שאבטחת בינה מלאכותית/ML נהנית מדבר אחד שאף חדשנות טכנולוגית מהירה אחרת לא קיבלה ישירות מהשער - כלומר, מנדטים רגולטוריים ישירות מהשער.
"תחשוב על כל מעבר טכנולוגי אחר", אומר Dehghanpisheh. "ציין פעם אחת שרגולטור פדרלי או אפילו רגולטורים במדינה אמרו את זה בשלב מוקדם, 'וואו, וואו, וואו, אתה חייב לספר לי את כל מה שיש בו. אתה צריך לתת עדיפות לידע על המערכת הזו. אתה צריך לתעדף את כתב החומרים. אין כזה."
משמעות הדבר היא שמנהיגי אבטחה רבים נוטים יותר לקבל רכישה כדי לבנות יכולות אבטחת בינה מלאכותית הרבה יותר מוקדם במחזור חיי החדשנות. אחד הסימנים הברורים ביותר לתמיכה זו הוא המעבר המהיר למתן חסות לתפקידי עבודה חדשים בארגונים.
"ההבדל הגדול ביותר שהמנטליות הרגולטורית הביאה לשולחן העבודה הוא שבינואר 2023, הרעיון של מנהל אבטחת בינה מלאכותית היה חדשני ולא היה קיים. אבל ביוני התחלת לראות את התפקידים האלה", אומר דהגנפישה. "עכשיו הם בכל מקום - והם ממומנים."
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
- מקור: https://www.darkreading.com/cyber-risk/do-you-know-where-your-ai-models-are-tonight
- :יש ל
- :הוא
- :לֹא
- :איפה
- ][עמ'
- $ למעלה
- 10
- 2022
- 2023
- 501
- 7
- a
- יכולת
- אודות
- אקדמי
- גישה
- לרוחב
- פעולות
- מפעילה
- להוסיף
- מוסיף
- תוספת
- כתובת
- מאומץ
- אימוץ
- התקדמות
- סוכנות
- קדימה
- AI
- דגמי AI
- מערכות AI
- AI / ML
- תעשיות
- מאפשר
- לאורך
- כְּבָר
- גם
- כמות
- an
- ו
- אחר
- כל
- בקשה
- אבטחת יישומים
- יישומים
- שרירותי
- ארכיטקט
- אדריכלים
- ARE
- סביב
- הגיע
- מלאכותי
- בינה מלאכותית
- בינה מלאכותית (AI)
- AS
- נכס
- נכסים
- המשויך
- At
- לתקוף
- אימות
- אישור
- אוטונומי
- מודע
- AWS
- בחזרה
- רקע
- בסיסי
- יסודות
- קרב
- BE
- להיות
- היה
- לפני
- מאחור
- להיות
- מאמין
- מרוויח
- הטיה
- גָדוֹל
- הגדול ביותר
- הצעת חוק
- מדמם
- תקוע
- פרות
- מובא
- אבזם
- לִבנוֹת
- בוני
- בִּניָן
- נבנה
- עסקים
- פיתוח עסקי
- אבל
- by
- סוויטת C
- נקרא
- שיחות
- CAN
- יכולות
- נתפס
- מכונית
- נתפס
- לגרום
- מסוים
- שרשרת
- לאתגר
- השתנה
- ברור
- בבירור
- ענן
- תשתית ענן
- מייסד שותף
- מייסדים משותפים
- קוד
- שילובים
- איך
- מגיע
- מסחרי
- קהילה
- מורכב
- הענות
- רכיבים
- מושג
- מושגים
- דאגות
- הקונגרס
- נחשב
- קבוע
- תמיד
- להכיל
- תוכן
- הקשר
- יכול
- יחד
- מתרסק
- לִיצוֹר
- יוצרים
- לקוחות
- אבטחת סייבר
- מחזור
- יומי
- נתונים
- יְוֹם
- ימים
- החלטות
- נחשב
- לְהַגדִיר
- תלות
- עיצוב
- קביעה
- צעצועי התפתחות
- לא
- הבדל
- אחר
- באופן שונה
- קשה
- מְנַהֵל
- לְהֵעָלֵם
- גילה
- מופץ
- do
- תיעוד
- עושה
- לא איכפת
- דון
- מטה
- נהיגה
- בְּמַהֲלָך
- מוקדם יותר
- מוקדם
- המערכת האקולוגית
- אדג '
- השפעה
- אלמנטים
- אחר
- מוטבע
- אין סופי
- אַכִיפָה
- מהנדסים
- מספיק
- מִפְעָל
- ישויות
- סביבה
- תקופה
- למעשה
- אֲפִילוּ
- כל
- כולם
- הכל
- בכל מקום
- דוגמה
- לבצע
- מנהלים
- להתקיים
- קיימים
- מורחב
- מומחים
- המסביר
- מסביר
- התפוצצות
- אקספוננציאלית
- בהרחבה
- פָּנִים
- אופנה
- מהר
- פדרלי
- שלח
- פירמה
- חברות
- ראשון
- ממקור ראשון
- לסדר
- מסומן
- פגום
- פגמים
- הבא
- בעד
- טופס
- מצא
- קרן
- המייסדים
- מסגרות
- החל מ-
- תודלק
- פונקציות
- במימון
- עתיד
- זכייה
- שער
- גנרטטיבית
- AI Generative
- לקבל
- מקבל
- GitHub
- לתת
- הצצה
- גלוֹבָּלִי
- הולך
- טוב
- קבל
- ממשלה
- ממשל
- להעניק
- מאוד
- צמיחה
- היה
- חצי
- קשה
- לפגוע
- יש
- he
- לעזור
- מוּסתָר
- הגבוה ביותר
- מאוד
- לו
- שֶׁלוֹ
- היסטוריה
- איך
- איך
- אולם
- HTTPS
- עצום
- i
- לזהות
- if
- פְּגִיעָה
- השלכות
- in
- תקרית
- תגובה לאירוע
- כולל
- כולל
- עליות
- מדהים
- בצורה מדהימה
- זֶרֶם
- תשתית
- הטמון
- חדשנות
- חדשנות
- לא בטוח
- שלמות
- מוֹדִיעִין
- אל תוך
- מעורבות
- J States
- סוגיה
- בעיות
- IT
- שֶׁלָה
- עצמו
- יָנוּאָר
- עבודה
- jpg
- יוני
- רק
- שמור
- שמירה
- שומר
- סוג
- לדעת
- ידע
- חוסר
- סולם
- מאוחר יותר
- השקה
- מנהיג
- מנהיגים
- למידה
- הכי פחות
- עזבו
- רמה
- החיים
- כמו
- סביר
- יוּחֲסִין
- לִטעוֹן
- ארוך
- הסתכלות
- מתקרב
- מגרש
- מכונה
- למידת מכונה
- עשוי
- גדול
- הרוב
- לעשות
- עושה
- לנהל
- ניהול
- מנדטים
- רב
- חומרים
- דבר
- me
- אומר
- מידע נוסף
- מוחות
- הלך רוח
- החטיא
- חסר
- לערבב
- ML
- מודל
- מודלים
- מודרני
- מומנטום
- חודשים
- יותר
- רוב
- המהלך
- תנועה
- הרבה
- שם
- כלומר
- נווט
- צורך
- רשת
- לעולם לא
- חדש
- חברות חדשות
- חדשות
- לא
- רומן
- נוֹבֶמבֶּר
- עַכשָׁיו
- מספר
- תצפית
- ברור
- of
- לעתים קרובות
- on
- פעם
- ONE
- יחידות
- באינטרנט
- רק
- לפתוח
- קוד פתוח
- בגלוי
- מבצעי
- or
- ארגונים
- מקור
- אחר
- הַחוּצָה
- תפוקה
- בחוץ
- יותר
- - פיקוח
- שלום
- דפוסי
- רשות
- הרשאות
- גופני
- הרים
- לְחַבֵּר
- חתיכות
- מקום
- פלטפורמה
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- מדיניות
- פופולרי
- התחזיות
- קוֹדֶם
- תיעדוף
- בעיה
- בעיות
- נהלים
- תהליכים
- אנשי מקצוע
- קניינית
- PROS
- להגן
- לספק
- דחוף
- גם
- מהירות
- רכס
- מהיר
- RE
- חומר עיוני
- עולם אמיתי
- להבין
- הבין
- בֶּאֱמֶת
- להכיר
- וסת
- רגולטורים
- רגולטורים
- לסמוך
- מאגר
- מחקר
- תגובה
- אחריות
- REST
- לְהַגבִּיל
- תוצאה
- תקין
- הסיכון
- מודלים לסיכון
- תפקידים
- s
- בְּטִיחוּת
- אמר
- אותו
- ראה
- לומר
- אומר
- סריקה
- סריקה
- סריקות
- מדענים
- היקף
- שְׁנִיָה
- אבטחה
- לִרְאוֹת
- ראות
- נראה
- ברצינות
- סט
- Shadow
- משותף
- משמרת
- צריך
- שלטים
- דומה
- מצב
- So
- תוכנה
- רכיבי תוכנה
- פיתוח תוכנה
- שרשרת אספקת תוכנה
- מוצק
- פִּתָרוֹן
- פתרונות
- כמה
- מישהו
- משהו
- צלילים
- מָקוֹר
- בילה
- סנדק
- ממומן
- בעלי עניין
- עומד
- התחלה
- החל
- מדינה
- צעדים
- עצור
- חזק
- מובנה
- נאבק
- לספק
- שרשרת אספקה
- תמיכה
- משטח
- בחשדנות
- מערכת
- מערכות
- שולחן
- התמודדות
- לקחת
- טכנולוגיה
- טכנולוגיה חדשנות
- לספר
- מֵאֲשֶׁר
- זֶה
- השמיים
- היסודות
- העתיד
- שֶׁלָהֶם
- אותם
- אז
- שם.
- אלה
- הֵם
- דבר
- דברים
- לחשוב
- שְׁלִישִׁי
- זֶה
- אלה
- מחשבה
- אלפים
- שְׁלוֹשָׁה
- דרך
- זמן
- ל
- היום
- יַחַד
- אמר לי
- גַם
- כלים
- לעקוב
- מסורתי
- רכבת
- מְאוּמָן
- הדרכה
- מַעֲבָר
- להפעיל
- אמת
- מנסה
- שתיים
- בסופו של דבר
- להבין
- הבנה
- ייחודי
- us
- להשתמש
- מְשׁוּמָשׁ
- מועיל
- משתמשים
- באמצעות
- משתנה
- מגוון
- Ve
- מאוד
- וירוס
- ראות
- פגיעויות
- פגיע
- רוצה
- היה
- דֶרֶך..
- we
- טוֹב
- הלכתי
- היו
- היו
- מה
- מתי
- אם
- אשר
- בזמן
- מי
- של מי
- באופן נרחב
- יצטרך
- עם
- תיק עבודות
- עבד
- עוֹלָם
- גרוע יותר
- היה
- לכתוב
- שנים
- אתה
- זפירנט