מאפיין בעוד שהם ממהרים להבין, לבנות ולשלוח מוצרי בינה מלאכותית, קוראים למפתחים ומדעני נתונים להיות מודעים לאבטחה ולא ליפול קורבן להתקפות שרשרת האספקה.
יש אינספור דגמים, ספריות, אלגוריתמים, כלים מובנים וחבילות שאפשר לשחק איתם, וההתקדמות היא בלתי פוסקת. הפלט של מערכות אלה הוא אולי סיפור אחר, אם כי אין להכחיש שתמיד יש משהו חדש לשחק איתו, לפחות.
לא משנה את כל ההתרגשות, ההייפ, הסקרנות והפחד להחמיץ, אי אפשר לשכוח את האבטחה. אם זה לא הלם עבורך, פנטסטי. אבל תזכורת היא שימושית כאן, במיוחד מכיוון שטכנולוגיה של למידת מכונה נוטה להיות מורכבת על ידי מדענים ולא מהנדסים, לפחות בשלב הפיתוח, ובעוד האנשים האלה יודעים את דרכם סביב דברים כמו ארכיטקטורות רשתות עצביות, קוונטיזציה והבאים- טכניקות אימון של ג'נרל, יתכן שבאופן מובן איננו הצד החזק שלהם.
חיבור פרויקט AI אינו שונה בהרבה מבניית כל פיסת תוכנה אחרת. בדרך כלל תדביק ספריות, חבילות, נתוני אימון, מודלים וקוד מקור מותאם אישית כדי לבצע משימות מסקנות. רכיבי קוד הזמינים ממאגרים ציבוריים יכולים להכיל דלתות אחוריות נסתרות או מסנני נתונים, ומודלים ומערכי נתונים שנבנו מראש יכולים להיות מורעלים כדי לגרום לאפליקציות להתנהג באופן בלתי צפוי באופן בלתי הולם.
למעשה, דגמים מסוימים יכולים להכיל תוכנות זדוניות כלומר יצא לפועל אם תוכנם אינו מסודר בבטחה. האבטחה של תוספי ChatGPT יש גם להיכנס מתחת בדיקה מדוקדקת.
במילים אחרות, התקפות שרשרת האספקה שראינו בעולם פיתוח התוכנה יכולות להתרחש בארץ בינה מלאכותית. חבילות גרועות עלולות להוביל לפגיעה בתחנות העבודה של המפתחים, מה שיוביל לפריצות נזק לרשתות ארגוניות, והתעסקות במודלים ובמערכי נתונים של הדרכה עלולים לגרום ליישומים לסווג דברים בצורה שגויה, לפגוע במשתמשים וכן הלאה. ספריות ודגמים עם דלתות אחוריות או תוכנות זדוניות, אם שולבו בתוכנה הנשלחת, עלולות להשאיר את המשתמשים באפליקציות הללו פתוחים לתקיפה גם כן.
הם יפתרו בעיה מתמטית מעניינת ואז יפרסו אותה וזהו. זה לא נבדק בעט, אין שיתוף פעולה אדום של AI
בתגובה, צצים סטארט-אפים בתחום אבטחת סייבר ובינה מלאכותית במיוחד כדי להתמודד עם האיום הזה; אין ספק שגם לשחקנים מבוססים יש עין על זה, או לפחות כך אנחנו מקווים. פרויקטים של למידת מכונה צריכים להיבדק ולבדוק, לבדוק את האבטחה ולהעריך את הבטיחות.
"[AI] צמח מהאקדמיה. זה היה בעיקר פרויקטים מחקריים באוניברסיטה או שהם היו פרויקטי פיתוח תוכנה קטנים שנפלו בעיקר על ידי אקדמאים או חברות גדולות, ופשוט אין להם את האבטחה בפנים", טום בונר, סמנכ"ל המחקר ב-HiddenLayer, אחד סטארטאפ ממוקד אבטחה כזה, אמרו הקופה.
"הם יפתרו בעיה מתמטית מעניינת באמצעות תוכנה ואז הם יפרסו אותה וזהו. זה לא נבדק בעט, אין שיתוף פעולה אדום בינה מלאכותית, הערכות סיכונים או מחזור חיים מאובטח של פיתוח. פתאום AI ולמידת מכונה באמת המריא וכולם מחפשים להיכנס לזה. כולם הולכים וקולטים את כל חבילות התוכנה הנפוצות שצמחו מהאקדמיה והנה, הן מלאות נקודות תורפה, מלאות חורים”.
לשרשרת האספקה של AI יש נקודות כניסה רבות לפושעים, שיכולים להשתמש בדברים כמו קלקול הקלדה להערים על מפתחים להשתמש בעותקים זדוניים של ספריות חוקיות אחרת, לאפשר לנוכלים לגנוב נתונים רגישים ותעודות ארגוניות, לחטוף שרתים שמריצים את הקוד ועוד, נטען. יש ליישם הגנות שרשרת אספקת התוכנה גם בפיתוח מערכות למידת מכונה.
"אם אתה חושב על תרשים עוגה של איך אתה הולך להיפרץ ברגע שתפתח מחלקת בינה מלאכותית בחברה או בארגון שלך", אמר דן מקינרי, חוקר אבטחת בינה מלאכותית ב-Protect AI. הקופה, "חלק קטנטן מהעוגה הזו עומד להיות התקפות קלט של מודל, וזה מה שכולם מדברים עליו. וחלק ענק הולך לתקוף את שרשרת האספקה - הכלים שבהם אתה משתמש כדי לבנות את המודל בעצמם".
התקפות קלט להיות דרכים מעניינות שאנשים יכולים לשבור תוכנת AI על ידי שימוש.
כדי להמחיש את הסכנה הפוטנציאלית, HiddenLayer בשבוע שעבר מודגש מה שהיא מאמינה מאוד היא בעיית אבטחה עם שירות מקוון שמסופק על ידי Hugging Face שממיר דגמים בפורמט Pickle הלא בטוח לפורמט המאובטח יותר בטיחות, שפותח גם על ידי Hugging Face.
מודלים של Pickle יכולים להכיל תוכנות זדוניות וקוד שרירותי אחר שיכול להתבצע בשקט ובאופן בלתי צפוי בעת ביטול סדרה, וזה לא נהדר. Safetensors נוצרו כחלופה בטוחה יותר: מודלים המשתמשים בפורמט הזה לא אמורים להריץ קוד מוטבע בסופו של דבר כשהם מובטלים בסידריאל. למי שלא יודע, Hugging Face מארח מאות אלפי מודלים של רשתות עצביות, מערכי נתונים וחלקי קוד שמפתחים יכולים להוריד ולהשתמש בכמה לחיצות או פקודות.
ממיר Safetensors פועל על תשתית Hugging Face, וניתן להורות לו להמיר דגם PyTorch Pickle שמתארח בחברת Hugging Face לעותק בפורמט Safetensors. אבל תהליך ההמרה המקוון עצמו פגיע לביצוע קוד שרירותי, לפי HiddenLayer.
חוקרי HiddenLayer אמרו שהם מצאו שהם יכולים להגיש בקשת המרה עבור מודל Pickle זדוני המכיל קוד שרירותי, ובמהלך תהליך הטרנספורמציה, הקוד הזה יבוצע במערכות של Hugging Face, מה שיאפשר למישהו להתחיל להתעסק עם בוט הממיר והמשתמשים שלו. אם משתמש המיר מודל זדוני, אסימון ה-Hugging Face שלו עלול להיות מסונן על ידי הקוד הנסתר, ו"למעשה נוכל לגנוב את אסימון ה-Huging Face שלו, לסכן את המאגר שלו ולהציג את כל המאגרים הפרטיים, מערכי הנתונים והדגמים שיש לאותו משתמש גישה אל," טען HiddenLayer.
בנוסף, נאמר לנו שניתן לגשת לאישורים של בוט הממיר ולהדלף על ידי קוד שמאוחסן במודל של Pickle, מה שמאפשר למישהו להתחזות לבוט ולפתוח בקשות משיכה לשינויים במאגרים אחרים. שינויים אלה עלולים להציג תוכן זדוני אם יתקבלו. ביקשנו מ-Huging Face תגובה לממצאים של HiddenLayer.
"למרבה האירוניה, שירות ההמרה להמרה ל-Safetensors היה בעצמו חסר ביטחון להחריד", אמר לנו בונר של HiddenLayer. "בהתחשב ברמת הגישה שהייתה לבוט ההמרה למאגרים, למעשה ניתן היה לגנוב את האסימון שבו הם משתמשים כדי לשלוח שינויים דרך מאגרים אחרים.
"אז בתיאוריה, תוקף יכול היה להגיש כל שינוי לכל מאגר ולגרום לו להיראות כאילו הוא מגיע מ-Huging Face, ועדכון אבטחה יכול היה להטעות אותם לקבל אותו. לאנשים היו פשוט דוגמניות בדלת אחורית או דוגמניות חסרות ביטחון במאגר שלהם ולא ידעו".
זה יותר מאיום תיאורטי: חנות Devops JFrog אמר שזה נמצא קוד זדוני מסתתר ב-100 דגמים המתארחים ב-Huging Face.
ישנן, למען האמת, דרכים שונות להסתיר מטענים מזיקים של קוד במודלים, אשר - בהתאם לפורמט הקובץ - מבוצעים כאשר הרשתות הנוירוניות נטענות ומנתקות, מה שמאפשר לזונות לקבל גישה למכונות של אנשים. מודלים של PyTorch ו-Tensorflow Keras "מהווים את הסיכון הפוטנציאלי הגבוה ביותר לביצוע קוד זדוני מכיוון שהם סוגי מודלים פופולריים עם טכניקות ביצוע קוד ידועות שפורסמו", ציין JFrog.
המלצות לא בטוחות
מתכנתים המשתמשים בעוזרי הצעות קוד כדי לפתח יישומים צריכים להיות זהירים גם הם, הזהיר בונר, או שהם עלולים בסופו של דבר לשלב קוד לא מאובטח. GitHub Copilot, למשל, הוכשר על מאגרי קוד פתוח, ולפחות 350,000 מהם עלולים להיות פגיעים ל בעיית אבטחה ישנה הכוללים ארכיונים של Python ו-tar.
פיתון קובץ tarf מודול, כפי שהשם מרמז, עוזר לתוכניות לפרוק את ארכיוני tar. אפשר ליצור קובץ .tar כך שכאשר קובץ בתוך הארכיון מחולץ על ידי מודול Python, הוא ינסה לדרוס קובץ שרירותי במערכת הקבצים של המשתמש. ניתן לנצל זאת כדי לאשפה הגדרות, להחליף סקריפטים ולגרום לשובבות אחרות.
הפגם זוהה בשנת 2007 ו מודגש שוב בשנת 2022, מה שגרם לאנשים להתחיל לתקן פרויקטים כדי להימנע מניצול זה. ייתכן שעדכוני האבטחה הללו לא עשו את דרכם אל מערכי הנתונים המשמשים לאימון מודלים של שפות גדולות לתכנות, קוננה בונר. "אז אם תבקשו מ-LLM ללכת ולפרוק קובץ tar כבר עכשיו, זה כנראה יפרק לך בחזרה את הקוד הפגיע [הישן]".
בונר דחק בקהילת הבינה המלאכותית להתחיל ליישם שיטות אבטחה בשרשרת האספקה, כגון דרישה ממפתחים להוכיח דיגיטלית שהם מי שהם אומרים שהם בעת ביצוע שינויים במאגרי קוד ציבוריים, מה שירגיע אנשים שגרסאות חדשות של דברים הופקו על ידי מפתחים לגיטימיים ולא היו שינויים זדוניים. זה ידרוש מהמפתחים לאבטח את כל מה שהם משתמשים כדי לאמת כך שמישהו אחר לא יוכל להתחזות להם.
וכל המפתחים, גדולים וקטנים, צריכים לערוך הערכות אבטחה ולבדוק את הכלים שבהם הם משתמשים, ולבדוק את התוכנה שלהם לפני פריסתה.
הניסיון להגביר את האבטחה בשרשרת האספקה של AI הוא מסובך, ועם כל כך הרבה כלים ודגמים שנבנים ומשוחררים, קשה לעמוד בקצב.
McInerney של Protect AI הדגיש "זה סוג של המצב שאנחנו נמצאים בו כרגע. יש הרבה פירות תלויים שקיימים בכל מקום. פשוט אין מספיק כוח אדם להסתכל על הכל כי הכל זז כל כך מהר". ®
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
- מקור: https://go.theregister.com/feed/www.theregister.com/2024/03/17/ai_supply_chain/
- :יש ל
- :הוא
- :לֹא
- $ למעלה
- 000
- 100
- 2022
- 350
- 7
- a
- אודות
- אקדמיה
- אקדמאים
- מקובל
- קבלה
- גישה
- נצפה
- פי
- למעשה
- תוספת
- שוב
- AI
- אלגוריתמים
- תעשיות
- מאפשר
- גם
- חלופה
- תמיד
- an
- ו
- אחר
- כל
- יישומים
- יישומית
- אפליקציות
- שרירותי
- ארכיטקטורות
- ארכיון
- ארכיון
- ARE
- טען
- סביב
- AS
- לשאול
- הערכות
- עוזרים
- At
- לתקוף
- תוקף
- תוקפים
- המתקפות
- ניסיון
- מבוקר
- לאמת
- זמין
- לְהִמָנַע
- בחזרה
- דלתות אחוריות
- רע
- BE
- כי
- בשר בקר
- היה
- לפני
- מאחור
- להיות
- מאמין
- גָדוֹל
- ביטים
- בוט
- לשבור
- לִבנוֹת
- נבנה
- אבל
- by
- הגיע
- CAN
- זהיר
- לגרום
- שרשרת
- שינוי
- שינויים
- תרשים
- ChatGPT
- לסווג
- סְגוֹר
- CO
- קוד
- Common
- קהילה
- חברות
- חברה
- רכיבים
- פשרה
- התפשר
- לנהל
- בנייה
- להכיל
- תוכן
- תוכן
- המרה
- להמיר
- הומר
- העתק
- משותף
- יכול
- לעצב
- נוצר
- אישורים
- פושעים
- סקרנות
- מנהג
- אבטחת סייבר
- ניזק
- סכנה
- נתונים
- מערכי נתונים
- הגנות
- מַחלָקָה
- תלוי
- לפרוס
- פרס
- לפתח
- מפותח
- מפתחים
- צעצועי התפתחות
- מכשירים
- אחר
- קשה
- באופן דיגיטלי
- דון
- ספק
- להורדה
- בְּמַהֲלָך
- השפעה
- אחר
- מוטבע
- מתעורר
- סוף
- מהנדסים
- מספיק
- כניסה
- במיוחד
- נוסד
- העריך
- כולם
- כולם
- הכל
- דוגמה
- התרגשות
- יצא לפועל
- מבצע
- הוצאת להורג
- קיים
- ניצול
- ומנוצל
- עין
- פָּנִים
- עובדה
- ליפול
- פנטסטי
- מהר
- פחד
- מעטים
- שלח
- ממצאים
- פגם
- בעד
- שכח
- פוּרמָט
- פורטה
- מצא
- שבריר
- החל מ-
- מלא
- לְהַשִׂיג
- לקבל
- ענק
- GitHub
- נתן
- Go
- הולך
- גדול
- מְגוּדָל
- פרוצים
- היה
- שימושי
- מזיק
- יש
- עוזר
- כאן
- מוּסתָר
- הסתר
- הסתרה
- הגבוה ביותר
- חֲטִיפָה
- חורים
- לקוות
- אירח
- מארחים
- איך
- HTML
- HTTPS
- מאות
- התלהבות
- if
- להמחיש
- יישום
- in
- התאגדה
- שילוב
- INFOSEC
- תשתית
- קלט
- לא בטוח
- בתוך
- מעניין
- אל תוך
- מבוא
- מעורב
- באופן אירוני
- J States
- סוגיה
- IT
- שֶׁלָה
- עצמו
- jpg
- רק
- שמור
- keras
- סוג
- לדעת
- ידוע
- תווית
- מדינה
- שפה
- גָדוֹל
- במידה רבה
- עוֹפֶרֶת
- מוביל
- למידה
- הכי פחות
- יציאה
- חוּקִי
- רמה
- ספריות
- מעגל החיים
- כמו
- ll
- LLM
- נראה
- נראה כמו
- הסתכלות
- מגרש
- מכונה
- למידת מכונה
- מכונה
- עשוי
- גדול
- עשייה
- זדוני
- תוכנות זדוניות
- רב
- מסכות
- מתימטי
- מאי..
- אכפת לי
- חסר
- מודל
- מודלים
- מודול
- יותר
- נע
- הרבה
- שם
- צורך
- רשת
- רשתות
- עצבי
- רשת עצבית
- רשתות עצביות
- חדש
- לא
- ציין
- עַכשָׁיו
- רב
- להתרחש
- of
- כבוי
- זקן
- on
- פעם
- ONE
- באינטרנט
- לפתוח
- קוד פתוח
- or
- ארגון
- אחר
- אַחֶרֶת
- הַחוּצָה
- תפוקה
- יותר
- חבילות
- תיקון
- אֲנָשִׁים
- לְבַצֵעַ
- אוּלַי
- שלב
- לקטוף
- לְחַבֵּר
- מקום
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- לְשַׂחֵק
- שחקנים
- תוספים
- נקודות
- פופולרי
- חלק
- פוזה
- אפשרי
- פוטנציאל
- פוטנציאל
- פרקטיקות
- טֶרֶף
- פְּרָטִי
- כנראה
- בעיה
- תהליך
- מיוצר
- מוצרים
- תָכְנִית
- תוכניות
- התקדמות
- פּרוֹיֶקט
- פרויקטים
- להגן
- להוכיח
- ובלבד
- ציבורי
- לאור
- גם
- פיתון
- פיטורך
- במקום
- RE
- בֶּאֱמֶת
- לְהַרְגִיעַ
- Red
- שוחרר
- ללא הרף
- תזכורת
- להחליף
- מאגר
- לבקש
- בקשות
- לדרוש
- מחקר
- חוקר
- חוקרים
- תגובה
- תקין
- הסיכון
- ריצה
- פועל
- לְמַהֵר
- s
- בבטחה
- בטוח יותר
- בְּטִיחוּת
- אמר
- לומר
- מדענים
- סקריפטים
- בדיקה
- לבטח
- אבטחה
- לראות
- רגיש
- שרתים
- שרות
- הגדרות
- ספינה
- shipped
- חנות
- צריך
- since
- קטן
- So
- תוכנה
- פיתוח תוכנה
- לפתור
- כמה
- מישהו
- משהו
- מָקוֹר
- קוד מקור
- במיוחד
- הסתובב
- התחלה
- סטארט - אפ
- חברות סטארט
- מדינה
- סיפור
- בְּתוֹקֶף
- להגיש
- הוגש
- כזה
- פתאומי
- מציע
- לספק
- שרשרת אספקה
- מערכת
- מערכות
- לְהִתְמוֹדֵד
- משימות
- שיחות
- משימות
- טק
- טכניקות
- נוטה
- tensorflow
- מבחן
- נבדק
- מֵאֲשֶׁר
- זֶה
- השמיים
- המדינה
- שֶׁלָהֶם
- אותם
- עצמם
- אז
- תיאורטי
- התאוריה
- שם.
- אלה
- הֵם
- דברים
- לחשוב
- זֶה
- אלה
- אם כי?
- אלפים
- איום
- דרך
- ל
- יַחַד
- אסימון
- אמר לי
- טום
- גַם
- כלים
- רכבת
- מְאוּמָן
- הדרכה
- טרנספורמציה
- טריק
- אמת
- סוגים
- בדרך כלל
- לֹא מוּטָל בְּסֶפֶק
- להבין
- מובן
- אוניברסיטה
- עדכון
- עדכונים
- דחק
- us
- להשתמש
- מְשׁוּמָשׁ
- משתמש
- משתמשים
- באמצעות
- שונים
- Ve
- גירסאות
- לצפיה
- vp
- פגיעויות
- פגיע
- מוזהר
- היה
- דֶרֶך..
- דרכים
- we
- שבוע
- טוֹב
- היו
- מה
- כלשהו
- מתי
- אשר
- בזמן
- מי
- יצטרך
- עם
- בתוך
- מילים
- עוֹלָם
- היה
- לא
- אתה
- זפירנט