בגוגל, אנו שומרים על א תוכנית תגמול על פגיעות לתת כבוד לתרומות חיצוניות חדשניות העוסקות בבעיות בנכסי אינטרנט בבעלות Google ובנכסי אינטרנט של אלפבית. כדי לעמוד בקצב ההתקדמות המהירה בטכנולוגיות AI ולהבטיח שאנו מוכנים להתמודד עם אתגרי האבטחה ב- אחראי בדרך, לאחרונה הרחבנו את הקיים שלנו תוכנית ציידי באגים כדי לטפח גילוי ודיווח של צד שלישי על בעיות ופגיעויות ספציפיות למערכות ה-AI שלנו. הרחבה זו היא חלק מהמאמץ שלנו ליישם את התחייבויות AI מרצון שעשינו בבית הלבן ביולי.
כדי לעזור לקהילת האבטחה להבין טוב יותר את ההתפתחויות הללו, כללנו מידע נוסף על מרכיבי תוכנית התגמול.
מה בהיקף לתגמולים
בחודש האחרון שלנו דוח צוות אדום של AI, אשר מבוסס על צוות AI Red של גוגל בתרגילים, זיהינו טקטיקות, טכניקות ונהלים נפוצים (TTPs) שנחשבים לרלוונטיים והמציאותיים ביותר עבורם יריבים מהעולם האמיתי לשימוש נגד מערכות בינה מלאכותית. הטבלה הבאה משלבת את מה שלמדנו כדי לעזור לקהילת המחקר להבין את הקריטריונים שלנו לדיווחי באגים בינה מלאכותית ומה תחום עבור תוכנית התגמול שלנו. חשוב לציין שסכומי התגמול תלויים בחומרת תרחיש ההתקפה ובסוג היעד המושפע (ביקור דף חוקי התוכנית למידע נוסף על טבלת התגמולים שלנו).
התקפות מיידיות: יצירת הנחיות יריבות המאפשרות ליריב להשפיע על התנהגות המודל, ומכאן, על הפלט, בדרכים שלא התכוונו על ידי האפליקציה. |
זריקות מהירות שאינן נראות לקורבנות ומשנות את מצב החשבון של הנפגע או כל אחד מנכסיהם. |
|
הזריקות מהירות לכל כלים שבהם התגובה משמשת לקבלת החלטות המשפיעות ישירות על המשתמשים הנפגעים. |
||
חילוץ הנחיה או הקדמה שבה משתמש יכול לחלץ את ההנחיה הראשונית המשמשת לקדם את המודל רק כאשר מידע רגיש קיים בהקדמה שחולצה. |
||
שימוש במוצר כדי ליצור תוכן מפר, מטעה או שגוי עובדתית בסשן שלך: למשל, "פריצות כלא". זה כולל "הזיות" ותגובות לא מדויקות עובדתית. למוצרי הבינה המלאכותית הגנרטיבית של גוגל כבר יש ערוץ דיווח ייעודי עבור בעיות תוכן מסוג זה. |
מחוץ לכוונת |
|
חילוץ נתוני אימון: התקפות שמסוגלות לשחזר בהצלחה דוגמאות אימון מילה במילה המכילות מידע רגיש. נקרא גם מסקנות חברות. |
חילוץ נתוני אימון המשחזר פריטים המשמשים בערכת נתוני האימון שדולפים מידע רגיש ולא ציבורי. |
|
חילוץ המשחזר מידע לא רגיש/ציבורי. |
מחוץ לכוונת |
|
מניפולציה של מודלים: תוקף המסוגל לשנות באופן סמוי את ההתנהגות של מודל כך שיוכלו להפעיל התנהגויות יריבות מוגדרות מראש. |
פלט או התנהגות יריבות שתוקף יכול להפעיל בצורה מהימנה באמצעות קלט ספציפי במודל שבבעלות Google ומופעל עליה ("דלתות אחוריות"). רק בהיקף כאשר פלט של מודל משמש לשינוי מצב החשבון או הנתונים של הקורבן. |
|
התקפות בהן תוקף מתמרן את נתוני האימון של המודל כדי להשפיע על תפוקת המודל במפגש של קורבן בהתאם להעדפת התוקף. רק בהיקף כאשר פלט של מודל משמש לשינוי מצב החשבון או הנתונים של הקורבן. |
||
הפרעה אדוורסרית: תשומות הניתנות למודל שמביאות לתפוקה דטרמיניסטית, אך מאוד לא צפויה מהמודל. |
הקשרים שבהם יריב יכול להפעיל באופן מהימן סיווג שגוי בבקרת אבטחה שניתן לנצל לרעה לשם שימוש זדוני או רווח יריב. |
|
הקשרים שבהם פלט או סיווג שגוי של מודל אינם מהווים תרחיש תקיפה משכנע או נתיב אפשרי לפגיעה ב-Google או במשתמש. |
מחוץ לכוונת |
|
גניבת דגמים/החלפת מודלים: מודלים של AI כוללים לעתים קרובות קניין רוחני רגיש, ולכן אנו שמים עדיפות גבוהה להגנה על נכסים אלה. התקפות אקספילטרציה מאפשרות לתוקפים לגנוב פרטים על דגם כמו הארכיטקטורה שלו או משקלו. |
התקפות שבהן נשלפים הארכיטקטורה או המשקלים המדויקים של מודל סודי/קנייני. |
|
התקפות שבהן הארכיטקטורה והמשקולות לא נשלפו במדויק, או כשהן מופקות ממודל לא סודי. |
מחוץ לכוונת |
|
אם אתה מוצא פגם בכלי המופעל בינה מלאכותית מלבד מה שרשום למעלה, אתה עדיין יכול להגיש, בתנאי שהוא עומד בדרישות הכישורים המפורטים בדף התוכנית שלנו. |
באג או התנהגות שעונים בבירור על הכישורים שלנו לבעיית אבטחה חוקית או ניצול לרעה. |
|
שימוש במוצר AI כדי לעשות משהו שעלול להזיק שכבר אפשרי עם כלים אחרים. לדוגמה, מציאת פגיעות בתוכנת קוד פתוח (כבר אפשרית באמצעות זמינה לציבור כלי ניתוח סטטי) והפקת התשובה לשאלה מזיקה כאשר התשובה כבר זמינה באינטרנט. |
מחוץ לכוונת |
|
בהתאם לתוכנית שלנו, בעיות שאנחנו כבר יודעים עליהן אינן זכאיות לתגמול. |
מחוץ לכוונת |
|
בעיות פוטנציאליות של זכויות יוצרים - ממצאים שבהם מוצרים מחזירים תוכן שנראה כמוגן בזכויות יוצרים. למוצרי הבינה המלאכותית הגנרטיבית של גוגל כבר יש ערוץ דיווח ייעודי עבור בעיות תוכן מסוג זה. |
מחוץ לכוונת |
אנו מאמינים שהרחבת תוכנית הבאונטי שלנו למערכות הבינה המלאכותית שלנו תתמוך חדשנות בינה מלאכותית אחראית, ומצפה להמשך עבודתנו עם קהילת המחקר כדי לגלות ולתקן בעיות אבטחה וניצול לרעה בתכונות המופעלות על ידי AI שלנו. אם אתה מוצא בעיה מתאימה, אנא פנה לאתר ציידי הבאגים שלנו כדי לשלוח לנו את דוח הבאגים שלך, ואם יימצא שהבעיה תקפה - קבל תגמול על שעזרת לנו לשמור על בטיחות המשתמשים שלנו.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
- מקור: https://www.darkreading.com/vulnerabilities-threats/establishing-reward-criteria-for-reporting-bugs-in-ai-products
- :הוא
- :לֹא
- $ למעלה
- 26%
- 32
- 33
- 35%
- 36
- 41
- 7
- 8
- 9
- a
- יכול
- אודות
- מֵעַל
- התעללות
- פי
- חֶשְׁבּוֹן
- כתובת
- פְּנִיָה
- התקדמות
- -
- להשפיע על
- מושפע
- נגד
- AI
- דגמי AI
- מערכות AI
- מונע AI
- להתיר
- כְּבָר
- גם
- כמויות
- an
- אנליזה
- ו
- לענות
- כל
- מופיע
- בקשה
- ארכיטקטורה
- ARE
- AS
- נכסים
- At
- לתקוף
- המתקפות
- זמין
- דלתות אחוריות
- מבוסס
- BE
- התנהגות
- התנהגויות
- תאמינו
- מוטב
- הבאונטי
- תוכנית השפע
- חרק
- באג באונטי
- באגים
- אבל
- by
- נקרא
- CAN
- האתגרים
- שינוי
- ערוץ
- מיון
- בבירור
- Common
- קהילה
- משכנע
- לשקול
- עִקבִי
- להכיל
- תוכן
- ממשיך
- תרומות
- לִשְׁלוֹט
- זכויות יוצרים
- הקריטריונים
- שיא הטכנולוגיה
- נתונים
- מערך נתונים
- החלטות
- מוקדש
- תלוי
- פרטים
- התפתחויות
- ישירות
- לגלות
- תגלית
- do
- עושה
- e
- מאמץ
- אלמנטים
- זכאי
- לְהַבטִיחַ
- מקימים
- דוגמה
- דוגמאות
- פילטרציה
- מורחב
- הרחבת
- הרחבה
- חיצוני
- תמצית
- הוֹצָאָה
- אפשרי
- תכונות
- מציאת
- ממצאים
- לסדר
- פגם
- הבא
- בעד
- קדימה
- לטפח
- מצא
- החל מ-
- FT
- לְהַשִׂיג
- ליצור
- גנרטטיבית
- AI Generative
- Go
- לפגוע
- מזיק
- יש
- לעזור
- עזרה
- ומכאן
- גָבוֹהַ
- מאוד
- כבוד
- בית
- HTML
- http
- HTTPS
- מזוהה
- if
- ליישם
- חשוב
- in
- לֹא מְדוּיָק
- לכלול
- כלול
- כולל
- משלבת
- להשפיע
- מידע
- בתחילה
- קלט
- תשומות
- אִינטֶלֶקְטוּאַלִי
- קניין רוחני
- התכוון
- אל תוך
- בלתי נראה
- סוגיה
- בעיות
- IT
- פריטים
- שֶׁלָה
- jpg
- יולי
- שמור
- לדעת
- לדלוף
- למד
- ברשימה
- נראה
- עשוי
- לתחזק
- לעשות
- פוגשת
- חֲבֵרוּת
- מַטעֶה
- מודל
- מודלים
- יותר
- רוב
- הערות
- of
- לעתים קרובות
- on
- באינטרנט
- רק
- לפתוח
- קוד פתוח
- מופעל
- or
- אחר
- שלנו
- תפוקה
- שֶׁלוֹ
- בבעלות
- חלק
- נתיב
- מקום
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- אנא
- פוזה
- אפשרי
- פוטנציאל
- בדיוק
- מוּכָן
- להציג
- ראשוני
- עדיפות
- נהלים
- הפקת
- המוצר
- מוצרים
- תָכְנִית
- הנחיות
- נכסים
- רכוש
- מוּגָן
- אבטחה
- ובלבד
- בפומבי
- כישורים
- במוקדמות
- שאלה
- מהיר
- RE
- עולם אמיתי
- מציאותי
- לאחרונה
- Red
- רלוונטי
- לדווח
- דווח
- דוחות לדוגמא
- מחקר
- תגובה
- תגובות
- תוצאות
- לַחֲזוֹר
- לגמול
- גמול
- כללי
- s
- בטוח
- תרחיש
- היקף
- אבטחה
- לשלוח
- רגיש
- מושב
- סט
- So
- תוכנה
- משהו
- מָקוֹר
- ספציפי
- מדינה
- עוד
- להגיש
- בהצלחה
- כזה
- תמיכה
- מערכות
- שולחן
- טקטיקה
- יעד
- נבחרת
- טכניקות
- טכנולוגיות
- מֵאֲשֶׁר
- זֶה
- השמיים
- המדינה
- שֶׁלָהֶם
- אלה
- הֵם
- צד שלישי
- זֶה
- ל
- כלי
- כלים
- הדרכה
- להפעיל
- סוג
- סוגים
- להבין
- לא צפוי
- us
- להשתמש
- מְשׁוּמָשׁ
- משתמש
- משתמשים
- באמצעות
- תקף
- Ve
- באמצעות
- קרבן
- קורבנות
- לְבַקֵר
- מִרָצוֹן
- פגיעויות
- פגיעות
- דֶרֶך..
- דרכים
- we
- אינטרנט
- אתר
- היו
- מה
- מה
- מתי
- אשר
- לבן
- הבית לבן
- ויקיפדיה
- יצטרך
- עם
- תיק עבודות
- אתה
- זפירנט