OWASP מציע רשימה של סיכוני האבטחה המובילים של צ'אטבוט LLM

OWASP מציע רשימה של סיכוני האבטחה המובילים של צ'אטבוט LLM

חותמת זמן: 2 באוגוסט 2023 4:19
OWASP מציע רשימה של סיכוני האבטחה המובילים של צ'אטבוט LLM PlatoBlockchain Data Intelligence. חיפוש אנכי. איי.

Open Worldwide Application Security Project (OWASP) פרסם רשימה מובילה של בעיות האבטחה הנפוצות ביותר עם יישומי מודל שפה גדול (LLM) כדי לעזור למפתחים ליישם את הקוד שלהם בבטחה.

לימודי תואר שני כוללים מודלים בסיסיים של למידת מכונה, כגון GPT-3 ו-GPT-4 של OpenAI, BERT ו-LaMDA 2 של גוגל, ו-RoBERTa של Meta/Facebook שעברו הכשרה על כמויות אדירות של נתונים - טקסט, תמונות וכו' - ונפרסים באפליקציות כמו ChatGPT.

OWASP Top 10 עבור יישומי מודל שפה גדולים הוא א פּרוֹיֶקט שמקטלג את מלכודות האבטחה הנפוצות ביותר כך שמפתחים, מדעני נתונים ומומחי אבטחה יוכלו להבין טוב יותר את המורכבות של התמודדות עם LLMs בקוד שלהם.

סטיב ווילסון, קצין מוצר ראשי ב-Contrast Security ומוביל בפרויקט OWASP, אמר שיותר מ-130 מומחי אבטחה, מומחי בינה מלאכותית, מובילי תעשייה ואנשי אקדמיה תרמו לאוסף הבעיות הפוטנציאליות. OWASP מציעה קומפילציות אבטחת תוכנה אחרות, למשל זה על פגמים באפליקציות אינטרנט ו זה לגבי טעויות API, אם אינך מודע לכך.

"-OWASP Top 10 for LLM Applications גרסה 1.0 מציע הדרכה מעשית ומעשית כדי לעזור למפתחים, מדעני נתונים וצוותי אבטחה לזהות ולטפל בפרצות ספציפיות ל-LLMs", וילסון כתב בלינקדאין.

"יצירת המשאב הזה כללה סיעור מוחות ממצה, הצבעה זהירה ועידון מתחשב. זה מייצג את היישום המעשי של המומחיות המגוונת של הצוות שלנו."

עדיין יש ספק ש-LLMs כפי שנוסחו כעת באמת ניתן לאבטח. בעיות כמו הזרקה מהירה - שאילתה של LLM באופן שגורם לו להגיב בצורה לא רצויה - ניתן למתן באמצעות "מעקות בטיחות" החוסמים פלט מזיק.

אבל זה מחייב לצפות מראש מה יש לחסום ממודל שאולי לא חשף את נתוני ההדרכה שלו. ואולי אפשר לעקוף חלק מההגנות הללו.

תיעוד הפרויקט מבהיר את זה: "חולשות הזרקה מיידיות אפשריות בשל האופי של LLMs, שאינם מפרידים הוראות ונתונים חיצוניים זה מזה. מכיוון ש-LLMs משתמשים בשפה טבעית, הם מחשיבים את שתי צורות הקלט כמסופקות על ידי המשתמש. כתוצאה מכך, אין מניעה חסינת שוטים בתוך ה-LLM..."

עם זאת, פרויקט OWASP מציע כמה טכניקות הפחתה. המטרה שלו היא לתת למפתחים כמה אפשרויות לשמור על מודלים שאומנו על תוכן רעיל מלפלוט דברים כאלה כשהם מתבקשים, ולהיות מודעים לבעיות פוטנציאליות אחרות.

הרשימה [PDF] הוא:

  • LLM01: הזרקה מהירה
  • LLM02: טיפול בפלט לא מאובטח
  • LLM03: הרעלת נתוני אימון
  • LLM04: מודל מניעת שירות
  • LLM05: פגיעויות בשרשרת האספקה
  • LLM06: גילוי מידע רגיש
  • LLM07: עיצוב פלאגין לא מאובטח
  • LLM08: סוכנות מוגזמת
  • LLM09: הסתמכות יתרה
  • LLM10: גניבת דגמים

חלק מהסיכונים הללו רלוונטיים מעבר לאלו העוסקים ב-LLMs. פגיעויות בשרשרת האספקה ​​מייצגות איום שצריך להדאיג כל מפתח תוכנה המשתמש בקוד או בנתונים של צד שלישי. אבל למרות זאת, אלה שעובדים עם LLMs צריכים להיות מודעים לכך שקשה יותר לזהות שיבוש במודל של צד שלישי של קופסה שחורה מאשר בקוד קוד פתוח קריא אנושי.

כמו כן, האפשרות של חשיפה של נתונים/מידע רגישים היא משהו שכל מפתח צריך להיות מודע אליו. אבל שוב, חיטוי נתונים ביישומים מסורתיים נוטה להיות יותר בכמות ידועה מאשר באפליקציות המשלבות LLM מאומן על נתונים לא נחשפים.

מעבר לספירת סיכונים ספציפיים שיש לקחת בחשבון, רשימת ה-OWASP אמורה גם לעזור למפתחים להכיר את מגוון תרחישי ההתקפה מבוססי LLM, שאולי לא ברורים מכיוון שהם חדשים יחסית ואינם מתגלים בטבע באותה תדירות כמו התקפות אינטרנט או יישומים מהשורה הראשונה.

לדוגמה, התרחיש הבא של הרעלת נתוני אימון מוצע: "שחקן זדוני, או מותג מתחרה יוצר בכוונה מסמכים לא מדויקים או זדוניים המכוונים לנתוני ההדרכה של המודל. מודל הקורבן מתאמן באמצעות מידע מזויף שבא לידי ביטוי בפלטים של הנחיות בינה מלאכותית לצרכנים שלו".

התערבות כזו, שנדונה רבות במחקרי מדעי המחשב האקדמיים, כנראה לא תהיה בראש מעייניהם של יוצרי תוכנה המעוניינים להוסיף יכולות צ'אט לאפליקציה. המטרה של פרויקט OWASP LLM היא להפוך תרחישים מהסוג הזה למשהו לתקן. ®

בול זמן:

עוד מ הקופה