הגנת נתונים בסיסית עבור האצת LLM ארגונית עם Protopia AI | שירותי האינטרנט של אמזון

פוסט זה נכתב בשיתוף עם Balaji Chandrasekaran, Jennifer Cwagenberg ו-Andreu Sansom ו-Eiman Ebrahimi מ-Protopia AI.

מודלים חדשים וחזקים של שפה גדולה (LLMs) משנים עסקים במהירות, ומשפרים את היעילות והאפקטיביות עבור מגוון מקרי שימוש ארגוניים. מהירות היא המהות, ואימוץ טכנולוגיות LLM יכול ליצור או לשבור את היתרון התחרותי של העסק. AWS מתאימה במיוחד לספק לארגונים את הכלים הדרושים לפריסת LLMs בקנה מידה כדי לאפשר קבלת החלטות קריטית.

בהטמעתם של טכנולוגיית AI גנרטיבית, לארגונים יש דאגות אמיתיות לגבי חשיפת נתונים ובעלות על מידע סודי שעלול להישלח ל-LLMs. חששות אלה של פרטיות והגנה על נתונים יכולים להאט או להגביל את השימוש ב-LLMs בארגונים. ארגונים זקוקים לדרך אחראית ובטוחה יותר לשלוח מידע רגיש לדגמים מבלי צורך לקחת על עצמם את התקורות הגבוהות לעיתים קרובות של DevOps מקומיות.

הפוסט מתאר כיצד אתה יכול להתגבר על האתגרים של שמירה על בעלות על נתונים ושמירה על פרטיות הנתונים תוך שימוש ב-LLMs על ידי פריסת ה-Stined Glass Transform של Protopia AI כדי להגן על הנתונים שלך. פרוטופיה AI שיתפה פעולה עם AWS כדי לספק את המרכיב הקריטי של הגנת נתונים ובעלות לאימוץ ארגוני מאובטח ויעיל של AI גנרטיבי. פוסט זה מתאר את הפתרון ומדגים כיצד ניתן להשתמש בו ב-AWS עבור מקרי שימוש ארגוניים פופולריים כמו אחזור דור מוגבר (RAG) ועם LLMs חדישים כמו לאמה 2.

סקירה כללית של טרנספורמציה של ויטראז'

ארגונים שואפים לשמור על בעלות מלאה ושליטה על הנתונים הארגוניים הרגישים שלהם. זהו עמוד התווך של בינה מלאכותית אחראית ודרישת הגנת מידע ופרטיות מתפתחת מעל ומעבר לאבטחה בסיסית ולערבויות משפטיות של ספקי LLM.

למרות שיחידות עסקיות ארגוניות רוצות להשתמש ב-LLM עבור משימות שונות, הן מודאגות גם מסודות מסחריים, קניין רוחני ומידע קנייני אחר שדולף דרך נתונים הנשלחים למודלים אלה. יחד עם זאת, משרדי אבטחה, תאימות, ניהול נתונים ומידע ארגוניים חוששים מחשיפת או דליפה של פרטי לקוחות בטקסט רגיל או נתונים מוסדרים אחרים מחוץ לארגון. AWS ו-Protopia AI משתפות פעולה כדי לספק את הרכיב הקריטי שפותר את הצורך הנפוץ הזה של לקוחות ארגוניים.

תמונת הזכוכית הצבעונית (SGT) של Protopia AI פותרת את האתגרים הללו על ידי המרת נתונים ארגוניים לא מוגנים לייצוג מחדש אקראי, המכונה נתוני RmoRed, כפי שמוצג באיור הבא. ייצוג זה הוא הטמעה סטוכסטית של הנתונים המקוריים, תוך שמירה על המידע שה-LLM היעד צריך כדי לתפקד מבלי לחשוף הנחיות או שאילתות רגישות, הקשר או נתונים כוונון עדין. ייצוג מחדש זה הוא טרנספורמציה חד-כיוונית שלא ניתנת לביטול, ומבטיחה פרטיות הוליסטית של נתונים ארגוניים והגנה מפני דליפת מידע רגיש לטקסט רגיל ל-LLMs. היישום של SGT אינו מוגבל לדגמי שפה. ניתן ליצור ייצוגים מחדש אקראיים גם עבור נתונים חזותיים ומובנים. השם Stained Glass Transform מושרש במראה החזותי של ייצוגים מחדש אקראי של נתונים חזותיים שיכולים להידמות לצפייה בנתונים דרך ויטראז', כפי שמודגם במסמך זה מארז שימוש של הצי האמריקאי.

SGT עובד עם LLMs חדישים כגון Llama 2. האיור הבא מציג דוגמה של החלת SGT על מודל Llama 2 למעקב אחר הוראות תוך הוספת שכבת הגנה להוראה ולהקשר. הצד השמאלי של האיור מציג דוגמה של מסמך פיננסי כהקשר, כאשר ההוראה מבקשת מהמודל לסכם את המסמך. בצד שמאל למטה, מוצגת התגובה שנוצרת על ידי Llama 2 בעת הפעלת ההנחיה הגולמית. בעת שימוש ב-SGT, ההטמעות הקשורות להנחיה זו הופכות בצד הלקוח להטבעות סטוכסטיות, כפי שמתואר ביתר פירוט בהמשך פוסט זה. הפינה השמאלית התחתונה מראה ש-Llama 2 עדיין יכול ליצור תגובה נכונה אם נתוני ה-RmoRed (הטבעות שלאחר הטרנספורמציה) נשלחים במקום ההטבעות הלא מוגנות. בצד ימין למעלה מראה שאם נתוני RmoRed ידלפו, שחזור של ההנחיה המקורית יביא לטקסט לא מובן.

כדי ליצור SGT עבור דגם נתון כגון Llama 2, Protopia AI מספקת ספרייה קלת משקל בשם Stained Glass SDK, שהיא הרחבה של PyTorch. כפי שמוצג באיור הבא, לאחר יצירת SGT, ניתן לשלב אותו בצינורות הפריסה במספר דרכים. ניתן לפרוס את הטרנספורמציה שנוצרת מה-SDK באופן מקומי, בהגדרה היברידית או לחלוטין על הענן. זה אפשרי מכיוון ש-SGT תוכנן להיות תהליך קל משקל הדורש מעט מאוד משאבי מחשוב וככזה יש לו השפעה מינימלית על הנתיב הקריטי להסקת ההסקה. הערכת מפתח נוספת היא שמירה על דיוק המודל באמצעות נתונים מיוצגים מחדש. אנו מבחינים כי על פני סוגי נתונים שונים וריאציות מודלים, הדיוק נשמר בתוך גבולות סובלנות רצויים בעת שימוש בנתונים מיוצגים מחדש.

אפשרויות אלו לפריסה ושמירה על הדיוק מאפשרות אימוץ בטוח של SGT על ידי כל בעלי העניין בארגון ארגוני. כדי להגן עוד יותר על הפלט של ה-LLM, Protopia AI יכולה לקודד פלטי שאילתות לייצוג שהמפענח שלו זמין רק לבעל הנתונים הארגוני.

סקירת פתרונות

הסעיף הקודם תיאר כיצד ניתן להשתמש בטרנספורמציה של ויטראז' במגוון ארכיטקטורות. האיור הבא מפרט את השלבים הכרוכים ביצירה, פריסה ושימוש ב-SGT עבור LLMs:

• יצירת SGT – הצוות שמאמן את מודל היסוד הבסיסי של LLM (ספקי LLM קנייניים, ספקי שירותי ענן או צוותי ML ארגוניים שיוצרים LLMs משלהם) מריץ את תוכנת Stained Glass SDK של Protopia AI מבלי לשנות את הפרקטיקות הקיימות שלהם להדרכה ופריסה של ה-LLM. לאחר השלמת הכשרת מודל הבסיס, ה-SDK פועל כמעבר אופטימיזציה על מודל השפה כדי לחשב את ה-SGT. כרטיס אופטימיזציה זה מועבר באמצעות הרחבה ל- PyTorch. ה-SDK עוטף את מודל הבסיס ומגלה מתמטית טרנספורמציה של ויטראז' ייחודית עבור אותו LLM. פרטים נוספים על המתמטיקה הבסיסית ניתן למצוא ב- נייר לבן נלווה. שימו לב שבגלל שהצוות המאמן את ה-LLM עצמו מפעיל גם את ה-SDK של הזכוכית הצבעונית, אין חשיפה או שליחה של משקולות לדגם הנחוצות להשלמת שלב זה.
• שחרור ופריסה של SGT - ה-SGT המופק משלב האופטימיזציה הקודם נפרס כחלק מצינור הנתונים שמזין את ה-LLM המאומן. כפי שתואר בסעיף הקודם, ה-SGT יושב בצד הלקוח הארגוני.
• שימוש ב-SGT - ה-SGT פועל על ההנחיות שנוצרו על ידי הארגון ומייצר הנחיות מוגנות, הנשלחות ל-LLM שנפרס. זה מאפשר לארגון לשמור בעלות על השאילתות וההקשר הרגישים שלהם. באמצעות Protopia AI Stained Glass, הנתונים הרגישים הלא מוגנים אינם עוזבים את האתר או את אזור האמון של הארגון.

אתה יכול להשתמש ב-SDK של זכוכית צבעונית כדי ליצור SGT במספר דרכים. לדוגמה, אתה יכול להשתמש ב-SDK של Stained Glass בסביבות למידת מכונה בניהול עצמי (ML) עם שירות קוברנט של אמזון (Amazon EKS) לאימון והסקת מסקנות או בתוך ענן מחשוב אלסטי של אמזון (אמזון EC2) ישירות. אפשרות נוספת היא שהוא יכול לרוץ בפנים אמזון SageMaker כדי ליצור SGT עבור דגם מאומן נתון. שינוי הקלט לפריסה במהלך הסקה מהלקוח אינו תלוי ביישום הפריסה שנבחר.

האיור הבא ממחיש הטמעה אפשרית בסביבת ML בניהול עצמי, שבה אימון של שינוי זכוכית צבעוני מתבצע ב- Amazon EKS.

בזרימת עבודה זו, מיכל נוצר באמצעות ה-SDK של Stained Glass ונפרס אל מרשם מיכל אלסטי של אמזון (Amazon ECR). מכולה זו נפרסת לאחר מכן באמזון EKS כדי להכשיר SGT שנשמר אליו שירות אחסון פשוט של אמזון (אמזון S3). אם אתה משתמש ב-Amazon EC2, אתה יכול לאמן טרנספורמציה ישירות במופע שלך כחלק מהגדרת ה-ML שלך. ה-SDK של הזכוכית הצבעונית יכולה לפעול על מגוון סוגי מופעים, כולל משפחות מופעים של Amazon P5, P4 או G5, בהתבסס על דרישות ה-LLM הבסיסיות שלך. לאחר פריסת ה-LLM כדי לשמש להסקת מסקנות, אפליקציית הלקוח משתמשת ב-SGT שנוצר, שהיא פעולה קלת משקל, כדי לשנות הנחיות והקשר לפני שליחתן ל-LLM. על ידי כך, רק נתונים שעברו שינוי נחשפים ל-LLM, והבעלות על הקלט המקורי נשמרת בצד הלקוח.

האיור הבא מדגים כיצד ניתן לאמן טרנספורמציה ולהפעיל הסקת מסקנות ב- SageMaker.

יצירת ה-SGT הולכת בדרך דומה להגדרת Amazon EKS על ידי הטמעת נתוני האימון מאמזון S3, אימון SGT על מיכל ושמירתו באמזון S3. אתה יכול להשתמש ב-SDK של זכוכית צבעונית בהגדרת SageMaker הקיימת שלך עם סטודיו SageMaker של אמזון, מחברות SageMakerו עבודת הדרכה של SageMaker. ה-LLM מתארח כנקודת קצה של SageMaker הנגישה באמצעות אפליקציית הלקוח. ההסקה עבור אפליקציית הלקוח זהה גם להגדרת Amazon EKS, למעט מה שמשרת את המודל.

ייצוגים מחדש אקראיים כדי להגן על הנחיות LLM וכוונון עדין של נתונים

סעיף זה מכסה מגוון מקרי שימוש המדגימים כיצד ייצוג מחדש אקראי מגן על הנחיות LLM. הדוגמאות ממחישות השלכות עיקריות על מאמצי הבינה המלאכותית הארגונית: פתיחת דלתות חדשות למקרי שימוש בבינה מלאכותית, האצת מהירות לשוק תוך הגנה נכונה על נתונים ארגוניים, ושמירה על בעלות על הנתונים הרגישים הנדרשים לשימוש בהנחיות LLM.

מקרה שימוש RAG

מקרה שימוש ארגוני פופולרי עבור LLMs הוא Retrieval Augmented Generation (RAG). האיור הבא מציג דוגמה להמחשה שבה ההנחיות והמקורות מוגנים באמצעות ויטראז'. הצד השמאלי של האיור מציג את ההנחיות הלא מוגנות ואת מידע המקור. ביישום ארגוני של RAG, המקורות יכולים לכלול מידע רגיש כגון סודות מסחריים ארגוניים, קניין רוחני או מידע פיננסי. הצד הימני מציג את השחזור הטוב ביותר האפשרי בטקסט קריא אנושי מההנחיות של RmoRed שנוצרו על ידי SGT.

אנו יכולים לראות שגם בשחזור הטוב ביותר האפשרי, המידע מעורפל לחלוטין. עם זאת, התגובה מהמודל עם הטרנספורמציה ובלעדיה זהה, עם מצביעים למסמכי המקור המקוריים, ובכך משמרת את הדיוק של מסמכי השאלה והמקור בעת ביצוע מקרה שימוש פופולרי זה בארגון.

ישימות רחבה על פני LLMs ושפות

אחד מנקודות השיא של ה-SDK של ויטראז'ים הוא שהוא בעל גמישות רבה להתקדמות הדגמים וניתן להתאמה לדגמים חדישים כגון לאמה 2. האיור הבא מציג SGT שנוצר ב-Llama 2 LLM שהיה מכוון בעבר לעבודה עם טקסט יפני. דוגמה זו ממחישה עוד יותר שניתן ליצור ולהחיל SGTs עבור כל שפה וכי אפילו קלט עבור מודלים מכוונים ניתן לשנות. הישימות הכללית של SGT מונעת על ידי הבסיס החזק של ה-SDK של הזכוכית הצבעונית שהוא אגנסטי למודלים ולנתונים.

הגנה על נתוני כוונון עדין וכן הנחיות

טרנספורמציה של ויטראז' אינה מוגבלת רק להגנה על נתונים בזמן מסקנות; זה יכול גם להגן על נתונים המשמשים לכוונון עדין של מודל יסוד. התהליך ליצירת הטרנספורמציה עבור כוונון מערכי נתונים זהה לזה שהוסבר בסעיף ארכיטקטורת הפתרונות מוקדם יותר בפוסט זה. הטרנספורמציה נוצרת כדי לכוון את מודל הבסיס ללא גישה לנתוני הכוונון. לאחר יצירת ה-SGT והכשרה עבור מודל הבסיס, מערך הכוונון העדין הופך לייצוגים מחדש אקראיים אשר ישמשו לאחר מכן לכוונון עדין של מודל הבסיס. תהליך זה מוסבר ביתר פירוט ב- נייר לבן נלווה.

בדוגמה הבאה, לקוח ארגוני היה צריך לכוונן מודל קיים לזיהוי חריגות ביומן רשת. הם השתמשו בזכוכית צבעונית כדי להפוך את מערך הנתונים הרגיש לכוונון עדין להטבעות אקראיות, ששימשו לכוונון עדין של מודל היסוד שלהם. הם מצאו כי מודל הגילוי שכוונן עדין על הייצוגים שעברו טרנספורמציה בוצע בדיוק כמעט זהה בהשוואה לתרחיש ההיפותטי של כוונון עדין של מודל הבסיס על מערך הנתונים לכוונון העדין הלא מוגן. הטבלה הבאה מציגה שתי דוגמאות לרשומות נתוני טקסט רגיל ממערך הנתונים לכוונון העדין ושחזור לטקסט של אותן רשומות נתונים ממערך הנתונים לכוונון העדין.

מתחת למכסה המנוע של טרנספורמציה זכוכית צבעונית עבור LLMs

כאשר מיושם על ראייה ממוחשבת, SGT פועל על תכונות פיקסל קלט, ועבור LLMs, הוא פועל ברמת ההטמעה. כדי להדגיש כיצד פועלת טרנספורמציה זכוכית צבעונית, דמיינו את ההטמעות המיידיות כמטריצה, כפי שמוצג בצד שמאל של האיור הבא. בכל ערך יש ערך דטרמיניסטי. ניתן למפות ערך זה לנתונים המקוריים, תוך חשיפת ההנחיה הלא מוגנת. טרנספורמציה של זכוכית צבעונית ממירה את המטריצה ​​הזו של ערכים דטרמיניסטיים למטריצה ​​שמרכיביה הם ענן של אפשרויות.

ההנחיה שעברה טרנספורמציה מוצגת על ידי דגימת רעש מהתפלגויות הסתברות שהוגדרו על ידי ה-SGT והוספת הרעש הנדגם להטמעות הדטרמיניסטיות, מה שגורם לאקראי של ערכי ההנחיה המקוריים באופן בלתי הפיך. המודל עדיין מבין את ההנחיה המיוצגת מחדש באקראי ברמה המתמטית ויכול לבצע את המשימה שלו במדויק.

סיכום

פוסט זה דן כיצד ה- Stained Glass Transform של Protopia AI מנתקת בעלות והגנה על נתונים גולמיים מתהליך התפעול של ML, ומאפשרת לארגונים לשמור על בעלות ולשמור על פרטיות מידע רגיש בהנחיות LLM ובנתונים מכוונים עדינים. על ידי שימוש בהגנה על נתונים חדישה זו עבור שימוש ב-LLM, ארגונים יכולים להאיץ את האימוץ של מודלים בסיסיים ו-LLMs על ידי חשש פחות מחשיפה של מידע רגיש. על ידי שחרור בטוח של הערך בנתונים ארגוניים אמיתיים, ארגונים יכולים לאפשר את היעילות המובטחת ואת התוצאות העסקיות של LLMs בצורה יעילה ומהירה יותר. כדי ללמוד עוד על טכנולוגיה זו, תוכל למצוא קריאה נוספת ב- נייר לבן נלווה ו להתחבר עם Protopia AI כדי לקבל גישה ולנסות זאת על הנתונים הארגוניים שלך.

על Protopia AI

Protopia AI היא מובילה בטכנולוגיות AI/ML להגנה על נתונים ושמירה על הפרטיות, המבוססת באוסטין, טקסס, ומתמחה בהפעלת אלגוריתמי AI ופלטפורמות תוכנה ללא צורך בגישה למידע טקסט רגיל. במהלך השנתיים האחרונות, Protopia AI הדגימה בהצלחה את מוצר הדגל שלה ל-Training Glass Transform במגוון מקרי שימוש וסוגי נתונים של ML עם חיל הים האמריקאי, שירותים פיננסיים מובילים וספקי טכנולוגיה גלובליים.

Protopia AI עובדת עם ארגונים, ספקי בינה מלאכותית ו-LLM, וספקי שירותי ענן (CSPs) כדי לאפשר שמירה על בעלות וסודיות של נתונים ארגוניים תוך שימוש בפתרונות AI/ML. Protopia AI שיתפה פעולה עם AWS כדי לספק מרכיב קריטי של הגנת נתונים ובעלות לאימוץ ארגוני של AI גנרטיבי, והייתה אחת מ-21 סטארט-אפים שנבחרו לראשון מאיץ AI Generative AWS בשנת 2023.

---

על המחברים

Balaji Chandrasekaran הוא סמנכ"ל המעבר לשוק והפעלת לקוחות ב-Protopia AI, עובד בשיתוף פעולה הדוק עם לקוחות כדי למנף AI בעסק שלהם תוך מתן עדיפות להגנה על נתונים ופרטיות. לפני Protopia AI, Balaji היה מוביל המוצר עבור פתרונות בינה מלאכותית ב-Infor, ופיתח מוצרים ממוקדי ערך תוך כדי שהוא פעל כשותף מהימן עבור לקוחות ארגוניים בתעשיות מגוונות. מחוץ לעבודה, הוא נהנה ממוזיקה, טיולים וטיולים עם המשפחה.

ג'ניפר קוואגנברג מוביל את צוות ההנדסה ב-Protopia AI ופועל כדי להבטיח שטכנולוגיית הזכוכית הצבעונית עונה על הצרכים של הלקוחות שלהם כדי להגן על הנתונים שלהם. לג'ניפר יש ניסיון קודם באבטחה בעבודה בטויוטה בקבוצת המוצר Cybersecurity, בניהול עומסי עבודה בענן ב-N-able ואחראית לנתונים ב-Match.com.

אנדרו סאנסום הוא מהנדס פתרונות בינה מלאכותית ב-Protopia AI שם הוא עוזר לארגונים להשתמש בבינה מלאכותית תוך שמירה על מידע פרטי ורגיש בנתונים שלהם. לפני Protopia AI, הוא עבד כיועץ טכני שהתמקד במתן פתרונות בינה מלאכותית עבור לקוחות בתעשיות רבות כולל פיננסים, ייצור, שירותי בריאות וחינוך. הוא גם לימד מדעי המחשב ומתמטיקה לבית ספר תיכון, אוניברסיטה וסטודנטים מקצועיים.

איימן אברהימי, דוקטור, הוא מייסד שותף ומנכ"ל פרוטופיה AI. ד"ר אברהימי נלהב לאפשר לבינה מלאכותית להעשיר את החוויה האנושית על פני ענפי חברה ותעשייה שונים. Protopia AI הוא חזון לשיפור העדשה שדרכה AI צופה בנתונים הדרושים והאיכותיים הדרושים לו תוך יצירת יכולות חדשות לשמירה על מידע רגיש. לפני Protopia AI, הוא היה מדען מחקר בכיר ב-NVIDIA במשך 9 שנים. עבודתו במחקר NVIDIA נועדה לפתור בעיות של גישה למערכי נתונים מסיביים ב-ML/AI. הוא גם היה שותף בכתיבת פרסומים בביקורת עמיתים על איך לנצל את הכוח של אלפי GPUs כדי להפוך אימון מודלים של שפות גדולות לביצוע.

רוהיט טלורי הוא מומחה AI GTM Generative בשירותי האינטרנט של אמזון (AWS). הוא משתף פעולה עם בוני מודלים מובילים של AI, לקוחות אסטרטגיים, שותפי AI/ML מפתחים וצוותי שירות של AWS כדי לאפשר את הדור הבא של בינה מלאכותית, למידת מכונה ומחשוב מואץ ב-AWS. בעבר הוא היה ארכיטקט פתרונות ארגוניים, ומנהל הפתרונות הגלובלי לייעוץ למיזוגים ורכישות של AWS.

• הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
• PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
• PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
• PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
• PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
• מקור: https://aws.amazon.com/blogs/machine-learning/foundational-data-protection-for-enterprise-llm-acceleration-with-protopia-ai/