פוסט זה נכתב בשיתוף עם דניאל צ'יאפלופי, משתתפת בצוות ההאקתון לסטודנטים של AWS ב-ETH ציריך.
כולם יכולים להתחיל בקלות עם למידת מכונה (ML) באמצעות אמזון SageMaker JumpStart. בפוסט זה, אנו מראים לכם כיצד צוות האקאתון של אוניברסיטאות השתמש ב-SageMaker JumpStart כדי לבנות במהירות אפליקציה שעוזרת למשתמשים לזהות ולהסיר הטיות.
"Amazon SageMaker היה מכריע בפרויקט שלנו. זה הקל על פריסה וניהול של מופע מיומן מראש של Flan, והציע לנו בסיס איתן ליישום שלנו. תכונת קנה המידה האוטומטי שלה הוכיחה את עצמה כמכרעת בתקופות עם תנועה רבה, מה שהבטיח שהאפליקציה שלנו תישאר מגיבה והמשתמשים קיבלו ניתוח הטיה יציב ומהיר. יתרה מכך, בכך שאפשרנו לנו להוריד את המשימה הכבדה של שאילתת מודל ה-Flan לשירות מנוהל, הצלחנו לשמור על האפליקציה שלנו קלת משקל ומהירה, ולשפר את חווית המשתמש במכשירים שונים. התכונות של SageMaker העצימו אותנו למקסם את זמננו בהאקתון, ואפשרו לנו להתמקד באופטימיזציה של ההנחיות והאפליקציה שלנו במקום בניהול הביצועים והתשתית של המודל."
– דניאל צ'יאפלופי, משתתפת בצוות ההאקתון לסטודנטים של AWS ב-ETH ציריך.
סקירת פתרונות
הנושא של ההאקתון הוא לתרום למטרות בר-קיימא של האו"ם באמצעות טכנולוגיית AI. כפי שמוצג באיור הבא, האפליקציה שנבנתה בהאקתון תורמת לשלושה מיעדי פיתוח בר קיימא (חינוך איכותי, מיקוד לאפליה על בסיס מגדר והפחתת אי שוויון) על ידי סיוע למשתמשים לזהות ולהסיר הטיות מהטקסט שלהם על מנת לקדם הוגן ושפה מכילה.
כפי שמוצג בצילום המסך הבא, לאחר שתספק את הטקסט, האפליקציה מייצרת גרסה חדשה נקייה מהטיות גזעיות, אתניות ומגדריות. בנוסף, הוא מדגיש את החלקים הספציפיים של טקסט הקלט שלך הקשורים לכל קטגוריה של הטיה.
בארכיטקטורה המוצגת בתרשים הבא, משתמשים מזינים טקסט ב- להגיב-אפליקציית אינטרנט מבוססת, אשר מפעילה שער API של אמזון, אשר בתורו מעורר an AWS למבדה פונקציה בהתאם להטיה בטקסט המשתמש. הפונקציה Lambda קוראת לנקודת הקצה של מודל Flan ב- SageMaker JumpStart, אשר מחזירה את תוצאת הטקסט הבלתי מוטה דרך אותו מסלול חזרה ליישום החזיתי.
תהליך פיתוח אפליקציות
תהליך הפיתוח של אפליקציה זו היה איטרטיבי והתרכז בשני תחומים עיקריים: ממשק משתמש ושילוב מודל ML.
בחרנו ב-React לפיתוח החזיתי בשל הגמישות, המדרגיות והכלים החזקים ליצירת ממשקי משתמש אינטראקטיביים. בהתחשב באופי האפליקציה שלנו - עיבוד קלט משתמש והצגת תוצאות מעודנות - הארכיטקטורה מבוססת הרכיבים של React הוכיחה את עצמה כאידיאלית. עם React, נוכל לבנות ביעילות אפליקציה של עמוד בודד שאפשרה למשתמשים לשלוח טקסט ולראות תוצאות חסרות הטיה ללא צורך ברענון מתמיד של העמוד.
הטקסט שהוזן על ידי המשתמש היה צריך להיות מעובד על ידי מודל שפה רב עוצמה כדי לבדוק אם יש הטיות. בחרנו ב-Flan בשל תכונות החוסן, היעילות ויכולת המדרגיות שלו. כדי להשתמש ב-Flan, השתמשנו ב- SageMaker JumpStart, כפי שמוצג בצילום המסך הבא. אמזון SageMaker הקלה על פריסה וניהול של מופע מיומן מראש של Flan, מה שמאפשר לנו להתמקד באופטימיזציה של ההנחיות והשאילתות שלנו במקום בניהול הביצועים והתשתית של המודל.
חיבור מודל ה-Flan ליישום החזיתי שלנו דרש אינטגרציה חזקה ומאובטחת, שהושגה באמצעות Lambda ו-API Gateway. עם Lambda, יצרנו פונקציה ללא שרת שמתקשרת ישירות עם מודל SageMaker שלנו. לאחר מכן השתמשנו ב-API Gateway כדי ליצור נקודת קצה מאובטחת, ניתנת להרחבה ונגישה עבור אפליקציית React שלנו כדי להפעיל את פונקציית Lambda. כאשר משתמש שלח טקסט, האפליקציה הפעילה סדרה של קריאות API לשער - תחילה כדי לזהות אם קיימת הטיה כלשהי, ולאחר מכן, במידת הצורך, שאילתות נוספות כדי לזהות, לאתר ולנטרל את ההטיה. כל הבקשות הללו נותבו דרך פונקציית Lambda ולאחר מכן לדגם SageMaker שלנו.
המשימה האחרונה שלנו בתהליך הפיתוח הייתה בחירת ההנחיות לשאילתה של מודל השפה. כאן, מערך הנתונים של CrowS-Pairs שיחק תפקיד אינסטרומנטלי מכיוון שהוא סיפק לנו דוגמאות אמיתיות של טקסט מוטה, שבו השתמשנו כדי לכוונן את הבקשות שלנו. בחרנו את ההנחיות בתהליך איטרטיבי, במטרה למקסם את הדיוק בזיהוי הטיה בתוך מערך הנתונים הזה.
בסיום התהליך, ראינו זרימה תפעולית חלקה ביישום המוגמר. התהליך מתחיל בכך שמשתמש שולח טקסט לניתוח, שנשלח לאחר מכן באמצעות בקשת POST לנקודת הקצה המאובטחת של API Gateway שלנו. זה מפעיל את פונקציית Lambda, שמתקשרת עם נקודת הקצה של SageMaker. כתוצאה מכך, מודל הפלאן מקבל סדרה של שאילתות. הראשון בודק אם יש הטיות כלשהן בטקסט. אם מתגלות הטיות, שאילתות נוספות נפרסות כדי לאתר, לזהות ולנטרל את האלמנטים המוטים הללו. לאחר מכן התוצאות מוחזרות באותו נתיב - תחילה לפונקציית Lambda, לאחר מכן דרך ה-API Gateway, ובסופו של דבר חזרה למשתמש. אם הייתה הטיה כלשהי בטקסט המקורי, המשתמש מקבל ניתוח מקיף המציין את סוגי ההטיות שזוהו, בין אם גזע, אתני או מגדר. חלקים ספציפיים של הטקסט שבהם נמצאו הטיות אלו מודגשים, ומעניקים למשתמשים תצוגה ברורה של השינויים שבוצעו. לצד ניתוח זה, מוצגת גרסה חדשה, חסרת-הטיה, של הטקסט שלהם, אשר הופכת למעשה קלט מוטה פוטנציאלי לנרטיב כוללני יותר.
בסעיפים הבאים נפרט את השלבים ליישום פתרון זה.
הגדר את סביבת React
התחלנו בהקמת סביבת הפיתוח שלנו עבור React. לאתחול אפליקציית React חדשה עם תצורה מינימלית, השתמשנו באפליקציית create-react-app:
npx create-react-app my-app
בנה את ממשק המשתמש
באמצעות React, עיצבנו ממשק פשוט למשתמשים להזנת טקסט, עם כפתור הגשה, לחצן איפוס ותצוגות שכבות להצגת התוצאות המעובדות כשהן זמינות.
התחל את מודל ה-Flan ב- SageMaker
השתמשנו ב- SageMaker כדי ליצור מופע מיומן מראש של מודל שפת ה-Flan עם נקודת קצה להסקת מסקנות בזמן אמת. ניתן להשתמש במודל כנגד כל מטען מובנה ב-JSON כמו הבא:
צור פונקציית למבדה
פיתחנו פונקציית Lambda שיצרה אינטראקציה ישירה עם נקודת הקצה של SageMaker שלנו. הפונקציה תוכננה לקבל בקשה עם הטקסט של המשתמש, להעביר אותה לנקודת הקצה של SageMaker, ולהחזיר את התוצאות המעודנות, כפי שמוצג בקוד הבא (ENDPOINT_NAME
הוגדר כנקודת הקצה של מופע SageMaker):
הגדר API Gateway
הגדרנו REST API חדש ב-API Gateway וקישרנו אותו לפונקציית Lambda שלנו. חיבור זה אפשר לאפליקציית React שלנו לבצע בקשות HTTP לשער ה-API, מה שהפעיל לאחר מכן את פונקציית Lambda.
שלב את אפליקציית React עם ה-API
עדכנו את אפליקציית React כדי לבצע בקשת POST לשער ה-API בעת לחיצה על כפתור השליחה, כאשר גוף הבקשה הוא הטקסט של המשתמש. קוד ה-JavaScript בו השתמשנו לביצוע קריאת ה-API הוא כדלקמן (REACT_APP_AWS_ENDPOINT
מתאים לנקודת הקצה של שער API המחוברת לקריאה של Lambda):
בצע אופטימיזציה של בחירת הנחיה
כדי לשפר את הדיוק של זיהוי הטיה, בדקנו הנחיות שונות מול מערך הנתונים של CrowS-Pairs. באמצעות תהליך איטרטיבי זה, בחרנו את ההנחיות שנתנו לנו את הדיוק הגבוה ביותר.
פרוס ובדוק את אפליקציית React ב-Vercel
לאחר בניית האפליקציה, פרסנו אותה ב-Vercel כדי להפוך אותה לנגישה לציבור. ערכנו בדיקות מקיפות כדי לוודא שהאפליקציה תפקד כמצופה, מממשק המשתמש ועד לתגובות ממודל השפה.
שלבים אלה הניחו את הבסיס ליצירת האפליקציה שלנו לניתוח וביטול הטיה של טקסט. למרות המורכבות המובנית של התהליך, השימוש בכלים כמו SageMaker, Lambda ו-API Gateway ייעל את הפיתוח, ואיפשר לנו להתמקד במטרה המרכזית של הפרויקט - זיהוי וביטול הטיות בטקסט.
סיכום
SageMaker JumpStart מציע דרך נוחה לחקור את התכונות והיכולות של SageMaker. הוא מספק פתרונות שלב אחד מאוצרים, מחברות לדוגמה ודגמים מאומנים מראש הניתנים לפריסה. משאבים אלה מאפשרים לך ללמוד ולהבין במהירות את SageMaker. בנוסף, יש לך אפשרות לכוונן את הדגמים ולפרוס אותם בהתאם לצרכים הספציפיים שלך. גישה ל-JumpStart זמינה דרך סטודיו SageMaker של אמזון או באופן פרוגרמטי באמצעות ממשקי ה-API של SageMaker.
בפוסט זה למדת כיצד צוות סטודנטים של Hackathon פיתח פתרון תוך זמן קצר באמצעות SageMaker JumpStart, שמראה את הפוטנציאל של AWS ו- SageMaker JumpStart לאפשר פיתוח ופריסה מהירה של פתרונות AI מתוחכמים, אפילו על ידי צוותים קטנים או יחידים.
למידע נוסף על שימוש ב- SageMaker JumpStart, עיין ב כוונון עדין של הוראות עבור FLAN T5 XL עם Amazon SageMaker Jumpstart ו הנחיה אפסית לדגם הבסיס Flan-T5 באמזון SageMaker JumpStart.
מועדון ETH Analytics אירח את 'ETH Datathon', האקתון AI/ML שמושך יותר מ-150 משתתפים מ-ETH ציריך, אוניברסיטת ציריך ו-EPFL. האירוע כולל סדנאות בהנחיית מנהיגים בתעשייה, אתגר קידוד 24 שעות ביממה והזדמנויות נטוורקינג חשובות עם עמיתים סטודנטים ואנשי מקצוע בתעשייה. תודה רבה לצוות האקאתון של ETH: דניאלה צ'יאפלופי, אתינה ניסיוטי ופרנצ'סקו איגנציו רה, כמו גם לשאר צוות הארגון של AWS: אליס מורנו, דמיר קאטוביץ', איאנה פייקס, יאן אוליבר זיידפוס, לארס נטמן ומרקוס ווינטרהולר.
התוכן והדעות בפוסט זה הם של מחבר צד ג 'ו- AWS אינה אחראית לתוכן או לדיוק של פוסט זה.
על המחברים
ג'ון ג'אנג הוא אדריכל פתרונות שבסיסו בציריך. הוא עוזר ללקוחות שוויצרים לבנות פתרונות מבוססי ענן כדי להשיג את הפוטנציאל העסקי שלהם. יש לו תשוקה לקיימות והוא שואף לפתור את אתגרי הקיימות הנוכחיים באמצעות טכנולוגיה. הוא גם חובב טניס ענק ונהנה מאוד לשחק משחקי לוח.
מוהן גודה מוביל את צוות למידת מכונה ב-AWS שוויץ. הוא עובד בעיקר עם לקוחות רכב כדי לפתח פתרונות AI/ML חדשניים ופלטפורמות עבור כלי רכב מהדור הבא. לפני העבודה עם AWS, מוהן עבד עם חברת ייעוץ ניהולי גלובלית עם התמקדות באסטרטגיה ואנליטיקה. התשוקה שלו טמונה בכלי רכב מחוברים ובנהיגה אוטונומית.
מזוןתיאס אגלי הוא ראש החינוך בשוויץ. הוא ראש צוות נלהב עם ניסיון רחב בפיתוח עסקי, מכירות ושיווק.
קמנג ג'אנג הוא מהנדס ML שבסיסו בציריך. היא עוזרת ללקוחות גלובליים לעצב, לפתח ולהגדיל יישומים מבוססי ML כדי להעצים את היכולות הדיגיטליות שלהם להגדיל את ההכנסות העסקיות ולהפחית עלויות. היא גם מאוד נלהבת ליצור יישומים ממוקדי אדם על ידי מינוף ידע ממדעי ההתנהגות. היא אוהבת לשחק ספורט מים ולטייל עם כלבים.
דניאל צ'יאפלופי הוא בוגר טרי מ-ETH ציריך. הוא נהנה מכל היבט של הנדסת תוכנה, מתכנון ועד יישום, ומפריסה ועד תחזוקה. יש לו תשוקה עמוקה לבינה מלאכותית והוא צופה בשקיקה לחקור, לנצל ולתרום להתקדמות האחרונה בתחום. בזמנו הפנוי, הוא אוהב ללכת על סנובורד בחודשים הקרים יותר ולשחק כדורסל פיק-אפ כשמזג האוויר מתחמם.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
- מקור: https://aws.amazon.com/blogs/machine-learning/innovation-for-inclusion-hack-the-bias-with-amazon-sagemaker/
- :יש ל
- :הוא
- :לֹא
- :איפה
- $ למעלה
- 100
- 13
- 150
- 17
- 25
- 7
- 8
- 87
- 97
- 990
- a
- יכול
- אודות
- גישה
- נגיש
- פי
- דיוק
- להשיג
- הושג
- לרוחב
- נוסף
- בנוסף
- התקדמות
- לאחר
- נגד
- AI
- AI / ML
- ירייה
- תעשיות
- להתיר
- מותר
- מאפשר
- בַּצַד
- גם
- אמזון בעברית
- אמזון SageMaker
- אמזון שירותי אינטרנט
- an
- אנליזה
- ניתוח
- ניתוח
- ו
- תשתיות
- צופה
- כל
- API
- ממשקי API
- האפליקציה
- בקשה
- יישומים
- ארכיטקטורה
- ARE
- אזורים
- AS
- אספקט
- At
- מחבר
- המכונית
- רכב
- אוטונומי
- זמין
- AWS
- אקסיו
- בחזרה
- מבוסס
- כדורסל
- BE
- כי
- לפני
- החל
- להיות
- הטיה
- מְשׁוּחָד
- הטיות
- לוּחַ
- משחקי לוח
- גוּף
- כָּרוּך
- רחב
- לִבנוֹת
- בִּניָן
- נבנה
- עסקים
- פיתוח עסקי
- לַחְצָן
- by
- שיחה
- שיחות
- CAN
- יכולות
- קטגוריה
- מרוכז
- לאתגר
- האתגרים
- שינויים
- בדיקות
- בחר
- ברור
- מועדון
- קוד
- סִמוּל
- מורכבות
- מַקִיף
- מנוהל
- תְצוּרָה
- מוגדר
- מחובר
- הקשר
- כתוצאה מכך
- קבוע
- ייעוץ
- תוכן
- הקשר
- לתרום
- תורם
- תורם
- נוֹחַ
- ליבה
- מתכתב
- עלות
- יכול
- לִיצוֹר
- נוצר
- יוצרים
- מכריע
- אוצר
- נוֹכְחִי
- לקוחות
- נתונים
- עמוק
- תלוי
- לפרוס
- פרס
- פריסה
- עיצוב
- מעוצב
- למרות
- פרט
- זוהה
- איתור
- לפתח
- מפותח
- מתפתח
- צעצועי התפתחות
- התקנים
- אחר
- דיגיטלי
- ישירות
- מציג
- מצייר
- נהיגה
- ראוי
- בְּמַהֲלָך
- כל אחד
- בשקיקה
- בקלות
- קל
- חינוך
- יעילות
- יְעִילוּת
- יעילות
- אלמנטים
- חיסול
- להסמיך
- רשאי
- מה שמאפשר
- נקודת קצה
- מהנדס
- הנדסה
- שיפור
- לְהַבטִיחַ
- הבטחתי
- נכנס
- נלהב
- סביבה
- ETH
- אֲפִילוּ
- אירוע
- כל
- דוגמה
- דוגמאות
- צפוי
- ניסיון
- לחקור
- היכרות
- נרחב
- הוגן
- אוהד
- מהר
- מאפיין
- תכונות
- בחור
- שדה
- תרשים
- סופי
- פירמה
- ראשון
- גמישות
- תזרים
- להתמקד
- הבא
- כדלקמן
- בעד
- קדימה
- מצא
- קרן
- חופשי
- החל מ-
- פונקציה
- נוסף
- משחקים
- שער כניסה
- נתן
- מין
- מייצר
- דור
- לקבל
- נתן
- נתינה
- גלוֹבָּלִי
- מטרה
- שערים
- הולך
- לתפוס
- בוגר
- גדול
- עבודות קרקע
- לפרוץ
- האקטון
- יש
- he
- ראש
- כבד
- עזרה
- עוזר
- כאן
- הגבוה ביותר
- מודגש
- פסים
- שֶׁלוֹ
- אירח
- איך
- HTML
- http
- HTTPS
- עצום
- אידאל
- לזהות
- if
- ליישם
- הפעלה
- לייבא
- לשפר
- in
- הַכלָלָה
- כולל
- להגדיל
- אנשים
- תעשייה
- אי-שוויון
- תשתית
- הטמון
- חדשנות
- חדשני
- קלט
- למשל
- אינסטרומנטלי
- השתלבות
- אינטראקטיבי
- מִמְשָׁק
- ממשקים
- אל תוך
- מעורר
- IT
- שֶׁלָה
- יאן
- JavaScript
- jpg
- ג'סון
- שמור
- ידע
- שפה
- האחרון
- עוֹפֶרֶת
- מנהיגים
- מוביל
- לִלמוֹד
- למד
- למידה
- הוביל
- מינוף
- שקרים
- קַל מִשְׁקָל
- כמו
- אוהב
- צמוד
- מגרש
- אוהב
- מכונה
- למידת מכונה
- עשוי
- ראשי
- תחזוקה
- לעשות
- לנהל
- הצליח
- ניהול
- ניהול
- שיווק
- לְהַגדִיל
- מקסום
- מינימלי
- ML
- מודל
- מודלים
- חודשים
- יותר
- נרטיב
- טבע
- הכרחי
- צורך
- נחוץ
- צרכי
- רשתות
- הזדמנויות עבודה ברשת
- חדש
- הבא
- מטרה
- of
- הצעה
- המיוחדות שלנו
- on
- מבצעי
- דעות
- הזדמנויות
- מיטוב
- אפשרות
- or
- להזמין
- ארגון
- מְקוֹרִי
- OS
- שלנו
- עמוד
- המשתתפים
- חלקים
- תשוקה
- לוהט
- לְבַצֵעַ
- ביצועים
- תקופות
- פלטפורמות
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- שיחק
- משחק
- הודעה
- פוטנציאל
- פוטנציאל
- חזק
- נוכחות
- להציג
- מוצג
- בראש ובראשונה
- תהליך
- מעובד
- אנשי מקצוע
- פּרוֹיֶקט
- לקדם
- נכסים
- הוכיח
- לספק
- ובלבד
- מספק
- בפומבי
- איכות
- שאילתות
- מהירות
- מהיר
- במקום
- RE
- להגיב
- לְלֹא קוֹשִׁי
- ממשי
- זמן אמת
- לקבל
- קיבלו
- מקבל
- לאחרונה
- להפחית
- מופחת
- להתייחס
- מעודן
- קָשׁוּר
- נשאר
- להסיר
- לבקש
- בקשות
- נדרש
- משאבים
- תגובות
- אחראי
- תגובה
- REST
- תוצאה
- תוצאות
- לַחֲזוֹר
- החזרות
- הכנסה
- חָסוֹן
- איתנות
- תפקיד
- מסלול
- בעל חכמים
- מכירות
- אותו
- בקרת מערכות ותקשורת
- להרחבה
- סולם
- דרוג
- מדע
- בצורה חלקה
- סעיפים
- לבטח
- לִרְאוֹת
- זרע
- נבחר
- מבחר
- נשלח
- סדרה
- ללא שרת
- שרות
- שירותים
- סט
- הצבה
- היא
- קצר
- לְהַצִיג
- הראה
- הופעות
- פָּשׁוּט
- קטן
- תוכנה
- הנדסת תוכנה
- מוצק
- פִּתָרוֹן
- פתרונות
- לפתור
- מתוחכם
- ספציפי
- ספורט
- החל
- יציב
- צעדים
- אִסטרָטֶגִיָה
- זִרמִי
- שואף
- סטודנט
- סטודנטים
- כְּנִיעָה
- להגיש
- הוגש
- כתוצאה מכך
- קיימות
- בר קיימא
- פיתוח בר קיימא
- SWIFT
- השוויצרי
- שוויץ
- מיקוד
- המשימות
- נבחרת
- צוותי
- טכנולוגיה
- מבחן
- נבדק
- בדיקות
- טֶקסט
- מֵאֲשֶׁר
- תודה
- זֶה
- השמיים
- שֶׁלָהֶם
- אותם
- נושא
- אז
- אלה
- צד שלישי
- זֶה
- אלה
- שְׁלוֹשָׁה
- דרך
- זמן
- ל
- כלים
- הפיכה
- מופעל
- תור
- שתיים
- סוגים
- בסופו של דבר
- UN
- להבין
- אוניברסיטה
- מְעוּדכָּן
- us
- להשתמש
- מְשׁוּמָשׁ
- משתמש
- חוויית משתמש
- ממשק משתמש
- משתמשים
- באמצעות
- לנצל
- מנוצל
- ניצול
- בעל ערך
- שונים
- כלי רכב
- גרסה
- מאוד
- באמצעות
- לצפיה
- הליכה
- מחמם
- היה
- מים
- דֶרֶך..
- we
- מזג אוויר
- אינטרנט
- שירותי אינטרנט
- טוֹב
- היו
- מתי
- אם
- אשר
- עם
- בתוך
- לְלֹא
- עבד
- עובד
- עובד
- סדנות
- אתה
- זפירנט
- ציריך