מדדים להערכת פתרון לאימות זהות

בעולם, חל מעבר מואץ לעבר חוויות משתמש דיגיטליות ללא חיכוך. בין אם מדובר בהרשמה לאתר, ביצוע עסקאות מקוונות או פשוט כניסה לחשבון הבנק שלכם, ארגונים מנסים באופן אקטיבי לצמצם את החיכוך שחווים הלקוחות שלהם ובו בזמן לשפר את אמצעי האבטחה, התאימות ומניעת הונאות. המעבר לחווית משתמש חסרת חיכוך הוליד פתרונות אימות זהות ביומטרית מבוססי פנים שמטרתם לענות על השאלה "איך מאמתים אדם בעולם הדיגיטלי?"

ישנם שני יתרונות מרכזיים של ביומטריה של הפנים בכל הנוגע לשאלות של זיהוי ואימות. ראשית, זוהי טכנולוגיה נוחה למשתמשים: אין צורך לזכור סיסמה, להתמודד עם אתגרים מרובי גורמים, ללחוץ על קישורי אימות או לפתור חידות CAPTCHA. שנית, מושגת רמת אבטחה גבוהה: זיהוי ואימות על בסיס ביומטרי פנים מאובטחים ופחות רגישים להונאה והתקפות.

בפוסט זה, אנו צוללים לשני מקרי השימוש העיקריים של אימות זהות: כניסה ואימות. לאחר מכן אנו צוללים לשני מדדי המפתח המשמשים להערכת הדיוק של מערכת ביומטרית: שיעור התאמה כוזבת (הידוע גם כשיעור קבלה כוזבת) ושיעור אי התאמה כוזב (ידוע גם כשיעור דחיית שווא). שני מדדים אלה נמצאים בשימוש נרחב על ידי ארגונים כדי להעריך את הדיוק ושיעור השגיאות של מערכות ביומטריות. לבסוף, אנו דנים במסגרת ובשיטות עבודה מומלצות לביצוע הערכה של שירות אימות זהות.

עיין בקובץ המצורף מחברת צדק שעובר על כל השלבים שהוזכרו בפוסט הזה.

מקרי שימוש: כניסה ואימות

ישנם שני מקרי שימוש עיקריים עבור פתרונות ביומטריים: כניסה למשתמש (המכונה לעתים קרובות אימות) ואימות (המכונה לעתים קרובות זיהוי). הצטרפות למטוס כרוכה בהתאמה אחת לאחד של פרצופים בין שתי תמונות, למשל השוואת סלפי למסמך זיהוי מהימן כמו רישיון נהיגה או דרכון. אימות, לעומת זאת, כרוך בחיפוש אחד לרבים של פנים מול אוסף פרצופים מאוחסן, למשל חיפוש באוסף של פרצופים של עובדים כדי לראות אם לעובד יש גישה מורשית לקומה מסוימת בבניין.

ביצועי הדיוק של מקרי שימוש בכניסה ואימות נמדדים לפי השגיאות החיוביות השגויות והשליליות השגויות שהפתרון הביומטרי יכול לעשות. ציון דמיון (הנע בין 0% כלומר ללא התאמה ל-100% כלומר התאמה מושלמת) משמש לקביעת התאמה או החלטה ללא התאמה. חיובי כוזב מתרחש כאשר הפתרון מחשיב תמונות של שני אנשים שונים כאותו אדם. שלילי כוזב, לעומת זאת, אומר שהפתרון ראה ששתי תמונות של אותו אדם שונות.

כניסה: אימות אחד לאחד

תהליכי onboarding מבוססי ביומטריה הן מפשטות ומאובטחות את התהליך. והכי חשוב, זה מגדיר את הארגון והלקוח לחוויית השתלבות כמעט ללא חיכוכים. לשם כך, המשתמשים פשוט נדרשים להציג תמונה של מסמך זיהוי מהימן כלשהו המכיל את פניו של המשתמש (כגון רישיון נהיגה או דרכון) וכן לצלם תמונת סלפי במהלך תהליך העלייה למטוס. לאחר שלמערכת יש את שתי התמונות הללו, היא פשוט משווה את הפרצופים בתוך שתי התמונות. כאשר הדמיון גדול מסף מוגדר, אז יש לך התאמה; אחרת, יש לך אי התאמה. התרשים הבא מתאר את התהליך.

קחו למשל את ג'ולי, משתמש חדש שפותח חשבון בנק דיגיטלי. הפתרון מנחה אותה לצלם תמונה של רישיון הנהיגה שלה (שלב 2) ולצלם סלפי (שלב 3). לאחר שהמערכת בודקת את איכות התמונות (שלב 4), היא משווה את הפנים בסלפי לפנים ברישיון הנהיגה (התאמה אחד לאחד) ומפיק ציון דמיון (שלב 5). אם ציון הדמיון נמוך מסף הדמיון הנדרש, ניסיון ההצטרפות של ג'ולי נדחה. זה מה שאנו מכנים אי התאמה מזויפת או דחייה כוזבת: הפתרון ראה בשתי תמונות של אותו אדם שונות. מצד שני, אם ציון הדמיון היה גדול מהדמיון הנדרש, אז הפתרון מחשיב את שתי התמונות כאותו אדם או התאמה.

אימות: זיהוי אחד לרבים

החל מכניסה לבניין, דרך צ'ק-אין בקיוסק וכלה בהנחיית משתמש לצילום סלפי כדי לאמת את זהותו, סוג זה של אימות אפס עד-נמוך בחיכוך באמצעות זיהוי פנים הפך נפוץ עבור ארגונים רבים. במקום לבצע התאמה בין תמונה לתמונה, מקרה השימוש של אימות זה לוקח תמונה בודדת ומשווה אותה לאוסף תמונות שניתן לחפש בו להתאמה פוטנציאלית. במקרה של שימוש אופייני לאימות, המשתמש מתבקש לצלם סלפי, אשר מושווה לאחר מכן מול הפנים המאוחסנות באוסף. תוצאת החיפוש מניבה אפס, התאמה אחת או יותר התאמה פוטנציאלית עם ציוני דמיון מתאימים ומזהים חיצוניים. אם לא תוחזר התאמה, אזי המשתמש אינו מאומת; עם זאת, בהנחה שהחיפוש מחזיר התאמה אחת או יותר, המערכת מקבלת את החלטת האימות בהתבסס על ציוני הדמיון ומזהים חיצוניים. אם ציון הדמיון חורג מסף הדמיון הנדרש והמזהה החיצוני תואם למזהה הצפוי, אזי המשתמש מאומת (מותאם). התרשים הבא מתאר דוגמה לתהליך אימות ביומטרי מבוסס פנים.

תחשבו על הדוגמה של חוזה, נהג משלוחים בחסכון בהופעות. שירות המשלוחים מאמת את נהגי המשלוחים על ידי הנחיה לנהג לצלם סלפי לפני תחילת משלוח באמצעות האפליקציה לנייד של החברה. אחת הבעיות שבהן מתמודדים ספקי שירותים לכלכלת הופעה היא שיתוף עבודה; למעשה שני משתמשים או יותר חולקים את אותו חשבון כדי לשחק במערכת. כדי להילחם בכך, שירותי משלוח רבים משתמשים במצלמה ברכב כדי לצלם תמונות (שלב 2) של הנהג בזמנים אקראיים במהלך משלוח (כדי להבטיח שנהג המשלוח הוא הנהג המורשה). במקרה זה, חוזה לא רק מצלם סלפי בתחילת המסירה שלו, אלא מצלמה ברכב מצלמת תמונות שלו במהלך הלידה. המערכת מבצעת בדיקות איכות (שלב 3) ומחפשת (שלב 4) את אוסף הנהגים הרשומים לאימות זהות הנהג. אם זוהה נהג אחר, שירות המשלוחים של גיג-כלכלה יכול לחקור לעומק.

התאמה כוזבת (חיובית כוזבת) מתרחשת כאשר הפתרון ראה בשתי תמונות או יותר של אנשים שונים אותו אדם. במקרה השימוש שלנו, נניח שבמקום הנהג המורשה, חוסה הוא נותן לאחיו מיגל לקחת עבורו את אחת המשלוחים שלו. אם הפתרון תואם באופן שגוי את הסלפי של מיגל לתמונות של חוסה, אזי מתרחשת התאמה שגויה (false positive).

כדי להילחם בפוטנציאל של התאמות שווא, אנו ממליצים שהאוספים יכילו מספר תמונות של כל נושא. נהוג לאינדקס מסמכי זיהוי מהימנים המכילים פנים, תמונת סלפי בזמן העלייה למטוס ותמונות סלפי מבדיקות הזיהוי האחרונות. אינדקס של מספר תמונות של נושא מספק את היכולת לצבור את ציוני הדמיון על פני פרצופים שהוחזרו, ובכך לשפר את דיוק הזיהוי. בנוסף, משתמשים במזהים חיצוניים כדי להגביל את הסיכון של קבלה כוזבת. כלל עסקי לדוגמה עשוי להיראות בערך כך:

אם ציון דמיון מצטבר >= סף דמיון נדרש ומזהה חיצוני == מזהה צפוי ואז אימות

מדדי דיוק ביומטריים מרכזיים

במערכת ביומטרית, אנו מעוניינים בשיעור התאמה כוזבת (FMR) ושיעור אי התאמה כוזב (FNMR) בהתבסס על ציוני הדמיון מהשוואות פנים וחיפושים. בין אם מדובר במקרה של שימוש בכניסה או אימות, מערכות ביומטריות מחליטות לקבל או לדחות התאמות של פנים של משתמש בהתבסס על ציון הדמיון של שתי תמונות או יותר. כמו כל מערכת החלטות, יהיו שגיאות שבהן המערכת מקבלת או דוחה באופן שגוי ניסיון לכניסה או אימות. כחלק מהערכת פתרון אימות הזהות שלך, עליך להעריך את המערכת בספי דמיון שונים כדי למזער שיעורי התאמה שגויה ואי התאמה כוזבת, כמו גם להשוות שגיאות אלו מול העלות של ביצוע דחיות וקבלות שגויות. אנו משתמשים ב-FMR וב-FNMR כשני מדדי המפתח שלנו להערכת מערכות ביומטריות פנים.

שיעור אי-התאמה מזוייף

כאשר מערכת אימות הזהות נכשלת בזיהוי או הרשאה נכונה של משתמש אמיתי, מתרחשת אי-התאמה כוזבת, הידועה גם כ-false negative. שיעור אי-ההתאמה הכוזב (FNMR) הוא מדד למידת הנטייה של המערכת לזיהוי שגוי או הרשאה של משתמש אמיתי.

ה-FNMR מבוטא כאחוז מהמקרים שבהם נעשה ניסיון כניסה או אימות, שבהם פני המשתמש נדחו באופן שגוי (שלילי שגוי) מכיוון שציון הדמיון נמוך מהסף שנקבע.

חיובי אמיתי (TP) הוא כאשר הפתרון מחשיב שתי תמונות או יותר של אותו אדם זהות. כלומר, הדמיון של ההשוואה או החיפוש הוא מעל סף הדמיון הנדרש.

שלילי כוזב (FN) הוא כאשר הפתרון מחשיב שתי תמונות או יותר של אותו אדם כשונות. כלומר, הדמיון של ההשוואה או החיפוש הוא מתחת לסף הדמיון הנדרש.

הנוסחה של FNMR היא:

FNMR = ספירה שלילית כוזבת / (ספירה חיובית אמיתית + ספירה שלילית כוזבת)

לדוגמה, נניח שיש לנו 10,000 ניסיונות אימות אמיתיים אך 100 נדחו מכיוון שהדמיון שלהם לתמונת ההפניה או לאוסף נופל מתחת לסף הדמיון שצוין. כאן יש לנו 9,900 חיוביות אמיתיות ו-100 שליליות שגויות, לכן ה-FNMR שלנו הוא 1.0%

FNMR = 100 / (9900 + 100) או 1.0%

שיעור התאמה כוזבת

כאשר מערכת לאימות זהות מזהה או מאשרת באופן שגוי משתמש לא מורשה כמקורי, מתרחשת התאמה כוזבת, הידועה גם כ-false positive. שיעור ההתאמה הכוזבת (FMR) הוא מדד למידת הנטייה של המערכת לזיהוי שגוי או הרשאה של משתמש לא מורשה. זה נמדד במספר הזיהויים או האימותים החיוביים שגויים חלקי המספר הכולל של ניסיונות הזיהוי.

חיובי כוזב מתרחש כאשר הפתרון מחשיב שתי תמונות או יותר של אנשים שונים כאותו אדם. כלומר, ציון הדמיון של ההשוואה או החיפוש הוא מעל סף הדמיון הנדרש. בעיקרו של דבר, המערכת מזהה או מאשרת משתמש באופן שגוי כאשר היא הייתה צריכה לדחות את ניסיון הזיהוי או האימות שלו.

הנוסחה של FMR היא:

FMR = ספירה חיובית כוזבת / (סה"כ ניסיונות)

לדוגמה, נניח שיש לנו 100,000 ניסיונות אימות, אך 100 משתמשים מזויפים מורשים באופן שגוי מכיוון שהדמיון שלהם לתמונת ההפניה או לאוסף נופל מעל סף הדמיון שצוין. כאן יש לנו 100 תוצאות חיוביות שגויות, לכן ה-FMR שלנו הוא 0.01%

FMR = 100 / (100,000) או 0.01%

שיעור התאמה כוזבת לעומת שיעור אי התאמה כוזבת

שיעור התאמה כוזבת ושיעור אי התאמה כוזב עומדים בסתירה זה לזה. ככל שסף הדמיון עולה, הפוטנציאל להתאמת שווא יורד, בעוד הפוטנציאל לחוסר התאמה כוזב עולה. דרך נוספת לחשוב על הפשרה הזו היא שככל שסף הדמיון עולה, הפתרון הופך למגביל יותר, ויוצר פחות התאמות דמיון נמוכות. לדוגמה, מקובל שמקרי שימוש הכוללים ביטחון וביטחון הציבור מגדירים סף דמיון גבוה למדי (99 ומעלה). לחלופין, ארגון עשוי לבחור בסף דמיון פחות מגביל (90 ומעלה), כאשר השפעת החיכוך על המשתמש חשובה יותר. התרשים הבא ממחיש פשרות אלו. האתגר עבור ארגונים הוא למצוא סף שממזער הן את FMR והן את FNMR בהתבסס על הדרישות הארגוניות והיישום שלך.

בחירת סף דמיון תלויה באפליקציה העסקית. לדוגמה, נניח שברצונך להגביל את החיכוך של הלקוחות במהלך הכניסה (סף דמיון פחות מגביל, כפי שמוצג באיור הבא משמאל). כאן אולי יש לך סף דמיון נדרש נמוך יותר, ואתה מוכן לקבל את הסיכון של כניסה למשתמשים שבהם הביטחון בהתאמה בין הסלפי שלהם לרישיון הנהיגה נמוך יותר. לעומת זאת, נניח שאתה רוצה לוודא שרק משתמשים מורשים נכנסים לאפליקציה. כאן אתה עשוי לפעול בסף דמיון מגביל למדי (כפי שמוצג באיור מימין).

שלבים לחישוב שיעורי התאמה כוזבת ואי התאמה

ישנן מספר דרכים לחישוב שני מדדים אלו. להלן גישה פשוטה יחסית של חלוקת השלבים לאיסוף צמדי תמונות אמיתיים, יצירת זיווג מתחזים (תמונות שלא אמורות להתאים), ולבסוף שימוש בבדיקה כדי ללולאה על צמדי ההתאמה הצפויה ושל התמונות שאינן תואמות, ללכוד את הדמיון הנובע מכך. השלבים הם כדלקמן:

1. אסוף ערכת תמונות אמיתית לדוגמה. אנו ממליצים להתחיל עם קבוצה של צמדי תמונות ולהקצות מזהה חיצוני, המשמש לקביעת התאמה רשמית. הזוג מורכב מהתמונות הבאות:
   1. תמונת מקור – תמונת המקור המהימנה שלך, למשל רישיון נהיגה.
   2. תמונת יעד - הסלפי או התמונה שלך שאתה הולך להשוות איתה.
2. אסוף סט תמונות של גפרורים מתחזים. אלו הם זוגות תמונות שבהן המקור והמטרה אינם תואמים. זה משמש להערכת ה-FMR (ההסתברות שהמערכת תתאים באופן שגוי לפנים של שני משתמשים שונים). אתה יכול ליצור סט תמונות מתחזים באמצעות צמדי התמונות על ידי יצירת תוצר קרטזיאני של התמונות ולאחר מכן סינון ודגימה של התוצאה.
3. בדוק את ערכות ההתאמה האמיתיות והמתחזים על ידי לולאה על צמדי התמונות, השוואת המקור והמטרה המתחזה ותפיסת הדמיון שנוצר.
4. חשב FMR ו-FNMR על ידי חישוב התוצאות השגויות והשליליות השגויות בספי דמיון מינימליים שונים.

אתה יכול להעריך את העלות של FMR ו- FNMR בספי דמיון שונים ביחס לצורך של היישום שלך.

שלב 1: אסוף דוגמאות של זוג תמונות אמיתיות

בחירת מדגם מייצג של צמדי תמונות להערכה היא קריטית בעת הערכה של שירות אימות זהות. הצעד הראשון הוא לזהות קבוצה אמיתית של זוגות תמונות. אלו הן תמונות מקור ויעד ידועות של משתמש. צימוד התמונות האמיתי משמש להערכת FNMR, בעצם ההסתברות שהמערכת לא תתאים לשני פנים של אותו אדם. אחת השאלות הראשונות הנשאלות לעתים קרובות היא "כמה צמדי תמונות נחוצים?" התשובה היא שזה תלוי במקרה השימוש שלך, אבל ההנחיה הכללית היא הבאה:

• בין 100-1,000 זוגות תמונות מספקים מדד של היתכנות
• עד 10,000 זוגות תמונות גדולות מספיק כדי למדוד שונות בין תמונות
• יותר מ-10,000 צמדי תמונות מספקים מדד לאיכות תפעולית ויכולת הכללה

יותר נתונים תמיד טובים יותר; עם זאת, כנקודת התחלה, השתמש בלפחות 1,000 זוגות תמונות. עם זאת, זה לא נדיר להשתמש ביותר מ-10,000 זוגות תמונות כדי לאפס ב-FNMR או FMR מקובלים עבור בעיה עסקית נתונה.

להלן קובץ מיפוי של זוג תמונות לדוגמה. אנו משתמשים בקובץ מיפוי זוג התמונות כדי להניע את שאר תהליך ההערכה.

שלב 2: צור זוג תמונות מתחזים סט

כעת, כשיש לך קובץ של צמדי תמונות מקוריים, אתה יכול ליצור תוצר קרטזיאני של תמונות יעד ומקור שבו המזהים החיצוניים אינם מתאימים. זה מייצר זוגות מקור ליעד שלא אמורים להתאים. התאמה זו משמשת להערכת ה-FMR, בעצם ההסתברות שהמערכת תתאים את הפנים של משתמש אחד לפנים של משתמש אחר.

שלב 3: בדיקה של ערכות זוג התמונות האמיתיות והמתחזות

באמצעות תוכנית מנהל התקן, אנו מיישמים את אמזון CompareFaces API מעל צמדי התמונה וללכוד את הדמיון. אתה יכול גם ללכוד מידע נוסף כמו תנוחה, איכות ותוצאות אחרות של ההשוואה. ציוני הדמיון משמשים לחישוב שיעורי ההתאמה הכוזבת ואי ההתאמה בשלב הבא.

בקטע הקוד הבא, אנו מיישמים את CompareFaces API על כל צמדי התמונות ומאוכלסים את כל ציוני הדמיון בטבלה:

obj = s3.get_object(Bucket= bucket_name , Key = csv_file)

df = pd.read_csv(io.BytesIO(obj['Body'].read()), encoding='utf8')
def compare_faces(source_file, target_file, threshold = 0):
    response=rekognition.compare_faces(SimilarityThreshold=threshold,
                                        SourceImage={'S3Object': {
                                                    'Bucket': bucket_name,
                                                    'Name':source_file}},
                                        TargetImage={'S3Object': {
                                                    'Bucket': bucket_name,
                                                    'Name':target_file}})
df_similarity = df.copy()
df_similarity["SIMILARITY"] = None
for index, row in df.iterrows():
    source_file = dataset_folder + row["SOURCE"]
    target_file = dataset_folder + row["TARGET"]
    response_score = compare_faces(source_file, target_file)
    df_similarity._set_value(index,"SIMILARITY", response_score)
    df_similarity.head()

קטע הקוד נותן את הפלט הבא.

ניתוח התפלגות של ציוני דמיון לפי מבחנים הם נקודת מוצא להבנת ציון הדמיון לפי צמדי תמונות. קטע הקוד ותרשים הפלט הבאים מציגים דוגמה פשוטה של ​​התפלגות ציון הדמיון לפי ערכת מבחנים וכן נתונים סטטיסטיים תיאוריים כתוצאה מכך:

sns.boxplot(data=df_similarity,
            x=df_similarity["SIMILARITY"],
            y=df_similarity["TEST"]).set(xlabel='Similarity Score',
            ylabel=None,
            title = "Similarity Score Distribution")
plt.show()

df_descriptive_stats = pd.DataFrame(columns=['test','count', 'min' , 'max', 'mean', 'median', 'std'])

tests = ["Genuine", "Imposter"]

for test in tests:
    count = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].count()
    mean = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].mean()
    max_ = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].max()
    min_ = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].min()
    median = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].median()
    std = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].std()

    new_row = {'test': test,
                'count': count,
                'min': min_,
                'max': max_,
                'mean': mean,
                'median':median,
                'std': std}
    df_descriptive_stats = df_descriptive_stats.append(new_row,
    ignore_index=True)

df_descriptive_stats

בדוגמה זו, אנו יכולים לראות שהדמיון הממוצע והחציוני עבור זוגות פנים אמיתיים היה 91.7 ו-99.1, ואילו עבור זוגות המתחזה היה 2.8 ו-0.8, בהתאמה. כצפוי, זה מראה את ציוני הדמיון הגבוהים עבור צמדי תמונות אמיתיים וציוני דמיון נמוכים עבור צמדי תמונות מתחזים.

שלב 4: חשב FMR ו- FNMR ברמות סף שונות של דמיון

בשלב זה, אנו מחשבים את שיעורי ההתאמה הכוזבת ואי ההתאמה בספי דמיון שונים. לשם כך, אנו פשוט עוברים דרך ספי דמיון (לדוגמה, 90-100). בכל סף דמיון שנבחר, אנו מחשבים את מטריצת הבלבול שלנו המכילה ספירות חיוביות אמיתיות, שליליות אמיתיות, חיוביות שגויות ושליליות שגויות, המשמשות לחישוב ה-FMR וה-FNMR בכל דמיון שנבחר.

לשם כך, אנו יוצרים פונקציה המחזירה את הספירות החיוביות והשליליות הכוזבות, ועוברים בלולאה דרך טווח של ציוני דמיון (90-100):

similarity_thresholds = [80,85,90,95,96,97,98,99]

# create output df
df_cols = ['Similarity Threshold', 'TN' , 'FN', 'TP', 'FP', 'FNMR (%)', 'FMR (%)']
comparison_df = pd.DataFrame(columns=df_cols)

# create columns for y_actual and y_pred
df_analysis = df_similarity.copy()
df_analysis["y_actual"] = None
df_analysis["y_pred"] = None

for threshold in similarity_thresholds:
    # Create y_pred and y_actual columns, 1 == match, 0 == no match
    for index, row in df_similarity.iterrows():
        # set y_pred
        if row["SIMILARITY"] >= threshold:
            df_analysis._set_value(index,"y_pred", 1)
        else:
            df_analysis._set_value(index,"y_pred", 0)

        # set y_actual
        if row["TEST"] == "Genuine":
            df_analysis._set_value(index,"y_actual", 1)
        else:
            df_analysis._set_value(index,"y_actual", 0)

    tn, fp, fn, tp = confusion_matrix(df_analysis['y_actual'].tolist(),
                                      df_analysis['y_pred'].tolist()).ravel()
    FNMR = fn / (tp + fn)
    FMR = fp / (tn+fp+fn+tp)

    new_row = {'Similarity Threshold': threshold,
                'TN': tn,
                'FN': fn,
                'TP': tp,
                'FP': fp,
                'FNMR (%)':FNMR,
                'FMR (%)': FMR}
    comparison_df = comparison_df.append(new_row,ignore_index=True)

comparison_df

הטבלה הבאה מציגה את תוצאות הספירות בכל סף דמיון.

כיצד משפיע סף הדמיון על שיעור אי התאמה כוזבת?

נניח שיש לנו 1,000 ניסיונות כניסת משתמשים אמיתיים, ואנחנו דוחים 10 מהניסיונות הללו על סמך דמיון מינימלי נדרש של 95% כדי להיחשב כהתאמה. כאן אנו דוחים 10 ניסיונות כניסה אמיתיים (שליליים כוזבים) מכיוון שהדמיון שלהם נופל מתחת לסף הדמיון המינימלי הנדרש. במקרה זה, ה-FNMR שלנו הוא 1.0%.

FNMR = ספירה שלילית כוזבת / (ספירה חיובית אמיתית + ספירה שלילית כוזבת)

FNMR = 10 / (990 + 10) או 1.0%

לעומת זאת, נניח שבמקום שיהיו לנו 1,000 משתמשים אמיתיים, יש לנו 990 משתמשים אמיתיים ו-10 משתמשים מתחזים (חיובי שגוי). בדמיון מינימלי של 95%, נניח שאנו מקבלים את כל 1,000 המשתמשים כמקוריים. כאן יהיה לנו FMR של 1%.

FMR = ספירה חיובית כוזבת / (סה"כ ניסיונות)

FMR = 10 / (1,000) או 1.0%

הערכת עלויות של FMR ו- FNMR בעת העלייה למטוס

במקרה של שימוש ב-Onboard, העלות של אי-התאמה מזויפת (דחייה) קשורה בדרך כלל לחיכוך משתמש נוסף או אובדן רישום. לדוגמה, במקרה השימוש הבנקאי שלנו, נניח שג'ולי מציגה שתי תמונות שלה אך נדחתה באופן שגוי בזמן ההצטרפות מכיוון שהדמיון בין שתי התמונות נופל מתחת לדמיון שנבחר (אי-התאמה כוזבת). המוסד הפיננסי עלול להסתכן באובדן ג'ולי כלקוחה פוטנציאלית, או שהוא עלול לגרום לג'ולי לחיכוכים נוספים על ידי דרישה ממנה לבצע שלבים להוכחת זהותה.

לעומת זאת, נניח ששתי התמונות של ג'ולי הן של אנשים שונים והצטרפותה של ג'ולי הייתה צריכה להידחות. במקרה בו ג'ולי מתקבלת באופן שגוי (התאמה כוזבת), העלות והסיכון למוסד הפיננסי שונים בתכלית. יכולות להיות בעיות רגולטוריות, סיכון להונאה וסיכונים אחרים הקשורים לעסקאות פיננסיות.

שימוש אחראי

בינה מלאכותית (AI) המיושמת באמצעות למידת מכונה (ML) תהיה אחת הטכנולוגיות המשנות ביותר של הדור שלנו, שתתמודד עם כמה מהבעיות המאתגרות ביותר של האנושות, תגביר את הביצועים האנושיים ומקסם את הפרודוקטיביות. שימוש אחראי בטכנולוגיות אלה הוא המפתח לטיפוח חדשנות מתמשכת. AWS מחויבת לפתח שירותי AI ו-ML הוגנים ומדויקים ולספק לך את הכלים וההדרכה הדרושים לבניית יישומי AI ו-ML בצורה אחראית.

כאשר אתה מאמצת ומגדיל את השימוש שלך ב-AI ו-ML, AWS מציעה מספר משאבים המבוססים על הניסיון שלנו כדי לסייע לך בפיתוח אחראי ושימוש ב-AI ו-ML:

שיטות מומלצות וטעויות נפוצות שיש להימנע מהן

בחלק זה, אנו דנים בשיטות העבודה המומלצות הבאות:

• השתמש בדגימה גדולה מספיק של תמונות
• הימנע מקוד פתוח וממערכי נתונים סינתטיים של פנים
• הימנע ממניפולציה ידנית וסינטטית של תמונה
• בדוק את איכות התמונה בזמן ההערכה ולאורך זמן
• עקוב אחר FMR ו- FNMR לאורך זמן
• השתמש בביקורת אנושית בלולאה
• הישאר מעודכן עם Amazon Rekognition

השתמש בדגימה גדולה מספיק של תמונות

השתמש בדגימה גדולה מספיק אך סבירה של תמונות. מהו גודל מדגם סביר? זה תלוי בבעיה העסקית. אם אתה מעסיק ויש לך 10,000 עובדים שאתה רוצה לאמת, אז השימוש בכל 10,000 התמונות הוא כנראה סביר. עם זאת, נניח שאתה ארגון עם מיליוני לקוחות שאתה רוצה להכניס. במקרה זה, לקיחת מדגם מייצג של לקוחות כמו 5,000–20,000 כנראה מספיקה. הנה כמה הנחיות לגבי גודל המדגם:

• גודל מדגם של 100 - 1,000 זוגות תמונות מוכיחים היתכנות
• גודל מדגם של 1,000 - 10,000 זוגות תמונות שימושיים למדידת שונות בין תמונות
• גודל מדגם של 10,000 - מיליון זוגות תמונה מספקים מדד לאיכות תפעולית ויכולת הכללה

המפתח בדגימת צמדי תמונות הוא להבטיח שהדגימה מספקת מספיק שונות על פני אוכלוסיית הפנים באפליקציה שלך. אתה יכול להרחיב עוד יותר את הדגימה והבדיקות שלך כדי לכלול מידע דמוגרפי כמו גוון עור, מין וגיל.

הימנע מקוד פתוח וממערכי נתונים סינתטיים של פנים

ישנם עשרות מערכי תמונות פנים שנאספו בקוד פתוח, כמו גם ערכות פנים סינתטיות מציאותיות להפליא המשמשות לעתים קרובות במחקר וכדי לחקור היתכנות. האתגר הוא שמערכים אלו בדרך כלל אינם שימושיים עבור 99% ממקרי השימוש בעולם האמיתי פשוט משום שהם אינם מייצגים את המצלמות, הפנים ואיכות התמונות שהאפליקציה שלך צפויה להיתקל בטבע. למרות שהם שימושיים לפיתוח יישומים, מדדי הדיוק של ערכות התמונות הללו לא מכלילים את מה שתתקלו באפליקציה שלכם. במקום זאת, אנו ממליצים להתחיל עם מדגם מייצג של תמונות אמיתיות מהפתרון שלך, גם אם צמדי התמונות לדוגמה קטנים (מתחת ל-1,000).

הימנע ממניפולציה ידנית וסינטטית של תמונה

לעתים קרובות יש מקרי קצה שאנשים מעוניינים להבין. דברים כמו איכות לכידת תמונה או ערפול של תווי פנים ספציפיים תמיד מעניינים. לדוגמה, לעתים קרובות אנו נשאלים לגבי השפעת הגיל ואיכות התמונה על זיהוי הפנים. אתה יכול פשוט לזקן פנים באופן סינתטי או לתפעל את התמונה כדי לגרום לנושא להיראות מבוגר יותר, או לתמרן את איכות התמונה, אבל זה לא מתורגם היטב להזדקנות של תמונות בעולם האמיתי. במקום זאת, ההמלצה שלנו היא לאסוף מדגם מייצג של מקרי קצה בעולם האמיתי שאתה מעוניין לבדוק.

בדוק את איכות התמונה בזמן ההערכה ולאורך זמן

טכנולוגיית המצלמה והיישומים משתנה די מהר לאורך זמן. כשיטת עבודה מומלצת, אנו ממליצים לעקוב אחר איכות התמונה לאורך זמן. מגודל הפנים שצולמו (באמצעות תיבות תוחמות), לבהירות ולחדות של תמונה, לתנוחת הפנים, כמו גם לטשטוש פוטנציאלי (כובעים, משקפי שמש, זקנים וכדומה), כל התמונות תווי הפנים משתנים עם הזמן.

עקוב אחר FNMR ו-FMR לאורך זמן

שינויים מתרחשים, בין אם זה התמונות, האפליקציה או ספי הדמיון המשמשים באפליקציה. חשוב לעקוב מעת לעת אחר שיעורי התאמות שווא ואי-התאמות לאורך זמן. שינויים בתעריפים (אפילו שינויים עדינים) יכולים לעתים קרובות להצביע על אתגרים במעלה הזרם עם האפליקציה או אופן השימוש באפליקציה. לשינויים בספי דמיון ובכללים עסקיים המשמשים לקבלת החלטות או לדחות, יכולים להיות השפעה רבה על חוויית המשתמש וההתלבשות.

השתמש בביקורת אנושית בלולאה

מערכות אימות זהות מקבלות החלטות אוטומטיות להתאמה ולאי התאמה בהתבסס על ספי דמיון וחוקים עסקיים. מלבד דרישות תאימות רגולטוריות ופנימיות, תהליך חשוב בכל מערכת החלטות אוטומטיות הוא שימוש בבודקים אנושיים כחלק מהניטור השוטף של תהליך ההחלטה. פיקוח אנושי על מערכות החלטות אוטומטיות אלו מספק אימות ושיפור מתמיד, כמו גם שקיפות לתהליך קבלת ההחלטות האוטומטי.

הישאר מעודכן עם Amazon Rekognition

מודל הפנים של Amazon Recognition מתעדכן מעת לעת (בדרך כלל מדי שנה), ונמצא כעת בגרסה 6. גרסה מעודכנת זו הביאה שיפורים חשובים לדיוק ולאינדקס. חשוב להישאר מעודכן בגרסאות דגמים חדשות ולהבין כיצד להשתמש בגרסאות חדשות אלו ביישום לאימות הזהות שלך. כאשר יושקו גרסאות חדשות של מודל הפנים של Amazon Rekognition, מומלץ להפעיל מחדש את תהליך הערכת אימות הזהות שלך ולקבוע את ההשפעות הפוטנציאליות (חיוביות ושליליות) על שיעורי ההתאמה הכוזבת ואי ההתאמה שלך.

סיכום

פוסט זה דן במרכיבי המפתח הדרושים להערכת היבט הביצועים של פתרון אימות הזהות שלך במונחים של מדדי דיוק שונים. עם זאת, דיוק הוא רק אחד מהממדים הרבים שאתה צריך להעריך בעת בחירת שירות ניהול תוכן מסוים. זה קריטי שתכלול פרמטרים אחרים, כגון מערך התכונות הכולל של השירות, קלות השימוש, אינטגרציות קיימות, פרטיות ואבטחה, אפשרויות התאמה אישית, השלכות מדרגיות, שירות לקוחות ותמחור.

למידע נוסף על אימות זהות ב-Amazon Rekognition, בקר אימות זהות באמצעות אמזון זיהוי.

על הכותבים

מייק איימס הוא מדען נתונים שהפך למומחה לפתרונות אימות זהות, עם ניסיון רב בפיתוח פתרונות למידת מכונה ופתרונות AI להגנה על ארגונים מפני הונאה, בזבוז וניצול לרעה. בזמנו הפנוי, אתה יכול למצוא אותו מטייל, רוכב על אופני הרים או משחק חופשי עם הכלב שלו מקס.

עמית גופטה הוא אדריכל בכיר בשירותי AI ב-AWS. הוא נלהב לאפשר ללקוחות פתרונות למידת מכונה מתוכננים היטב בקנה מידה.

זוהייר רג'יב הוא אדריכל שירותי פתרונות בינה מלאכותית ב-AWS. מתמחה ב-AI/ML יישומי, הוא נלהב לאפשר ללקוחות להשתמש בענן כדי לחדש מהר יותר ולשנות את העסקים שלהם.

מרסל פיבידל הוא Sr. AI Services Solutions Architect בארגון המומחים העולמי. למרסל יש יותר מ-20 שנות ניסיון בפתרון בעיות עסקיות באמצעות טכנולוגיה עבור פינטק, ספקי תשלום, פארמה וסוכנויות ממשלתיות. תחומי המיקוד הנוכחיים שלו הם ניהול סיכונים, מניעת הונאה ואימות זהות.