مقاييس تقييم حل التحقق من الهوية

على الصعيد العالمي ، كان هناك تحول متسارع نحو تجارب المستخدم الرقمية الخالية من الاحتكاك. سواء أكان التسجيل في موقع ويب ، أو إجراء معاملات عبر الإنترنت ، أو مجرد تسجيل الدخول إلى حسابك المصرفي ، تحاول المؤسسات بنشاط تقليل الاحتكاك الذي يواجهه عملاؤها وفي الوقت نفسه تعزيز إجراءات الأمان والامتثال والوقاية من الاحتيال. أدى التحول نحو تجارب المستخدم الخالية من الاحتكاك إلى ظهور حلول التحقق من الهوية باستخدام المقاييس الحيوية القائمة على الوجه والتي تهدف إلى الإجابة على السؤال "كيف تتحقق من شخص ما في العالم الرقمي؟"

هناك ميزتان رئيسيتان للقياسات الحيوية للوجه عندما يتعلق الأمر بمسائل تحديد الهوية والمصادقة. أولاً ، إنها تقنية ملائمة للمستخدمين: ليست هناك حاجة لتذكر كلمة مرور ، أو التعامل مع التحديات متعددة العوامل ، أو النقر فوق روابط التحقق ، أو حل ألغاز CAPTCHA. ثانيًا ، يتم تحقيق مستوى عالٍ من الأمان: تحديد الهوية والمصادقة على أساس القياسات الحيوية للوجه آمن وأقل عرضة للاحتيال والهجمات.

في هذا المنشور ، نتعمق في حالتي الاستخدام الأساسيين للتحقق من الهوية: الإعداد والمصادقة. ثم نتعمق في المقياسين الرئيسيين المستخدمين لتقييم دقة نظام القياسات الحيوية: معدل المطابقة الخاطئة (المعروف أيضًا باسم معدل القبول الخاطئ) ومعدل عدم المطابقة الخاطئ (المعروف أيضًا باسم معدل الرفض الخاطئ). يتم استخدام هذين المقياسين على نطاق واسع من قبل المنظمات لتقييم الدقة ومعدل الخطأ في أنظمة القياسات الحيوية. أخيرًا ، نناقش إطار العمل وأفضل الممارسات لإجراء تقييم لخدمة التحقق من الهوية.

الرجوع إلى المرافق دفتر جوبيتر من خلال جميع الخطوات المذكورة في هذا المنشور.

حالات الاستخدام: الإعداد والمصادقة

هناك حالتا استخدام أساسيتان لحلول المقاييس الحيوية: إعداد المستخدم (غالبًا ما يشار إليه بالتحقق) والمصادقة (يشار إليه غالبًا باسم التعريف). يستلزم الإعداد على متن الطائرة مطابقة وجه لواحد بين صورتين ، على سبيل المثال مقارنة صورة شخصية بوثيقة هوية موثوقة مثل رخصة القيادة أو جواز السفر. من ناحية أخرى ، تستلزم المصادقة البحث عن وجه واحد إلى عدة وجوه مقابل مجموعة مخزنة من الوجوه ، على سبيل المثال البحث في مجموعة من وجوه الموظفين لمعرفة ما إذا كان الموظف مسموحًا له بالوصول إلى طابق معين في المبنى.

يتم قياس أداء الدقة في حالات استخدام المصادقة والإعداد من خلال الأخطاء السلبية الخاطئة والموجبة التي يمكن أن يرتكبها حل المقاييس الحيوية. يتم استخدام درجة التشابه (التي تتراوح من 0٪ مما يعني عدم وجود تطابق إلى 100٪ مما يعني تطابقًا تامًا) لاتخاذ قرار بشأن مباراة أو قرار عدم تطابق. تحدث النتيجة الإيجابية الخاطئة عندما يعتبر الحل أن صور شخصين مختلفين هي نفس الشخص. من ناحية أخرى ، تعني النتيجة السلبية الخاطئة أن الحل اعتبر صورتين لنفس الشخص مختلفتين.

Onboarding: تحقق واحد لواحد

تعمل عمليات الإعداد القائمة على المقاييس الحيوية على تبسيط العملية وتأمينها. والأهم من ذلك ، أنه يضع المؤسسة والعملاء على أهبة الاستعداد لتجربة إعداد شبه خالية من الاحتكاك. للقيام بذلك ، يُطلب من المستخدمين ببساطة تقديم صورة لأحد أشكال وثيقة التعريف الموثوقة التي تحتوي على وجه المستخدم (مثل رخصة القيادة أو جواز السفر) بالإضافة إلى التقاط صورة سيلفي أثناء عملية الإعداد. بعد أن يحتوي النظام على هاتين الصورتين ، يقوم ببساطة بمقارنة الوجوه داخل الصورتين. عندما يكون التشابه أكبر من حد معين ، يكون لديك تطابق ؛ خلاف ذلك ، لديك عدم تطابق. يوضح الرسم البياني التالي العملية.

ضع في اعتبارك مثال جولي ، وهي مستخدم جديد يفتح حسابًا مصرفيًا رقميًا. يدفعها الحل إلى التقاط صورة لرخصة قيادتها (الخطوة 2) والتقاط صورة ذاتية (الخطوة 3). بعد أن يتحقق النظام من جودة الصور (الخطوة 4) ، فإنه يقارن الوجه الموجود في الصورة الشخصية بالوجه الموجود في رخصة القيادة (مطابقة فردية) ويتم إنتاج درجة تشابه (الخطوة 5). إذا كانت درجة التشابه أقل من حد التشابه المطلوب ، فسيتم رفض محاولة التحاق جولي. هذا ما نسميه عدم التطابق الزائف أو الرفض الكاذب: اعتبر الحل أن صورتين لنفس الشخص مختلفتان. من ناحية أخرى ، إذا كانت درجة التشابه أكبر من التشابه المطلوب ، فإن الحل يعتبر الصورتين أنهما نفس الشخص أو متطابقان.

المصادقة: تحديد واحد لأكثر

من دخول مبنى ، إلى تسجيل الوصول في كشك ، إلى مطالبة المستخدم بصور شخصية للتحقق من هويته ، أصبح هذا النوع من المصادقة من الصفر إلى الاحتكاك المنخفض عبر التعرف على الوجه أمرًا شائعًا للعديد من المؤسسات. بدلاً من إجراء مطابقة من صورة إلى صورة ، تأخذ حالة استخدام المصادقة هذه صورة واحدة وتقارنها بمجموعة من الصور القابلة للبحث من أجل تطابق محتمل. في حالة استخدام المصادقة النموذجية ، يُطلب من المستخدم التقاط صورة ذاتية ، ثم تتم مقارنتها بالوجوه المخزنة في المجموعة. ينتج عن نتيجة البحث صفر أو واحد أو أكثر من التطابقات المحتملة مع درجات التشابه المقابلة والمعرفات الخارجية. إذا لم يتم إرجاع أي تطابق ، فلن تتم مصادقة المستخدم ؛ ومع ذلك ، بافتراض أن البحث يعيد تطابقًا واحدًا أو أكثر ، يتخذ النظام قرار المصادقة بناءً على درجات التشابه والمعرفات الخارجية. إذا تجاوزت درجة التشابه حد التشابه المطلوب وكان المعرف الخارجي يطابق المعرف المتوقع ، فسيتم مصادقة المستخدم (المطابقة). يوضح الرسم البياني التالي مثالاً لعملية المصادقة البيومترية القائمة على الوجه.

تأمل في مثال جوزيه ، سائق توصيل خدمات اقتصادي. تصادق خدمة التوصيل برامج تشغيل التوصيل من خلال مطالبة السائق بالتقاط صورة شخصية قبل بدء التسليم باستخدام تطبيق الهاتف المحمول الخاص بالشركة. إحدى المشكلات التي يواجهها مقدمو خدمات الاقتصاد المؤقت هي تقاسم الوظائف ؛ بشكل أساسي ، يشترك مستخدمان أو أكثر في نفس الحساب من أجل التلاعب بالنظام. لمكافحة هذا ، تستخدم العديد من خدمات التوصيل كاميرا داخل السيارة لالتقاط صور (الخطوة 2) للسائق في أوقات عشوائية أثناء التسليم (للتأكد من أن سائق التوصيل هو السائق المعتمد). في هذه الحالة ، لا يلتقط خوسيه صورة سيلفي في بداية تسليمه فحسب ، بل تلتقط كاميرا داخل السيارة صورًا له أثناء التسليم. يقوم النظام بإجراء فحوصات الجودة (الخطوة 3) والبحث (الخطوة 4) في مجموعة برامج التشغيل المسجلة للتحقق من هوية السائق. إذا تم اكتشاف برنامج تشغيل مختلف ، فيمكن لخدمة توصيل gig-Economy إجراء مزيد من التحقيق.

تحدث المطابقة الخاطئة (إيجابية كاذبة) عندما يعتبر الحل أن صورتين أو أكثر لأشخاص مختلفين هي نفس الشخص. في حالة الاستخدام الخاصة بنا ، افترض أنه بدلاً من السائق المعتمد ، سمح خوسيه لأخيه ميغيل بأخذ إحدى شحناته له. إذا كان الحل يطابق بشكل غير صحيح صورة ميغيل الذاتية مع صور جوزيه ، فستحدث مطابقة خاطئة (إيجابية كاذبة).

لمكافحة احتمالية التطابقات الخاطئة ، نوصي بأن تحتوي المجموعات على عدة صور لكل موضوع. من الشائع فهرسة مستندات التعريف الموثوقة التي تحتوي على وجه وصورة ذاتية في وقت الإعداد وصور سيلفي من عمليات التحقق العديدة الأخيرة من تحديد الهوية. توفر فهرسة عدة صور لموضوع ما القدرة على تجميع درجات التشابه عبر الوجوه التي يتم إرجاعها ، وبالتالي تحسين دقة التعريف. بالإضافة إلى ذلك ، تُستخدم المعرفات الخارجية للحد من مخاطر القبول الزائف. قد يبدو مثال لقاعدة العمل كما يلي:

إذا كانت نقاط التشابه الإجمالية> = حد التشابه المطلوب والمعرف الخارجي == المعرف المتوقع ، فحينئذٍ قم بالمصادقة

مقاييس الدقة البيومترية الرئيسية

في نظام المقاييس الحيوية ، نحن مهتمون بمعدل المطابقة الخاطئة (FMR) ومعدل عدم التطابق الخاطئ (FNMR) بناءً على درجات التشابه من مقارنات الوجه وعمليات البحث. سواء كانت حالة استخدام على متن الطائرة أو مصادقة ، تقرر أنظمة المقاييس الحيوية قبول أو رفض المطابقات لوجه المستخدم بناءً على درجة التشابه لصورتين أو أكثر. مثل أي نظام قرار ، ستكون هناك أخطاء حيث يقبل النظام بشكل غير صحيح أو يرفض محاولة الإعداد أو المصادقة. كجزء من تقييم حل التحقق من الهوية الخاص بك ، تحتاج إلى تقييم النظام عند عتبات تشابه مختلفة لتقليل معدلات المطابقة الخاطئة وعدم المطابقة الخاطئة ، بالإضافة إلى مقارنة هذه الأخطاء بتكلفة إجراء عمليات الرفض والقبول غير الصحيحة. نحن نستخدم FMR و FNMR كمقياسين رئيسيين لدينا لتقييم أنظمة القياسات الحيوية للوجه.

معدل خطأ غير مطابق

عندما يفشل نظام التحقق من الهوية في التعرف على مستخدم حقيقي أو الإذن به بشكل صحيح ، يحدث عدم تطابق خاطئ ، يُعرف أيضًا باسم سلبي كاذب. معدل عدم المطابقة الخاطئة (FNMR) هو مقياس لمدى ميل النظام إلى تحديد أو السماح للمستخدم الحقيقي بشكل غير صحيح.

يتم التعبير عن FNMR كنسبة مئوية من الحالات التي يتم فيها إجراء محاولة تأهيل أو مصادقة ، حيث يتم رفض وجه المستخدم بشكل غير صحيح (سلبي كاذب) لأن درجة التشابه أقل من الحد المحدد.

الإيجابي الحقيقي (TP) هو عندما يعتبر الحل أن صورتين أو أكثر لنفس الشخص هي نفسها. أي أن التشابه في المقارنة أو البحث أعلى من حد التشابه المطلوب.

السلبية الكاذبة (FN) هي عندما يعتبر الحل أن صورتين أو أكثر لنفس الشخص مختلفة. أي أن التشابه في المقارنة أو البحث أقل من عتبة التشابه المطلوبة.

صيغة FNMR هي:

FNMR = عدد سلبي كاذب / (عدد موجب حقيقي + عدد سلبي كاذب)

على سبيل المثال ، افترض أن لدينا 10,000 محاولة مصادقة أصلية ولكن تم رفض 100 محاولة لأن تشابهها مع الصورة المرجعية أو المجموعة أقل من حد التشابه المحدد. لدينا هنا 9,900،100 إيجابيًا حقيقيًا و 1.0 سلبي خاطئ ، وبالتالي فإن نسبة الإيجابيات الخاطئة لدينا هي XNUMX٪

FNMR = 100 / (9900 + 100) أو 1.0٪

معدل المطابقة الخاطئة

عندما يحدد نظام التحقق من الهوية بشكل غير صحيح مستخدم غير مصرح له أو يصرح به على أنه مستخدم حقيقي ، تحدث مطابقة خاطئة ، تُعرف أيضًا باسم إيجابية زائفة. معدل المطابقة الخاطئة (FMR) هو مقياس لمدى ميل النظام إلى تحديد أو السماح للمستخدم غير المصرح به بشكل غير صحيح. يتم قياسه من خلال عدد عمليات التعرف أو المصادقة الإيجابية الزائفة مقسومًا على العدد الإجمالي لمحاولات تحديد الهوية.

تحدث النتيجة الإيجابية الخاطئة عندما يعتبر الحل أن صورتين أو أكثر لأشخاص مختلفين هي نفس الشخص. أي أن درجة التشابه للمقارنة أو البحث أعلى من حد التشابه المطلوب. بشكل أساسي ، يقوم النظام بتحديد أو تفويض المستخدم بشكل غير صحيح عندما كان يجب أن يرفض تحديد هويته أو محاولة المصادقة الخاصة به.

صيغة نشرة الهجرة القسرية هي:

FMR = العد الإيجابي الكاذب / (إجمالي المحاولات)

على سبيل المثال ، لنفترض أن لدينا 100,000 محاولة مصادقة ولكن 100 مستخدم مزيف مرخص لهم بشكل غير صحيح لأن تشابههم مع الصورة المرجعية أو المجموعة يتعدى حد التشابه المحدد. لدينا هنا 100 من الإيجابيات الخاطئة ، وبالتالي فإن معدل الفائدة الفعلي لدينا هو 0.01٪

FMR = 100 / (100,000،0.01) أو XNUMX٪

معدل المطابقة الزائفة مقابل معدل عدم التطابق الخاطئ

معدل المطابقة الخاطئة ومعدل عدم المطابقة الخاطئ متعارضان مع بعضهما البعض. مع زيادة عتبة التشابه ، تقل احتمالية المطابقة الخاطئة ، بينما تزداد احتمالية عدم التطابق الخاطئ. هناك طريقة أخرى للتفكير في هذه المقايضة وهي أنه مع زيادة حد التشابه ، يصبح الحل أكثر تقييدًا ، مما يؤدي إلى عدد أقل من التطابقات منخفضة التشابه. على سبيل المثال ، من الشائع في حالات الاستخدام التي تتضمن السلامة العامة والأمن تعيين حد تشابه عالي جدًا (99 وما فوق). بدلاً من ذلك ، قد تختار المؤسسة حدًا أقل تقييدًا للتشابه (90 وما فوق) ، حيث يكون تأثير الاحتكاك على المستخدم أكثر أهمية. يوضح الرسم البياني التالي هذه المقايضات. يتمثل التحدي الذي يواجه المؤسسات في العثور على عتبة تقلل من كل من FMR و FNMR بناءً على متطلباتك التنظيمية والتطبيقية.

يعتمد تحديد حد التشابه على تطبيق الأعمال. على سبيل المثال ، لنفترض أنك تريد الحد من احتكاك العميل أثناء الإعداد (حد تشابه أقل تقييدًا ، كما هو موضح في الشكل التالي على اليسار). هنا قد يكون لديك حد تشابه مطلوب أقل ، وأنت على استعداد لقبول مخاطر ضم المستخدمين حيث تكون الثقة في المطابقة بين صورهم الشخصية ورخصة القيادة أقل. على النقيض من ذلك ، افترض أنك تريد ضمان دخول المستخدمين المصرح لهم فقط إلى التطبيق. هنا قد تعمل عند حد تشابه مقيد تمامًا (كما هو موضح في الشكل على اليمين).

خطوات حساب معدلات المطابقة الخاطئة وغير المطابقة

هناك عدة طرق لحساب هذين المقياسين. ما يلي هو نهج بسيط نسبيًا لتقسيم الخطوات إلى تجميع أزواج صور أصلية ، وإنشاء اقتران محتال (صور لا ينبغي أن تتطابق) ، وأخيراً استخدام مسبار للتكرار فوق أزواج الصور المطابقة وغير المتطابقة المتوقعة ، والتقاط التشابه الناتج. والخطوات هي كما يلي:

1. جمع مجموعة صور حقيقية. نوصي بالبدء بمجموعة من أزواج الصور وتعيين معرف خارجي ، والذي يستخدم لتحديد المطابقة بشكل رسمي. يتكون الزوج من الصور التالية:
   1. صورة المصدر - صورة المصدر الموثوق بها ، على سبيل المثال رخصة القيادة.
   2. الهدف الصورة - صورتك الشخصية أو الصورة التي ستقارن بها.
2. اجمع مجموعة صور من المطابقات المحتالة. هذه أزواج من الصور حيث لا يتطابق المصدر والهدف. يستخدم هذا لتقييم FMR (احتمال أن يتطابق النظام بشكل غير صحيح مع وجوه مستخدمين مختلفين). يمكنك إنشاء مجموعة صور دجال باستخدام أزواج الصور عن طريق إنشاء منتج ديكارتي للصور ثم تصفية النتيجة وأخذ عينات منها.
3. تحقق من مجموعات المطابقة الأصلية والداعي عن طريق التكرار فوق أزواج الصور ، ومقارنة المصدر والهدف المحتال والتقاط التشابه الناتج.
4. احسب FMR و FNMR عن طريق حساب الإيجابيات الكاذبة والسلبيات الكاذبة عند حدود تشابه دنيا مختلفة.

يمكنك تقييم تكلفة FMR و FNMR عند حدود تشابه مختلفة بالنسبة لاحتياجات التطبيق الخاص بك.

الخطوة 1: جمع عينات أزواج من الصور الأصلية

يعد اختيار عينة تمثيلية من أزواج الصور لتقييمها أمرًا بالغ الأهمية عند تقييم خدمة التحقق من الهوية. تتمثل الخطوة الأولى في تحديد مجموعة حقيقية من أزواج الصور. هذه هي صور المصدر والهدف المعروفة للمستخدم. يتم استخدام الاقتران الحقيقي للصور لتقييم FNMR ، وبشكل أساسي احتمال ألا يتطابق النظام مع وجهين من نفس الشخص. أحد الأسئلة الأولى التي يتم طرحها غالبًا هو "كم عدد أزواج الصور الضرورية؟" الجواب هو أن ذلك يعتمد على حالة الاستخدام الخاصة بك ، ولكن الإرشادات العامة هي التالية:

• يوفر ما بين 100-1,000 زوج من الصور مقياسًا للجدوى
• ما يصل إلى 10,000 زوج من الصور كبيرة بما يكفي لقياس التباين بين الصور
• يوفر أكثر من 10,000 زوج من الصور مقياسًا لجودة التشغيل وقابلية التعميم

المزيد من البيانات هو الأفضل دائمًا ؛ ومع ذلك ، كنقطة بداية ، استخدم ما لا يقل عن 1,000 زوج من الصور. ومع ذلك ، ليس من غير المألوف استخدام أكثر من 10,000 زوج من الصور للتركيز على FNMR أو FMR مقبول لمشكلة تجارية معينة.

ما يلي هو نموذج لملف تعيين زوج الصور. نستخدم ملف تعيين زوج الصور لقيادة بقية عملية التقييم.

الخطوة 2: إنشاء زوج صور دجال طقم

الآن بعد أن أصبح لديك ملف أزواج صور أصلية ، يمكنك إنشاء منتج ديكارتي للصور المستهدفة والمصدر حيث لا تعمل المعرفات الخارجية. ينتج عن هذا أزواج من المصدر إلى الهدف لا ينبغي أن تتطابق. يتم استخدام هذا الاقتران لتقييم FMR ، وهو أساسًا احتمال أن يتطابق النظام مع وجه مستخدم واحد مع وجه مستخدم مختلف.

الخطوة 3: دقق في مجموعات أزواج الصور الأصلية والمخادعة

باستخدام برنامج السائق ، نقوم بتطبيق الأمازون إعادة الاعتراف واجهة برمجة تطبيقات CompareFaces فوق أزواج الصور والتقاط التشابه. يمكنك أيضًا التقاط معلومات إضافية مثل الوضع والجودة ونتائج المقارنة الأخرى. يتم استخدام درجات التشابه لحساب معدلات المطابقة الخاطئة وغير المطابقة في الخطوة التالية.

في مقتطف الشفرة التالي ، نطبق CompareFaces API على جميع أزواج الصور ونقوم بتعبئة جميع درجات التشابه في جدول:

obj = s3.get_object(Bucket= bucket_name , Key = csv_file)

df = pd.read_csv(io.BytesIO(obj['Body'].read()), encoding='utf8')
def compare_faces(source_file, target_file, threshold = 0):
    response=rekognition.compare_faces(SimilarityThreshold=threshold,
                                        SourceImage={'S3Object': {
                                                    'Bucket': bucket_name,
                                                    'Name':source_file}},
                                        TargetImage={'S3Object': {
                                                    'Bucket': bucket_name,
                                                    'Name':target_file}})
df_similarity = df.copy()
df_similarity["SIMILARITY"] = None
for index, row in df.iterrows():
    source_file = dataset_folder + row["SOURCE"]
    target_file = dataset_folder + row["TARGET"]
    response_score = compare_faces(source_file, target_file)
    df_similarity._set_value(index,"SIMILARITY", response_score)
    df_similarity.head()

يعطي مقتطف الشفرة الإخراج التالي.

يعد تحليل توزيع درجات التشابه عن طريق الاختبارات نقطة انطلاق لفهم درجة التشابه حسب أزواج الصور. يُظهر مقتطف الشفرة التالي ومخطط الإخراج مثالًا بسيطًا لتوزيع درجة التشابه حسب مجموعة الاختبار بالإضافة إلى الإحصاءات الوصفية الناتجة:

sns.boxplot(data=df_similarity,
            x=df_similarity["SIMILARITY"],
            y=df_similarity["TEST"]).set(xlabel='Similarity Score',
            ylabel=None,
            title = "Similarity Score Distribution")
plt.show()

df_descriptive_stats = pd.DataFrame(columns=['test','count', 'min' , 'max', 'mean', 'median', 'std'])

tests = ["Genuine", "Imposter"]

for test in tests:
    count = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].count()
    mean = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].mean()
    max_ = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].max()
    min_ = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].min()
    median = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].median()
    std = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].std()

    new_row = {'test': test,
                'count': count,
                'min': min_,
                'max': max_,
                'mean': mean,
                'median':median,
                'std': std}
    df_descriptive_stats = df_descriptive_stats.append(new_row,
    ignore_index=True)

df_descriptive_stats

في هذا المثال ، يمكننا أن نرى أن متوسط ​​التشابه والمتوسط ​​لأزواج الوجوه الحقيقية كان 91.7 و 99.1 ، بينما كان لأزواج الدجال 2.8 و 0.8 على التوالي. كما هو متوقع ، يُظهر هذا درجات التشابه العالية لأزواج الصور الأصلية ودرجات التشابه المنخفضة لأزواج الصور المحتالة.

الخطوة 4: حساب FMR و FNMR عند مستويات مختلفة من عتبات التشابه

في هذه الخطوة ، نحسب المطابقة الخاطئة ومعدلات عدم المطابقة عند عتبات مختلفة من التشابه. للقيام بذلك ، نقوم ببساطة بإجراء حلقة عبر عتبات التشابه (على سبيل المثال ، 90-100). في كل عتبة تشابه محددة ، نحسب مصفوفة الارتباك الخاصة بنا التي تحتوي على أعداد صحيحة موجبة ، وسلبية حقيقية ، وإيجابية كاذبة ، وسلبية كاذبة ، والتي تُستخدم لحساب FMR و FNMR عند كل تشابه محدد.

للقيام بذلك ، نقوم بإنشاء دالة تُرجع الأعداد الإيجابية والسلبية الكاذبة ، ونقوم بالتكرار خلال مجموعة من درجات التشابه (90-100):

similarity_thresholds = [80,85,90,95,96,97,98,99]

# create output df
df_cols = ['Similarity Threshold', 'TN' , 'FN', 'TP', 'FP', 'FNMR (%)', 'FMR (%)']
comparison_df = pd.DataFrame(columns=df_cols)

# create columns for y_actual and y_pred
df_analysis = df_similarity.copy()
df_analysis["y_actual"] = None
df_analysis["y_pred"] = None

for threshold in similarity_thresholds:
    # Create y_pred and y_actual columns, 1 == match, 0 == no match
    for index, row in df_similarity.iterrows():
        # set y_pred
        if row["SIMILARITY"] >= threshold:
            df_analysis._set_value(index,"y_pred", 1)
        else:
            df_analysis._set_value(index,"y_pred", 0)

        # set y_actual
        if row["TEST"] == "Genuine":
            df_analysis._set_value(index,"y_actual", 1)
        else:
            df_analysis._set_value(index,"y_actual", 0)

    tn, fp, fn, tp = confusion_matrix(df_analysis['y_actual'].tolist(),
                                      df_analysis['y_pred'].tolist()).ravel()
    FNMR = fn / (tp + fn)
    FMR = fp / (tn+fp+fn+tp)

    new_row = {'Similarity Threshold': threshold,
                'TN': tn,
                'FN': fn,
                'TP': tp,
                'FP': fp,
                'FNMR (%)':FNMR,
                'FMR (%)': FMR}
    comparison_df = comparison_df.append(new_row,ignore_index=True)

comparison_df

يوضح الجدول التالي نتائج الأعداد عند كل حد تشابه.

كيف تؤثر عتبة التشابه على معدل عدم المطابقة الخاطئ؟

لنفترض أن لدينا 1,000 محاولة تأهيل حقيقية للمستخدم ، ونرفض 10 من هذه المحاولات بناءً على الحد الأدنى المطلوب للتشابه وهو 95٪ ليتم اعتبارها مطابقة. نحن هنا نرفض 10 محاولات تأهيل حقيقية (السلبيات الخاطئة) لأن التشابه بينها يقل عن الحد الأدنى المحدد للتشابه المطلوب. في هذه الحالة ، يكون معدل FNMR الخاص بنا هو 1.0٪.

FNMR = عدد سلبي كاذب / (عدد موجب حقيقي + عدد سلبي كاذب)

FNMR = 10 / (990 + 10) أو 1.0٪

على النقيض من ذلك ، افترض أنه بدلاً من وجود 1,000 مستخدم حقيقي على متن الطائرة ، لدينا 990 مستخدمًا حقيقيًا و 10 مستخدمين محتالين (إيجابية كاذبة). عند نسبة تشابه لا تقل عن 95٪ ، افترض أننا نقبل جميع المستخدمين البالغ عددهم 1,000 مستخدم على أنهم حقيقيون. هنا سيكون لدينا 1٪ FMR.

FMR = العد الإيجابي الكاذب / (إجمالي المحاولات)

FMR = 10 / (1,000،1.0) أو XNUMX٪

تقييم تكاليف FMR و FNMR عند الإعداد

في حالة الاستخدام على متن الطائرة ، ترتبط تكلفة عدم التطابق الخاطئ (الرفض) عمومًا باحتكاك المستخدم الإضافي أو فقدان التسجيل. على سبيل المثال ، في حالة الاستخدام المصرفي لدينا ، افترض أن جولي قدمت صورتين لنفسها ولكن تم رفضها بشكل غير صحيح في وقت الإعداد لأن التشابه بين الصورتين يقع تحت التشابه المحدد (عدم تطابق خاطئ). قد تخاطر المؤسسة المالية بفقدان جولي كعميل محتمل ، أو قد يتسبب ذلك في احتكاك جولي إضافي من خلال مطالبتها بتنفيذ خطوات لإثبات هويتها.

على العكس من ذلك ، لنفترض أن صورتي جولي لشخصين مختلفين وكان يجب رفض انضمام جولي. في حالة قبول جولي بشكل غير صحيح (تطابق خاطئ) ، فإن التكلفة والمخاطر التي تتعرض لها المؤسسة المالية مختلفة تمامًا. قد تكون هناك مشكلات تنظيمية ، ومخاطر الاحتيال ، ومخاطر أخرى مرتبطة بالمعاملات المالية.

الاستخدام المسؤول

سيكون الذكاء الاصطناعي (AI) المطبق من خلال التعلم الآلي (ML) أحد أكثر التقنيات التحويلية لجيلنا ، حيث يعالج بعضًا من أكثر المشكلات تحديًا للبشرية ، ويزيد من الأداء البشري ، ويزيد من الإنتاجية. الاستخدام المسؤول لهذه التقنيات هو المفتاح لتعزيز الابتكار المستمر. تلتزم AWS بتطوير خدمات AI و ML عادلة ودقيقة وتزويدك بالأدوات والإرشادات اللازمة لبناء تطبيقات AI و ML بشكل مسؤول.

أثناء قيامك بتبني وزيادة استخدامك للذكاء الاصطناعي والتعلم الآلي ، تقدم AWS العديد من الموارد بناءً على خبرتنا لمساعدتك في التطوير والاستخدام المسؤولين للذكاء الاصطناعي والتعلم الآلي:

أفضل الممارسات والأخطاء الشائعة التي يجب تجنبها

في هذا القسم ، نناقش أفضل الممارسات التالية:

• استخدم عينة كبيرة بما يكفي من الصور
• تجنب مجموعات بيانات الوجه الاصطناعية والمفتوحة المصدر
• تجنب التلاعب اليدوي والاصطناعي بالصور
• تحقق من جودة الصورة في وقت التقييم وعلى مدار الوقت
• مراقبة FMR و FNMR بمرور الوقت
• استخدام الإنسان في مراجعة الحلقة
• ابق على اطلاع دائم مع Amazon Rekognition

استخدم عينة كبيرة بما يكفي من الصور

استخدم عينة كبيرة بما يكفي ولكن معقولة من الصور. ما هو حجم العينة المعقول؟ هذا يعتمد على مشكلة العمل. إذا كنت صاحب عمل ولديك 10,000 موظف تريد المصادقة عليها ، فمن المحتمل أن يكون استخدام جميع الصور البالغ عددها 10,000 أمرًا معقولاً. ومع ذلك ، افترض أنك مؤسسة بها ملايين العملاء الذين ترغب في الانضمام إليهم. في هذه الحالة ، قد يكون أخذ عينة تمثيلية من العملاء مثل 5,000 - 20,000 كافيًا. فيما يلي بعض الإرشادات حول حجم العينة:

• حجم العينة 100 - 1,000 زوج من الصور تثبت جدواها
• حجم العينة 1,000 - يفيد وجود 10,000 زوج من الصور في قياس التباين بين الصور
• حجم العينة 10,000 - يوفر مليون زوج من الصور مقياسًا للجودة التشغيلية وقابلية التعميم

المفتاح مع عينات أزواج الصور هو التأكد من أن العينة توفر تنوعًا كافيًا عبر مجموعة الوجوه في تطبيقك. يمكنك توسيع نطاق أخذ العينات والاختبار لتشمل معلومات ديموغرافية مثل لون البشرة والجنس والعمر.

تجنب مجموعات بيانات الوجه الاصطناعية والمفتوحة المصدر

هناك العشرات من مجموعات بيانات صور الوجه المنسقة مفتوحة المصدر بالإضافة إلى مجموعات الوجوه الاصطناعية الواقعية المذهلة والتي تُستخدم غالبًا في البحث ودراسة الجدوى. يكمن التحدي في أن مجموعات البيانات هذه ليست مفيدة بشكل عام لـ 99٪ من حالات الاستخدام في العالم الحقيقي لمجرد أنها لا تمثل الكاميرات والوجوه وجودة الصور التي من المحتمل أن يواجهها تطبيقك في البرية. على الرغم من أنها مفيدة لتطوير التطبيقات ، إلا أن مقاييس الدقة لمجموعات الصور هذه لا تعمم على ما ستواجهه في التطبيق الخاص بك. بدلاً من ذلك ، نوصي بالبدء بعينة تمثيلية من الصور الحقيقية من الحل الخاص بك ، حتى لو كانت أزواج الصور النموذجية صغيرة (أقل من 1,000).

تجنب التلاعب اليدوي والاصطناعي بالصور

غالبًا ما تكون هناك حالات متطرفة يهتم الناس بفهمها. دائمًا ما تكون أشياء مثل جودة التقاط الصور أو التعتيم على ميزات وجه معينة موضع اهتمام. على سبيل المثال ، غالبًا ما يُسألون عن تأثير العمر وجودة الصورة على التعرف على الوجه. يمكنك ببساطة تشيخ وجه أو التلاعب بالصورة لجعل الموضوع يبدو أقدم ، أو التلاعب بجودة الصورة ، لكن هذا لا يترجم بشكل جيد إلى تقادم الصور في العالم الحقيقي. بدلاً من ذلك ، توصيتنا هي جمع عينة تمثيلية من حالات الحافة الواقعية التي تهتم باختبارها.

تحقق من جودة الصورة في وقت التقييم وعلى مدار الوقت

تتغير تقنية الكاميرا والتطبيق بسرعة كبيرة بمرور الوقت. كأفضل ممارسة ، نوصي بمراقبة جودة الصورة بمرور الوقت. من حجم الوجوه التي تم التقاطها (باستخدام المربعات المحيطة) ، إلى سطوع الصورة وحدتها ، إلى شكل الوجه ، وكذلك التشويش المحتمل (القبعات ، والنظارات الشمسية ، واللحى ، وما إلى ذلك) ، كل هذه الصور و تتغير ملامح الوجه بمرور الوقت.

مراقبة FNMR و FMR بمرور الوقت

تحدث التغييرات ، سواء كانت الصور أو التطبيق أو حدود التشابه المستخدمة في التطبيق. من المهم مراقبة المطابقة الخاطئة ومعدلات عدم المطابقة بشكل دوري بمرور الوقت. غالبًا ما تشير التغييرات في المعدلات (حتى التغييرات الطفيفة) إلى التحديات الأولية مع التطبيق أو كيفية استخدام التطبيق. يمكن أن يكون للتغييرات في حدود التشابه وقواعد العمل المستخدمة في اتخاذ قرارات القبول أو الرفض تأثير كبير على تجارب المستخدم على متن الطائرة والمصادقة.

استخدام الإنسان في مراجعة الحلقة

تتخذ أنظمة التحقق من الهوية قرارات آلية للمطابقة وعدم المطابقة بناءً على عتبات التشابه وقواعد العمل. إلى جانب متطلبات الامتثال التنظيمية والداخلية ، تتمثل إحدى العمليات المهمة في أي نظام قرار آلي في استخدام المراجعين البشريين كجزء من المراقبة المستمرة لعملية اتخاذ القرار. يوفر الإشراف البشري على أنظمة اتخاذ القرار الآلية هذه التحقق من الصحة والتحسين المستمر بالإضافة إلى الشفافية في عملية صنع القرار الآلي.

ابق على اطلاع دائم مع Amazon Rekognition

يتم تحديث نموذج Amazon Recognition بشكل دوري (عادةً سنويًا) ، وهو حاليًا في الإصدار 6. هذا الإصدار المحدث أدخل تحسينات مهمة على الدقة والفهرسة. من المهم أن تظل على اطلاع دائم بإصدارات النماذج الجديدة وأن تفهم كيفية استخدام هذه الإصدارات الجديدة في تطبيق التحقق من الهوية الخاص بك. عندما يتم إطلاق إصدارات جديدة من نموذج الوجه Amazon Rekognition ، فمن الممارسات الجيدة إعادة تشغيل عملية تقييم التحقق من الهوية وتحديد أي تأثيرات محتملة (إيجابية وسلبية) لمعدلات المطابقة الخاطئة وعدم المطابقة.

وفي الختام

يناقش هذا المنشور العناصر الأساسية اللازمة لتقييم جانب الأداء في حل التحقق من الهوية الخاص بك من حيث مقاييس الدقة المختلفة. ومع ذلك ، فإن الدقة ليست سوى أحد الأبعاد العديدة التي تحتاج إلى تقييمها عند اختيار خدمة معينة للإشراف على المحتوى. من المهم أن تقوم بتضمين معلمات أخرى ، مثل مجموعة ميزات الخدمة الإجمالية ، وسهولة الاستخدام ، وعمليات الدمج الحالية ، والخصوصية والأمان ، وخيارات التخصيص ، وآثار قابلية التوسع ، وخدمة العملاء ، والتسعير.

لمعرفة المزيد حول التحقق من الهوية في Amazon Rekognition ، تفضل بزيارة التحقق من الهوية باستخدام Amazon Rekognition.

حول المؤلف

مايك أميس هو عالم بيانات تحول إلى متخصص في حلول التحقق من الهوية ، ويتمتع بخبرة واسعة في تطوير التعلم الآلي وحلول الذكاء الاصطناعي لحماية المؤسسات من الاحتيال والهدر وإساءة الاستخدام. في أوقات فراغه ، يمكنك أن تجده يمارس رياضة المشي لمسافات طويلة أو ركوب الدراجات في الجبال أو اللعب المجاني مع كلبه ماكس.

اميت غوبتا هو كبير مهندسي حلول خدمات الذكاء الاصطناعي في AWS. إنه متحمس لتمكين العملاء من خلال حلول التعلم الآلي المصممة جيدًا على نطاق واسع.

زهير راغب هو مهندس حلول خدمات الذكاء الاصطناعي في AWS. متخصص في الذكاء الاصطناعي / التعلم الآلي التطبيقي ، وهو متحمس لتمكين العملاء من استخدام السحابة للابتكار بشكل أسرع وتحويل أعمالهم.

مارسيل بيفيدال هو مهندس حلول خدمات الذكاء الاصطناعي في المنظمة المتخصصة العالمية. يتمتع مارسيل بأكثر من 20 عامًا من الخبرة في حل مشكلات الأعمال من خلال التكنولوجيا لشركات التكنولوجيا المالية ومقدمي خدمات الدفع والأدوية والوكالات الحكومية. مجالات تركيزه الحالية هي إدارة المخاطر ومنع الاحتيال والتحقق من الهوية.