معیارهایی برای ارزیابی راه حل تأیید هویت

در سطح جهانی، تغییر سریعی به سمت تجربیات کاربران دیجیتال بدون اصطکاک صورت گرفته است. خواه ثبت نام در یک وب سایت، انجام تراکنش های آنلاین یا ورود به حساب بانکی شما باشد، سازمان ها فعالانه تلاش می کنند تا اصطکاک مشتریان خود را کاهش دهند و در عین حال اقدامات امنیتی، انطباق و پیشگیری از کلاهبرداری را افزایش دهند. تغییر به سمت تجارب کاربر بدون اصطکاک باعث ایجاد راه حل های تأیید هویت بیومتریک مبتنی بر چهره با هدف پاسخ به این سؤال شده است که "چگونه یک شخص را در دنیای دیجیتال تأیید می کنید؟"

دو مزیت کلیدی بیومتریک صورت در مورد مسائل مربوط به شناسایی و احراز هویت وجود دارد. اول، این یک فناوری راحت برای کاربران است: نیازی به به خاطر سپردن رمز عبور، مقابله با چالش‌های چند عاملی، کلیک کردن روی پیوندهای تأیید یا حل پازل‌های CAPTCHA نیست. ثانیاً، سطح بالایی از امنیت به دست می آید: شناسایی و احراز هویت بر اساس بیومتریک چهره ایمن است و کمتر در معرض کلاهبرداری و حملات قرار می گیرد.

در این پست، ما به دو مورد اصلی استفاده از تأیید هویت می پردازیم: ورود و احراز هویت. سپس به دو معیار کلیدی مورد استفاده برای ارزیابی دقت سیستم بیومتریک می پردازیم: نرخ تطابق کاذب (همچنین به عنوان نرخ پذیرش نادرست شناخته می شود) و نرخ عدم تطابق کاذب (همچنین به عنوان نرخ رد کاذب نیز شناخته می شود). این دو معیار به طور گسترده توسط سازمان ها برای ارزیابی دقت و میزان خطای سیستم های بیومتریک استفاده می شود. در نهایت، ما در مورد چارچوب و بهترین شیوه‌ها برای انجام ارزیابی یک سرویس تأیید هویت بحث می‌کنیم.

رجوع به همراه شود دفترچه ژوپیتر که تمام مراحل ذکر شده در این پست را طی می کند.

موارد استفاده: ورود و احراز هویت

دو مورد استفاده اولیه برای راه‌حل‌های بیومتریک وجود دارد: ورود کاربر (اغلب به عنوان تأیید) و احراز هویت (اغلب به عنوان شناسایی شناخته می‌شود). ورود به هواپیما مستلزم تطبیق یک به یک چهره بین دو تصویر است، برای مثال مقایسه یک سلفی با یک مدرک شناسایی قابل اعتماد مانند گواهینامه رانندگی یا گذرنامه. از سوی دیگر، احراز هویت مستلزم جستجوی یک به چند چهره در برابر مجموعه ای از چهره های ذخیره شده است، به عنوان مثال جستجوی مجموعه ای از چهره های کارمند برای دیدن اینکه آیا یک کارمند مجاز به دسترسی به طبقه خاصی در یک ساختمان است یا خیر.

عملکرد دقت موارد استفاده از ورود و احراز هویت با خطاهای مثبت و منفی کاذب که راه حل بیومتریک می تواند ایجاد کند اندازه گیری می شود. امتیاز شباهت (از 0٪ به معنای عدم تطابق تا 100٪ به معنای تطابق کامل) برای تعیین یک تطابق یا تصمیم غیرتطابقی استفاده می شود. یک مثبت کاذب زمانی رخ می دهد که راه حل تصاویر دو فرد متفاوت را یک شخص در نظر بگیرد. از سوی دیگر، منفی کاذب به این معنی است که راه حل دو تصویر از یک شخص را متفاوت در نظر می گیرد.

ورود: تأیید یک به یک

فرآیندهای سوار شدن بر اساس بیومتریک، فرآیند را ساده و ایمن می کند. مهمتر از همه، سازمان و مشتری را برای یک تجربه ورود تقریباً بدون اصطکاک آماده می کند. برای انجام این کار، کاربران به سادگی باید تصویری از نوعی سند شناسایی قابل اعتماد حاوی چهره کاربر (مانند گواهینامه رانندگی یا پاسپورت) ارائه دهند و همچنین در طول فرآیند سوار شدن، یک تصویر سلفی بگیرند. پس از اینکه سیستم این دو تصویر را داشت، به سادگی چهره های درون دو تصویر را با هم مقایسه می کند. هنگامی که شباهت بیشتر از یک آستانه مشخص است، آنگاه یک تطابق دارید. در غیر این صورت، شما یک عدم تطابق دارید. نمودار زیر روند کار را نشان می دهد.

مثال جولی را در نظر بگیرید، کاربر جدیدی که یک حساب بانکی دیجیتال باز می کند. راه حل از او می خواهد که از گواهینامه رانندگی خود عکس بگیرد (مرحله 2) و یک سلفی (مرحله 3) بگیرد. پس از اینکه سیستم کیفیت تصاویر را بررسی کرد (مرحله 4)، چهره در سلفی را با چهره روی گواهینامه رانندگی مقایسه می کند (تطبیق یک به یک) و امتیاز شباهت (مرحله 5) تولید می شود. اگر امتیاز شباهت کمتر از آستانه تشابه مورد نیاز باشد، تلاش جولی برای ورود رد می‌شود. این همان چیزی است که ما آن را عدم تطابق یا رد کاذب می نامیم: راه حل دو تصویر از یک شخص را متفاوت در نظر می گرفت. از طرف دیگر، اگر امتیاز شباهت بیشتر از شباهت لازم بود، راه حل دو تصویر را یک شخص یا یک تطابق در نظر می گیرد.

احراز هویت: شناسایی یک به چند

این نوع احراز هویت با اصطکاک صفر تا کم از طریق تشخیص چهره برای بسیاری از سازمان‌ها عادی شده است، از ورود به یک ساختمان، چک کردن در کیوسک، تا درخواست از کاربر برای گرفتن عکس سلفی برای تأیید هویت خود. به جای انجام تطبیق تصویر به تصویر، این مورد استفاده احراز هویت یک تصویر را می گیرد و آن را با مجموعه ای از تصاویر قابل جستجو برای مطابقت احتمالی مقایسه می کند. در یک مورد استفاده از احراز هویت معمولی، از کاربر خواسته می‌شود یک سلفی بگیرد، که سپس با چهره‌های ذخیره شده در مجموعه مقایسه می‌شود. نتیجه جستجو صفر، یک یا چند تطابق بالقوه با نمرات شباهت متناظر و شناسه‌های خارجی به دست می‌دهد. اگر هیچ مسابقه ای برگردانده نشد، کاربر احراز هویت نمی شود. با این حال، با فرض اینکه جستجو یک یا چند منطبق را برمی گرداند، سیستم بر اساس نمرات شباهت و شناسه های خارجی تصمیم احراز هویت را می گیرد. اگر امتیاز شباهت از آستانه تشابه لازم بیشتر شود و شناسه خارجی با شناسه مورد انتظار مطابقت داشته باشد، کاربر احراز هویت (تطبیق) می شود. نمودار زیر نمونه ای از فرآیند احراز هویت بیومتریک مبتنی بر چهره را نشان می دهد.

مثال خوزه، راننده تحویل گیگ اقتصادی را در نظر بگیرید. سرویس تحویل رانندگان تحویل را با درخواست از راننده برای گرفتن عکس سلفی قبل از شروع تحویل با استفاده از برنامه تلفن همراه شرکت تأیید می کند. یکی از مشکلاتی که ارائه دهندگان خدمات اقتصاد گیگ با آن مواجه هستند، اشتراک کار است. اساساً دو یا چند کاربر یک حساب مشترک را برای بازی کردن سیستم به اشتراک می گذارند. برای مبارزه با این موضوع، بسیاری از خدمات تحویل از یک دوربین داخل خودرو برای گرفتن عکس (مرحله 2) از راننده در زمان‌های تصادفی در طول تحویل (برای اطمینان از اینکه راننده تحویل‌دهنده راننده مجاز است) استفاده می‌کنند. در این مورد، خوزه نه تنها در شروع زایمان خود یک سلفی می گیرد، بلکه یک دوربین داخل خودرو در حین زایمان از او عکس می گیرد. سیستم بررسی کیفیت (مرحله 3) و جستجو (مرحله 4) مجموعه رانندگان ثبت شده را برای تأیید هویت راننده انجام می دهد. اگر درایور دیگری شناسایی شود، سرویس تحویل گیگ اقتصادی می‌تواند بیشتر بررسی کند.

تطابق کاذب (مثبت کاذب) زمانی اتفاق می‌افتد که راه‌حل دو یا چند تصویر از افراد مختلف را یک فرد در نظر بگیرد. در مورد استفاده ما، فرض کنید که به جای راننده مجاز، خوزه به برادرش میگل اجازه می دهد یکی از تحویل های خود را برای او ببرد. اگر راه حل به اشتباه سلفی میگل را با تصاویر خوزه مطابقت دهد، تطابق کاذب (مثبت کاذب) رخ می دهد.

برای مبارزه با پتانسیل یک تطابق کاذب، توصیه می کنیم مجموعه ها حاوی چندین تصویر از هر موضوع باشند. این یک کار معمول است که اسناد شناسایی مورد اعتماد شامل یک چهره، یک عکس سلفی در زمان سوار شدن، و عکس‌های سلفی از چندین بررسی شناسایی گذشته را فهرست کنید. نمایه سازی چندین تصویر از یک سوژه، امکان جمع آوری امتیازهای شباهت در چهره های بازگشتی را فراهم می کند و در نتیجه دقت شناسایی را بهبود می بخشد. علاوه بر این، از شناسه های خارجی برای محدود کردن خطر پذیرش نادرست استفاده می شود. یک قانون تجارت مثال ممکن است چیزی شبیه به این باشد:

اگر امتیاز شباهت جمعی >= آستانه تشابه مورد نیاز و شناسه خارجی == شناسه مورد انتظار، سپس احراز هویت

معیارهای کلیدی دقت بیومتریک

در یک سیستم بیومتریک، ما به نرخ تطابق کاذب (FMR) و نرخ عدم تطابق کاذب (FNMR) بر اساس نمرات شباهت حاصل از مقایسه چهره و جستجو علاقه مندیم. سیستم‌های بیومتریک خواه یک مورد استفاده از ورود یا تأیید اعتبار باشد، بر اساس امتیاز شباهت دو یا چند تصویر، مطابقت چهره کاربر را بپذیرند یا رد کنند. مانند هر سیستم تصمیم گیری، خطاهایی وجود خواهد داشت که در آن سیستم به اشتباه تلاش برای ورود یا احراز هویت را بپذیرد یا رد کند. به عنوان بخشی از ارزیابی راه حل تأیید هویت خود، باید سیستم را در آستانه شباهت های مختلف ارزیابی کنید تا نرخ تطابق کاذب و عدم تطابق کاذب را به حداقل برسانید، همچنین این خطاها را با هزینه رد و پذیرش نادرست مقایسه کنید. ما از FMR و FNMR به عنوان دو معیار کلیدی خود برای ارزیابی سیستم های بیومتریک صورت استفاده می کنیم.

نرخ عدم تطابق کاذب

هنگامی که سیستم تأیید هویت نتواند به درستی یک کاربر واقعی را شناسایی یا تأیید کند، یک عدم تطابق کاذب رخ می دهد که به عنوان منفی کاذب نیز شناخته می شود. نرخ عدم تطابق کاذب (FNMR) معیاری است که نشان می دهد سیستم چقدر مستعد شناسایی یا مجوز نادرست یک کاربر واقعی است.

FNMR به عنوان درصدی از مواردی بیان می‌شود که در آن تلاشی برای ورود یا تأیید اعتبار انجام شده است، که در آن چهره کاربر به اشتباه رد شده است (منفی کاذب) زیرا امتیاز شباهت کمتر از آستانه تعیین‌شده است.

مثبت واقعی (TP) زمانی است که راه حل دو یا چند تصویر از یک شخص را یکسان در نظر می گیرد. یعنی شباهت مقایسه یا جستجو بالاتر از آستانه تشابه لازم است.

منفی کاذب (FN) زمانی است که راه حل دو یا چند تصویر از یک شخص را متفاوت در نظر بگیرد. یعنی شباهت مقایسه یا جستجو زیر آستانه تشابه لازم است.

فرمول FNMR به صورت زیر است:

FNMR = تعداد منفی کاذب / (شمار ​​مثبت واقعی + تعداد منفی کاذب)

برای مثال، فرض کنید 10,000 تلاش برای احراز هویت واقعی داریم اما 100 مورد رد شده است زیرا شباهت آنها به تصویر مرجع یا مجموعه زیر آستانه تشابه مشخص شده است. در اینجا ما 9,900 مثبت واقعی و 100 منفی کاذب داریم، بنابراین FNMR ما 1.0٪ است.

FNMR = 100 / (9900 + 100) یا 1.0٪

نرخ تطابق کاذب

هنگامی که یک سیستم تأیید هویت به اشتباه یک کاربر غیرمجاز را به‌عنوان واقعی تشخیص می‌دهد یا مجوز می‌دهد، یک تطابق نادرست رخ می‌دهد که به عنوان مثبت کاذب نیز شناخته می‌شود. نرخ تطابق کاذب (FMR) معیاری است که نشان می دهد سیستم چقدر مستعد شناسایی نادرست یا مجوز دادن به یک کاربر غیرمجاز است. با تعداد تشخیص‌ها یا احراز هویت‌های مثبت کاذب تقسیم بر تعداد کل تلاش‌های شناسایی اندازه‌گیری می‌شود.

مثبت کاذب زمانی رخ می دهد که راه حل دو یا چند تصویر از افراد مختلف را یک فرد در نظر بگیرد. یعنی امتیاز شباهت مقایسه یا جستجو بالاتر از آستانه تشابه لازم است. اساساً، سیستم به اشتباه یک کاربر را شناسایی یا مجوز می دهد، در حالی که باید تلاش برای شناسایی یا احراز هویت او را رد می کرد.

فرمول FMR به صورت زیر است:

FMR = تعداد مثبت کاذب / (کل تلاش ها)

به عنوان مثال، فرض کنید 100,000 تلاش برای احراز هویت داریم اما 100 کاربر جعلی به اشتباه مجاز شده اند زیرا شباهت آنها به تصویر مرجع یا مجموعه بالاتر از آستانه تشابه مشخص شده است. در اینجا ما 100 مثبت کاذب داریم، بنابراین FMR ما 0.01٪ است.

FMR = 100 / (100,000) یا 0.01٪

نرخ تطابق کاذب در مقابل نرخ عدم تطابق کاذب

نرخ تطابق کاذب و نرخ عدم تطابق کاذب با یکدیگر تضاد دارند. با افزایش آستانه تشابه، پتانسیل تطابق نادرست کاهش می‌یابد، در حالی که پتانسیل عدم تطابق کاذب افزایش می‌یابد. راه دیگری برای فکر کردن در مورد این مبادله این است که با افزایش آستانه شباهت، راه حل محدودتر می شود و مطابقت های کم شباهت کمتری را ایجاد می کند. به عنوان مثال، برای موارد استفاده که شامل امنیت و امنیت عمومی است، معمولاً آستانه تشابه بسیار بالا (99 و بالاتر) تعیین می شود. از طرف دیگر، یک سازمان ممکن است آستانه تشابه محدودتر (90 و بالاتر) را انتخاب کند، جایی که تأثیر اصطکاک بر کاربر مهم‌تر است. نمودار زیر این مبادلات را نشان می دهد. چالش سازمان‌ها یافتن آستانه‌ای است که FMR و FNMR را بر اساس الزامات سازمانی و کاربردی شما به حداقل برساند.

انتخاب آستانه تشابه به برنامه تجاری بستگی دارد. به عنوان مثال، فرض کنید می‌خواهید اصطکاک مشتری را در طول ورود به سیستم محدود کنید (آستانه تشابه محدودتر، همانطور که در شکل زیر در سمت چپ نشان داده شده است). در اینجا ممکن است آستانه تشابه مورد نیاز کمتری داشته باشید، و مایلید خطر ورود کاربرانی را بپذیرید که اعتماد به تطابق بین سلفی و گواهینامه رانندگی آنها کمتر است. در مقابل، فرض کنید می خواهید مطمئن شوید که فقط کاربران مجاز وارد یک برنامه می شوند. در اینجا ممکن است در یک آستانه تشابه کاملاً محدود عمل کنید (همانطور که در شکل سمت راست نشان داده شده است).

مراحل محاسبه نرخ تطابق کاذب و عدم تطابق

چندین روش برای محاسبه این دو معیار وجود دارد. در زیر یک رویکرد نسبتا ساده برای تقسیم مراحل به جمع‌آوری جفت‌های تصویر واقعی، ایجاد یک جفت تقلبی (تصاویری که نباید مطابقت داشته باشند) و در نهایت با استفاده از یک کاوشگر برای حلقه‌زنی روی جفت‌های تصویر مورد انتظار و غیر منطبق، برای گرفتن عکس ارائه شده است. شباهت حاصل مراحل به شرح زیر است:

1. یک مجموعه تصویر نمونه واقعی جمع آوری کنید. توصیه می‌کنیم با مجموعه‌ای از جفت‌های تصویر شروع کنید و یک شناسه خارجی اختصاص دهید، که برای تعیین تطابق رسمی استفاده می‌شود. این جفت از تصاویر زیر تشکیل شده است:
   1. تصویر منبع - تصویر منبع مورد اعتماد شما، به عنوان مثال گواهینامه رانندگی.
   2. تصویر هدف - سلفی یا تصویری که قرار است با آن مقایسه کنید.
2. مجموعه ای تصویری از مسابقات تقلبی جمع آوری کنید. اینها جفت تصاویری هستند که منبع و هدف با هم مطابقت ندارند. این برای ارزیابی FMR (احتمال اینکه سیستم به اشتباه با چهره دو کاربر مختلف مطابقت داشته باشد) استفاده می شود. می‌توانید با استفاده از جفت‌های تصویر، با ایجاد یک محصول دکارتی از تصاویر و سپس فیلتر کردن و نمونه‌برداری از نتیجه، یک مجموعه تصویر مبهم ایجاد کنید.
3. با چرخاندن روی جفت‌های تصویر، مقایسه منبع و هدف فریبنده و گرفتن شباهت به دست آمده، مجموعه‌های تطابق واقعی و تقلبی را بررسی کنید.
4. FMR و FNMR را با محاسبه مثبت کاذب و منفی کاذب در حداقل آستانه شباهت های مختلف محاسبه کنید.

شما می توانید هزینه FMR و FNMR را در آستانه شباهت های مختلف نسبت به نیاز برنامه خود ارزیابی کنید.

مرحله 1: نمونه های جفت تصویر واقعی را جمع آوری کنید

انتخاب یک نمونه نماینده از جفت تصویر برای ارزیابی هنگام ارزیابی یک سرویس تأیید هویت بسیار مهم است. اولین قدم شناسایی مجموعه ای واقعی از جفت های تصویر است. اینها تصاویر منبع و هدف شناخته شده یک کاربر هستند. جفت تصویر واقعی برای ارزیابی FNMR استفاده می شود، اساساً احتمال اینکه سیستم با دو چهره یک شخص مطابقت نداشته باشد. یکی از اولین سوالاتی که اغلب پرسیده می شود این است که "چند جفت تصویر لازم است؟" پاسخ این است که بستگی به مورد استفاده شما دارد، اما راهنمایی کلی به شرح زیر است:

• بین 100 تا 1,000 جفت تصویر معیاری از امکان سنجی را ارائه می دهد
• حداکثر 10,000 جفت تصویر به اندازه کافی بزرگ است تا تنوع بین تصاویر را اندازه گیری کند
• بیش از 10,000 جفت تصویر معیاری از کیفیت عملیاتی و قابلیت تعمیم را ارائه می دهد

داده های بیشتر همیشه بهتر است. با این حال، به عنوان نقطه شروع، حداقل از 1,000 جفت تصویر استفاده کنید. با این حال، استفاده از بیش از 10,000 جفت تصویر در یک FNMR یا FMR قابل قبول برای یک مشکل تجاری خاص غیر معمول نیست.

نمونه زیر یک فایل نگاشت جفت تصویر است. ما از فایل نگاشت جفت تصویر برای هدایت بقیه فرآیند ارزیابی استفاده می کنیم.

مرحله 2: یک جفت تصویر فریبنده ایجاد کنید تنظیم

اکنون که فایلی از جفت‌های تصویر واقعی دارید، می‌توانید یک محصول دکارتی از تصاویر هدف و منبع ایجاد کنید که در آن شناسه‌های خارجی با هم مطابقت ندارند. این جفت های منبع به هدف تولید می کند که نباید مطابقت داشته باشند. این جفت‌سازی برای ارزیابی FMR استفاده می‌شود، اساساً احتمال مطابقت سیستم با چهره یک کاربر با چهره کاربر دیگر.

مرحله 3: مجموعه‌های جفت تصویر واقعی و تقلبی را بررسی کنید

با استفاده از یک برنامه درایور، ما آن را اعمال می کنیم شناسایی آمازون API API را مقایسه کنید بر روی جفت های تصویر و گرفتن شباهت. شما همچنین می توانید اطلاعات اضافی مانند وضعیت، کیفیت و سایر نتایج مقایسه را دریافت کنید. از نمرات شباهت برای محاسبه میزان تطابق کاذب و عدم تطابق در مرحله زیر استفاده می شود.

در قطعه کد زیر، API CompareFaces را برای همه جفت‌های تصویر اعمال می‌کنیم و تمام امتیازهای شباهت را در یک جدول پر می‌کنیم:

obj = s3.get_object(Bucket= bucket_name , Key = csv_file)

df = pd.read_csv(io.BytesIO(obj['Body'].read()), encoding='utf8')
def compare_faces(source_file, target_file, threshold = 0):
    response=rekognition.compare_faces(SimilarityThreshold=threshold,
                                        SourceImage={'S3Object': {
                                                    'Bucket': bucket_name,
                                                    'Name':source_file}},
                                        TargetImage={'S3Object': {
                                                    'Bucket': bucket_name,
                                                    'Name':target_file}})
df_similarity = df.copy()
df_similarity["SIMILARITY"] = None
for index, row in df.iterrows():
    source_file = dataset_folder + row["SOURCE"]
    target_file = dataset_folder + row["TARGET"]
    response_score = compare_faces(source_file, target_file)
    df_similarity._set_value(index,"SIMILARITY", response_score)
    df_similarity.head()

قطعه کد خروجی زیر را می دهد.

تجزیه و تحلیل توزیع نمرات شباهت توسط آزمون ها نقطه شروعی برای درک امتیاز شباهت توسط جفت تصویر است. قطعه کد و نمودار خروجی زیر یک مثال ساده از توزیع امتیاز شباهت بر اساس مجموعه تست و همچنین آمار توصیفی حاصل را نشان می دهد:

sns.boxplot(data=df_similarity,
            x=df_similarity["SIMILARITY"],
            y=df_similarity["TEST"]).set(xlabel='Similarity Score',
            ylabel=None,
            title = "Similarity Score Distribution")
plt.show()

df_descriptive_stats = pd.DataFrame(columns=['test','count', 'min' , 'max', 'mean', 'median', 'std'])

tests = ["Genuine", "Imposter"]

for test in tests:
    count = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].count()
    mean = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].mean()
    max_ = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].max()
    min_ = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].min()
    median = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].median()
    std = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].std()

    new_row = {'test': test,
                'count': count,
                'min': min_,
                'max': max_,
                'mean': mean,
                'median':median,
                'std': std}
    df_descriptive_stats = df_descriptive_stats.append(new_row,
    ignore_index=True)

df_descriptive_stats

در این مثال، می‌توانیم ببینیم که میانگین و میانه شباهت برای جفت‌های صورت واقعی 91.7 و 99.1 بود، در حالی که برای جفت‌های تقلبی به ترتیب 2.8 و 0.8 بود. همانطور که انتظار می‌رفت، این نمرات شباهت بالا برای جفت‌های تصویر واقعی و نمرات شباهت کم برای جفت‌های تصویر فریبنده را نشان می‌دهد.

مرحله 4: محاسبه FMR و FNMR در سطوح آستانه شباهت مختلف

در این مرحله، نرخ تطابق کاذب و عدم تطابق را در آستانه‌های شباهت مختلف محاسبه می‌کنیم. برای انجام این کار، ما به سادگی از طریق آستانه شباهت (به عنوان مثال، 90-100) حلقه می زنیم. در هر آستانه تشابه انتخاب شده، ماتریس سردرگمی خود را محاسبه می کنیم که شامل شمارش مثبت واقعی، منفی واقعی، مثبت کاذب و منفی کاذب است که برای محاسبه FMR و FNMR در هر شباهت انتخاب شده استفاده می شود.

برای انجام این کار، تابعی ایجاد می کنیم که تعداد مثبت و منفی کاذب را برمی گرداند و از طریق طیف وسیعی از نمرات شباهت (90-100) حلقه می زنیم:

similarity_thresholds = [80,85,90,95,96,97,98,99]

# create output df
df_cols = ['Similarity Threshold', 'TN' , 'FN', 'TP', 'FP', 'FNMR (%)', 'FMR (%)']
comparison_df = pd.DataFrame(columns=df_cols)

# create columns for y_actual and y_pred
df_analysis = df_similarity.copy()
df_analysis["y_actual"] = None
df_analysis["y_pred"] = None

for threshold in similarity_thresholds:
    # Create y_pred and y_actual columns, 1 == match, 0 == no match
    for index, row in df_similarity.iterrows():
        # set y_pred
        if row["SIMILARITY"] >= threshold:
            df_analysis._set_value(index,"y_pred", 1)
        else:
            df_analysis._set_value(index,"y_pred", 0)

        # set y_actual
        if row["TEST"] == "Genuine":
            df_analysis._set_value(index,"y_actual", 1)
        else:
            df_analysis._set_value(index,"y_actual", 0)

    tn, fp, fn, tp = confusion_matrix(df_analysis['y_actual'].tolist(),
                                      df_analysis['y_pred'].tolist()).ravel()
    FNMR = fn / (tp + fn)
    FMR = fp / (tn+fp+fn+tp)

    new_row = {'Similarity Threshold': threshold,
                'TN': tn,
                'FN': fn,
                'TP': tp,
                'FP': fp,
                'FNMR (%)':FNMR,
                'FMR (%)': FMR}
    comparison_df = comparison_df.append(new_row,ignore_index=True)

comparison_df

جدول زیر نتایج شمارش ها را در هر آستانه تشابه نشان می دهد.

آستانه تشابه چگونه بر نرخ عدم تطابق کاذب تأثیر می گذارد؟

فرض کنید 1,000 تلاش واقعی برای ورود کاربر داریم و 10 مورد از این تلاش‌ها را بر اساس حداقل شباهت لازم 95 درصد رد می‌کنیم تا مطابقت در نظر گرفته شود. در اینجا ما 10 تلاش واقعی (منفی کاذب) را رد می کنیم زیرا شباهت آنها کمتر از حداقل آستانه تشابه مورد نیاز تعیین شده است. در این مورد، FNMR ما 1.0٪ است.

FNMR = تعداد منفی کاذب / (شمار ​​مثبت واقعی + تعداد منفی کاذب)

FNMR = 10 / (990 + 10) یا 1.0٪

در مقابل، فرض کنید به جای داشتن 1,000 کاربر واقعی در داخل هواپیما، 990 کاربر واقعی و 10 کاربر تقلبی (مثبت کاذب) داریم. با حداقل شباهت 95٪، فرض کنید همه 1,000 کاربر را به عنوان واقعی می پذیریم. در اینجا ما یک FMR 1٪ خواهیم داشت.

FMR = تعداد مثبت کاذب / (کل تلاش ها)

FMR = 10 / (1,000) یا 1.0٪

ارزیابی هزینه های FMR و FNMR در هنگام ورود

در یک مورد استفاده از ورود، هزینه عدم تطابق کاذب (رد) عموماً با اصطکاک اضافی کاربر یا از دست دادن یک ثبت نام مرتبط است. برای مثال، در مورد استفاده بانکی ما، فرض کنید جولی دو تصویر از خود ارائه می‌کند اما در زمان ورود به اشتباه رد شده است، زیرا شباهت بین دو تصویر کمتر از شباهت انتخاب شده است (عدم تطابق نادرست). مؤسسه مالی ممکن است خطر از دست دادن جولی را به عنوان یک مشتری بالقوه داشته باشد، یا ممکن است با الزام جولی به انجام مراحلی برای اثبات هویت خود، اصطکاک بیشتری را برای جولی ایجاد کند.

برعکس، فرض کنید دو تصویر جولی مربوط به افراد مختلف است و حضور جولی باید رد می‌شد. در موردی که جولی به اشتباه پذیرفته شود (تطابق نادرست)، هزینه و خطر برای موسسه مالی کاملاً متفاوت است. ممکن است مسائل نظارتی، خطر تقلب و سایر خطرات مرتبط با معاملات مالی وجود داشته باشد.

استفاده مسئولانه

هوش مصنوعی (AI) که از طریق یادگیری ماشینی (ML) استفاده می‌شود، یکی از تحول‌پذیرترین فناوری‌های نسل ما خواهد بود که با برخی از چالش‌برانگیزترین مشکلات بشریت مقابله می‌کند، عملکرد انسان را افزایش می‌دهد و بهره‌وری را به حداکثر می‌رساند. استفاده مسئولانه از این فناوری‌ها برای تقویت مداوم نوآوری کلیدی است. AWS متعهد به توسعه خدمات هوش مصنوعی و ML منصفانه و دقیق است و ابزارها و راهنمایی‌های مورد نیاز برای ایجاد مسئولانه برنامه‌های هوش مصنوعی و ML را در اختیار شما قرار می‌دهد.

با اتخاذ و افزایش استفاده از هوش مصنوعی و ML، AWS منابع مختلفی را بر اساس تجربه ما ارائه می دهد تا به شما در توسعه و استفاده مسئولانه از هوش مصنوعی و ML کمک کند:

بهترین شیوه ها و اشتباهات رایجی که باید از آنها اجتناب کرد

در این بخش، بهترین شیوه های زیر را مورد بحث قرار می دهیم:

• از نمونه تصاویر به اندازه کافی بزرگ استفاده کنید
• از مجموعه داده های چهره مصنوعی و منبع باز خودداری کنید
• از دستکاری تصویر دستی و مصنوعی خودداری کنید
• کیفیت تصویر را در زمان ارزیابی و در طول زمان بررسی کنید
• FMR و FNMR را در طول زمان مانیتور کنید
• از یک انسان در بررسی حلقه استفاده کنید
• با آمازون Rekognition به روز باشید

از نمونه تصاویر به اندازه کافی بزرگ استفاده کنید

از یک نمونه بزرگ اما معقول از تصاویر استفاده کنید. حجم نمونه معقول چیست؟ بستگی به مشکل کسب و کار دارد. اگر کارفرما هستید و 10,000 کارمند دارید که می خواهید احراز هویت آنها را تأیید کنید، استفاده از تمام 10,000 تصویر احتمالا معقول است. با این حال، فرض کنید شما یک سازمان با میلیون‌ها مشتری هستید که می‌خواهید وارد آن شوید. در این مورد، گرفتن نمونه ای نماینده از مشتریان مانند 5,000 تا 20,000 احتمالاً کافی است. در اینجا برخی از راهنمایی ها در مورد حجم نمونه آورده شده است:

• حجم نمونه 100 - 1,000 جفت تصویر امکان سنجی را اثبات می کند
• حجم نمونه 1,000 - 10,000 جفت تصویر برای اندازه گیری تنوع بین تصاویر مفید است
• حجم نمونه 10,000 - 1 میلیون جفت تصویر معیاری از کیفیت عملیاتی و قابلیت تعمیم را ارائه می دهد

نکته کلیدی در نمونه‌برداری از جفت‌های تصویر این است که اطمینان حاصل شود که نمونه تنوع کافی را در بین جمعیت چهره‌ها در برنامه شما فراهم می‌کند. می‌توانید نمونه‌برداری و آزمایش خود را به گونه‌ای گسترش دهید که اطلاعات جمعیت شناختی مانند رنگ پوست، جنسیت و سن را نیز شامل شود.

از مجموعه داده های چهره مصنوعی و منبع باز خودداری کنید

ده‌ها مجموعه داده‌های تصویری منبع باز انتخاب‌شده و همچنین مجموعه‌های مصنوعی واقعی شگفت‌انگیز وجود دارد که اغلب در تحقیقات و مطالعه امکان‌سنجی استفاده می‌شوند. چالش این است که این مجموعه داده ها معمولاً برای 99٪ موارد استفاده در دنیای واقعی مفید نیستند، فقط به این دلیل که نماینده دوربین ها، چهره ها و کیفیت تصاویری نیستند که برنامه شما احتمالاً در طبیعت با آنها روبرو می شود. اگرچه آنها برای توسعه برنامه مفید هستند، معیارهای دقت این مجموعه تصویر به آنچه در برنامه خود با آن مواجه خواهید شد تعمیم نمی یابد. در عوض، توصیه می‌کنیم با نمونه‌ای از تصاویر واقعی از راه‌حل خود شروع کنید، حتی اگر جفت‌های تصویر نمونه کوچک (زیر 1,000) باشند.

از دستکاری تصویر دستی و مصنوعی خودداری کنید

اغلب موارد لبه ای وجود دارد که افراد علاقه مند به درک آنها هستند. چیزهایی مانند کیفیت ثبت تصویر یا مبهم کردن ویژگی های خاص صورت همیشه مورد توجه هستند. به عنوان مثال، اغلب در مورد تأثیر سن و کیفیت تصویر بر تشخیص چهره سؤال می‌شویم. شما می توانید به سادگی چهره را به صورت مصنوعی پیر کنید یا تصویر را دستکاری کنید تا سوژه مسن تر به نظر برسد، یا کیفیت تصویر را دستکاری کنید، اما این به خوبی به پیری تصاویر در دنیای واقعی ترجمه نمی شود. درعوض، توصیه ما این است که یک نمونه نماینده از کیس های لبه دنیای واقعی که به آزمایش آن علاقه دارید، جمع آوری کنید.

کیفیت تصویر را در زمان ارزیابی و در طول زمان بررسی کنید

تکنولوژی دوربین و اپلیکیشن به سرعت در طول زمان تغییر می کند. به عنوان بهترین روش، ما نظارت بر کیفیت تصویر را در طول زمان توصیه می کنیم. از اندازه چهره‌های گرفته شده (با استفاده از جعبه‌های محدود)، تا روشنایی و وضوح یک تصویر، ژست یک چهره، و همچنین تیرگی‌های احتمالی (کلاه، عینک آفتابی، ریش و غیره)، همه این تصاویر و ویژگی های صورت در طول زمان تغییر می کند.

FNMR و FMR را در طول زمان نظارت کنید

تغییرات رخ می دهد، خواه این تصاویر، برنامه، یا آستانه شباهت استفاده شده در برنامه باشد. مهم است که به طور دوره ای نرخ تطابق نادرست و عدم تطابق را در طول زمان بررسی کنید. تغییرات در نرخ ها (حتی تغییرات جزئی) اغلب می تواند به چالش های بالادستی برنامه یا نحوه استفاده از برنامه اشاره کند. تغییرات در آستانه تشابه و قوانین تجاری که برای اتخاذ یا رد تصمیمات استفاده می‌شوند، می‌توانند تأثیر عمده‌ای بر تجربه کاربر ورود و احراز هویت داشته باشند.

از یک انسان در بررسی حلقه استفاده کنید

سیستم‌های تأیید هویت بر اساس آستانه‌های شباهت و قوانین تجاری، تصمیمات خودکار را برای مطابقت و عدم تطابق می‌گیرند. علاوه بر الزامات نظارتی و انطباق داخلی، یک فرآیند مهم در هر سیستم تصمیم گیری خودکار، استفاده از بازبینی کنندگان انسانی به عنوان بخشی از نظارت مداوم بر فرآیند تصمیم گیری است. نظارت انسانی بر این سیستم های تصمیم گیری خودکار اعتبار و بهبود مستمر و همچنین شفافیت را در فرآیند تصمیم گیری خودکار فراهم می کند.

با آمازون Rekognition به روز باشید

مدل چهره‌های شناسایی آمازون به‌طور دوره‌ای (معمولاً سالانه) به‌روزرسانی می‌شود و در حال حاضر در نسخه 6 است. این نسخه به‌روزرسانی شده پیشرفت‌های مهمی در دقت و نمایه‌سازی ایجاد کرده است. مهم است که با نسخه های مدل جدید به روز بمانید و بدانید که چگونه از این نسخه های جدید در برنامه تأیید هویت خود استفاده کنید. هنگامی که نسخه‌های جدید مدل چهره شناسایی آمازون راه‌اندازی می‌شود، تمرین خوبی است که فرآیند ارزیابی تأیید هویت خود را مجدداً اجرا کنید و هرگونه تأثیر بالقوه (مثبت و منفی) را بر نرخ‌های تطابق نادرست و عدم تطابق تعیین کنید.

نتیجه

این پست عناصر کلیدی مورد نیاز برای ارزیابی جنبه عملکرد راه حل تأیید هویت شما را از نظر معیارهای مختلف دقت مورد بحث قرار می دهد. با این حال، دقت تنها یکی از ابعاد متعددی است که هنگام انتخاب یک سرویس تعدیل محتوای خاص باید ارزیابی کنید. بسیار مهم است که پارامترهای دیگری مانند مجموعه ویژگی‌های کلی سرویس، سهولت استفاده، ادغام‌های موجود، حریم خصوصی و امنیت، گزینه‌های سفارشی‌سازی، پیامدهای مقیاس‌پذیری، خدمات مشتری و قیمت‌گذاری را نیز لحاظ کنید.

برای کسب اطلاعات بیشتر در مورد تأیید هویت در آمازون Rekognition، مراجعه کنید تأیید هویت با استفاده از آمازون Rekognition.

درباره نویسنده

مایک ایمز یک دانشمند داده است که متخصص راه حل های تأیید هویت است، با تجربه گسترده در توسعه راه حل های یادگیری ماشین و هوش مصنوعی برای محافظت از سازمان ها در برابر تقلب، اتلاف و سوء استفاده. در اوقات فراغتش، می‌توانید او را در حال پیاده‌روی، دوچرخه‌سواری در کوهستان، یا بازی رایگان با سگش مکس بیابید.

آمیت گوپتا یک معمار ارشد راه حل های خدمات هوش مصنوعی در AWS است. او مشتاق است که مشتریان را با راه‌حل‌های یادگیری ماشینی با معماری خوب در مقیاس قادر سازد.

زهیر راغب یک معمار راه حل های خدمات هوش مصنوعی در AWS است. او که متخصص در AI/ML کاربردی است، مشتاق است تا مشتریان را قادر سازد تا از ابر برای نوآوری سریع‌تر و متحول کردن مشاغل خود استفاده کنند.

مارسل پیویدال یک معمار راه حل خدمات هوش مصنوعی در سازمان تخصصی جهانی است. مارسل بیش از 20 سال تجربه در حل مشکلات تجاری از طریق فناوری برای فین تک ها، ارائه دهندگان پرداخت، داروسازی و سازمان های دولتی دارد. حوزه های فعلی تمرکز او مدیریت ریسک، پیشگیری از تقلب و تأیید هویت است.