Các số liệu để đánh giá một giải pháp xác minh danh tính

Trên toàn cầu, đã có một sự thay đổi nhanh chóng hướng tới trải nghiệm người dùng kỹ thuật số không ma sát. Cho dù đó là đăng ký tại một trang web, giao dịch trực tuyến hay chỉ đơn giản là đăng nhập vào tài khoản ngân hàng của bạn, các tổ chức đang tích cực cố gắng giảm bớt khó khăn mà khách hàng của họ gặp phải đồng thời tăng cường các biện pháp bảo mật, tuân thủ và phòng chống gian lận. Sự thay đổi hướng tới trải nghiệm người dùng trơn tru đã tạo ra các giải pháp xác minh danh tính sinh trắc học dựa trên khuôn mặt nhằm trả lời câu hỏi “Làm thế nào để bạn xác minh một người trong thế giới kỹ thuật số?”

Có hai ưu điểm chính của sinh trắc học khuôn mặt khi nói đến các câu hỏi về nhận dạng và xác thực. Đầu tiên, đó là một công nghệ thuận tiện cho người dùng: không cần nhớ mật khẩu, xử lý các thử thách đa yếu tố, nhấp vào liên kết xác minh hoặc giải câu đố CAPTCHA. Thứ hai, đạt được mức độ bảo mật cao: nhận dạng và xác thực trên cơ sở sinh trắc học khuôn mặt là an toàn và ít bị lừa đảo và tấn công.

Trong bài đăng này, chúng tôi đi sâu vào hai trường hợp sử dụng chính của xác minh danh tính: giới thiệu và xác thực. Sau đó, chúng tôi đi sâu vào hai chỉ số chính được sử dụng để đánh giá độ chính xác của hệ thống sinh trắc học: tỷ lệ khớp sai (còn được gọi là tỷ lệ chấp nhận sai) và tỷ lệ không khớp sai (còn được gọi là tỷ lệ từ chối sai). Hai biện pháp này được sử dụng rộng rãi bởi các tổ chức để đánh giá độ chính xác và tỷ lệ lỗi của hệ thống sinh trắc học. Cuối cùng, chúng tôi thảo luận về khuôn khổ và các phương pháp hay nhất để thực hiện đánh giá dịch vụ xác minh danh tính.

Tham khảo tài liệu đi kèm Máy tính xách tay Jupyter đi qua tất cả các bước được đề cập trong bài viết này.

Các trường hợp sử dụng: Giới thiệu và xác thực

Có hai trường hợp sử dụng chính cho các giải pháp sinh trắc học: giới thiệu người dùng (thường được gọi là xác minh) và xác thực (thường được gọi là nhận dạng). Quá trình tích hợp đòi hỏi phải khớp khuôn mặt một đối một giữa hai hình ảnh, chẳng hạn như so sánh ảnh tự chụp với tài liệu nhận dạng đáng tin cậy như bằng lái xe hoặc hộ chiếu. Mặt khác, xác thực yêu cầu tìm kiếm một-nhiều khuôn mặt đối với bộ sưu tập khuôn mặt được lưu trữ, ví dụ: tìm kiếm bộ sưu tập khuôn mặt nhân viên để xem liệu một nhân viên có được phép truy cập vào một tầng cụ thể trong tòa nhà hay không.

Hiệu suất chính xác của các trường hợp sử dụng xác thực và giới thiệu được đo bằng các lỗi dương tính giả và âm tính giả mà giải pháp sinh trắc học có thể tạo ra. Điểm tương đồng (từ 0% có nghĩa là không trùng khớp đến 100% nghĩa là trùng khớp hoàn hảo) được sử dụng để đưa ra quyết định trùng khớp hay không trùng khớp. Kết quả dương tính giả xảy ra khi giải pháp coi hình ảnh của hai cá nhân khác nhau là cùng một người. Mặt khác, một phủ định sai có nghĩa là giải pháp coi hai hình ảnh của cùng một người là khác nhau.

Giới thiệu: Xác minh trực tiếp

Các quy trình giới thiệu dựa trên sinh trắc học đều đơn giản hóa và bảo mật quy trình. Quan trọng nhất, nó thiết lập cho tổ chức và khách hàng một trải nghiệm tích hợp gần như trơn tru. Để làm điều này, người dùng chỉ cần xuất trình hình ảnh của một số dạng tài liệu nhận dạng đáng tin cậy có chứa khuôn mặt của người dùng (chẳng hạn như bằng lái xe hoặc hộ chiếu) cũng như chụp ảnh selfie trong quá trình tham gia. Sau khi hệ thống có hai hình ảnh này, nó chỉ cần so sánh các khuôn mặt trong hai hình ảnh. Khi độ tương tự lớn hơn một ngưỡng cụ thể, thì bạn có một kết quả phù hợp; nếu không, bạn có một không phù hợp. Sơ đồ sau đây phác thảo quá trình.

Hãy xem xét ví dụ về Julie, một người dùng mới mở tài khoản ngân hàng kỹ thuật số. Giải pháp nhắc cô ấy chụp ảnh bằng lái xe của mình (bước 2) và chụp ảnh tự sướng (bước 3). Sau khi hệ thống kiểm tra chất lượng hình ảnh (bước 4), hệ thống sẽ so sánh khuôn mặt trong ảnh tự chụp với khuôn mặt trên bằng lái xe (so khớp 5-XNUMX) và tạo ra điểm tương đồng (bước XNUMX). Nếu điểm tương đồng nhỏ hơn ngưỡng tương tự bắt buộc, thì nỗ lực giới thiệu của Julie sẽ bị từ chối. Đây là những gì chúng tôi gọi là không khớp sai hoặc từ chối sai: giải pháp coi hai hình ảnh của cùng một người là khác nhau. Mặt khác, nếu điểm tương đồng lớn hơn mức tương tự yêu cầu, thì giải pháp sẽ coi hai hình ảnh là cùng một người hoặc trùng khớp.

Xác thực: Nhận dạng một-nhiều

Từ việc bước vào một tòa nhà, đăng ký tại ki-ốt, nhắc người dùng chụp ảnh tự sướng để xác minh danh tính của họ, loại xác thực từ XNUMX đến thấp này thông qua nhận dạng khuôn mặt đã trở nên phổ biến đối với nhiều tổ chức. Thay vì thực hiện so khớp hình ảnh với hình ảnh, trường hợp sử dụng xác thực này lấy một hình ảnh duy nhất và so sánh nó với một bộ sưu tập hình ảnh có thể tìm kiếm để tìm kết quả khớp tiềm năng. Trong trường hợp sử dụng xác thực điển hình, người dùng được nhắc chụp ảnh tự sướng, sau đó ảnh này được so sánh với các khuôn mặt được lưu trữ trong bộ sưu tập. Kết quả tìm kiếm mang lại không, một hoặc nhiều kết quả khớp tiềm năng với điểm tương đồng tương ứng và số nhận dạng bên ngoài. Nếu không có kết quả khớp nào được trả về, thì người dùng không được xác thực; tuy nhiên, giả sử tìm kiếm trả về một hoặc nhiều kết quả trùng khớp, hệ thống sẽ đưa ra quyết định xác thực dựa trên điểm tương đồng và số nhận dạng bên ngoài. Nếu điểm tương đồng vượt quá ngưỡng tương tự bắt buộc và số nhận dạng bên ngoài khớp với số nhận dạng dự kiến, thì người dùng được xác thực (khớp). Sơ đồ sau đây phác thảo một ví dụ về quy trình xác thực sinh trắc học dựa trên khuôn mặt.

Hãy xem xét ví dụ về Jose, một tài xế giao hàng tiết kiệm. Dịch vụ giao hàng xác thực tài xế giao hàng bằng cách nhắc tài xế chụp ảnh tự sướng trước khi bắt đầu giao hàng bằng ứng dụng di động của công ty. Một vấn đề mà các nhà cung cấp dịch vụ kinh tế lớn phải đối mặt là chia sẻ công việc; về cơ bản, hai hoặc nhiều người dùng chia sẻ cùng một tài khoản để đánh lừa hệ thống. Để chống lại điều này, nhiều dịch vụ giao hàng sử dụng camera trong ô tô để chụp ảnh (bước 2) của tài xế vào các thời điểm ngẫu nhiên trong quá trình giao hàng (để đảm bảo rằng tài xế giao hàng là tài xế được ủy quyền). Trong trường hợp này, Jose không chỉ chụp một bức ảnh tự sướng khi bắt đầu giao hàng, mà một camera trong ô tô sẽ ghi lại hình ảnh của anh ấy trong quá trình giao hàng. Hệ thống thực hiện kiểm tra chất lượng (bước 3) và tìm kiếm (bước 4) bộ sưu tập các trình điều khiển đã đăng ký để xác minh danh tính của trình điều khiển. Nếu một trình điều khiển khác được phát hiện, thì dịch vụ giao hàng tiết kiệm lớn có thể điều tra thêm.

Kết quả khớp sai (dương tính giả) xảy ra khi giải pháp coi hai hoặc nhiều hình ảnh của những người khác nhau là cùng một người. Trong trường hợp sử dụng của chúng tôi, giả sử rằng thay vì người lái xe được ủy quyền, Jose, anh ấy để anh trai Miguel của mình nhận một trong những chuyến giao hàng cho anh ấy. Nếu giải pháp khớp sai ảnh selfie của Miguel với ảnh của Jose, thì sẽ xảy ra kết quả khớp sai (dương tính giả).

Để tránh khả năng trùng khớp sai, chúng tôi khuyên rằng các bộ sưu tập nên chứa một số hình ảnh của mỗi chủ đề. Thông thường, việc lập chỉ mục các tài liệu nhận dạng đáng tin cậy có chứa khuôn mặt, ảnh tự chụp tại thời điểm bắt đầu và ảnh tự chụp từ một số lần kiểm tra nhận dạng gần đây nhất. Lập chỉ mục một số hình ảnh của một đối tượng cung cấp khả năng tổng hợp điểm tương đồng giữa các khuôn mặt được trả về, do đó cải thiện độ chính xác của nhận dạng. Ngoài ra, số nhận dạng bên ngoài được sử dụng để hạn chế rủi ro chấp nhận sai. Một quy tắc kinh doanh ví dụ có thể giống như thế này:

NẾU điểm tương đồng tổng hợp >= ngưỡng tương tự bắt buộc VÀ số nhận dạng bên ngoài == số nhận dạng dự kiến ​​THÌ xác thực

Các biện pháp chính xác sinh trắc học chính

Trong một hệ thống sinh trắc học, chúng tôi quan tâm đến tỷ lệ khớp sai (FMR) và tỷ lệ không khớp sai (FNMR) dựa trên điểm tương đồng từ so sánh và tìm kiếm khuôn mặt. Cho dù đó là trường hợp sử dụng giới thiệu hay xác thực, các hệ thống sinh trắc học quyết định chấp nhận hoặc từ chối các đối sánh khuôn mặt của người dùng dựa trên điểm tương đồng của hai hoặc nhiều hình ảnh. Giống như bất kỳ hệ thống quyết định nào, sẽ có lỗi khi hệ thống chấp nhận hoặc từ chối không chính xác nỗ lực giới thiệu hoặc xác thực. Là một phần của việc đánh giá giải pháp xác minh danh tính của mình, bạn cần đánh giá hệ thống ở các ngưỡng tương tự khác nhau để giảm thiểu tỷ lệ khớp sai và tỷ lệ không khớp sai, cũng như so sánh các lỗi đó với chi phí đưa ra từ chối và chấp nhận không chính xác. Chúng tôi sử dụng FMR và FNMR làm hai chỉ số chính để đánh giá hệ thống sinh trắc học khuôn mặt.

Tỷ lệ không khớp sai

Khi hệ thống xác minh danh tính không xác định chính xác hoặc ủy quyền cho người dùng chính hãng, sẽ xảy ra hiện tượng không khớp sai, còn được gọi là âm tính giả. Tỷ lệ không khớp sai (FNMR) là thước đo mức độ dễ bị hệ thống xác định hoặc ủy quyền không chính xác cho người dùng thực.

FNMR được biểu thị dưới dạng tỷ lệ phần trăm các trường hợp thực hiện nỗ lực giới thiệu hoặc xác thực, trong đó khuôn mặt của người dùng bị từ chối không chính xác (phủ định sai) do điểm tương đồng thấp hơn ngưỡng quy định.

Một tích cực thực sự (TP) là khi giải pháp coi hai hoặc nhiều hình ảnh của cùng một người là giống nhau. Nghĩa là, mức độ tương tự của so sánh hoặc tìm kiếm vượt quá ngưỡng tương tự bắt buộc.

Âm tính giả (FN) là khi giải pháp coi hai hoặc nhiều hình ảnh của cùng một người là khác nhau. Nghĩa là, mức độ tương tự của so sánh hoặc tìm kiếm nằm dưới ngưỡng tương tự bắt buộc.

Công thức cho FNMR là:

FNMR = Số lượng âm tính giả / (Số lượng dương tính thật + Số lượng âm tính giả)

Ví dụ: giả sử chúng tôi có 10,000 lần thử xác thực chính hãng nhưng 100 lần bị từ chối vì độ tương tự của chúng với hình ảnh tham chiếu hoặc bộ sưu tập nằm dưới ngưỡng tương tự đã chỉ định. Ở đây chúng tôi có 9,900 kết quả dương tính thực sự và 100 kết quả âm tính giả, do đó FNMR của chúng tôi là 1.0%

FNMR = 100 / (9900 + 100) hoặc 1.0%

Tỷ lệ đối sánh sai

Khi một hệ thống xác minh danh tính xác định không chính xác hoặc ủy quyền cho một người dùng trái phép là chính hãng, một kết quả khớp sai sẽ xảy ra, còn được gọi là dương tính giả. Tỷ lệ khớp sai (FMR) là thước đo mức độ dễ bị hệ thống xác định sai hoặc cấp quyền cho người dùng trái phép. Nó được đo bằng số lần nhận dạng hoặc xác thực dương tính giả chia cho tổng số lần thử nhận dạng.

Kết quả dương tính giả xảy ra khi giải pháp coi hai hoặc nhiều hình ảnh của những người khác nhau là cùng một người. Nghĩa là, điểm tương đồng của so sánh hoặc tìm kiếm cao hơn ngưỡng tương tự bắt buộc. Về cơ bản, hệ thống xác định sai hoặc ủy quyền cho người dùng khi lẽ ra hệ thống phải từ chối nỗ lực nhận dạng hoặc xác thực của họ.

Công thức cho FMR là:

FMR = Số lần dương tính giả / (Tổng số lần thử)

Ví dụ: giả sử chúng tôi có 100,000 lần thử xác thực nhưng 100 người dùng không có thật được cấp quyền không chính xác vì độ tương tự của họ với hình ảnh tham chiếu hoặc bộ sưu tập vượt quá ngưỡng tương tự đã chỉ định. Ở đây chúng tôi có 100 kết quả dương tính giả, do đó FMR của chúng tôi là 0.01%

FMR = 100 / (100,000) hoặc 0.01%

Tỷ lệ khớp sai so với tỷ lệ không khớp sai

Tỷ lệ khớp sai và tỷ lệ không khớp sai mâu thuẫn với nhau. Khi ngưỡng tương tự tăng lên, khả năng khớp sai giảm xuống, trong khi khả năng không khớp sai tăng lên. Một cách khác để suy nghĩ về sự đánh đổi này là khi ngưỡng tương tự tăng lên, giải pháp sẽ trở nên hạn chế hơn, tạo ra ít kết quả phù hợp có độ tương tự thấp hơn. Ví dụ: các trường hợp sử dụng liên quan đến an toàn và bảo mật công cộng thường đặt ngưỡng tương tự đối sánh khá cao (99 trở lên). Ngoài ra, một tổ chức có thể chọn ngưỡng tương tự ít hạn chế hơn (90 trở lên), trong đó tác động của ma sát đối với người dùng là quan trọng hơn. Sơ đồ sau đây minh họa những sự đánh đổi này. Thách thức đối với các tổ chức là tìm ra ngưỡng giảm thiểu cả FMR và FNMR dựa trên các yêu cầu về tổ chức và ứng dụng của bạn.

Việc chọn ngưỡng tương tự phụ thuộc vào ứng dụng kinh doanh. Ví dụ: giả sử bạn muốn hạn chế xung đột của khách hàng trong quá trình giới thiệu (ngưỡng tương tự ít hạn chế hơn, như thể hiện trong hình bên trái sau đây). Tại đây, bạn có thể có ngưỡng tương đồng được yêu cầu thấp hơn và sẵn sàng chấp nhận rủi ro khi tiếp nhận người dùng khi độ tin cậy về sự phù hợp giữa ảnh tự chụp và bằng lái xe của họ thấp hơn. Ngược lại, giả sử bạn muốn đảm bảo chỉ những người dùng được ủy quyền mới truy cập được vào một ứng dụng. Tại đây, bạn có thể thao tác ở ngưỡng tương tự khá hạn chế (như thể hiện trong hình bên phải).

Các bước tính tỷ lệ khớp sai và không khớp

Có một số cách để tính toán hai số liệu này. Sau đây là một cách tiếp cận tương đối đơn giản để chia các bước thành việc thu thập các cặp hình ảnh chính hãng, tạo một cặp giả mạo (các hình ảnh không khớp) và cuối cùng sử dụng một đầu dò để lặp lại các cặp hình ảnh khớp và không khớp dự kiến, ghi lại kết quả tương tự. Các bước thực hiện như sau:

1. Tập hợp một bộ ảnh mẫu chính hãng. Chúng tôi khuyên bạn nên bắt đầu với một tập hợp các cặp hình ảnh và chỉ định một số nhận dạng bên ngoài, được sử dụng để đưa ra quyết định khớp chính thức. Cặp bao gồm các hình ảnh sau đây:
   1. Hình ảnh nguồn – Hình ảnh nguồn đáng tin cậy của bạn, chẳng hạn như bằng lái xe.
   2. Hình ảnh mục tiêu – Ảnh tự chụp của bạn hoặc hình ảnh mà bạn sẽ so sánh với.
2. Thu thập một tập hợp hình ảnh về các trận đấu mạo danh. Đây là những cặp hình ảnh mà nguồn và đích không khớp. Điều này được sử dụng để đánh giá FMR (xác suất hệ thống khớp sai khuôn mặt của hai người dùng khác nhau). Bạn có thể tạo tập hợp hình ảnh mạo danh bằng cách sử dụng các cặp hình ảnh bằng cách tạo tích Đề các của hình ảnh, sau đó lọc và lấy mẫu kết quả.
3. Thăm dò các tập hợp chính hãng và giả mạo bằng cách lặp qua các cặp hình ảnh, so sánh nguồn và mục tiêu giả mạo và nắm bắt sự tương đồng kết quả.
4. Tính toán FMR và FNMR bằng cách tính toán kết quả dương tính giả và âm tính giả ở các ngưỡng tương tự tối thiểu khác nhau.

Bạn có thể đánh giá chi phí của FMR và FNMR ở các ngưỡng tương tự khác nhau liên quan đến nhu cầu ứng dụng của bạn.

Bước 1: Tập hợp các mẫu ghép ảnh chính hãng

Việc chọn một mẫu cặp ảnh đại diện để đánh giá là rất quan trọng khi đánh giá dịch vụ xác minh danh tính. Bước đầu tiên là xác định một tập hợp các cặp hình ảnh chính hãng. Đây là những hình ảnh nguồn và đích đã biết của người dùng. Ghép nối hình ảnh chính hãng được sử dụng để đánh giá FNMR, về cơ bản là xác suất hệ thống sẽ không khớp với hai khuôn mặt của cùng một người. Một trong những câu hỏi đầu tiên thường được đặt ra là “Cần bao nhiêu cặp hình ảnh?” Câu trả lời là nó phụ thuộc vào trường hợp sử dụng của bạn, nhưng hướng dẫn chung là như sau:

• Giữa 100–1,000 cặp hình ảnh cung cấp thước đo về tính khả thi
• Lên đến 10,000 cặp hình ảnh đủ lớn để đo lường sự thay đổi giữa các hình ảnh
• Hơn 10,000 cặp hình ảnh cung cấp thước đo chất lượng hoạt động và khả năng khái quát hóa

Nhiều dữ liệu luôn tốt hơn; tuy nhiên, để bắt đầu, hãy sử dụng ít nhất 1,000 cặp hình ảnh. Tuy nhiên, không có gì lạ khi sử dụng hơn 10,000 cặp hình ảnh để xác định FNMR hoặc FMR có thể chấp nhận được cho một vấn đề kinh doanh nhất định.

Sau đây là tệp ánh xạ cặp ảnh mẫu. Chúng tôi sử dụng tệp ánh xạ cặp hình ảnh để thúc đẩy phần còn lại của quy trình đánh giá.

Bước 2: Tạo một cặp hình ảnh mạo danh định

Bây giờ bạn đã có một tệp gồm các cặp hình ảnh chính hãng, bạn có thể tạo một sản phẩm Cartesian của các hình ảnh đích và nguồn mà các số nhận dạng bên ngoài không khớp. Điều này tạo ra các cặp nguồn-đến-đích không khớp. Việc ghép nối này được sử dụng để đánh giá FMR, về cơ bản là xác suất hệ thống sẽ khớp khuôn mặt của một người dùng với khuôn mặt của một người dùng khác.

Bước 3: Thăm dò bộ cặp hình ảnh chính hãng và giả mạo

Sử dụng một chương trình điều khiển, chúng tôi áp dụng Nhận thức lại Amazon API CompareFaces trên các cặp hình ảnh và nắm bắt sự giống nhau. Bạn cũng có thể nắm bắt thông tin bổ sung như tư thế, chất lượng và các kết quả so sánh khác. Điểm tương đồng được sử dụng để tính tỷ lệ khớp sai và không khớp ở bước sau.

Trong đoạn mã sau, chúng tôi áp dụng API So sánh cho tất cả các cặp hình ảnh và điền tất cả các điểm tương đồng vào một bảng:

obj = s3.get_object(Bucket= bucket_name , Key = csv_file)

df = pd.read_csv(io.BytesIO(obj['Body'].read()), encoding='utf8')
def compare_faces(source_file, target_file, threshold = 0):
    response=rekognition.compare_faces(SimilarityThreshold=threshold,
                                        SourceImage={'S3Object': {
                                                    'Bucket': bucket_name,
                                                    'Name':source_file}},
                                        TargetImage={'S3Object': {
                                                    'Bucket': bucket_name,
                                                    'Name':target_file}})
df_similarity = df.copy()
df_similarity["SIMILARITY"] = None
for index, row in df.iterrows():
    source_file = dataset_folder + row["SOURCE"]
    target_file = dataset_folder + row["TARGET"]
    response_score = compare_faces(source_file, target_file)
    df_similarity._set_value(index,"SIMILARITY", response_score)
    df_similarity.head()

Đoạn mã cho đầu ra sau.

Phân tích phân phối điểm tương đồng bằng các bài kiểm tra là điểm khởi đầu để hiểu điểm tương đồng theo cặp hình ảnh. Đoạn mã và biểu đồ đầu ra sau đây cho thấy một ví dụ đơn giản về phân phối điểm tương đồng theo bộ kiểm tra cũng như kết quả thống kê mô tả:

sns.boxplot(data=df_similarity,
            x=df_similarity["SIMILARITY"],
            y=df_similarity["TEST"]).set(xlabel='Similarity Score',
            ylabel=None,
            title = "Similarity Score Distribution")
plt.show()

df_descriptive_stats = pd.DataFrame(columns=['test','count', 'min' , 'max', 'mean', 'median', 'std'])

tests = ["Genuine", "Imposter"]

for test in tests:
    count = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].count()
    mean = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].mean()
    max_ = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].max()
    min_ = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].min()
    median = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].median()
    std = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].std()

    new_row = {'test': test,
                'count': count,
                'min': min_,
                'max': max_,
                'mean': mean,
                'median':median,
                'std': std}
    df_descriptive_stats = df_descriptive_stats.append(new_row,
    ignore_index=True)

df_descriptive_stats

Trong ví dụ này, chúng ta có thể thấy rằng độ tương tự trung bình và trung bình của các cặp khuôn mặt thật là 91.7 và 99.1, trong khi đối với các cặp giả mạo lần lượt là 2.8 và 0.8. Đúng như dự đoán, điều này cho thấy điểm tương đồng cao đối với các cặp hình ảnh chính hãng và điểm tương đồng thấp đối với các cặp hình ảnh mạo danh.

Bước 4: Tính toán FMR và FNMR ở các mức ngưỡng tương tự khác nhau

Trong bước này, chúng tôi tính toán tỷ lệ khớp sai và tỷ lệ không khớp ở các ngưỡng tương tự khác nhau. Để làm điều này, chúng tôi chỉ cần lặp qua các ngưỡng tương tự (ví dụ: 90–100). Ở mỗi ngưỡng độ tương tự đã chọn, chúng tôi tính toán ma trận nhầm lẫn của mình có chứa số lượng dương tính thực, âm tính thật, dương tính giả và âm tính giả, được sử dụng để tính toán FMR và FNMR ở mỗi độ tương tự đã chọn.

Để làm điều này, chúng tôi tạo một hàm trả về số lượng dương và âm sai, đồng thời lặp qua một loạt điểm tương đồng (90–100):

similarity_thresholds = [80,85,90,95,96,97,98,99]

# create output df
df_cols = ['Similarity Threshold', 'TN' , 'FN', 'TP', 'FP', 'FNMR (%)', 'FMR (%)']
comparison_df = pd.DataFrame(columns=df_cols)

# create columns for y_actual and y_pred
df_analysis = df_similarity.copy()
df_analysis["y_actual"] = None
df_analysis["y_pred"] = None

for threshold in similarity_thresholds:
    # Create y_pred and y_actual columns, 1 == match, 0 == no match
    for index, row in df_similarity.iterrows():
        # set y_pred
        if row["SIMILARITY"] >= threshold:
            df_analysis._set_value(index,"y_pred", 1)
        else:
            df_analysis._set_value(index,"y_pred", 0)

        # set y_actual
        if row["TEST"] == "Genuine":
            df_analysis._set_value(index,"y_actual", 1)
        else:
            df_analysis._set_value(index,"y_actual", 0)

    tn, fp, fn, tp = confusion_matrix(df_analysis['y_actual'].tolist(),
                                      df_analysis['y_pred'].tolist()).ravel()
    FNMR = fn / (tp + fn)
    FMR = fp / (tn+fp+fn+tp)

    new_row = {'Similarity Threshold': threshold,
                'TN': tn,
                'FN': fn,
                'TP': tp,
                'FP': fp,
                'FNMR (%)':FNMR,
                'FMR (%)': FMR}
    comparison_df = comparison_df.append(new_row,ignore_index=True)

comparison_df

Bảng sau đây cho thấy kết quả đếm ở mỗi ngưỡng tương tự.

Làm thế nào để ngưỡng tương tự tác động đến tỷ lệ không khớp sai?

Giả sử chúng tôi có 1,000 lần thử giới thiệu người dùng chính hãng và chúng tôi từ chối 10 lần trong số những lần thử này dựa trên mức độ giống nhau tối thiểu bắt buộc là 95% để được coi là trùng khớp. Ở đây, chúng tôi từ chối 10 lần thử giới thiệu chính hãng (phủ định sai) vì mức độ tương đồng của chúng thấp hơn ngưỡng tương đồng bắt buộc tối thiểu đã chỉ định. Trong trường hợp này, FNMR của chúng tôi là 1.0%.

FNMR = Số lượng âm tính giả / (Số lượng dương tính thật + Số lượng âm tính giả)

FNMR = 10 / (990 + 10) hoặc 1.0%

Ngược lại, giả sử thay vì có 1,000 người dùng chính hãng tham gia, chúng tôi có 990 người dùng chính hãng và 10 người dùng mạo danh (dương tính giả). Ở mức tương tự tối thiểu 95%, giả sử chúng tôi chấp nhận tất cả 1,000 người dùng là chính hãng. Ở đây chúng ta sẽ có 1% FMR.

FMR = Số lần dương tính giả / (Tổng số lần thử)

FMR = 10 / (1,000) hoặc 1.0%

Đánh giá chi phí của FMR và FNMR khi giới thiệu

Trong một trường hợp sử dụng tích hợp, chi phí cho việc không khớp sai (từ chối) thường liên quan đến việc người dùng gặp thêm khó khăn hoặc mất đăng ký. Ví dụ: trong trường hợp sử dụng ngân hàng của chúng tôi, giả sử Julie trình bày hai hình ảnh của chính cô ấy nhưng bị từ chối không chính xác tại thời điểm giới thiệu do độ tương đồng giữa hai hình ảnh thấp hơn độ tương tự đã chọn (không khớp sai). Tổ chức tài chính có thể có nguy cơ mất Julie với tư cách là một khách hàng tiềm năng hoặc có thể gây thêm xích mích cho Julie bằng cách yêu cầu cô ấy thực hiện các bước để chứng minh danh tính của mình.

Ngược lại, giả sử hai hình ảnh của Julie là của những người khác nhau và việc giới thiệu của Julie đáng lẽ phải bị từ chối. Trong trường hợp Julie được chấp nhận sai (đối sánh sai), chi phí và rủi ro đối với tổ chức tài chính là hoàn toàn khác. Có thể có các vấn đề về quy định, rủi ro gian lận và các rủi ro khác liên quan đến các giao dịch tài chính.

Sử dụng có trách nhiệm

Trí tuệ nhân tạo (AI) được áp dụng thông qua máy học (ML) sẽ là một trong những công nghệ mang tính biến đổi nhất của thế hệ chúng ta, giải quyết một số vấn đề thách thức nhất của nhân loại, nâng cao hiệu suất của con người và tối đa hóa năng suất. Việc sử dụng có trách nhiệm các công nghệ này là chìa khóa để thúc đẩy sự đổi mới liên tục. AWS cam kết phát triển các dịch vụ AI và ML công bằng và chính xác, đồng thời cung cấp cho bạn các công cụ và hướng dẫn cần thiết để xây dựng các ứng dụng AI và ML một cách có trách nhiệm.

Khi bạn áp dụng và tăng cường sử dụng AI và ML, AWS cung cấp một số tài nguyên dựa trên kinh nghiệm của chúng tôi để hỗ trợ bạn phát triển và sử dụng AI và ML một cách có trách nhiệm:

Thực tiễn tốt nhất và những sai lầm phổ biến cần tránh

Trong phần này, chúng tôi thảo luận về các phương pháp hay nhất sau đây:

• Sử dụng một mẫu hình ảnh đủ lớn
• Tránh bộ dữ liệu khuôn mặt nguồn mở và tổng hợp
• Tránh thao tác hình ảnh thủ công và tổng hợp
• Kiểm tra chất lượng hình ảnh tại thời điểm đánh giá và theo thời gian
• Theo dõi FMR và FNMR theo thời gian
• Sử dụng con người trong đánh giá vòng lặp
• Luôn cập nhật với Amazon Rekognition

Sử dụng một mẫu hình ảnh đủ lớn

Sử dụng một mẫu hình ảnh đủ lớn nhưng hợp lý. Cỡ mẫu hợp lý là bao nhiêu? Nó phụ thuộc vào vấn đề kinh doanh. Nếu bạn là nhà tuyển dụng và có 10,000 nhân viên mà bạn muốn xác thực, thì việc sử dụng tất cả 10,000 hình ảnh có lẽ là hợp lý. Tuy nhiên, giả sử bạn là một tổ chức có hàng triệu khách hàng mà bạn muốn tham gia. Trong trường hợp này, lấy một mẫu khách hàng đại diện chẳng hạn như 5,000–20,000 có lẽ là đủ. Dưới đây là một số hướng dẫn về cỡ mẫu:

• Cỡ mẫu 100 – 1,000 cặp hình ảnh chứng minh tính khả thi
• Cỡ mẫu 1,000 – 10,000 cặp hình ảnh rất hữu ích để đo lường sự thay đổi giữa các hình ảnh
• Cỡ mẫu 10,000 – 1 triệu cặp hình ảnh cung cấp thước đo chất lượng hoạt động và khả năng khái quát hóa

Chìa khóa với các cặp hình ảnh lấy mẫu là đảm bảo rằng mẫu cung cấp đủ độ biến thiên trên toàn bộ số khuôn mặt trong ứng dụng của bạn. Bạn có thể mở rộng hơn nữa việc lấy mẫu và thử nghiệm của mình để bao gồm thông tin nhân khẩu học như màu da, giới tính và độ tuổi.

Tránh bộ dữ liệu khuôn mặt nguồn mở và tổng hợp

Có hàng tá bộ dữ liệu hình ảnh khuôn mặt nguồn mở được quản lý cũng như các bộ khuôn mặt tổng hợp thực tế đáng kinh ngạc thường được sử dụng trong nghiên cứu và để nghiên cứu tính khả thi. Thách thức là những bộ dữ liệu này thường không hữu ích cho 99% trường hợp sử dụng trong thế giới thực đơn giản chỉ vì chúng không đại diện cho máy ảnh, khuôn mặt và chất lượng hình ảnh mà ứng dụng của bạn có thể gặp phải trong tự nhiên. Mặc dù chúng rất hữu ích cho việc phát triển ứng dụng, nhưng các phép đo độ chính xác của những tập hợp hình ảnh này không khái quát hóa những gì bạn sẽ gặp phải trong ứng dụng của riêng mình. Thay vào đó, chúng tôi khuyên bạn nên bắt đầu với một mẫu hình ảnh thực đại diện từ giải pháp của mình, ngay cả khi các cặp hình ảnh mẫu nhỏ (dưới 1,000).

Tránh thao tác hình ảnh thủ công và tổng hợp

Thường có những trường hợp khó hiểu mà mọi người muốn hiểu. Những thứ như chất lượng chụp ảnh hoặc độ che khuất của các đặc điểm cụ thể trên khuôn mặt luôn được quan tâm. Ví dụ: chúng tôi thường được hỏi về tác động của tuổi tác và chất lượng hình ảnh đối với nhận dạng khuôn mặt. Bạn có thể đơn giản làm già khuôn mặt một cách tổng hợp hoặc điều chỉnh hình ảnh để làm cho đối tượng trông già hơn hoặc điều chỉnh chất lượng hình ảnh, nhưng điều này không chuyển thành tốt quá trình lão hóa hình ảnh trong thế giới thực. Thay vào đó, khuyến nghị của chúng tôi là thu thập một mẫu đại diện cho các trường hợp cạnh trong thế giới thực mà bạn muốn thử nghiệm.

Kiểm tra chất lượng hình ảnh tại thời điểm đánh giá và theo thời gian

Công nghệ máy ảnh và ứng dụng thay đổi khá nhanh theo thời gian. Cách tốt nhất là chúng tôi khuyên bạn nên theo dõi chất lượng hình ảnh theo thời gian. Từ kích thước khuôn mặt được chụp (sử dụng hộp giới hạn), đến độ sáng và độ sắc nét của hình ảnh, đến tư thế của khuôn mặt, cũng như các khả năng che khuất tiềm ẩn (mũ, kính râm, râu, v.v.), tất cả những hình ảnh này và nét mặt thay đổi theo thời gian.

Theo dõi FNMR và FMR theo thời gian

Các thay đổi xảy ra, cho dù đó là hình ảnh, ứng dụng hay ngưỡng tương tự được sử dụng trong ứng dụng. Điều quan trọng là phải theo dõi định kỳ tỷ lệ khớp sai và không khớp theo thời gian. Những thay đổi về tốc độ (ngay cả những thay đổi nhỏ) thường có thể chỉ ra những thách thức ngược dòng với ứng dụng hoặc cách ứng dụng đang được sử dụng. Các thay đổi đối với ngưỡng tương tự và quy tắc kinh doanh được sử dụng để đưa ra quyết định chấp nhận hoặc từ chối có thể có tác động lớn đến trải nghiệm người dùng xác thực và giới thiệu.

Sử dụng con người trong đánh giá vòng lặp

Hệ thống xác minh danh tính đưa ra quyết định tự động để khớp và không khớp dựa trên ngưỡng tương tự và quy tắc kinh doanh. Bên cạnh các yêu cầu tuân thủ quy định và nội bộ, một quy trình quan trọng trong bất kỳ hệ thống ra quyết định tự động nào là sử dụng người đánh giá là một phần của quá trình giám sát liên tục quy trình ra quyết định. Sự giám sát của con người đối với các hệ thống ra quyết định tự động này giúp xác thực và cải tiến liên tục cũng như minh bạch trong quy trình ra quyết định tự động.

Luôn cập nhật với Amazon Rekognition

Mô hình khuôn mặt của Amazon Recognition được cập nhật định kỳ (thường là hàng năm) và hiện đang ở phiên bản 6. Phiên bản cập nhật này đã tạo ra những cải tiến quan trọng đối với độ chính xác và lập chỉ mục. Điều quan trọng là luôn cập nhật các phiên bản mô hình mới và hiểu cách sử dụng các phiên bản mới này trong ứng dụng xác minh danh tính của bạn. Khi các phiên bản mới của mô hình khuôn mặt Amazon Rekognition được ra mắt, bạn nên chạy lại quy trình đánh giá xác minh danh tính và xác định mọi tác động tiềm ẩn (tích cực và tiêu cực) đối với tỷ lệ khớp sai và tỷ lệ không khớp của bạn.

Kết luận

Bài đăng này thảo luận về các yếu tố chính cần thiết để đánh giá khía cạnh hiệu suất của giải pháp xác minh danh tính của bạn theo các số liệu chính xác khác nhau. Tuy nhiên, độ chính xác chỉ là một trong nhiều khía cạnh mà bạn cần đánh giá khi chọn một dịch vụ kiểm duyệt nội dung cụ thể. Điều quan trọng là bạn phải bao gồm các tham số khác, chẳng hạn như bộ tính năng tổng thể của dịch vụ, tính dễ sử dụng, các tích hợp hiện có, quyền riêng tư và bảo mật, các tùy chọn tùy chỉnh, ý nghĩa về khả năng mở rộng, dịch vụ khách hàng và giá cả.

Để tìm hiểu thêm về xác minh danh tính trong Amazon Rekognition, hãy truy cập Xác minh danh tính bằng Amazon Rekognition.

Về các tác giả

Mike Ames là một nhà khoa học dữ liệu đã trở thành chuyên gia giải pháp xác minh danh tính, có nhiều kinh nghiệm phát triển các giải pháp máy học và AI để bảo vệ các tổ chức khỏi gian lận, lãng phí và lạm dụng. Trong thời gian rảnh rỗi, bạn có thể thấy anh ấy đi bộ đường dài, đạp xe leo núi hoặc chơi freebee với chú chó Max của mình.

Amit Gupta là Kiến trúc sư Giải pháp Dịch vụ AI cấp cao tại AWS. Anh ấy đam mê tạo điều kiện cho khách hàng có các giải pháp máy học được kiến ​​trúc tốt trên quy mô lớn.

Zuhayr Raghib là Kiến trúc sư giải pháp dịch vụ AI tại AWS. Chuyên về AI/ML ứng dụng, anh ấy đam mê việc cho phép khách hàng sử dụng đám mây để đổi mới nhanh hơn và chuyển đổi doanh nghiệp của họ.

Marcel Pividal là Kiến trúc sư giải pháp dịch vụ AI cấp cao trong Tổ chức chuyên gia toàn cầu. Marcel có hơn 20 năm kinh nghiệm giải quyết các vấn đề kinh doanh thông qua công nghệ cho fintech, nhà cung cấp dịch vụ thanh toán, dược phẩm và cơ quan chính phủ. Các lĩnh vực trọng tâm hiện tại của anh ấy là quản lý rủi ro, ngăn chặn gian lận và xác minh danh tính.