Metrik untuk mengevaluasi solusi verifikasi identitas

Secara global, telah terjadi pergeseran yang dipercepat menuju pengalaman pengguna digital tanpa hambatan. Baik itu mendaftar di situs web, bertransaksi online, atau sekadar masuk ke rekening bank Anda, organisasi secara aktif berusaha mengurangi friksi yang dialami pelanggan mereka sekaligus meningkatkan langkah keamanan, kepatuhan, dan pencegahan penipuan. Pergeseran menuju pengalaman pengguna tanpa gesekan telah memunculkan solusi verifikasi identitas biometrik berbasis wajah yang ditujukan untuk menjawab pertanyaan “Bagaimana Anda memverifikasi seseorang di dunia digital?”

Ada dua keunggulan utama biometrik wajah dalam hal identifikasi dan autentikasi. Pertama, ini adalah teknologi yang nyaman bagi pengguna: tidak perlu mengingat kata sandi, menghadapi tantangan multi-faktor, mengeklik tautan verifikasi, atau memecahkan teka-teki CAPTCHA. Kedua, tingkat keamanan yang tinggi tercapai: identifikasi dan otentikasi berdasarkan biometrik wajah aman dan kurang rentan terhadap penipuan dan serangan.

Dalam postingan ini, kami menyelami dua kasus penggunaan utama verifikasi identitas: orientasi dan autentikasi. Kemudian kami mendalami dua metrik kunci yang digunakan untuk mengevaluasi akurasi sistem biometrik: tingkat kecocokan palsu (juga dikenal sebagai tingkat penerimaan palsu) dan tingkat ketidakcocokan palsu (juga dikenal sebagai tingkat penolakan palsu). Kedua ukuran ini banyak digunakan oleh organisasi untuk mengevaluasi akurasi dan tingkat kesalahan sistem biometrik. Terakhir, kami membahas kerangka kerja dan praktik terbaik untuk melakukan evaluasi layanan verifikasi identitas.

Lihat yang menyertainya Notebook Jupyter yang berjalan melalui semua langkah yang disebutkan dalam posting ini.

Kasus penggunaan: Orientasi dan Autentikasi

Ada dua kasus penggunaan utama untuk solusi biometrik: orientasi pengguna (sering disebut sebagai verifikasi) dan autentikasi (sering disebut sebagai identifikasi). Orientasi memerlukan pencocokan wajah satu-ke-satu antara dua gambar, misalnya membandingkan selfie dengan dokumen identifikasi tepercaya seperti SIM atau paspor. Otentikasi, di sisi lain, memerlukan pencarian wajah satu-ke-banyak terhadap kumpulan wajah yang disimpan, misalnya mencari kumpulan wajah karyawan untuk melihat apakah seorang karyawan memiliki akses resmi ke lantai tertentu di gedung.

Performa akurasi kasus penggunaan onboarding dan autentikasi diukur dengan kesalahan positif palsu dan negatif palsu yang dapat dibuat oleh solusi biometrik. Skor kesamaan (mulai dari 0% berarti tidak cocok hingga 100% berarti cocok sempurna) digunakan untuk membuat penentuan keputusan cocok atau tidak cocok. Positif palsu terjadi ketika solusi menganggap gambar dari dua individu yang berbeda sebagai orang yang sama. Negatif palsu, di sisi lain, berarti solusi menganggap dua gambar dari orang yang sama berbeda.

Onboarding: Verifikasi satu-ke-satu

Proses onboarding berbasis biometrik menyederhanakan dan mengamankan proses. Yang paling penting, ini mengatur organisasi dan pelanggan untuk pengalaman onboarding yang hampir tanpa gesekan. Untuk melakukan ini, pengguna hanya diminta untuk menunjukkan gambar dari beberapa bentuk dokumen identitas terpercaya yang berisi wajah pengguna (seperti SIM atau paspor) serta mengambil gambar selfie selama proses onboarding. Setelah sistem memiliki dua gambar ini, sistem hanya akan membandingkan wajah di dalam kedua gambar tersebut. Ketika kesamaan lebih besar dari ambang yang ditentukan, maka Anda memiliki kecocokan; jika tidak, Anda memiliki ketidakcocokan. Diagram berikut menguraikan prosesnya.

Perhatikan contoh Julie, pengguna baru yang membuka rekening bank digital. Solusinya memintanya untuk memotret SIM-nya (langkah 2) dan mengambil foto selfie (langkah 3). Setelah sistem memeriksa kualitas gambar (langkah 4), sistem membandingkan wajah di selfie dengan wajah di SIM (pencocokan satu-ke-satu) dan skor kemiripan (langkah 5) dihasilkan. Jika skor kesamaan kurang dari ambang kesamaan yang disyaratkan, maka upaya orientasi oleh Julie ditolak. Inilah yang kami sebut ketidakcocokan palsu atau penolakan palsu: solusinya menganggap dua gambar dari orang yang sama berbeda. Di sisi lain, jika skor kesamaan lebih besar dari kesamaan yang disyaratkan, maka solusinya menganggap kedua gambar tersebut adalah orang yang sama atau cocok.

Otentikasi: Identifikasi satu-ke-banyak

Mulai dari memasuki gedung, check-in di kios, hingga meminta pengguna melakukan selfie untuk memverifikasi identitas mereka, jenis autentikasi zero-to-low-friction melalui pengenalan wajah ini telah menjadi hal yang lumrah bagi banyak organisasi. Alih-alih melakukan pencocokan gambar-ke-gambar, kasus penggunaan autentikasi ini mengambil satu gambar dan membandingkannya dengan kumpulan gambar yang dapat ditelusuri untuk potensi kecocokan. Dalam kasus penggunaan autentikasi biasa, pengguna diminta untuk mengambil foto selfie, yang kemudian dibandingkan dengan wajah yang disimpan dalam koleksi. Hasil pencarian menghasilkan nol, satu, atau lebih kecocokan potensial dengan skor kemiripan yang sesuai dan pengidentifikasi eksternal. Jika tidak ada kecocokan yang dikembalikan, maka pengguna tidak diautentikasi; namun, dengan asumsi pencarian mengembalikan satu atau beberapa kecocokan, sistem membuat keputusan autentikasi berdasarkan skor kesamaan dan pengidentifikasi eksternal. Jika skor kesamaan melebihi ambang kesamaan yang disyaratkan dan pengidentifikasi eksternal cocok dengan pengidentifikasi yang diharapkan, maka pengguna diautentikasi (dicocokkan). Diagram berikut menguraikan contoh proses autentikasi biometrik berbasis wajah.

Perhatikan contoh Jose, seorang sopir pengiriman gig-economy. Layanan pengiriman mengautentikasi pengemudi pengiriman dengan meminta pengemudi untuk mengambil foto selfie sebelum memulai pengiriman menggunakan aplikasi seluler perusahaan. Satu masalah yang dihadapi penyedia layanan gig-economy adalah pembagian pekerjaan; pada dasarnya dua atau lebih pengguna berbagi akun yang sama untuk mempermainkan sistem. Untuk mengatasi hal ini, banyak layanan pengiriman menggunakan kamera dalam mobil untuk mengambil gambar (langkah 2) pengemudi secara acak selama pengiriman (untuk memastikan bahwa pengemudi pengiriman adalah pengemudi resmi). Dalam hal ini, Jose tidak hanya mengambil foto selfie di awal pengirimannya, tetapi kamera dalam mobil mengambil gambar dirinya selama pengiriman. Sistem melakukan pemeriksaan kualitas (langkah 3) dan pencarian (langkah 4) kumpulan driver terdaftar untuk memverifikasi identitas driver. Jika driver yang berbeda terdeteksi, maka layanan pengiriman gig-economy dapat menyelidiki lebih lanjut.

Kecocokan palsu (false positive) terjadi ketika solusi menganggap dua atau lebih gambar dari orang yang berbeda sebagai orang yang sama. Dalam kasus penggunaan kami, anggaplah bahwa alih-alih pengemudi resmi, Jose, dia membiarkan saudaranya Miguel mengambil salah satu kiriman untuknya. Jika solusi salah mencocokkan selfie Miguel dengan gambar Jose, maka terjadi kecocokan palsu (false positive).

Untuk mengatasi potensi kecocokan yang salah, kami merekomendasikan agar koleksi berisi beberapa gambar dari setiap subjek. Merupakan praktik umum untuk mengindeks dokumen identifikasi tepercaya yang berisi wajah, selfie pada saat orientasi, dan selfie dari beberapa pemeriksaan identifikasi terakhir. Pengindeksan beberapa gambar subjek memberikan kemampuan untuk mengumpulkan skor kesamaan di seluruh wajah yang dikembalikan, sehingga meningkatkan akurasi identifikasi. Selain itu, pengidentifikasi eksternal digunakan untuk membatasi risiko penerimaan yang salah. Contoh aturan bisnis mungkin terlihat seperti ini:

JIKA skor kesamaan agregat >= ambang kesamaan yang diperlukan DAN pengidentifikasi eksternal == pengidentifikasi yang diharapkan KEMUDIAN autentikasi

Ukuran akurasi biometrik utama

Dalam sistem biometrik, kami tertarik pada tingkat kecocokan palsu (FMR) dan tingkat ketidakcocokan palsu (FNMR) berdasarkan skor kemiripan dari perbandingan wajah dan penelusuran. Baik itu kasus penggunaan orientasi atau autentikasi, sistem biometrik memutuskan untuk menerima atau menolak kecocokan wajah pengguna berdasarkan skor kesamaan dari dua gambar atau lebih. Seperti sistem keputusan apa pun, akan ada kesalahan di mana sistem salah menerima atau menolak upaya onboarding atau autentikasi. Sebagai bagian dari evaluasi solusi verifikasi identitas, Anda perlu mengevaluasi sistem pada berbagai ambang kesamaan untuk meminimalkan tingkat kecocokan yang salah dan ketidakcocokan yang salah, serta membandingkan kesalahan tersebut dengan biaya penolakan dan penerimaan yang salah. Kami menggunakan FMR dan FNMR sebagai dua metrik utama untuk mengevaluasi sistem biometrik wajah.

Tingkat ketidakcocokan palsu

Ketika sistem verifikasi identitas gagal mengidentifikasi atau mengotorisasi pengguna asli dengan benar, ketidakcocokan palsu terjadi, juga dikenal sebagai negatif palsu. Tingkat ketidakcocokan palsu (FNMR) adalah ukuran seberapa rentan sistem untuk salah mengidentifikasi atau mengotorisasi pengguna asli.

FNMR dinyatakan sebagai persentase kejadian saat upaya orientasi atau autentikasi dilakukan, saat wajah pengguna ditolak secara tidak benar (negatif palsu) karena skor kemiripan di bawah ambang batas yang ditentukan.

True positive (TP) adalah ketika solusi menganggap dua atau lebih gambar dari orang yang sama adalah sama. Artinya, kesamaan perbandingan atau pencarian berada di atas ambang kesamaan yang dipersyaratkan.

Negatif palsu (FN) adalah ketika solusi menganggap dua atau lebih gambar dari orang yang sama berbeda. Artinya, kesamaan perbandingan atau pencarian berada di bawah ambang kesamaan yang disyaratkan.

Rumus untuk FNMR adalah:

FNMR = Hitungan Negatif Palsu / (Jumlah Positif Benar + Hitungan Negatif Palsu)

Misalnya, kita memiliki 10,000 upaya autentikasi asli, tetapi 100 upaya ditolak karena kemiripannya dengan gambar atau koleksi referensi berada di bawah ambang kesamaan yang ditentukan. Di sini kami memiliki 9,900 positif sejati dan 100 negatif palsu, oleh karena itu FNMR kami adalah 1.0%

FNMR = 100 / (9900 + 100) atau 1.0%

Tingkat kecocokan salah

Ketika sistem verifikasi identitas salah mengidentifikasi atau mengotorisasi pengguna yang tidak sah sebagai asli, terjadi kecocokan palsu, juga dikenal sebagai positif palsu. Tingkat kecocokan palsu (FMR) adalah ukuran seberapa rentan sistem untuk salah mengidentifikasi atau mengotorisasi pengguna yang tidak sah. Ini diukur dengan jumlah pengakuan atau autentikasi positif palsu dibagi dengan jumlah total upaya identifikasi.

Positif palsu terjadi ketika solusi menganggap dua atau lebih gambar dari orang yang berbeda sebagai orang yang sama. Artinya, skor kesamaan dari perbandingan atau pencarian berada di atas ambang kesamaan yang disyaratkan. Pada dasarnya, sistem salah mengidentifikasi atau mengotorisasi pengguna ketika seharusnya menolak upaya identifikasi atau autentikasi mereka.

Rumus untuk FMR adalah:

FMR = Jumlah Positif Palsu / (Total Percobaan)

Misalnya, kita memiliki 100,000 upaya autentikasi, tetapi 100 pengguna palsu salah diotorisasi karena kemiripannya dengan gambar referensi atau koleksi berada di atas ambang kesamaan yang ditentukan. Di sini kami memiliki 100 positif palsu, oleh karena itu FMR kami adalah 0.01%

FMR = 100 / (100,000) atau 0.01%

Tingkat kecocokan salah vs. tingkat ketidakcocokan palsu

Tingkat kecocokan palsu dan tingkat ketidakcocokan palsu bertentangan satu sama lain. Saat ambang kesamaan meningkat, potensi kecocokan palsu menurun, sementara potensi ketidakcocokan palsu meningkat. Cara lain untuk memikirkan trade-off ini adalah ketika ambang kesamaan meningkat, solusinya menjadi lebih terbatas, membuat lebih sedikit kesamaan yang rendah. Misalnya, kasus penggunaan yang melibatkan keselamatan dan keamanan publik biasanya menetapkan ambang kesamaan kecocokan yang cukup tinggi (99 ke atas). Alternatifnya, organisasi dapat memilih ambang batas kesamaan yang tidak terlalu ketat (90 ke atas), di mana dampak friksi terhadap pengguna lebih penting. Diagram berikut mengilustrasikan trade-off ini. Tantangan bagi organisasi adalah menemukan ambang batas yang meminimalkan FMR dan FNMR berdasarkan persyaratan organisasi dan aplikasi Anda.

Memilih ambang kesamaan tergantung pada aplikasi bisnis. Misalnya, Anda ingin membatasi friksi pelanggan selama orientasi (ambang kesamaan yang tidak terlalu ketat, seperti yang ditunjukkan pada gambar di sebelah kiri berikut). Di sini, Anda mungkin memiliki ambang kesamaan yang disyaratkan lebih rendah, dan bersedia menerima risiko pengguna orientasi di mana kepercayaan pada kecocokan antara selfie dan SIM mereka lebih rendah. Sebaliknya, misalkan Anda ingin memastikan hanya pengguna resmi yang masuk ke aplikasi. Di sini Anda mungkin beroperasi pada ambang kesamaan yang cukup ketat (seperti yang ditunjukkan pada gambar di sebelah kanan).

Langkah-langkah untuk menghitung tingkat kecocokan palsu dan ketidakcocokan

Ada beberapa cara untuk menghitung kedua metrik ini. Berikut ini adalah pendekatan yang relatif sederhana untuk membagi langkah-langkah menjadi mengumpulkan pasangan gambar asli, membuat pasangan tiruan (gambar yang seharusnya tidak cocok), dan terakhir menggunakan probe untuk mengulangi pasangan gambar yang cocok dan tidak cocok yang diharapkan, menangkap kesamaan yang dihasilkan. Langkah-langkahnya adalah sebagai berikut:

1. Kumpulkan kumpulan gambar sampel asli. Sebaiknya mulai dengan sekumpulan pasangan gambar dan tetapkan pengenal eksternal, yang digunakan untuk membuat penentuan kecocokan resmi. Pasangan ini terdiri dari gambar-gambar berikut:
   1. Gambar sumber – Gambar sumber tepercaya Anda, misalnya SIM.
   2. Gambar target – Selfie atau gambar Anda yang akan Anda bandingkan.
2. Kumpulkan satu set gambar pertandingan palsu. Ini adalah pasangan gambar yang sumber dan targetnya tidak cocok. Ini digunakan untuk menilai FMR (probabilitas bahwa sistem akan salah mencocokkan wajah dua pengguna yang berbeda). Anda dapat membuat kumpulan gambar palsu menggunakan pasangan gambar dengan membuat produk Cartesian dari gambar, lalu memfilter dan mengambil sampel hasilnya.
3. Selidiki set kecocokan asli dan palsu dengan mengulangi pasangan gambar, membandingkan sumber dan target palsu dan menangkap kesamaan yang dihasilkan.
4. Hitung FMR dan FNMR dengan menghitung positif palsu dan negatif palsu pada ambang kesamaan minimum yang berbeda.

Anda dapat menilai biaya FMR dan FNMR pada ambang kesamaan yang berbeda relatif terhadap kebutuhan aplikasi Anda.

Langkah 1: Kumpulkan sampel pasangan gambar asli

Memilih sampel pasangan gambar yang representatif untuk dievaluasi sangat penting saat mengevaluasi layanan verifikasi identitas. Langkah pertama adalah mengidentifikasi satu set pasangan gambar asli. Ini adalah gambar sumber dan target pengguna yang diketahui. Pasangan gambar asli digunakan untuk menilai FNMR, pada dasarnya probabilitas bahwa sistem tidak akan cocok dengan dua wajah dari orang yang sama. Salah satu pertanyaan pertama yang sering ditanyakan adalah “Berapa banyak pasangan gambar yang dibutuhkan?” Jawabannya tergantung pada kasus penggunaan Anda, tetapi panduan umumnya adalah sebagai berikut:

• Antara 100–1,000 pasang gambar memberikan ukuran kelayakan
• Hingga 10,000 pasangan gambar cukup besar untuk mengukur variabilitas antar gambar
• Lebih dari 10,000 pasang gambar memberikan ukuran kualitas operasional dan generalisasi

Lebih banyak data selalu lebih baik; namun, sebagai titik awal, gunakan setidaknya 1,000 pasang gambar. Namun, tidak jarang menggunakan lebih dari 10,000 pasangan gambar untuk membidik FNMR atau FMR yang dapat diterima untuk masalah bisnis tertentu.

Berikut ini adalah contoh file pemetaan pasangan gambar. Kami menggunakan file pemetaan pasangan gambar untuk menjalankan proses evaluasi selanjutnya.

Langkah 2: Hasilkan pasangan gambar palsu set

Sekarang setelah Anda memiliki file pasangan gambar asli, Anda dapat membuat produk Cartesian dari gambar target dan sumber di mana pengidentifikasi eksternal tidak berfungsi. Ini menghasilkan pasangan sumber-ke-target yang seharusnya tidak cocok. Pasangan ini digunakan untuk menilai FMR, pada dasarnya probabilitas sistem akan mencocokkan wajah satu pengguna dengan wajah pengguna yang berbeda.

Langkah 3: Selidiki set pasangan gambar asli dan palsu

Menggunakan program driver, kami menerapkan Rekognisi Amazon Bandingkan Wajah API atas pasangan gambar dan menangkap kesamaan. Anda juga dapat menangkap informasi tambahan seperti pose, kualitas, dan hasil perbandingan lainnya. Skor kesamaan digunakan untuk menghitung tingkat kecocokan palsu dan ketidakcocokan pada langkah berikutnya.

Dalam cuplikan kode berikut, kami menerapkan API CompareFaces ke semua pasangan gambar dan mengisi semua skor kemiripan dalam sebuah tabel:

obj = s3.get_object(Bucket= bucket_name , Key = csv_file)

df = pd.read_csv(io.BytesIO(obj['Body'].read()), encoding='utf8')
def compare_faces(source_file, target_file, threshold = 0):
    response=rekognition.compare_faces(SimilarityThreshold=threshold,
                                        SourceImage={'S3Object': {
                                                    'Bucket': bucket_name,
                                                    'Name':source_file}},
                                        TargetImage={'S3Object': {
                                                    'Bucket': bucket_name,
                                                    'Name':target_file}})
df_similarity = df.copy()
df_similarity["SIMILARITY"] = None
for index, row in df.iterrows():
    source_file = dataset_folder + row["SOURCE"]
    target_file = dataset_folder + row["TARGET"]
    response_score = compare_faces(source_file, target_file)
    df_similarity._set_value(index,"SIMILARITY", response_score)
    df_similarity.head()

Cuplikan kode memberikan output berikut.

Analisis distribusi skor kemiripan melalui tes merupakan titik awal untuk memahami skor kemiripan berdasarkan pasangan citra. Cuplikan kode dan bagan output berikut menampilkan contoh sederhana distribusi skor kemiripan menurut set pengujian serta statistik deskriptif yang dihasilkan:

sns.boxplot(data=df_similarity,
            x=df_similarity["SIMILARITY"],
            y=df_similarity["TEST"]).set(xlabel='Similarity Score',
            ylabel=None,
            title = "Similarity Score Distribution")
plt.show()

df_descriptive_stats = pd.DataFrame(columns=['test','count', 'min' , 'max', 'mean', 'median', 'std'])

tests = ["Genuine", "Imposter"]

for test in tests:
    count = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].count()
    mean = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].mean()
    max_ = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].max()
    min_ = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].min()
    median = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].median()
    std = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].std()

    new_row = {'test': test,
                'count': count,
                'min': min_,
                'max': max_,
                'mean': mean,
                'median':median,
                'std': std}
    df_descriptive_stats = df_descriptive_stats.append(new_row,
    ignore_index=True)

df_descriptive_stats

Dalam contoh ini, kita dapat melihat bahwa kesamaan rata-rata dan median untuk pasangan wajah asli adalah 91.7 dan 99.1, sedangkan untuk pasangan palsu masing-masing adalah 2.8 dan 0.8. Seperti yang diharapkan, ini menunjukkan skor kesamaan yang tinggi untuk pasangan gambar asli dan skor kesamaan yang rendah untuk pasangan gambar palsu.

Langkah 4: Hitung FMR dan FNMR pada tingkat ambang kesamaan yang berbeda

Pada langkah ini, kami menghitung tingkat kecocokan yang salah dan ketidakcocokan pada ambang kesamaan yang berbeda. Untuk melakukan ini, kami cukup melewati ambang kesamaan (misalnya, 90–100). Pada setiap ambang kesamaan yang dipilih, kami menghitung matriks kebingungan kami yang berisi jumlah positif benar, negatif benar, positif palsu, dan negatif palsu, yang digunakan untuk menghitung FMR dan FNMR pada setiap kesamaan yang dipilih.

Untuk melakukan ini, kami membuat fungsi yang mengembalikan jumlah positif dan negatif palsu, dan mengulang melalui rentang skor kesamaan (90–100):

similarity_thresholds = [80,85,90,95,96,97,98,99]

# create output df
df_cols = ['Similarity Threshold', 'TN' , 'FN', 'TP', 'FP', 'FNMR (%)', 'FMR (%)']
comparison_df = pd.DataFrame(columns=df_cols)

# create columns for y_actual and y_pred
df_analysis = df_similarity.copy()
df_analysis["y_actual"] = None
df_analysis["y_pred"] = None

for threshold in similarity_thresholds:
    # Create y_pred and y_actual columns, 1 == match, 0 == no match
    for index, row in df_similarity.iterrows():
        # set y_pred
        if row["SIMILARITY"] >= threshold:
            df_analysis._set_value(index,"y_pred", 1)
        else:
            df_analysis._set_value(index,"y_pred", 0)

        # set y_actual
        if row["TEST"] == "Genuine":
            df_analysis._set_value(index,"y_actual", 1)
        else:
            df_analysis._set_value(index,"y_actual", 0)

    tn, fp, fn, tp = confusion_matrix(df_analysis['y_actual'].tolist(),
                                      df_analysis['y_pred'].tolist()).ravel()
    FNMR = fn / (tp + fn)
    FMR = fp / (tn+fp+fn+tp)

    new_row = {'Similarity Threshold': threshold,
                'TN': tn,
                'FN': fn,
                'TP': tp,
                'FP': fp,
                'FNMR (%)':FNMR,
                'FMR (%)': FMR}
    comparison_df = comparison_df.append(new_row,ignore_index=True)

comparison_df

Tabel berikut menunjukkan hasil penghitungan pada setiap ambang kesamaan.

Bagaimana ambang kesamaan memengaruhi tingkat ketidakcocokan palsu?

Misalkan kita memiliki 1,000 upaya orientasi pengguna asli, dan kita menolak 10 dari upaya ini berdasarkan kesamaan minimal 95% yang diperlukan agar dianggap cocok. Di sini kami menolak 10 upaya orientasi asli (negatif palsu) karena kemiripannya berada di bawah ambang kesamaan minimum yang disyaratkan. Dalam hal ini, FNMR kami adalah 1.0%.

FNMR = Hitungan Negatif Palsu / (Jumlah Positif Benar + Hitungan Negatif Palsu)

FNMR = 10 / (990 + 10) atau 1.0%

Sebaliknya, misalkan alih-alih memiliki 1,000 pengguna asli untuk bergabung, kami memiliki 990 pengguna asli dan 10 pengguna palsu (positif palsu). Dengan kesamaan minimum 95%, misalkan kami menerima semua 1,000 pengguna sebagai pengguna asli. Di sini kita akan memiliki FMR 1%.

FMR = Jumlah Positif Palsu / (Total Percobaan)

FMR = 10 / (1,000) atau 1.0%

Menilai biaya FMR dan FNMR saat onboarding

Dalam kasus penggunaan onboarding, biaya ketidakcocokan palsu (penolakan) umumnya dikaitkan dengan friksi pengguna tambahan atau hilangnya pendaftaran. Misalnya, dalam kasus penggunaan perbankan kami, misalkan Julie menyajikan dua gambar dirinya tetapi ditolak secara keliru pada saat aktivasi karena kemiripan antara kedua gambar berada di bawah kesamaan yang dipilih (false non-match). Lembaga keuangan dapat berisiko kehilangan Julie sebagai pelanggan potensial, atau dapat menyebabkan gesekan tambahan bagi Julie dengan mengharuskannya melakukan langkah-langkah untuk membuktikan identitasnya.

Sebaliknya, misalkan dua gambar Julie adalah orang yang berbeda dan orientasi Julie seharusnya ditolak. Dalam kasus di mana Julie salah diterima (kecocokan palsu), biaya dan risiko lembaga keuangan sangat berbeda. Mungkin ada masalah peraturan, risiko penipuan, dan risiko lain yang terkait dengan transaksi keuangan.

Penggunaan yang bertanggung jawab

Kecerdasan buatan (AI) yang diterapkan melalui pembelajaran mesin (ML) akan menjadi salah satu teknologi paling transformasional dari generasi kita, mengatasi beberapa masalah manusia yang paling menantang, menambah kinerja manusia, dan memaksimalkan produktivitas. Penggunaan teknologi ini secara bertanggung jawab adalah kunci untuk mendorong inovasi yang berkelanjutan. AWS berkomitmen untuk mengembangkan layanan AI dan ML yang adil dan akurat serta memberi Anda alat dan panduan yang diperlukan untuk membangun aplikasi AI dan ML secara bertanggung jawab.

Saat Anda mengadopsi dan meningkatkan penggunaan AI dan ML, AWS menawarkan beberapa sumber daya berdasarkan pengalaman kami untuk membantu Anda dalam pengembangan dan penggunaan AI dan ML yang bertanggung jawab:

Praktik terbaik dan kesalahan umum yang harus dihindari

Di bagian ini, kami membahas praktik terbaik berikut:

• Gunakan sampel gambar yang cukup besar
• Hindari kumpulan data sumber terbuka dan wajah sintetis
• Hindari manipulasi gambar manual dan sintetik
• Periksa kualitas gambar pada saat evaluasi dan dari waktu ke waktu
• Pantau FMR dan FNMR dari waktu ke waktu
• Gunakan manusia dalam ulasan loop
• Tetap up to date dengan Amazon Rekognition

Gunakan sampel gambar yang cukup besar

Gunakan sampel gambar yang cukup besar namun masuk akal. Berapa ukuran sampel yang masuk akal? Tergantung masalah bisnisnya. Jika Anda seorang pemberi kerja dan memiliki 10,000 karyawan yang ingin Anda autentikasi, menggunakan semua 10,000 gambar mungkin masuk akal. Namun, misalkan Anda adalah organisasi dengan jutaan pelanggan yang ingin Anda ikuti. Dalam hal ini, mengambil sampel perwakilan pelanggan seperti 5,000–20,000 mungkin cukup. Berikut beberapa panduan tentang ukuran sampel:

• Ukuran sampel 100 – 1,000 pasang gambar membuktikan kelayakan
• Ukuran sampel 1,000 – 10,000 pasang gambar berguna untuk mengukur variabilitas antar gambar
• Ukuran sampel 10,000 – 1 juta pasang gambar memberikan ukuran kualitas operasional dan generalisasi

Kunci dari pasangan gambar pengambilan sampel adalah memastikan bahwa sampel tersebut memberikan variabilitas yang cukup di seluruh populasi wajah dalam aplikasi Anda. Anda dapat memperluas pengambilan sampel dan pengujian lebih lanjut untuk menyertakan informasi demografis seperti warna kulit, jenis kelamin, dan usia.

Hindari kumpulan data sumber terbuka dan wajah sintetis

Ada lusinan set data gambar wajah sumber terbuka yang dikuratori serta set wajah sintetis yang sangat realistis yang sering digunakan dalam penelitian dan untuk mempelajari kelayakan. Tantangannya adalah kumpulan data ini umumnya tidak berguna untuk 99% kasus penggunaan di dunia nyata hanya karena kumpulan data tersebut tidak mewakili kamera, wajah, dan kualitas gambar yang mungkin ditemui aplikasi Anda di alam bebas. Meskipun mereka berguna untuk pengembangan aplikasi, ukuran akurasi set gambar ini tidak disamaratakan dengan apa yang akan Anda temui di aplikasi Anda sendiri. Sebagai gantinya, sebaiknya mulai dengan sampel representatif gambar nyata dari solusi Anda, meskipun pasangan gambar sampel kecil (di bawah 1,000).

Hindari manipulasi gambar manual dan sintetik

Sering ada kasus-kasus ekstrem yang ingin dipahami orang. Hal-hal seperti kualitas pengambilan gambar atau penyamaran fitur wajah tertentu selalu menarik. Misalnya, kami sering ditanya tentang pengaruh usia dan kualitas gambar pada pengenalan wajah. Anda dapat dengan mudah menua wajah secara sintetik atau memanipulasi gambar untuk membuat subjek tampak lebih tua, atau memanipulasi kualitas gambar, tetapi ini tidak diterjemahkan dengan baik ke penuaan gambar di dunia nyata. Sebagai gantinya, rekomendasi kami adalah mengumpulkan sampel representatif dari kasus tepi dunia nyata yang ingin Anda uji.

Periksa kualitas gambar pada saat evaluasi dan dari waktu ke waktu

Teknologi kamera dan aplikasi berubah cukup cepat dari waktu ke waktu. Sebagai praktik terbaik, sebaiknya pantau kualitas gambar dari waktu ke waktu. Dari ukuran wajah yang ditangkap (menggunakan kotak pembatas), hingga kecerahan dan ketajaman gambar, hingga pose wajah, serta potensi pengaburan (topi, kacamata hitam, janggut, dan sebagainya), semua gambar ini dan fitur wajah berubah seiring waktu.

Pantau FNMR dan FMR dari waktu ke waktu

Perubahan terjadi, apakah itu gambar, aplikasi, atau ambang kesamaan yang digunakan dalam aplikasi. Penting untuk secara berkala memantau tingkat kecocokan yang salah dan ketidakcocokan dari waktu ke waktu. Perubahan tarif (bahkan perubahan yang halus) seringkali dapat menunjukkan tantangan di hulu dengan aplikasi atau bagaimana aplikasi digunakan. Perubahan pada ambang kesamaan dan aturan bisnis yang digunakan untuk membuat keputusan menerima atau menolak dapat berdampak besar pada pengalaman pengguna onboarding dan autentikasi.

Gunakan manusia dalam ulasan loop

Sistem verifikasi identitas membuat keputusan otomatis untuk cocok dan tidak cocok berdasarkan ambang kesamaan dan aturan bisnis. Selain persyaratan kepatuhan peraturan dan internal, proses penting dalam setiap sistem keputusan otomatis adalah memanfaatkan peninjau manusia sebagai bagian dari pemantauan berkelanjutan dari proses keputusan. Pengawasan manusia terhadap sistem pengambilan keputusan otomatis ini memberikan validasi dan peningkatan berkelanjutan serta transparansi ke dalam proses pengambilan keputusan otomatis.

Tetap up to date dengan Amazon Rekognition

Model wajah Amazon Recognition diperbarui secara berkala (biasanya setiap tahun), dan saat ini berada di versi 6. Versi yang diperbarui ini membuat peningkatan penting pada akurasi dan pengindeksan. Penting untuk selalu mengikuti versi model baru dan memahami cara menggunakan versi baru ini dalam aplikasi verifikasi identitas Anda. Saat versi baru model wajah Amazon Rekognition diluncurkan, sebaiknya jalankan kembali proses evaluasi verifikasi identitas Anda dan tentukan dampak potensial (positif dan negatif) terhadap tingkat kecocokan dan ketidakcocokan palsu Anda.

Kesimpulan

Posting ini membahas elemen kunci yang diperlukan untuk mengevaluasi aspek performa solusi verifikasi identitas Anda dalam kaitannya dengan berbagai metrik akurasi. Namun, akurasi hanyalah salah satu dari sekian banyak dimensi yang perlu Anda evaluasi saat memilih layanan moderasi konten tertentu. Penting bagi Anda untuk menyertakan parameter lain, seperti rangkaian fitur total layanan, kemudahan penggunaan, integrasi yang ada, privasi dan keamanan, opsi penyesuaian, implikasi skalabilitas, layanan pelanggan, dan harga.

Untuk mempelajari selengkapnya tentang verifikasi identitas di Amazon Rekognition, kunjungi Verifikasi Identitas menggunakan Amazon Rekognition.

Tentang Penulis

Mike Ames adalah ilmuwan data yang beralih menjadi spesialis solusi verifikasi identitas, dengan pengalaman luas dalam mengembangkan pembelajaran mesin dan solusi AI untuk melindungi organisasi dari penipuan, pemborosan, dan penyalahgunaan. Di waktu luangnya, Anda bisa menemukannya sedang hiking, bersepeda gunung, atau bermain freebee dengan anjingnya Max.

Amit Gupta adalah Arsitek Solusi Layanan AI Senior di AWS. Dia bersemangat untuk memungkinkan pelanggan dengan solusi machine learning yang dirancang dengan baik dalam skala besar.

Zuhayr Raghib adalah Arsitek Solusi Layanan AI di AWS. Mengkhususkan diri dalam AI/ML terapan, dia bersemangat untuk memungkinkan pelanggan menggunakan cloud untuk berinovasi lebih cepat dan mengubah bisnis mereka.

Marcel Pividal adalah Arsitek Solusi Layanan Sr. AI di World-Wide Specialist Organization. Marcel memiliki lebih dari 20 tahun pengalaman memecahkan masalah bisnis melalui teknologi untuk fintech, penyedia pembayaran, farmasi, dan lembaga pemerintah. Bidang fokusnya saat ini adalah manajemen risiko, pencegahan penipuan, dan verifikasi identitas.