Bir kimlik doğrulama çözümünü değerlendirmek için metrikler

Küresel olarak, sorunsuz dijital kullanıcı deneyimlerine doğru hızlanan bir geçiş oldu. İster bir web sitesine kaydolmak, ister çevrimiçi işlem yapmak veya yalnızca banka hesabınızda oturum açmak olsun, kuruluşlar aktif olarak müşterilerinin yaşadığı sürtüşmeleri azaltırken aynı zamanda güvenlik, uyumluluk ve dolandırıcılık önleme önlemlerini geliştirmeye çalışıyor. Sorunsuz kullanıcı deneyimlerine geçiş, "Dijital dünyada bir kişiyi nasıl doğrularsınız?" sorusunu yanıtlamayı amaçlayan yüz tabanlı biyometrik kimlik doğrulama çözümlerinin ortaya çıkmasına neden oldu.

Tanımlama ve kimlik doğrulama soruları söz konusu olduğunda yüz biyometrisinin iki önemli avantajı vardır. İlk olarak, kullanıcılar için uygun bir teknolojidir: bir şifreyi hatırlamaya, çok faktörlü zorluklarla uğraşmaya, doğrulama bağlantılarını tıklamaya veya CAPTCHA bulmacalarını çözmeye gerek yoktur. İkinci olarak, yüksek düzeyde bir güvenlik elde edilir: yüz biyometrisine dayalı tanımlama ve kimlik doğrulama güvenlidir ve dolandırıcılık ve saldırılara karşı daha az hassastır.

Bu gönderide, kimlik doğrulamanın iki temel kullanım durumunu inceleyeceğiz: katılım ve kimlik doğrulama. Ardından, bir biyometrik sistemin doğruluğunu değerlendirmek için kullanılan iki temel metriğe geçeceğiz: yanlış eşleşme oranı (yanlış kabul oranı olarak da bilinir) ve yanlış eşleşmeme oranı (yanlış reddetme oranı olarak da bilinir). Bu iki ölçü, kuruluşlar tarafından biyometrik sistemlerin doğruluğunu ve hata oranını değerlendirmek için yaygın olarak kullanılmaktadır. Son olarak, bir kimlik doğrulama hizmetinin değerlendirilmesini gerçekleştirmek için bir çerçeve ve en iyi uygulamaları tartışıyoruz.

ekteki bakın Jupyter dizüstü bilgisayar bu gönderide belirtilen tüm adımlarda yürür.

Kullanım örnekleri: Katılım ve Kimlik Doğrulama

Biyometrik çözümler için iki temel kullanım durumu vardır: kullanıcı ekleme (genellikle doğrulama olarak anılır) ve kimlik doğrulama (genellikle tanımlama olarak adlandırılır). Alıştırma, iki resim arasındaki yüzlerin bire bir eşleşmesini gerektirir; örneğin, bir özçekimi ehliyet veya pasaport gibi güvenilir bir kimlik belgesiyle karşılaştırmak. Öte yandan kimlik doğrulama, örneğin bir çalışanın bir binadaki belirli bir kata erişim yetkisi olup olmadığını görmek için bir çalışan yüzleri koleksiyonunun aranması gibi, saklanan bir yüz koleksiyonunda bir yüzün birden çoğa aranmasını gerektirir.

Yerleştirme ve kimlik doğrulama kullanım durumlarının doğruluk performansı, biyometrik çözümün yapabileceği yanlış pozitif ve yanlış negatif hatalarla ölçülür. Eşleşme veya eşleşmeme kararının belirlenmesinde benzerlik puanı (%0'dan eşleşme yok anlamına gelir ve %100 mükemmel eşleşme anlamına gelir) kullanılır. Çözüm, iki farklı kişinin görüntülerini aynı kişi olarak kabul ettiğinde yanlış bir pozitif ortaya çıkar. Öte yandan yanlış negatif, çözümün aynı kişinin iki görüntüsünü farklı olarak kabul ettiği anlamına gelir.

Katılım: Bire bir doğrulama

Biyometrik tabanlı işe alım süreçleri, süreci hem basitleştirir hem de güvenli hale getirir. En önemlisi, kuruluşu ve müşteriyi neredeyse sorunsuz bir işe alım deneyimi için hazırlar. Bunu yapmak için, kullanıcıların yalnızca, kullanıcının yüzünü içeren (sürücü belgesi veya pasaport gibi) bir tür güvenilir kimlik belgesinin bir görüntüsünü sunmaları ve katılım sürecinde bir selfie görüntüsü çekmeleri gerekir. Sistem bu iki görüntüyü elde ettikten sonra, iki görüntüdeki yüzleri karşılaştırır. Benzerlik belirli bir eşikten büyük olduğunda, bir eşleşmeniz olur; Aksi takdirde, bir eşleşmezsiniz. Aşağıdaki diyagram süreci özetlemektedir.

Dijital bir banka hesabı açan yeni bir kullanıcı olan Julie örneğini ele alalım. Çözüm, ondan ehliyetinin bir fotoğrafını çekmesini (2. adım) ve bir selfie çekmesini (3. adım) ister. Sistem, görüntülerin kalitesini kontrol ettikten sonra (adım 4), özçekimdeki yüzü ehliyetteki yüzle karşılaştırır (bire bir eşleştirme) ve bir benzerlik puanı (adım 5) üretilir. Benzerlik puanı gerekli benzerlik eşiğinin altındaysa Julie'nin ekleme girişimi reddedilir. Buna yanlış eşleşmeme veya yanlış reddetme diyoruz: Çözüm, aynı kişinin iki görüntüsünün farklı olduğunu kabul etti. Öte yandan, benzerlik puanı gerekli benzerlikten büyükse, çözüm iki görüntüyü aynı kişi veya eşleşme olarak kabul eder.

Kimlik doğrulama: Birden çoğa tanımlama

Bir binaya girmekten bir kioskta check-in yapmaya, bir kullanıcıdan kimliğini doğrulamak için bir selfie istemeye kadar, yüz tanıma yoluyla bu tür sıfırdan düşük sürtünmeye kadar kimlik doğrulama birçok kuruluş için sıradan hale geldi. Görüntüden görüntüye eşleştirme yapmak yerine, bu kimlik doğrulama kullanım durumu, tek bir görüntüyü alır ve olası bir eşleşme için aranabilir bir görüntü koleksiyonuyla karşılaştırır. Tipik bir kimlik doğrulama kullanım durumunda, kullanıcıdan bir selfie çekmesi istenir ve ardından bu, koleksiyonda depolanan yüzlerle karşılaştırılır. Aramanın sonucu, karşılık gelen benzerlik puanları ve harici tanımlayıcılarla sıfır, bir veya daha fazla potansiyel eşleşme verir. Eşleşme döndürülmezse kullanıcının kimliği doğrulanmaz; ancak, aramanın bir veya daha fazla eşleşme getirdiğini varsayarsak, sistem kimlik doğrulama kararını benzerlik puanlarına ve harici tanımlayıcılara göre verir. Benzerlik puanı gerekli benzerlik eşiğini aşarsa ve harici tanımlayıcı beklenen tanımlayıcıyla eşleşirse, kullanıcının kimliği doğrulanır (eşleştirilir). Aşağıdaki diyagram, örnek bir yüz tabanlı biyometrik kimlik doğrulama sürecini özetlemektedir.

Bir gig-ekonomi dağıtım şoförü olan Jose örneğini düşünün. Teslimat hizmeti, şirketin mobil uygulamasını kullanarak bir teslimata başlamadan önce sürücüden bir selfie çekmesini isteyerek teslimat sürücülerinin kimliğini doğrular. Gig ekonomisi hizmet sağlayıcılarının karşılaştığı sorunlardan biri iş paylaşımıdır; temelde iki veya daha fazla kullanıcı sistemi oynamak için aynı hesabı paylaşır. Bununla mücadele etmek için birçok teslimat hizmeti, teslimat sırasında rastgele zamanlarda (teslimat sürücüsünün yetkili sürücü olduğundan emin olmak için) sürücünün görüntülerini çekmek (2. adım) için bir araç içi kamera kullanır. Bu durumda, Jose sadece teslimatın başında bir selfie çekmekle kalmıyor, aynı zamanda bir araç içi kamera da teslimat sırasında onun görüntülerini çekiyor. Sistem, sürücünün kimliğini doğrulamak için kalite kontrolleri (adım 3) gerçekleştirir ve kayıtlı sürücülerin koleksiyonunu arar (adım 4). Farklı bir sürücü algılanırsa gig-ekonomi dağıtım hizmeti daha ayrıntılı araştırma yapabilir.

Yanlış eşleştirme (yanlış pozitif), çözüm farklı kişilerin iki veya daha fazla görüntüsünü aynı kişi olarak kabul ettiğinde ortaya çıkar. Bizim kullanım durumumuzda, Jose'nin yetkili sürücü yerine kardeşi Miguel'in teslimatlarından birini onun yerine almasına izin verdiğini varsayalım. Çözüm yanlış bir şekilde Miguel'in özçekimini Jose'nin resimleriyle eşleştirirse, yanlış bir eşleştirme (yanlış pozitif) oluşur.

Yanlış eşleşme olasılığıyla mücadele etmek için koleksiyonların her konunun birkaç görüntüsünü içermesini öneririz. Bir yüz, katılım sırasındaki bir özçekim ve son birkaç kimlik kontrolünden alınan özçekimler içeren güvenilir kimlik belgelerini dizine eklemek yaygın bir uygulamadır. Bir öznenin birkaç görüntüsünün indekslenmesi, döndürülen yüzler arasındaki benzerlik puanlarının bir araya getirilmesini sağlar ve böylece tanımlamanın doğruluğunu artırır. Ek olarak, yanlış kabul riskini sınırlamak için harici tanımlayıcılar kullanılır. Örnek bir iş kuralı şöyle görünebilir:

IF toplam benzerlik puanı >= gerekli benzerlik eşiği VE harici tanımlayıcı == beklenen tanımlayıcı SONRA kimlik doğrulama

Temel biyometrik doğruluk ölçütleri

Biyometrik bir sistemde, yüz karşılaştırmaları ve aramalardan elde edilen benzerlik puanlarına dayanan yanlış eşleşme oranı (FMR) ve yanlış eşleşmeme oranı (FNMR) ile ilgileniyoruz. İster alışma ister kimlik doğrulama kullanım durumu olsun, biyometrik sistemler bir kullanıcının yüzünün eşleşmelerini iki veya daha fazla görüntünün benzerlik puanına göre kabul etmeye veya reddetmeye karar verir. Herhangi bir karar verme sisteminde olduğu gibi, sistemin bir ekleme veya kimlik doğrulama girişimini yanlış bir şekilde kabul ettiği veya reddettiği hatalar olacaktır. Kimlik doğrulama çözümünüzü değerlendirmenin bir parçası olarak, yanlış eşleşme ve yanlış eşleşmeme oranlarını en aza indirmek için sistemi çeşitli benzerlik eşiklerinde değerlendirmeniz ve bu hataları yanlış ret ve kabul yapma maliyetiyle karşılaştırmanız gerekir. Yüz biyometrik sistemlerini değerlendirmek için iki temel ölçütümüz olarak FMR ve FNMR'yi kullanıyoruz.

Yanlış eşleşmeme oranı

Kimlik doğrulama sistemi, gerçek bir kullanıcıyı doğru bir şekilde tanımlayamadığında veya yetkilendiremediğinde, yanlış negatif olarak da bilinen yanlış eşleşmeme meydana gelir. Yanlış eşleşmeme oranı (FNMR), sistemin gerçek bir kullanıcıyı yanlış bir şekilde tanımlamaya veya yetkilendirmeye ne kadar yatkın olduğunun bir ölçüsüdür.

FNMR, benzerlik puanı öngörülen eşiğin altında olduğu için kullanıcının yüzünün yanlış bir şekilde reddedildiği (yanlış negatif) bir ekleme veya kimlik doğrulama girişiminin yapıldığı durumların yüzdesi olarak ifade edilir.

Gerçek bir pozitif (TP), çözümün aynı kişinin iki veya daha fazla görüntüsünü aynı olarak kabul etmesidir. Yani, karşılaştırma veya aramanın benzerliği gerekli benzerlik eşiğinin üzerindedir.

Yanlış negatif (FN), çözümün aynı kişinin iki veya daha fazla görüntüsünü farklı olarak kabul etmesidir. Yani, karşılaştırma veya aramanın benzerliği gerekli benzerlik eşiğinin altındadır.

FNMR'nin formülü şöyledir:

FNMR = Yanlış Negatif Sayı / (Gerçek Pozitif Sayı + Yanlış Negatif Sayı)

Örneğin, 10,000 orijinal kimlik doğrulama girişimimiz olduğunu ancak 100 tanesinin, referans görüntüye veya koleksiyona benzerlikleri belirtilen benzerlik eşiğinin altına düştüğü için reddedildiğini varsayalım. Burada 9,900 gerçek pozitif ve 100 yanlış negatifimiz var, dolayısıyla FNMR'miz %1.0

FNMR = 100 / (9900 + 100) veya %1.0

Yanlış eşleşme oranı

Bir kimlik doğrulama sistemi, yetkisiz bir kullanıcıyı yanlış bir şekilde gerçek olarak tanımladığında veya yetkilendirdiğinde, yanlış pozitif olarak da bilinen yanlış bir eşleşme meydana gelir. Yanlış eşleşme oranı (FMR), sistemin yetkisiz bir kullanıcıyı yanlış bir şekilde tanımlamaya veya yetkilendirmeye ne kadar yatkın olduğunun bir ölçüsüdür. Yanlış pozitif tanıma veya kimlik doğrulama sayısının, toplam tanımlama girişimi sayısına bölünmesiyle ölçülür.

Çözüm, farklı kişilerin iki veya daha fazla görüntüsünü aynı kişi olarak kabul ettiğinde yanlış bir pozitif ortaya çıkar. Yani, karşılaştırma veya aramanın benzerlik puanı gerekli benzerlik eşiğinin üzerindedir. Temel olarak sistem, tanımlama veya kimlik doğrulama girişimini reddetmesi gereken bir kullanıcıyı yanlış bir şekilde tanımlar veya yetkilendirir.

FMR'nin formülü:

FMR = Hatalı Pozitif Sayısı / (Toplam Deneme Sayısı)

Örneğin, 100,000 kimlik doğrulama girişimimiz olduğunu, ancak 100 sahte kullanıcının, referans görüntüye veya koleksiyona benzerlikleri belirtilen benzerlik eşiğinin üzerine düştüğü için yanlış bir şekilde yetkilendirildiğini varsayalım. Burada 100 yanlış pozitifimiz var, bu nedenle FMR'miz %0.01

FMR = 100 / (100,000) veya %0.01

Yanlış eşleşme oranı ve yanlış eşleşmeme oranı

Yanlış eşleşme oranı ve yanlış eşleşmeme oranı birbiriyle çelişiyor. Benzerlik eşiği arttıkça, yanlış eşleşme olasılığı azalırken yanlış eşleşme olasılığı artar. Bu değiş tokuşu düşünmenin başka bir yolu, benzerlik eşiği arttıkça çözümün daha kısıtlayıcı hale gelmesi ve daha az düşük benzerlik eşleşmesi yapmasıdır. Örneğin, kamu güvenliği ve güvenliğini içeren kullanım durumlarında oldukça yüksek (99 ve üstü) bir eşleşme benzerliği eşiği ayarlamak yaygın bir durumdur. Alternatif olarak, bir kuruluş, sürtüşmenin kullanıcı üzerindeki etkisinin daha önemli olduğu daha az kısıtlayıcı bir benzerlik eşiği (90 ve üstü) seçebilir. Aşağıdaki diyagram bu değiş tokuşları göstermektedir. Kuruluşlar için zorluk, kuruluş ve uygulama gereksinimlerinize dayalı olarak hem FMR'yi hem de FNMR'yi en aza indiren bir eşik bulmaktır.

Benzerlik eşiğinin seçilmesi, iş uygulamasına bağlıdır. Örneğin, ilk katılım sırasında müşteri sürtüşmesini sınırlamak istediğinizi varsayalım (soldaki aşağıdaki şekilde gösterildiği gibi daha az kısıtlayıcı bir benzerlik eşiği). Burada daha düşük bir gerekli benzerlik eşiğine sahip olabilirsiniz ve özçekimleri ile sürücü ehliyeti arasındaki eşleşmeye olan güvenin daha düşük olduğu yerlerde kullanıcıları işe alma riskini kabul etmeye istekli olabilirsiniz. Buna karşılık, yalnızca yetkili kullanıcıların bir uygulamaya girmesini sağlamak istediğinizi varsayalım. Burada oldukça kısıtlayıcı bir benzerlik eşiğinde işlem yapabilirsiniz (sağdaki şekilde gösterildiği gibi).

Yanlış eşleşme ve eşleşmeme oranlarını hesaplama adımları

Bu iki ölçümü hesaplamanın birkaç yolu vardır. Aşağıda, adımları gerçek görüntü çiftlerini toplamaya, sahte bir eşleştirme (eşleşmemesi gereken görüntüler) oluşturmaya ve son olarak beklenen eşleşen ve eşleşmeyen görüntü çiftleri üzerinde döngü yapmak için bir araştırma kullanmaya, yakalamaya ayırmaya yönelik nispeten basit bir yaklaşım yer almaktadır. sonuç benzerlik. Adımlar aşağıdaki gibidir:

1. Orijinal bir örnek görüntü seti toplayın. Bir dizi görüntü çiftiyle başlamanızı ve resmi bir eşleşme belirlemesi yapmak için kullanılan harici bir tanımlayıcı atamanızı öneririz. Çift aşağıdaki görüntülerden oluşur:
   1. Kaynak görsel – Güvenilir kaynak görseliniz, örneğin sürücü belgesi.
   2. Hedef görüntü – Karşılaştıracağınız özçekiminiz veya görüntünüz.
2. Sahte kibritlerden oluşan bir resim seti toplayın. Bunlar, kaynak ve hedefin eşleşmediği görüntü çiftleridir. Bu, FMR'yi (sistemin iki farklı kullanıcının yüzlerini yanlış bir şekilde eşleştirme olasılığı) değerlendirmek için kullanılır. Görüntülerin Kartezyen bir çarpımını oluşturarak ve ardından sonucu filtreleyip örnekleyerek görüntü çiftlerini kullanarak sahte bir görüntü seti oluşturabilirsiniz.
3. Görüntü çiftleri üzerinde döngü oluşturarak, kaynak ve sahte hedefi karşılaştırarak ve ortaya çıkan benzerliği yakalayarak gerçek ve sahte eşleşme setlerini araştırın.
4. Farklı minimum benzerlik eşiklerinde yanlış pozitifleri ve yanlış negatifleri hesaplayarak FMR ve FNMR'yi hesaplayın.

FMR ve FNMR'nin maliyetini, uygulamanızın ihtiyacına göre farklı benzerlik eşiklerinde değerlendirebilirsiniz.

1. Adım: Orijinal görüntü çifti örnekleri toplayın

Değerlendirilecek görüntü çiftlerinin temsili bir örneğini seçmek, bir kimlik doğrulama hizmetini değerlendirirken çok önemlidir. İlk adım, gerçek bir görüntü çifti seti belirlemektir. Bunlar, bir kullanıcının bilinen kaynak ve hedef görüntüleridir. Gerçek görüntü eşleştirme, esasen sistemin aynı kişinin iki yüzünü eşleştirmeme olasılığı olan FNMR'yi değerlendirmek için kullanılır. Sıklıkla sorulan ilk sorulardan biri “Kaç görüntü çifti gereklidir?” Yanıt, kullanım durumunuza bağlı olduğudur, ancak genel kılavuz aşağıdaki gibidir:

• 100–1,000 arası görüntü çifti, bir fizibilite ölçüsü sağlar
• 10,000'e kadar görüntü çifti, görüntüler arasındaki değişkenliği ölçmek için yeterince büyüktür
• 10,000'den fazla görüntü çifti, operasyonel kalite ve genelleştirilebilirlik için bir ölçü sağlar

Daha fazla veri her zaman daha iyidir; ancak başlangıç ​​noktası olarak en az 1,000 görüntü çifti kullanın. Bununla birlikte, belirli bir iş sorunu için kabul edilebilir bir FNMR veya FMR'de sıfırlamak için 10,000'den fazla görüntü çifti kullanmak alışılmadık bir durum değildir.

Aşağıda örnek bir görüntü çifti eşleme dosyası bulunmaktadır. Değerlendirme sürecinin geri kalanını yürütmek için görüntü çifti eşleme dosyasını kullanıyoruz.

2. Adım: Sahte bir görüntü çifti oluşturun set

Artık gerçek görüntü çiftlerinden oluşan bir dosyanız olduğuna göre, harici tanımlayıcıların eşleşmediği bir Kartezyen hedef ve kaynak görüntü ürünü oluşturabilirsiniz. Bu, eşleşmemesi gereken kaynak-hedef çiftleri üretir. Bu eşleştirme, esasen sistemin bir kullanıcının yüzünü farklı bir kullanıcının yüzüyle eşleştirme olasılığı olan FMR'yi değerlendirmek için kullanılır.

3. Adım: Orijinal ve sahte görüntü çifti setlerini inceleyin

Bir sürücü programı kullanarak, Amazon Rekognisyon Yüzleri Karşılaştır API'si görüntü çiftleri üzerinde ve benzerliği yakalayın. Poz, kalite ve karşılaştırmanın diğer sonuçları gibi ek bilgileri de yakalayabilirsiniz. Benzerlik puanları, bir sonraki adımda yanlış eşleşme ve eşleşmeme oranlarını hesaplamak için kullanılır.

Aşağıdaki kod parçacığında, CompareFaces API'sini tüm görüntü çiftlerine uyguluyoruz ve tüm benzerlik puanlarını bir tabloya yerleştiriyoruz:

obj = s3.get_object(Bucket= bucket_name , Key = csv_file)

df = pd.read_csv(io.BytesIO(obj['Body'].read()), encoding='utf8')
def compare_faces(source_file, target_file, threshold = 0):
    response=rekognition.compare_faces(SimilarityThreshold=threshold,
                                        SourceImage={'S3Object': {
                                                    'Bucket': bucket_name,
                                                    'Name':source_file}},
                                        TargetImage={'S3Object': {
                                                    'Bucket': bucket_name,
                                                    'Name':target_file}})
df_similarity = df.copy()
df_similarity["SIMILARITY"] = None
for index, row in df.iterrows():
    source_file = dataset_folder + row["SOURCE"]
    target_file = dataset_folder + row["TARGET"]
    response_score = compare_faces(source_file, target_file)
    df_similarity._set_value(index,"SIMILARITY", response_score)
    df_similarity.head()

Kod parçacığı aşağıdaki çıktıyı verir.

Testlere göre benzerlik puanlarının dağılım analizi, görüntü çiftlerine göre benzerlik puanını anlamak için bir başlangıç ​​noktasıdır. Aşağıdaki kod parçacığı ve çıktı tablosu, benzerlik puanının test kümesine göre dağılımının basit bir örneğini ve sonuçta ortaya çıkan tanımlayıcı istatistikleri gösterir:

sns.boxplot(data=df_similarity,
            x=df_similarity["SIMILARITY"],
            y=df_similarity["TEST"]).set(xlabel='Similarity Score',
            ylabel=None,
            title = "Similarity Score Distribution")
plt.show()

df_descriptive_stats = pd.DataFrame(columns=['test','count', 'min' , 'max', 'mean', 'median', 'std'])

tests = ["Genuine", "Imposter"]

for test in tests:
    count = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].count()
    mean = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].mean()
    max_ = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].max()
    min_ = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].min()
    median = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].median()
    std = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].std()

    new_row = {'test': test,
                'count': count,
                'min': min_,
                'max': max_,
                'mean': mean,
                'median':median,
                'std': std}
    df_descriptive_stats = df_descriptive_stats.append(new_row,
    ignore_index=True)

df_descriptive_stats

Bu örnekte, gerçek yüz çiftleri için ortalama ve medyan benzerliğin sırasıyla 91.7 ve 99.1 olduğunu, sahtekar çiftler için ise 2.8 ve 0.8 olduğunu görebiliriz. Beklendiği gibi, bu gerçek görüntü çiftleri için yüksek benzerlik puanlarını ve sahte görüntü çiftleri için düşük benzerlik puanlarını göstermektedir.

Adım 4: FMR ve FNMR'yi farklı benzerlik eşiği seviyelerinde hesaplayın

Bu adımda, farklı benzerlik eşiklerinde yanlış eşleşme ve eşleşmeme oranlarını hesaplıyoruz. Bunu yapmak için, basitçe benzerlik eşikleri (örneğin, 90-100) arasında geçiş yaparız. Seçilen her benzerlik eşiğinde, seçilen her benzerlikte FMR ve FNMR'yi hesaplamak için kullanılan gerçek pozitif, gerçek negatif, yanlış pozitif ve yanlış negatif sayıları içeren karışıklık matrisimizi hesaplıyoruz.

Bunu yapmak için, yanlış pozitif ve negatif sayıları döndüren ve bir dizi benzerlik puanı (90-100) arasında döngü oluşturan bir işlev yaratıyoruz:

similarity_thresholds = [80,85,90,95,96,97,98,99]

# create output df
df_cols = ['Similarity Threshold', 'TN' , 'FN', 'TP', 'FP', 'FNMR (%)', 'FMR (%)']
comparison_df = pd.DataFrame(columns=df_cols)

# create columns for y_actual and y_pred
df_analysis = df_similarity.copy()
df_analysis["y_actual"] = None
df_analysis["y_pred"] = None

for threshold in similarity_thresholds:
    # Create y_pred and y_actual columns, 1 == match, 0 == no match
    for index, row in df_similarity.iterrows():
        # set y_pred
        if row["SIMILARITY"] >= threshold:
            df_analysis._set_value(index,"y_pred", 1)
        else:
            df_analysis._set_value(index,"y_pred", 0)

        # set y_actual
        if row["TEST"] == "Genuine":
            df_analysis._set_value(index,"y_actual", 1)
        else:
            df_analysis._set_value(index,"y_actual", 0)

    tn, fp, fn, tp = confusion_matrix(df_analysis['y_actual'].tolist(),
                                      df_analysis['y_pred'].tolist()).ravel()
    FNMR = fn / (tp + fn)
    FMR = fp / (tn+fp+fn+tp)

    new_row = {'Similarity Threshold': threshold,
                'TN': tn,
                'FN': fn,
                'TP': tp,
                'FP': fp,
                'FNMR (%)':FNMR,
                'FMR (%)': FMR}
    comparison_df = comparison_df.append(new_row,ignore_index=True)

comparison_df

Aşağıdaki tablo, her bir benzerlik eşiğindeki sayımların sonuçlarını göstermektedir.

Benzerlik eşiği yanlış eşleşmeme oranını nasıl etkiler?

Elimizde 1,000 gerçek kullanıcı ekleme denemesi olduğunu ve bu denemelerden 10 tanesini eşleşme olarak kabul edilmesi için gereken minimum %95 benzerliğe dayanarak reddettiğimizi varsayalım. Burada, benzerlikleri belirtilen minimum gerekli benzerlik eşiğinin altına düştüğü için 10 gerçek ilk katılım girişimini (yanlış negatifler) reddediyoruz. Bu durumda, FNMR'miz %1.0'dır.

FNMR = Yanlış Negatif Sayı / (Gerçek Pozitif Sayı + Yanlış Negatif Sayı)

FNMR = 10 / (990 + 10) veya %1.0

Buna karşılık, kabul edilecek 1,000 gerçek kullanıcı yerine, 990 gerçek kullanıcımız ve 10 sahtekar kullanıcımız olduğunu varsayalım (yanlış pozitif). Minimum %95 benzerlikte, 1,000 kullanıcının tamamını gerçek olarak kabul ettiğimizi varsayalım. Burada %1 FMR elde ederiz.

FMR = Hatalı Pozitif Sayısı / (Toplam Deneme Sayısı)

FMR = 10 / (1,000) veya %1.0

Katılım sırasında FMR ve FNMR maliyetlerinin değerlendirilmesi

Yerleştirme kullanım durumunda, yanlış eşleşmeme (reddedilme) maliyeti genellikle ek kullanıcı sürtüşmesi veya kayıt kaybıyla ilişkilendirilir. Örneğin, bankacılık kullanım durumumuzda, Julie'nin kendisine ait iki resim sunduğunu, ancak iki resim arasındaki benzerlik seçilen benzerliğin altına düştüğü için (yanlış bir eşleşmeme) yanlış bir şekilde ilk katılım sırasında reddedildiğini varsayalım. Finans kurumu Julie'yi potansiyel bir müşteri olarak kaybetme riskiyle karşı karşıya kalabilir veya Julie'nin kimliğini kanıtlamak için gerekli adımları atmasını gerektirerek daha fazla sürtüşmeye neden olabilir.

Tersine, Julie'nin iki görüntüsünün farklı insanlara ait olduğunu ve Julie'nin katılımının reddedilmiş olması gerektiğini varsayalım. Julie'nin yanlış kabul edilmesi durumunda (yanlış bir eşleşme), finans kuruluşuna maliyeti ve riski oldukça farklıdır. Düzenleyici sorunlar, dolandırıcılık riski ve finansal işlemlerle ilgili diğer riskler olabilir.

sorumlu kullanım

Makine öğrenimi (ML) yoluyla uygulanan yapay zeka (AI), insanlığın en zorlu sorunlarından bazılarını çözerek, insan performansını artırarak ve üretkenliği en üst düzeye çıkararak neslimizin en dönüştürücü teknolojilerinden biri olacak. Bu teknolojilerin sorumlu kullanımı, sürekli inovasyonu teşvik etmenin anahtarıdır. AWS, adil ve doğru AI ve ML hizmetleri geliştirmeye ve size AI ve ML uygulamalarını sorumlu bir şekilde oluşturmak için gereken araçları ve rehberliği sağlamaya kararlıdır.

Siz yapay zeka ve makine öğrenimini benimserken ve kullanımınızı artırdıkça AWS, yapay zeka ve makine öğreniminin sorumlu bir şekilde geliştirilmesi ve kullanılması konusunda size yardımcı olmak için deneyimimize dayalı çeşitli kaynaklar sunar:

Kaçınılması gereken en iyi uygulamalar ve yaygın hatalar

Bu bölümde, aşağıdaki en iyi uygulamaları ele alıyoruz:

• Yeterince büyük bir resim örneği kullanın
• Açık kaynaklı ve sentetik yüz veri kümelerinden kaçının
• Manuel ve sentetik görüntü manipülasyonundan kaçının
• Değerlendirme sırasında ve zamanla görüntü kalitesini kontrol edin
• FMR ve FNMR'yi zaman içinde izleyin
• Döngü incelemesinde bir insan kullanın
• Amazon Rekognition ile güncel kalın

Yeterince büyük bir resim örneği kullanın

Yeterince büyük ama makul bir resim örneği kullanın. Makul bir örneklem büyüklüğü nedir? İşletme sorununa bağlıdır. Bir işverenseniz ve kimliğini doğrulamak istediğiniz 10,000 çalışanınız varsa, 10,000 resmin tamamını kullanmak muhtemelen makul olacaktır. Ancak, dahil etmek istediğiniz milyonlarca müşterisi olan bir kuruluş olduğunuzu varsayalım. Bu durumda, 5,000–20,000 gibi temsili bir müşteri örneklemi almak muhtemelen yeterlidir. Örnek boyutuyla ilgili bazı yönergeler aşağıda verilmiştir:

• 100 örnek boyutu – 1,000 görüntü çifti uygulanabilirliği kanıtlıyor
• 1,000 örnek boyutu – 10,000 görüntü çifti, görüntüler arasındaki değişkenliği ölçmek için kullanışlıdır
• 10,000 örnek boyutu – 1 milyon görüntü çifti, operasyonel kalite ve genellenebilirlik için bir ölçü sağlar

Görüntü çiftlerini örneklemenin anahtarı, örneğin uygulamanızdaki yüz popülasyonunda yeterli değişkenliği sağlamasıdır. Cilt tonu, cinsiyet ve yaş gibi demografik bilgileri dahil etmek için örnekleme ve testlerinizi daha da genişletebilirsiniz.

Açık kaynaklı ve sentetik yüz veri kümelerinden kaçının

Araştırmada ve fizibiliteyi incelemek için sıklıkla kullanılan, küratörlüğünde açık kaynaklı düzinelerce yüz görüntüsü veri setinin yanı sıra şaşırtıcı derecede gerçekçi sentetik yüz setleri vardır. Zorluk, bu veri kümelerinin genellikle gerçek dünyadaki kullanım durumlarının %99'u için yararlı olmamasıdır, çünkü bunlar uygulamanızın vahşi doğada karşılaşması muhtemel kameraları, yüzleri ve görüntülerin kalitesini temsil etmez. Uygulama geliştirme için yararlı olmalarına rağmen, bu görüntü kümelerinin doğruluk ölçüleri, kendi uygulamanızda karşılaşacaklarınıza genelleme yapmaz. Bunun yerine, örnek görüntü çiftleri küçük olsa bile (1,000'in altında) çözümünüzden gerçek görüntülerin temsili bir örneğiyle başlamanızı öneririz.

Manuel ve sentetik görüntü manipülasyonundan kaçının

İnsanların anlamakla ilgilendikleri uç vakalar sıklıkla vardır. Görüntü yakalama kalitesi veya belirli yüz özelliklerinin karartılması gibi şeyler her zaman ilgi çekicidir. Örneğin, sık sık yaş ve görüntü kalitesinin yüz tanıma üzerindeki etkisi sorulur. Bir yüzü yapay olarak yaşlandırabilir veya öznenin daha yaşlı görünmesini sağlamak için görüntüyü manipüle edebilirsiniz veya görüntü kalitesini değiştirebilirsiniz, ancak bu, görüntülerin gerçek dünyadaki yaşlanmasına pek iyi dönüşmez. Bunun yerine, test etmekle ilgilendiğiniz gerçek dünyadaki uç durumların temsili bir örneğini toplamanızı öneririz.

Değerlendirme sırasında ve zamanla görüntü kalitesini kontrol edin

Kamera ve uygulama teknolojisi zaman içinde oldukça hızlı değişiyor. En iyi uygulama olarak, zaman içinde görüntü kalitesini izlemenizi öneririz. Yakalanan yüzlerin boyutundan (sınırlayıcı kutular kullanılarak), bir görüntünün parlaklığına ve keskinliğine, bir yüzün duruşuna ve olası karartmalara (şapkalar, güneş gözlükleri, sakallar vb.) yüz özellikleri zamanla değişir.

Zaman içinde FNMR ve FMR'yi izleyin

İster resimler, ister uygulama, ister uygulamada kullanılan benzerlik eşikleri olsun, değişiklikler meydana gelir. Zaman içinde yanlış eşleşme ve eşleşmeme oranlarını periyodik olarak izlemek önemlidir. Oranlardaki değişiklikler (hatta küçük değişiklikler bile) genellikle uygulamayla veya uygulamanın nasıl kullanıldığıyla ilgili yukarı yönlü zorluklara işaret edebilir. Kabul etme veya reddetme kararları vermek için kullanılan benzerlik eşikleri ve iş kurallarında yapılan değişikliklerin, ilk katılım ve kimlik doğrulama kullanıcı deneyimleri üzerinde büyük etkisi olabilir.

Döngü incelemesinde bir insan kullanın

Kimlik doğrulama sistemleri, benzerlik eşiklerine ve iş kurallarına dayalı olarak eşleştirme ve eşleştirmeme konusunda otomatik kararlar verir. Düzenleyici ve dahili uyumluluk gerekliliklerinin yanı sıra, herhangi bir otomatik karar sistemindeki önemli bir süreç, karar sürecinin sürekli izlenmesinin bir parçası olarak insan gözden geçirenlerden yararlanmaktır. Bu otomatik karar verme sistemlerinin insan gözetimi, doğrulama ve sürekli iyileştirmenin yanı sıra otomatik karar verme sürecinde şeffaflık sağlar.

Amazon Rekognition ile güncel kalın

Amazon Tanıma yüzleri modeli periyodik olarak (genellikle yılda bir) güncellenir ve şu anda 6. sürümdedir. Bu güncellenmiş sürüm, doğruluk ve dizine ekleme konusunda önemli iyileştirmeler sağlamıştır. Yeni model sürümlerinden haberdar olmak ve bu yeni sürümleri kimlik doğrulama uygulamanızda nasıl kullanacağınızı anlamak önemlidir. Amazon Rekognition yüz modelinin yeni sürümleri piyasaya sürüldüğünde, kimlik doğrulama değerlendirme sürecinizi yeniden çalıştırmak ve yanlış eşleştirme ve eşleşmeme oranlarınız üzerindeki olası etkileri (olumlu ve olumsuz) belirlemek iyi bir uygulamadır.

Sonuç

Bu gönderide, kimlik doğrulama çözümünüzün performans yönünü çeşitli doğruluk ölçütleri açısından değerlendirmek için gereken temel unsurlar ele alınmaktadır. Ancak doğruluk, belirli bir içerik denetleme hizmetini seçerken değerlendirmeniz gereken birçok boyuttan yalnızca biridir. Hizmetin toplam özellik seti, kullanım kolaylığı, mevcut entegrasyonlar, gizlilik ve güvenlik, özelleştirme seçenekleri, ölçeklenebilirlik etkileri, müşteri hizmetleri ve fiyatlandırma gibi diğer parametreleri dahil etmeniz çok önemlidir.

Amazon Rekognition'da kimlik doğrulama hakkında daha fazla bilgi edinmek için şu adresi ziyaret edin: Amazon Rekognition kullanarak Kimlik Doğrulama.

Yazarlar Hakkında

Mike Ames kuruluşları dolandırıcılıktan, israftan ve kötüye kullanımdan korumak için makine öğrenimi ve yapay zeka çözümleri geliştirme konusunda kapsamlı deneyime sahip, kimlik doğrulama çözümü uzmanına dönüşmüş bir veri bilimcisidir. Boş zamanlarında onu yürüyüş yaparken, dağ bisikleti sürerken veya köpeği Max ile freebee oynarken bulabilirsiniz.

Amit Gupta AWS'de Kıdemli Yapay Zeka Hizmetleri Çözümleri Mimarıdır. Müşterilere geniş ölçekte iyi tasarlanmış makine öğrenimi çözümleri sağlama konusunda tutkulu.

Züheyr Ragıp AWS'de AI Hizmetleri Çözümleri Mimarıdır. Uygulamalı AI/ML'de uzmanlaşarak, müşterilerin bulutu kullanarak daha hızlı yenilik yapmalarını ve işletmelerini dönüştürmelerini sağlama konusunda tutkulu.

Marcel Pividal Dünya Çapında Uzman Kuruluşta Kıdemli Yapay Zeka Hizmetleri Çözümleri Mimarıdır. Marcel'in fintech'ler, ödeme sağlayıcıları, ilaç ve devlet kurumları için iş sorunlarını teknoloji aracılığıyla çözme konusunda 20 yıldan fazla deneyimi vardır. Şu anki odak alanları risk yönetimi, dolandırıcılığı önleme ve kimlik doğrulamadır.