Mõõdikud identiteedi kinnitamise lahenduse hindamiseks

Ülemaailmselt on toimunud kiire nihe hõõrdumiseta digitaalse kasutajakogemuse poole. Olenemata sellest, kas see on veebisaidil registreerumine, veebitehingute tegemine või lihtsalt teie pangakontole sisselogimine, püüavad organisatsioonid aktiivselt vähendada klientide kogemusi, suurendades samal ajal turvalisust, vastavust ja pettuste ennetamise meetmeid. Üleminek hõõrdumatute kasutuskogemuste poole on toonud kaasa näopõhise biomeetrilise identiteedi kinnitamise lahendused, mille eesmärk on vastata küsimusele „Kuidas kontrollida inimest digitaalses maailmas?”

Identifitseerimise ja autentimise küsimustes on näo biomeetriatel kaks peamist eelist. Esiteks on see kasutajatele mugav tehnoloogia: pole vaja parooli meeles pidada, mitmefaktoriliste väljakutsetega tegeleda, kinnituslinke klõpsata ega CAPTCHA mõistatusi lahendada. Teiseks saavutatakse kõrge turvalisuse tase: näo-biomeetria alusel tuvastamine ja autentimine on turvaline ning pettuste ja rünnakute suhtes vähem vastuvõtlik.

Selles postituses käsitleme identiteedi kinnitamise kahte peamist kasutusjuhtu: liitumine ja autentimine. Seejärel uurime kahte peamist mõõdikut, mida kasutatakse biomeetrilise süsteemi täpsuse hindamiseks: vale sobivuse määr (tuntud ka kui vale vastuvõtmise määr) ja vale mittevastavuse määr (tuntud ka kui vale tagasilükkamise määr). Organisatsioonid kasutavad neid kahte meedet laialdaselt biomeetriliste süsteemide täpsuse ja veamäära hindamiseks. Lõpuks arutame identiteedi kinnitamise teenuse hindamise raamistikku ja parimaid tavasid.

Vaadake kaasasolevat Jupyteri märkmik mis läbib kõik selles postituses mainitud sammud.

Kasutusjuhtumid: kaasamine ja autentimine

Biomeetriliste lahenduste puhul on kaks peamist kasutusjuhtumit: kasutaja kaasamine (mida sageli nimetatakse kontrollimiseks) ja autentimine (sageli viidatud kui identifitseerimine). Sissepääs hõlmab nägude üks-ühele sobitamist kahe pildi vahel, näiteks selfie võrdlemist usaldusväärse isikut tõendava dokumendiga, nagu juhiluba või pass. Autentimine seevastu hõlmab näo üks-mitmele otsimist talletatud nägude kogumi põhjal, näiteks otsitakse töötajate nägude kogust, et näha, kas töötajal on lubatud juurdepääs hoone konkreetsele korrusele.

Sisselülitamise ja autentimise kasutusjuhtude täpsust mõõdetakse biomeetrilise lahenduse võimalike valepositiivsete ja valenegatiivsete vigade järgi. Sobivuse või mittevastavuse otsustamiseks kasutatakse sarnasusskoori (vahemikus 0%, mis tähendab, et ei sobi, kuni 100% tähendab täiuslikku sobivust). Valepositiivne tulemus ilmneb siis, kui lahendus käsitleb kahe erineva isiku kujutisi sama isikuna. Valenegatiiv tähendab seevastu seda, et lahendus pidas sama inimese kaht pilti erinevaks.

Sisseastumine: üks-ühele kinnitamine

Biomeetriapõhised liitumisprotsessid lihtsustavad ja turvavad protsessi. Kõige tähtsam on see, et see loob organisatsiooni ja kliendi peaaegu hõõrdumatuks sisseelamiskogemuseks. Selleks peavad kasutajad lihtsalt esitama pildi mõnest usaldusväärsest isikut tõendavast dokumendist, mis sisaldab kasutaja nägu (nt juhiluba või pass), ning tegema liitumisprotsessi ajal selfie. Kui süsteemil on need kaks pilti, võrdleb see lihtsalt kahe pildi nägusid. Kui sarnasus on suurem kui määratud lävi, on teil vaste; vastasel juhul on teil mittevastavus. Järgmine diagramm kirjeldab protsessi.

Vaatleme näidet Juliest, uuest kasutajast, kes avab digitaalse pangakonto. Lahendus palub tal teha oma juhiloast pilt (samm 2) ja teha selfie (samm 3). Pärast seda, kui süsteem on kontrollinud piltide kvaliteeti (samm 4), võrdleb see selfie nägu juhiloal oleva näoga (üks-ühele sobivus) ja koostatakse sarnasusskoor (5. samm). Kui sarnasuse skoor on nõutavast sarnasuslävest väiksem, lükatakse Julie sisenemiskatse tagasi. See on see, mida me nimetame valeks mittevastavuseks või valeks tagasilükkamiseks: lahendus käsitles kahte sama inimese kujutist erinevaks. Teisest küljest, kui sarnasuse skoor oli nõutavast sarnasusest suurem, käsitletakse lahenduses kahte pilti sama isiku või vastena.

Autentimine: üks-mitmele tuvastamine

Alates hoonesse sisenemisest kuni kioskisse sisseregistreerimiseni kuni kasutajalt selfie küsimiseni oma identiteedi kinnitamiseks – seda tüüpi nullist kuni vähese hõõrdumisega autentimine näotuvastuse kaudu on muutunud paljudes organisatsioonides tavapäraseks. Piltidevahelise sobitamise asemel võtab see autentimise kasutusjuhtum ühe pildi ja võrdleb seda võimaliku vaste leidmiseks otsitava piltide koguga. Tavalise autentimise kasutusjuhtumi korral palutakse kasutajal teha selfie, mida võrreldakse kogusse salvestatud nägudega. Otsingu tulemus annab nulli, ühe või mitu potentsiaalset vastet vastavate sarnasusskooride ja väliste identifikaatoritega. Kui vastet ei tagastata, pole kasutajat autentitud; eeldades aga, et otsing annab ühe või mitu vastet, teeb süsteem autentimisotsuse sarnasusskooride ja väliste identifikaatorite põhjal. Kui sarnasuse skoor ületab nõutava sarnasusläve ja väline identifikaator ühtib eeldatava identifikaatoriga, siis kasutaja autentitakse (sobitatakse). Järgmine diagramm kirjeldab näopõhise biomeetrilise autentimise protsessi näidet.

Vaatleme näiteks Jose, kontsertide ökonoomse kohaletoimetamise autojuhti. Kohaletoimetamise teenus autentib kohaletoimetamise autojuhid, paludes juhil enne kohaletoimetamise alustamist ettevõtte mobiilirakenduse abil selfie teha. Üheks probleemiks, millega kontsertide majandusteenuste pakkujad silmitsi seisavad, on töökohtade jagamine; sisuliselt jagavad kaks või enam kasutajat süsteemi mängimiseks sama kontot. Selle vastu võitlemiseks kasutavad paljud kohaletoimetamisteenused autos asuvat kaamerat, et teha kohaletoimetamise ajal juhuslikel aegadel pilte (samm 2) juhist (tagamaks, et kohaletoimetaja on volitatud juht). Sel juhul ei tee Jose mitte ainult sünnituse alguses selfiet, vaid ka autosisene kaamera jäädvustab temast sünnituse ajal pilte. Süsteem teostab kvaliteedikontrolli (samm 3) ja otsib (samm 4) registreeritud juhtide kogust, et kontrollida juhi identiteeti. Kui tuvastatakse mõni muu draiver, saab giga-majanduse kohaletoimetamise teenus seda edasi uurida.

Vale vaste (valepositiivne) ilmneb siis, kui lahendus käsitles kahte või enamat erinevate inimeste kujutist sama isikuna. Oletame meie kasutusjuhtumi puhul, et volitatud juhi asemel laseb Jose oma vennal Miguelil ühe oma saadetistest enda eest võtta. Kui lahendus sobitab Migueli selfie valesti Jose piltidega, tekib vale vaste (valepositiivne).

Valevastete vastu võitlemiseks soovitame, et kogud sisaldaksid iga teema kohta mitut pilti. Tavapärane on indekseerida usaldusväärseid isikut tõendavaid dokumente, mis sisaldavad nägu, sissesõidu ajal tehtud selfisid ja viimaste identifitseerimiskontrollide selfisid. Mitme subjekti pildi indekseerimine annab võimaluse koondada tagastatud nägude sarnasusskoorid, parandades seeläbi tuvastamise täpsust. Lisaks kasutatakse väliseid identifikaatoreid, et piirata vale aktsepteerimise ohtu. Ärireegli näide võib välja näha umbes selline:

KUI sarnasuse koondskoor >= nõutav sarnasuse lävi JA väline identifikaator == eeldatav identifikaator SIIS autentige

Peamised biomeetrilise täpsuse meetmed

Biomeetrilises süsteemis oleme huvitatud valede vastete määrast (FMR) ja vale mittevastavuse määrast (FNMR), mis põhinevad nägude võrdluste ja otsingute sarnasusskooridel. Olenemata sellest, kas tegemist on sisse- või autentimisjuhtumiga, otsustavad biomeetrilised süsteemid kahe või enama pildi sarnasusskoori alusel kasutaja näo vasteid aktsepteerida või tagasi lükata. Nagu iga otsustussüsteem, esineb ka tõrkeid, mille puhul süsteem nõustub või lükkab tagasi sisenemis- või autentimiskatse. Oma identiteedi kinnitamise lahenduse hindamise osana peate hindama süsteemi erinevate sarnasuslävedega, et minimeerida valede ja valede mittevastavuste määrasid, ning võrrelda neid vigu ebaõigete tagasilükkamiste ja aktsepteerimiste kuludega. Kasutame näo biomeetriliste süsteemide hindamiseks kahe peamise mõõdikuna FMR-i ja FNMR-i.

Vale mittevastavusmäär

Kui identiteedi kinnitamise süsteem ei suuda õiget kasutajat õigesti tuvastada või autoriseerida, ilmneb vale mittevastavus, mida nimetatakse ka valenegatiivseks. Vale mittevastavusmäär (FNMR) näitab, kui altid süsteem on tõelise kasutaja valesti tuvastamiseks või autoriseerimiseks.

FNMR-i väljendatakse protsendina juhtudest, kus tehakse sisselogimis- või autentimiskatse, kus kasutaja nägu lükatakse valesti tagasi (valenegatiivne), kuna sarnasuse skoor on alla ettenähtud läve.

Tõeline positiivne (TP) on see, kui lahendus peab sama isiku kahte või enamat pilti samaks. See tähendab, et võrdluse või otsingu sarnasus ületab nõutava sarnasusläve.

Valenegatiivne (FN) on siis, kui lahendus peab sama isiku kahte või enamat pilti erinevaks. See tähendab, et võrdluse või otsingu sarnasus on alla nõutava sarnasuse läve.

FNMR-i valem on:

FNMR = valenegatiivne arv / (tõeline positiivne arv + valenegatiivne arv)

Oletagem näiteks, et meil on 10,000 100 ehtsat autentimiskatset, kuid 9,900 keeldutakse, kuna nende sarnasus võrdluspildi või kollektsiooniga jääb allapoole määratud sarnasusläve. Siin on meil 100 tõelist positiivset ja 1.0 valenegatiivset, seega on meie FNMR XNUMX%.

FNMR = 100 / (9900 + 100) või 1.0%

Vale vaste määr

Kui identiteedi kinnitamise süsteem tuvastab volitamata kasutaja valesti või volitab selle ehtsaks, tekib vale vaste, mida nimetatakse ka valepositiivseks. Vale vaste määr (FMR) näitab, kui altid süsteem on volitamata kasutajat valesti tuvastama või autoriseerima. Seda mõõdetakse valepositiivsete tuvastamiste või autentimiste arvu jagamisel tuvastamiskatsete koguarvuga.

Valepositiivne tulemus ilmneb siis, kui lahendus käsitleb kahte või enamat pilti erinevatest inimestest sama isikuna. See tähendab, et võrdluse või otsingu sarnasusskoor ületab nõutava sarnasusläve. Põhimõtteliselt identifitseerib või volitab süsteem kasutaja valesti, kui ta oleks pidanud tema tuvastamise või autentimiskatse tagasi lükkama.

FMR-i valem on:

FMR = valepositiivne arv / (katseid kokku)

Oletagem näiteks, et meil on 100,000 100 autentimiskatset, kuid 100 võltskasutajat on valesti volitatud, kuna nende sarnasus võrdluspildi või kollektsiooniga ületab määratud sarnasusläve. Siin on meil 0.01 valepositiivset tulemust, seega on meie FMR XNUMX%

FMR = 100 / (100,000 0.01) või XNUMX%

Vale vaste määr vs vale mittevastavusmäär

Vale sobivuse määr ja vale mittevastavuse määr on üksteisega vastuolus. Kui sarnasuslävi suureneb, väheneb vale sobivuse võimalus, samas kui vale mittevastavuse võimalus suureneb. Teine võimalus sellele kompromissile mõelda on see, et kui sarnasuslävi suureneb, muutub lahendus piiravamaks, muutes vähem madala sarnasusega vasteid. Näiteks on tavaline, et avalikku turvalisust ja turvalisust hõlmavad kasutusjuhtumid seavad vaste sarnasuse läve üsna kõrgele (99 ja üle selle). Teise võimalusena võib organisatsioon valida vähem piirava sarnasusläve (90 ja üle selle), kus hõõrdumise mõju kasutajale on olulisem. Järgmine diagramm illustreerib neid kompromisse. Organisatsioonide väljakutse on leida lävi, mis minimeerib nii FMR-i kui ka FNMR-i, lähtudes teie organisatsioonilistest ja rakendusnõuetest.

Sarnasusläve valimine sõltub ärirakendusest. Oletagem näiteks, et soovite piirata klientide hõõrdumist liitumise ajal (vähem piirav sarnasuse lävi, nagu on näidatud järgmisel vasakpoolsel joonisel). Siin võib teil olla madalam nõutav sarnasuse lävi ja olete valmis leppima kasutajate kaasamise riskiga, kui enesekindlus nende selfie ja juhiloa vahel on madalam. Seevastu oletame, et soovite tagada, et rakendusse pääseksid ainult volitatud kasutajad. Siin võite töötada üsna piirava sarnasuslävega (nagu on näidatud parempoolsel joonisel).

Vale vastavuse ja mittevastavuse määrade arvutamise sammud

Nende kahe mõõdiku arvutamiseks on mitu võimalust. Järgnev on suhteliselt lihtne lähenemine, kuidas etapid jagada ehtsate pildipaaride kogumiseks, petliku sidumise loomiseks (kujutised, mis ei peaks sobima) ja lõpuks sondi abil, et leida üle eeldatavate ja mittesobivate kujutiste paarid, jäädvustada sellest tulenev sarnasus. Toimingud on järgmised.

1. Koguge ehtne näidispildikomplekt. Soovitame alustada pildipaaride komplektist ja määrata väline identifikaator, mida kasutatakse ametlikuks sobivuse määramiseks. Paar koosneb järgmistest piltidest:
   1. Lähtekujutis – teie usaldusväärne lähtepilt, näiteks juhiluba.
   2. Sihtpilt – teie selfie või pilt, millega võrrelda.
2. Koguge petturite vastete pilt. Need on piltide paarid, mille allikas ja sihtmärk ei ühti. Seda kasutatakse FMR-i hindamiseks (tõenäosus, et süsteem sobitab valesti kahe erineva kasutaja nägu). Pildipaaride abil saate luua valekujutise, luues piltidest Descartes'i korrutise, seejärel filtreerides ja valides tulemuse.
3. Uurige ehtsate ja petturite vastete komplekte, sirvides pildipaare, võrrelge allika ja petturi sihtmärki ning jäädvustage sellest tulenev sarnasus.
4. Arvutage FMR ja FNMR, arvutades valepositiivsed ja valenegatiivsed väärtused erinevate minimaalsete sarnasuslävede juures.

Saate hinnata FMR-i ja FNMR-i kulusid erinevatel sarnasuslävedel vastavalt teie rakenduse vajadusele.

1. samm: koguge ehtsate pildipaaride näidised

Identiteedi kinnitamise teenuse hindamisel on kriitilise tähtsusega pildipaaride esindusliku valimi valimine hindamiseks. Esimene samm on tõelise pildipaaride komplekti tuvastamine. Need on kasutaja teadaolevad lähte- ja sihtpildid. Ehtsat kujutise sidumist kasutatakse FNMR-i, peamiselt tõenäosuse, et süsteem ei ühti ühe ja sama inimese kahe näoga, hindamiseks. Üks esimesi sageli küsitavaid küsimusi on "Mitu pildipaari on vaja?" Vastus on, et see sõltub teie kasutusjuhtumist, kuid üldised juhised on järgmised.

• 100–1,000 pildipaari on teostatavus
• Kuni 10,000 XNUMX pildipaari on piisavalt suur, et mõõta piltide vahelist varieeruvust
• Rohkem kui 10,000 XNUMX pildipaari annavad mõõdupuu töökvaliteedi ja üldistavuse kohta

Rohkem andmeid on alati parem; lähtepunktina kasutage siiski vähemalt 1,000 pildipaari. Siiski ei ole harvad juhud, kui teatud äriprobleemi puhul kasutatakse vastuvõetava FNMR-i või FMR-i nullimiseks rohkem kui 10,000 XNUMX pildipaari.

Järgmine on pildipaaride vastendamise fail. Ülejäänud hindamisprotsessi juhtimiseks kasutame pildipaari vastendusfaili.

2. toiming: looge petispildi paar komplekt

Nüüd, kui teil on ehtsate pildipaaride fail, saate luua siht- ja lähtekujutistest Descartes'i korrutise, kus välised identifikaatorid ei ühti. See loob allika ja sihtmärgi paarid, mis ei peaks sobima. Seda sidumist kasutatakse FMR-i, peamiselt tõenäosuse, et süsteem sobitab ühe kasutaja näo ja teise kasutaja näo, hindamiseks.

3. samm: kontrollige ehtsaid ja petturliku pildipaari komplekte

Kasutades draiveriprogrammi, rakendame Amazon Rekognitsioon CompareFaces API üle pildipaaride ja tabada sarnasus. Samuti saate jäädvustada lisateavet, nagu poos, kvaliteet ja muud võrdlustulemused. Sarnasusskoore kasutatakse vale sobivuse ja mittevastavuse määra arvutamiseks järgmises etapis.

Järgmises koodilõigul rakendame CompareFaces API-t kõikidele pildipaaridele ja täidame kõik sarnasusskoorid tabelisse:

obj = s3.get_object(Bucket= bucket_name , Key = csv_file)

df = pd.read_csv(io.BytesIO(obj['Body'].read()), encoding='utf8')
def compare_faces(source_file, target_file, threshold = 0):
    response=rekognition.compare_faces(SimilarityThreshold=threshold,
                                        SourceImage={'S3Object': {
                                                    'Bucket': bucket_name,
                                                    'Name':source_file}},
                                        TargetImage={'S3Object': {
                                                    'Bucket': bucket_name,
                                                    'Name':target_file}})
df_similarity = df.copy()
df_similarity["SIMILARITY"] = None
for index, row in df.iterrows():
    source_file = dataset_folder + row["SOURCE"]
    target_file = dataset_folder + row["TARGET"]
    response_score = compare_faces(source_file, target_file)
    df_similarity._set_value(index,"SIMILARITY", response_score)
    df_similarity.head()

Koodilõik annab järgmise väljundi.

Sarnasusskooride jaotusanalüüs testide kaupa on lähtepunktiks sarnasusskoori mõistmiseks pildipaaride kaupa. Järgmine koodilõik ja väljunddiagramm näitab lihtsat näidet sarnasuse skoori jaotusest testikomplektide kaupa ning sellest tulenevat kirjeldavat statistikat:

sns.boxplot(data=df_similarity,
            x=df_similarity["SIMILARITY"],
            y=df_similarity["TEST"]).set(xlabel='Similarity Score',
            ylabel=None,
            title = "Similarity Score Distribution")
plt.show()

df_descriptive_stats = pd.DataFrame(columns=['test','count', 'min' , 'max', 'mean', 'median', 'std'])

tests = ["Genuine", "Imposter"]

for test in tests:
    count = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].count()
    mean = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].mean()
    max_ = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].max()
    min_ = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].min()
    median = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].median()
    std = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].std()

    new_row = {'test': test,
                'count': count,
                'min': min_,
                'max': max_,
                'mean': mean,
                'median':median,
                'std': std}
    df_descriptive_stats = df_descriptive_stats.append(new_row,
    ignore_index=True)

df_descriptive_stats

Selles näites näeme, et ehtsate näopaaride keskmine ja mediaan sarnasus olid 91.7, 99.1 ja 2.8, 0.8, samas kui petturite paaride puhul olid vastavalt XNUMX, XNUMX ja XNUMX, XNUMX. Ootuspäraselt näitab see tõeliste pildipaaride kõrgeid sarnasusskoore ja petturite pildipaaride madalaid sarnasusskoore.

4. samm: arvutage FMR ja FNMR erinevatel sarnasuse lävitasemetel

Selles etapis arvutame erinevatel sarnasuslävedel vale vaste ja mittevastavuse määrad. Selleks liigume lihtsalt läbi sarnasuslävede (näiteks 90–100). Iga valitud sarnasusläve juures arvutame välja oma segadusmaatriksi, mis sisaldab tõeliselt positiivseid, tõelisi negatiivseid, valepositiivseid ja valenegatiivseid loendeid, mida kasutatakse FMR ja FNMR arvutamiseks iga valitud sarnasuse korral.

Selleks loome funktsiooni, mis tagastab valepositiivsed ja negatiivsed arvud, ning liigume läbi sarnasusskooride vahemiku (90–100):

similarity_thresholds = [80,85,90,95,96,97,98,99]

# create output df
df_cols = ['Similarity Threshold', 'TN' , 'FN', 'TP', 'FP', 'FNMR (%)', 'FMR (%)']
comparison_df = pd.DataFrame(columns=df_cols)

# create columns for y_actual and y_pred
df_analysis = df_similarity.copy()
df_analysis["y_actual"] = None
df_analysis["y_pred"] = None

for threshold in similarity_thresholds:
    # Create y_pred and y_actual columns, 1 == match, 0 == no match
    for index, row in df_similarity.iterrows():
        # set y_pred
        if row["SIMILARITY"] >= threshold:
            df_analysis._set_value(index,"y_pred", 1)
        else:
            df_analysis._set_value(index,"y_pred", 0)

        # set y_actual
        if row["TEST"] == "Genuine":
            df_analysis._set_value(index,"y_actual", 1)
        else:
            df_analysis._set_value(index,"y_actual", 0)

    tn, fp, fn, tp = confusion_matrix(df_analysis['y_actual'].tolist(),
                                      df_analysis['y_pred'].tolist()).ravel()
    FNMR = fn / (tp + fn)
    FMR = fp / (tn+fp+fn+tp)

    new_row = {'Similarity Threshold': threshold,
                'TN': tn,
                'FN': fn,
                'TP': tp,
                'FP': fp,
                'FNMR (%)':FNMR,
                'FMR (%)': FMR}
    comparison_df = comparison_df.append(new_row,ignore_index=True)

comparison_df

Järgmises tabelis on näidatud loenduste tulemused iga sarnasusläve juures.

Kuidas mõjutab sarnasuse lävi vale mittevastavuse määra?

Oletame, et meil on 1,000 tõelise kasutaja sisselogimiskatset ja me lükkame nendest 10 katsest tagasi, tuginedes nõutavale minimaalsele 95% sarnasusele, et lugeda vasteks. Siin lükkame tagasi 10 tõelist liitumiskatset (valenegatiivsed), kuna nende sarnasus langeb alla määratud minimaalse nõutava sarnasuse läve. Sel juhul on meie FNMR 1.0%.

FNMR = valenegatiivne arv / (tõeline positiivne arv + valenegatiivne arv)

FNMR = 10 / (990 + 10) või 1.0%

Seevastu oletame, et selle asemel, et kaasata 1,000 tõelist kasutajat, on meil 990 tõelist kasutajat ja 10 petturit (valepositiivne). Oletame, et minimaalse 95% sarnasuse korral aktsepteerime kõiki 1,000 kasutajat ehtsana. Siin oleks meil 1% FMR.

FMR = valepositiivne arv / (katseid kokku)

FMR = 10 / (1,000 1.0) või XNUMX%

FMR-i ja FNMR-i kulude hindamine sisenemisel

Sisseehitamise korral on vale mittevastavuse (tagasilükkamise) kulu tavaliselt seotud kasutaja täiendava hõõrdumise või registreeringu kaotamisega. Näiteks oletagem, et meie panganduse kasutusjuhtumi puhul esitab Julie endast kaks pilti, kuid ta lükatakse sissevõtmise ajal valesti tagasi, kuna kahe pildi sarnasus jääb valitud sarnasusest allapoole (vale mittevastavus). Finantsasutus võib riskida Julie kaotamisega potentsiaalse kliendina või see võib tekitada Juliele täiendavaid hõõrdumist, nõudes talt toimingut oma isiku tõendamiseks.

Ja vastupidi, oletagem, et Julie kaks pilti on erinevatest inimestest ja Julie liitumine oleks tulnud tagasi lükata. Juhul, kui Julie't aktsepteeritakse valesti (vale vaste), on finantsasutuse kulud ja risk üsna erinevad. Finantstehingutega võivad kaasneda regulatiivsed probleemid, pettuse oht ja muud riskid.

Vastutustundlik kasutamine

Masinõppe (ML) kaudu rakendatav tehisintellekt on meie põlvkonna üks transformatiivsemaid tehnoloogiaid, mis lahendab mõned inimkonna kõige keerulisemad probleemid, suurendab inimeste jõudlust ja maksimeerib tootlikkust. Nende tehnoloogiate vastutustundlik kasutamine on jätkuva innovatsiooni edendamise võtmeks. AWS on pühendunud õiglaste ja täpsete AI- ja ML-teenuste väljatöötamisele ning pakkuma teile AI- ja ML-rakenduste vastutustundlikuks loomiseks vajalikke tööriistu ja juhiseid.

Tehisintellekti ja ML-i kasutuselevõtul ja suurendamisel pakub AWS mitmeid meie kogemustel põhinevaid ressursse, mis aitavad teil AI ja ML vastutustundlikul arendamisel ja kasutamisel.

Parimad tavad ja levinumad vead, mida vältida

Selles jaotises käsitleme järgmisi parimaid tavasid.

• Kasutage piisavalt suurt pildinäidist
• Vältige avatud lähtekoodiga ja sünteetilisi näoandmeid
• Vältige käsitsi ja sünteetilist pilditöötlust
• Kontrollige pildikvaliteeti hindamise ajal ja aja jooksul
• Jälgige aja jooksul FMR-i ja FNMR-i
• Kasutage tsükli ülevaates inimest
• Olge Amazon Rekognitioniga kursis

Kasutage piisavalt suurt pildinäidist

Kasutage piisavalt suurt, kuid mõistlikku pildinäidist. Mis on valimi mõistlik suurus? Oleneb äriprobleemist. Kui olete tööandja ja teil on 10,000 10,000 töötajat, keda soovite autentida, on kõigi 5,000 20,000 pildi kasutamine tõenäoliselt mõistlik. Oletame aga, et olete organisatsioon, millel on miljoneid kliente, keda soovite kaasata. Sel juhul piisab ilmselt esindusliku valimi võtmisest klientidest, näiteks XNUMX–XNUMX XNUMX. Siin on mõned juhised valimi suuruse kohta:

• Valimi suurus 100 – 1,000 pildipaari tõestab teostatavust
• Valimi suurus 1,000 – 10,000 XNUMX pildipaari on kasulik piltide varieeruvuse mõõtmiseks
• Valimi suurus 10,000 – 1 miljon pildipaari annab mõõdupuu töökvaliteedi ja üldistavuse kohta

Pildipaaride proovivõtu võti on tagada, et valim pakuks teie rakenduse nägude populatsioonis piisavalt varieeruvust. Saate oma proovide võtmist ja testimist veelgi laiendada, et hõlmata demograafilist teavet, nagu nahatoon, sugu ja vanus.

Vältige avatud lähtekoodiga ja sünteetilisi näoandmeid

Seal on kümneid kureeritud avatud lähtekoodiga näokujutise andmekogumeid, aga ka hämmastavalt realistlikke sünteetilisi näokomplekte, mida sageli kasutatakse uurimistöös ja teostatavuse uurimiseks. Väljakutse seisneb selles, et need andmekogumid ei ole üldiselt kasulikud 99% tegelikest kasutusjuhtudest lihtsalt seetõttu, et need ei esinda kaameraid, nägusid ega piltide kvaliteeti, mida teie rakendus tõenäoliselt looduses kohtab. Kuigi need on rakenduste arendamiseks kasulikud, ei üldista nende pildikomplektide täpsusmõõtmised sellega, mida näete oma rakenduses. Selle asemel soovitame alustada oma lahenduse tegelike piltide esindusliku valimiga, isegi kui näidispildipaarid on väikesed (alla 1,000).

Vältige käsitsi ja sünteetilist pilditöötlust

Sageli on juhtumeid, millest inimesed on huvitatud aru saama. Alati pakuvad huvi sellised asjad nagu pildistamise kvaliteet või konkreetsete näojoonte hägustamine. Näiteks küsitakse meilt sageli vanuse ja pildikvaliteedi mõju näotuvastusele. Võite lihtsalt nägu sünteetiliselt vanandada või pilti manipuleerida, et muuta objekt vanemaks, või manipuleerida pildikvaliteeti, kuid see ei tähenda hästi piltide vananemist reaalses maailmas. Selle asemel soovitame koguda esinduslik valim reaalsetest juhtumitest, mille testimisest olete huvitatud.

Kontrollige pildikvaliteeti hindamise ajal ja aja jooksul

Kaamera ja rakendustehnoloogia muutub aja jooksul üsna kiiresti. Parima tavana soovitame jälgida pildikvaliteeti aja jooksul. Alates jäädvustatud nägude suurusest (kasutades piirdekaste), kuni pildi heleduse ja teravuse, näo poseerimise ja võimalike hägustusteni (mütsid, päikeseprillid, habe jne) on kõik need kujutised ja näojooned muutuvad aja jooksul.

Jälgige aja jooksul FNMR-i ja FMR-i

Muutused toimuvad olenemata sellest, kas need on pildid, rakendus või rakenduses kasutatavad sarnasusläved. Oluline on perioodiliselt jälgida valede ja mittevastavuste määrasid aja jooksul. Muutused tariifides (isegi väikesed muudatused) võivad sageli viidata rakenduse või rakenduse kasutamisega seotud probleemidele. Muudatused sarnasuslävedes ja ärireeglites, mida kasutatakse aktsepteerimis- või tagasilükkamisotsuste tegemiseks, võivad oluliselt mõjutada kasutajate sisseelamist ja autentimist.

Kasutage tsükli ülevaates inimest

Identiteedikinnitussüsteemid teevad sarnasuslävede ja ärireeglite alusel automaatseid otsuseid sobitamise ja mittevastavuse kohta. Lisaks regulatiivsetele ja sisemistele vastavusnõuetele on igas automatiseeritud otsustussüsteemis oluline protsess otsustusprotsessi pideva jälgimise osana kasutada ülevaatajaid. Nende automatiseeritud otsustussüsteemide inimjärelevalve tagab valideerimise ja pideva täiustamise ning automatiseeritud otsustusprotsessi läbipaistvuse.

Olge Amazon Rekognitioniga kursis

Amazon Recognition nägude mudelit värskendatakse perioodiliselt (tavaliselt igal aastal) ja see on praegu versioonis 6. See värskendatud versioon parandas oluliselt täpsust ja indekseerimist. Oluline on olla kursis uute mudeliversioonidega ja mõista, kuidas neid uusi versioone oma identiteedi kinnitamise rakenduses kasutada. Kui Amazon Rekognitioni näomudeli uued versioonid käivitatakse, on hea tava identiteedi kinnitamise hindamisprotsess uuesti läbi viia ja teha kindlaks võimalikud mõjud (positiivsed ja negatiivsed) teie vale vaste ja mittevastavuse määradele.

Järeldus

Selles postituses käsitletakse põhielemente, mis on vajalikud teie identiteedi kinnitamise lahenduse toimivuse hindamiseks erinevate täpsusmõõdikute osas. Täpsus on aga vaid üks paljudest mõõtmetest, mida peate konkreetse sisu modereerimisteenuse valimisel hindama. Oluline on lisada muid parameetreid, nagu teenuse kogu funktsioonide komplekt, kasutuslihtsus, olemasolevad integratsioonid, privaatsus ja turvalisus, kohandamisvalikud, mastaapsuse tagajärjed, klienditeenindus ja hinnakujundus.

Lisateavet Amazon Rekognitioni identiteedi kinnitamise kohta leiate aadressilt Identiteedi kinnitamine Amazon Rekognitioni abil.

Autoritest

Mike Ames on andmeteadlane, kellest sai identiteedi kinnitamise lahenduste spetsialist, kellel on laialdased kogemused masinõppe ja tehisintellekti lahenduste arendamisel, et kaitsta organisatsioone pettuste, raiskamise ja kuritarvitamise eest. Vabal ajal võite teda leida matkamas, mägirattaga sõitmas või oma koera Maxiga vabamesilast mängimas.

Amit Gupta on AWS-i AI teenuste lahenduste vanemarhitekt. Ta on kirglik võimaldada klientidele hästi läbimõeldud masinõppelahendusi ulatuslikult.

Zuhayr Raghib on AWS-i tehisintellektiteenuste lahenduste arhitekt. Spetsialiseerudes rakenduslikule tehisintellektile/ML-ile, soovib ta kirglikult võimaldada klientidel pilve abil kiiremini uuendusi teha ja oma äri muuta.

Marcel Pividal on AI teenuste lahenduste arhitekt ülemaailmses spetsialistide organisatsioonis. Marcelil on enam kui 20-aastane kogemus fintechide, makseteenuste pakkujate, ravimite ja valitsusasutuste äriprobleemide lahendamisel tehnoloogia abil. Tema praegused fookusvaldkonnad on riskijuhtimine, pettuste ennetamine ja identiteedi kontrollimine.