Meritve za ocenjevanje rešitve za preverjanje identitete

Globalno je prišlo do pospešenega premika proti digitalnim uporabniškim izkušnjam brez trenja. Ne glede na to, ali gre za registracijo na spletnem mestu, spletno transakcijo ali preprosto prijavo v vaš bančni račun, si organizacije dejavno prizadevajo zmanjšati trenja, ki jih doživljajo njihove stranke, hkrati pa izboljšajo svojo varnost, skladnost in ukrepe za preprečevanje goljufij. Premik k uporabniški izkušnji brez trenja je povzročil rešitve za biometrično preverjanje identitete na podlagi obraza, katerih namen je odgovoriti na vprašanje "Kako preverite osebo v digitalnem svetu?"

Obstajata dve ključni prednosti biometrije obraza, ko gre za vprašanja identifikacije in avtentikacije. Prvič, to je priročna tehnologija za uporabnike: ni vam treba zapomniti gesla, se ukvarjati z večfaktorskimi izzivi, klikati povezav za preverjanje ali reševati ugank CAPTCHA. Drugič, dosežena je visoka raven varnosti: identifikacija in avtentikacija na podlagi biometrije obraza sta varni in manj dovzetni za goljufije in napade.

V tej objavi se poglobimo v dva primarna primera uporabe preverjanja identitete: vkrcanje in preverjanje pristnosti. Nato se poglobimo v dve ključni metriki, ki se uporabljata za ocenjevanje natančnosti biometričnega sistema: stopnjo lažnega ujemanja (znano tudi kot stopnja lažnega sprejema) in stopnjo lažnega neujemanja (znano tudi kot stopnja lažne zavrnitve). Ti dve merili organizacije pogosto uporabljajo za ocenjevanje točnosti in stopnje napak biometričnih sistemov. Na koncu razpravljamo o okviru in najboljših praksah za ocenjevanje storitve preverjanja identitete.

Glejte priloženo Jupyterjev zvezek ki vodi skozi vse korake, omenjene v tej objavi.

Primeri uporabe: vkrcanje in preverjanje pristnosti

Obstajata dva primarna primera uporabe biometričnih rešitev: vkrcanje uporabnika (pogosto imenovano preverjanje) in avtentikacija (pogosto imenovano identifikacija). Vključevanje vključuje ujemanje obrazov ena proti ena med dvema slikama, na primer primerjavo selfija z zaupanja vrednim identifikacijskim dokumentom, kot je vozniško dovoljenje ali potni list. Po drugi strani pa preverjanje pristnosti vključuje iskanje obraza ena proti več po shranjeni zbirki obrazov, na primer iskanje po zbirki obrazov zaposlenih, da bi ugotovili, ali ima zaposleni pooblaščen dostop do določenega nadstropja v stavbi.

Natančnost primerov uporabe vkrcanja in preverjanja pristnosti se meri z lažno pozitivnimi in lažno negativnimi napakami, ki jih lahko povzroči biometrična rešitev. Ocena podobnosti (v razponu od 0 %, kar pomeni, da ni ujemanja, do 100 %, kar pomeni popolno ujemanje) se uporablja za določitev ujemanja ali neujemanja. Lažno pozitivno se pojavi, ko rešitev meni, da sta sliki dveh različnih posameznikov ista oseba. Na drugi strani lažno negativno pomeni, da je rešitev obravnavala dve sliki iste osebe kot različni.

Uvajanje: preverjanje ena na ena

Postopki vkrcanja, ki temeljijo na biometriji, poenostavljajo in varujejo postopek. Najpomembneje je, da organizacijo in stranko pripravi na skoraj nemoteno izkušnjo vkrcanja. Da bi to naredili, morajo uporabniki preprosto predložiti sliko neke oblike zaupanja vrednega identifikacijskega dokumenta, ki vsebuje obraz uporabnika (kot je vozniško dovoljenje ali potni list), ter posneti sliko selfija med postopkom vkrcanja. Ko ima sistem ti dve sliki, preprosto primerja obraze v obeh slikah. Ko je podobnost večja od določenega praga, imate ujemanje; v nasprotnem primeru imate neujemanje. Naslednji diagram opisuje postopek.

Razmislite o primeru Julie, nove uporabnice, ki je odprla digitalni bančni račun. Rešitev jo pozove, da posname sliko svojega vozniškega dovoljenja (2. korak) in posname selfie (3. korak). Ko sistem preveri kakovost slik (4. korak), primerja obraz na selfiju z obrazom na vozniškem dovoljenju (ena proti ena ujemanje) in izdela se ocena podobnosti (5. korak). Če je rezultat podobnosti nižji od zahtevanega praga podobnosti, je poskus vključitve Julie zavrnjen. Temu pravimo lažno neujemanje ali lažna zavrnitev: rešitev je obravnavala dve sliki iste osebe kot različni. Po drugi strani pa, če je bila ocena podobnosti večja od zahtevane podobnosti, potem rešitev obravnava dve sliki kot isto osebo ali ujemanje.

Avtentikacija: Identifikacija ena proti mnogo

Od vstopa v stavbo do prijave v kiosku do poziva uporabnika k selfiju za preverjanje identitete je ta vrsta preverjanja pristnosti od nič do nizkega trenja prek prepoznavanja obraza postala običajna za mnoge organizacije. Namesto izvajanja ujemanja med slikami ta primer uporabe za preverjanje pristnosti vzame eno sliko in jo primerja z zbirko slik, po kateri je mogoče iskati, za morebitno ujemanje. V tipičnem primeru uporabe preverjanja pristnosti je uporabnik pozvan, naj posname selfie, ki se nato primerja z obrazi, shranjenimi v zbirki. Rezultat iskanja daje nič, eno ali več potencialnih ujemanj z ustreznimi rezultati podobnosti in zunanjimi identifikatorji. Če ujemanje ni vrnjeno, potem uporabnik ni overjen; vendar ob predpostavki, da iskanje vrne eno ali več ujemanj, sistem sprejme odločitev o preverjanju pristnosti na podlagi rezultatov podobnosti in zunanjih identifikatorjev. Če rezultat podobnosti preseže zahtevani prag podobnosti in se zunanji identifikator ujema s pričakovanim identifikatorjem, je uporabnik overjen (ujema se). Naslednji diagram prikazuje primer postopka biometrične avtentikacije na podlagi obraza.

Razmislite o primeru Joseja, dostavnega voznika, ki je varčen s koncerti. Dostavna služba preverja pristnost voznikov dostave tako, da voznika pozove, naj posname selfie, preden začne dostavo z uporabo mobilne aplikacije podjetja. Ena težava, s katero se srečujejo ponudniki storitev v ekonomiji koncertov, je delitev delovnih mest; v bistvu si dva ali več uporabnikov deli isti račun, da igrajo sistem. Za boj proti temu veliko dostavnih služb uporablja kamero v avtomobilu za fotografiranje (2. korak) voznika ob naključnih trenutkih med dostavo (za zagotovitev, da je voznik dostave pooblaščeni voznik). V tem primeru Jose ne posname samo selfija na začetku dostave, ampak ga kamera v avtomobilu posname med dostavo. Sistem izvaja preverjanje kakovosti (3. korak) in išče (4. korak) zbirko registriranih voznikov, da preveri identiteto voznika. Če je zaznan drug gonilnik, lahko dostavna služba za varčevanje s koncerti dodatno razišče.

Lažno ujemanje (lažno pozitivno) se pojavi, ko rešitev obravnava dve ali več slik različnih ljudi kot isto osebo. V našem primeru uporabe predpostavimo, da namesto pooblaščenega voznika Jose dovoli svojemu bratu Miguelu, da namesto njega prevzame eno od njegovih dostav. Če rešitev napačno ujema Miguelov selfie s slikami Joseja, pride do lažnega ujemanja (lažno pozitivno).

Za boj proti potencialu lažnih ujemanj priporočamo, da zbirke vsebujejo več slik vsakega predmeta. Običajna praksa je, da se indeksirajo zaupanja vredni identifikacijski dokumenti, ki vsebujejo obraz, selfi ob vkrcanju in selfije iz zadnjih nekaj preverjanj identifikacije. Indeksiranje več slik subjekta omogoča združevanje rezultatov podobnosti med vrnjenimi obrazi, s čimer se izboljša natančnost identifikacije. Poleg tega se zunanji identifikatorji uporabljajo za omejitev tveganja lažnega sprejema. Primer poslovnega pravila je lahko videti nekako takole:

ČE skupna ocena podobnosti >= zahtevani prag podobnosti IN zunanji identifikator == pričakovan identifikator POTEM preveri pristnost

Ključni ukrepi biometrične natančnosti

V biometričnem sistemu nas zanima stopnja lažnega ujemanja (FMR) in lažna stopnja neujemanja (FNMR), ki temelji na rezultatih podobnosti iz primerjav in iskanj obrazov. Ne glede na to, ali gre za primer uporabe vkrcanja ali preverjanja pristnosti, se biometrični sistemi odločijo sprejeti ali zavrniti ujemanja obraza uporabnika na podlagi ocene podobnosti dveh ali več slik. Kot pri vsakem odločitvenem sistemu bo prišlo do napak, ko sistem nepravilno sprejme ali zavrne poskus vključitve ali avtentikacije. Kot del ocenjevanja vaše rešitve za preverjanje identitete morate oceniti sistem pri različnih pragih podobnosti, da čim bolj zmanjšate stopnje lažnega ujemanja in lažnega neujemanja ter te napake primerjate s stroški nepravilnih zavrnitev in sprejemov. FMR in FNMR uporabljamo kot dve ključni metriki za ocenjevanje biometričnih sistemov obraza.

Napačna stopnja neujemanja

Ko sistem za preverjanje identitete ne uspe pravilno identificirati ali avtorizirati pristnega uporabnika, pride do lažnega neujemanja, znanega tudi kot lažno negativno. Stopnja lažnega neujemanja (FNMR) je merilo, kako nagnjen je sistem k nepravilni identifikaciji ali avtorizaciji pristnega uporabnika.

FNMR je izražen kot odstotek primerov, ko se izvede poskus vkrcanja ali preverjanja pristnosti, kjer je obraz uporabnika nepravilno zavrnjen (lažno negativen), ker je rezultat podobnosti pod predpisanim pragom.

Resnično pozitivno (TP) je, ko rešitev meni, da sta dve ali več slik iste osebe enaki. To pomeni, da je podobnost primerjave ali iskanja nad zahtevanim pragom podobnosti.

Lažno negativno (FN) je, ko rešitev meni, da sta dve ali več slik iste osebe različni. To pomeni, da je podobnost primerjave ali iskanja pod zahtevanim pragom podobnosti.

Formula za FNMR je:

FNMR = lažno negativno število / (resnično pozitivno število + lažno negativno število)

Denimo, da imamo 10,000 poskusov pristne avtentikacije, vendar jih je 100 zavrnjenih, ker je njihova podobnost z referenčno sliko ali zbirko pod določenim pragom podobnosti. Tukaj imamo 9,900 resnično pozitivnih in 100 lažno negativnih rezultatov, zato je naš FNMR 1.0 %

FNMR = 100 / (9900 + 100) ali 1.0 %

Napačna stopnja ujemanja

Ko sistem za preverjanje identitete nepravilno identificira ali pooblasti nepooblaščenega uporabnika kot pristnega, pride do lažnega ujemanja, znanega tudi kot lažno pozitivno. Stopnja napačnega ujemanja (FMR) je merilo, kako nagnjen je sistem k nepravilni identifikaciji ali avtorizaciji nepooblaščenega uporabnika. Meri se s številom lažno pozitivnih prepoznav ali avtentikacij, deljeno s skupnim številom poskusov identifikacije.

Lažno pozitiven rezultat se pojavi, ko rešitev obravnava dve ali več slik različnih ljudi kot isto osebo. To pomeni, da je rezultat podobnosti primerjave ali iskanja nad zahtevanim pragom podobnosti. V bistvu sistem nepravilno identificira ali avtorizira uporabnika, ko bi moral zavrniti njegovo identifikacijo ali poskus avtentikacije.

Formula za FMR je:

FMR = lažno pozitivno število / (skupno število poskusov)

Denimo, da imamo 100,000 poskusov preverjanja pristnosti, vendar je 100 lažnih uporabnikov nepravilno pooblaščenih, ker njihova podobnost z referenčno sliko ali zbirko pade nad podani prag podobnosti. Tukaj imamo 100 lažno pozitivnih rezultatov, zato je naš FMR 0.01 %

FMR = 100 / (100,000) ali 0.01 %

Stopnja lažnega ujemanja v primerjavi z lažno stopnjo neujemanja

Stopnja lažnega ujemanja in stopnja lažnega neujemanja sta si v nasprotju. Ko se prag podobnosti zvišuje, se možnost za lažno ujemanje zmanjša, medtem ko se možnost za lažno neujemanje poveča. Drug način za razmišljanje o tem kompromisu je, da z naraščanjem praga podobnosti rešitev postane bolj restriktivna, zaradi česar je manj ujemanja z nizko podobnostjo. Za primere uporabe, ki vključujejo javno varnost in varnost, je na primer običajno, da se prag podobnosti ujemanja nastavi precej visoko (99 in več). Druga možnost je, da lahko organizacija izbere manj restriktiven prag podobnosti (90 in več), kjer je vpliv trenja na uporabnika pomembnejši. Naslednji diagram prikazuje te kompromise. Izziv za organizacije je najti prag, ki zmanjša tako FMR kot FNMR na podlagi vaših organizacijskih in aplikacijskih zahtev.

Izbira praga podobnosti je odvisna od poslovne aplikacije. Na primer, recimo, da želite omejiti trenje strank med vključitvijo (manj omejujoč prag podobnosti, kot je prikazano na naslednji sliki na levi). Tukaj imate morda nižji zahtevani prag podobnosti in ste pripravljeni sprejeti tveganje vključevanja uporabnikov, kjer je zaupanje v ujemanje med njihovim selfijem in vozniškim dovoljenjem manjše. Nasprotno pa recimo, da želite zagotoviti, da v aplikacijo vstopijo samo pooblaščeni uporabniki. Tu lahko delujete na precej restriktivnem pragu podobnosti (kot je prikazano na sliki na desni).

Koraki za izračun stopenj lažnega ujemanja in neujemanja

Obstaja več načinov za izračun teh dveh metrik. Sledi razmeroma preprost pristop razdelitve korakov na zbiranje pristnih parov slik, ustvarjanje parov lažnih slik (slike, ki se ne bi smele ujemati) in končno uporabo sonde za zanko čez pričakovane pare slik, ki se ujemajo in se ne ujemajo, ter zajamejo posledično podobnost. Koraki so naslednji:

1. Zberite pristen nabor vzorčnih slik. Priporočamo, da začnete z nizom parov slik in dodelite zunanji identifikator, ki se uporablja za uradno določitev ujemanja. Par sestavljajo naslednje slike:
   1. Izvorna slika – vaša zaupanja vredna izvorna slika, na primer vozniško dovoljenje.
   2. Ciljna slika – vaš selfie ali slika, s katero boste primerjali.
2. Zberite nabor slik prevarantskih ujemanj. To so pari slik, kjer se vir in cilj ne ujemata. To se uporablja za oceno FMR (verjetnost, da bo sistem nepravilno ujemal obraza dveh različnih uporabnikov). Z uporabo parov slik lahko ustvarite lažni nabor slik, tako da ustvarite kartezični produkt slik, nato filtrirate in vzorčite rezultat.
3. Preizkusite nabore pristnih in navideznih ujemanj tako, da preletite pare slik, primerjate izvor in navidezno tarčo ter zajamete nastalo podobnost.
4. Izračunajte FMR in FNMR z izračunom lažno pozitivnih in lažno negativnih rezultatov pri različnih najmanjših pragih podobnosti.

Ocenite lahko stroške FMR in FNMR pri različnih pragih podobnosti glede na potrebe vaše aplikacije.

1. korak: Zberite vzorce parov pristnih slik

Pri ocenjevanju storitve preverjanja identitete je ključnega pomena izbira reprezentativnega vzorca parov slik za oceno. Prvi korak je identificirati pristen niz parov slik. To so znane izvorne in ciljne slike uporabnika. Združevanje pristnih slik se uporablja za oceno FNMR, v bistvu verjetnosti, da sistem ne bo ujemal dveh obrazov iste osebe. Eno izmed prvih pogosto zastavljenih vprašanj je "Koliko parov slik je potrebnih?" Odgovor je, da je odvisno od vašega primera uporabe, vendar so splošne smernice naslednje:

• Med 100–1,000 pari slik zagotavlja merilo izvedljivosti
• Do 10,000 parov slik je dovolj veliko za merjenje variabilnosti med slikami
• Več kot 10,000 parov slik zagotavlja merilo operativne kakovosti in posplošljivosti

Več podatkov je vedno boljše; vendar kot izhodišče uporabite vsaj 1,000 parov slik. Vendar pa ni neobičajno uporabiti več kot 10,000 parov slik, da bi določili sprejemljivo FNMR ali FMR za določen poslovni problem.

Sledi vzorčna datoteka za preslikavo para slik. Datoteko za preslikavo parov slik uporabljamo za vodenje preostalega postopka ocenjevanja.

2. korak: Ustvarite par lažnih slik nastavite

Zdaj, ko imate datoteko pristnih parov slik, lahko ustvarite kartezični produkt ciljne in izvorne slike, kjer se zunanji identifikatorji ne ujemajo. To ustvari pare vir-cilj, ki se ne bi smeli ujemati. To združevanje se uporablja za oceno FMR, v bistvu verjetnosti, da bo sistem ujemal obraz enega uporabnika z obrazom drugega uporabnika.

3. korak: Preizkusite komplete parov pristnih in lažnih slik

Z gonilniškim programom uporabimo Amazonsko ponovno vžiganje CompareFaces API čez pare slik in zajemite podobnost. Zajamete lahko tudi dodatne informacije, kot so položaj, kakovost in drugi rezultati primerjave. Rezultati podobnosti se uporabljajo za izračun stopnje lažnega ujemanja in neujemanja v naslednjem koraku.

V naslednjem delčku kode uporabimo CompareFaces API za vse pare slik in zapolnimo vse ocene podobnosti v tabeli:

obj = s3.get_object(Bucket= bucket_name , Key = csv_file)

df = pd.read_csv(io.BytesIO(obj['Body'].read()), encoding='utf8')
def compare_faces(source_file, target_file, threshold = 0):
    response=rekognition.compare_faces(SimilarityThreshold=threshold,
                                        SourceImage={'S3Object': {
                                                    'Bucket': bucket_name,
                                                    'Name':source_file}},
                                        TargetImage={'S3Object': {
                                                    'Bucket': bucket_name,
                                                    'Name':target_file}})
df_similarity = df.copy()
df_similarity["SIMILARITY"] = None
for index, row in df.iterrows():
    source_file = dataset_folder + row["SOURCE"]
    target_file = dataset_folder + row["TARGET"]
    response_score = compare_faces(source_file, target_file)
    df_similarity._set_value(index,"SIMILARITY", response_score)
    df_similarity.head()

Odrezek kode daje naslednji rezultat.

Analiza porazdelitve rezultatov podobnosti po testih je izhodišče za razumevanje ocene podobnosti po parih slik. Naslednji delček kode in izhodna tabela prikazujeta preprost primer porazdelitve ocene podobnosti glede na testni niz in posledično opisno statistiko:

sns.boxplot(data=df_similarity,
            x=df_similarity["SIMILARITY"],
            y=df_similarity["TEST"]).set(xlabel='Similarity Score',
            ylabel=None,
            title = "Similarity Score Distribution")
plt.show()

df_descriptive_stats = pd.DataFrame(columns=['test','count', 'min' , 'max', 'mean', 'median', 'std'])

tests = ["Genuine", "Imposter"]

for test in tests:
    count = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].count()
    mean = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].mean()
    max_ = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].max()
    min_ = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].min()
    median = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].median()
    std = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].std()

    new_row = {'test': test,
                'count': count,
                'min': min_,
                'max': max_,
                'mean': mean,
                'median':median,
                'std': std}
    df_descriptive_stats = df_descriptive_stats.append(new_row,
    ignore_index=True)

df_descriptive_stats

V tem primeru lahko vidimo, da je bila povprečna in mediana podobnosti za pristne pare obrazov 91.7 in 99.1, medtem ko je bila za lažne pare 2.8 oziroma 0.8. Kot je bilo pričakovano, to kaže visoke ocene podobnosti za pristne pare slik in nizke ocene podobnosti za pare lažnih slik.

4. korak: Izračunajte FMR in FNMR na različnih ravneh praga podobnosti

V tem koraku izračunamo stopnje lažnega ujemanja in neujemanja pri različnih pragovih podobnosti. Da bi to naredili, preprosto preletimo prage podobnosti (na primer 90–100). Pri vsakem izbranem pragu podobnosti izračunamo našo matriko zmede, ki vsebuje resnično pozitivno, resnično negativno, lažno pozitivno in lažno negativno število, ki se uporablja za izračun FMR in FNMR pri vsaki izbrani podobnosti.

Da bi to naredili, ustvarimo funkcijo, ki vrne lažno pozitivna in negativna števila, in preletimo niz rezultatov podobnosti (90–100):

similarity_thresholds = [80,85,90,95,96,97,98,99]

# create output df
df_cols = ['Similarity Threshold', 'TN' , 'FN', 'TP', 'FP', 'FNMR (%)', 'FMR (%)']
comparison_df = pd.DataFrame(columns=df_cols)

# create columns for y_actual and y_pred
df_analysis = df_similarity.copy()
df_analysis["y_actual"] = None
df_analysis["y_pred"] = None

for threshold in similarity_thresholds:
    # Create y_pred and y_actual columns, 1 == match, 0 == no match
    for index, row in df_similarity.iterrows():
        # set y_pred
        if row["SIMILARITY"] >= threshold:
            df_analysis._set_value(index,"y_pred", 1)
        else:
            df_analysis._set_value(index,"y_pred", 0)

        # set y_actual
        if row["TEST"] == "Genuine":
            df_analysis._set_value(index,"y_actual", 1)
        else:
            df_analysis._set_value(index,"y_actual", 0)

    tn, fp, fn, tp = confusion_matrix(df_analysis['y_actual'].tolist(),
                                      df_analysis['y_pred'].tolist()).ravel()
    FNMR = fn / (tp + fn)
    FMR = fp / (tn+fp+fn+tp)

    new_row = {'Similarity Threshold': threshold,
                'TN': tn,
                'FN': fn,
                'TP': tp,
                'FP': fp,
                'FNMR (%)':FNMR,
                'FMR (%)': FMR}
    comparison_df = comparison_df.append(new_row,ignore_index=True)

comparison_df

Naslednja tabela prikazuje rezultate štetja pri vsakem pragu podobnosti.

Kako prag podobnosti vpliva na lažno stopnjo neujemanja?

Recimo, da imamo 1,000 poskusov pristnega vključevanja uporabnikov in zavrnemo 10 od teh poskusov na podlagi zahtevane najmanjše podobnosti 95 %, da se šteje za ujemanje. Tukaj zavračamo 10 pristnih poskusov vključitve (lažno negativnih), ker njihova podobnost pade pod določen minimalni zahtevani prag podobnosti. V tem primeru je naš FNMR 1.0 %.

FNMR = lažno negativno število / (resnično pozitivno število + lažno negativno število)

FNMR = 10 / (990 + 10) ali 1.0 %

Nasprotno pa predpostavimo, da imamo namesto 1,000 pristnih uporabnikov 990 pristnih uporabnikov in 10 prevarantskih uporabnikov (lažno pozitivno). Pri najmanjši 95-odstotni podobnosti predpostavimo, da sprejmemo vseh 1,000 uporabnikov kot pristnih. Tukaj bi imeli 1 % FMR.

FMR = lažno pozitivno število / (skupno število poskusov)

FMR = 10 / (1,000) ali 1.0 %

Ocena stroškov FMR in FNMR ob vkrcanju

V primeru uporabe vkrcanja je strošek lažnega neujemanja (zavrnitev) na splošno povezan z dodatnim trenjem uporabnika ali izgubo registracije. Na primer, v našem bančnem primeru uporabe predpostavimo, da Julie predstavi dve podobi sebe, vendar je ob vključitvi napačno zavrnjena, ker podobnost med obema slikama pade pod izbrano podobnost (lažno neujemanje). Finančna institucija lahko tvega, da bo izgubila Julie kot potencialno stranko, ali pa bo Julie povzročila dodatna trenja, ker bo od nje zahtevala, da izvede korake za dokazovanje svoje identitete.

Nasprotno pa predpostavimo, da sta dve sliki Julie različnih ljudi in da bi bilo treba zavrniti Julieno vključitev. V primeru, ko je Julie nepravilno sprejeta (lažno ujemanje), sta cena in tveganje za finančno institucijo precej drugačna. Lahko pride do regulativnih težav, tveganja goljufije in drugih tveganj, povezanih s finančnimi transakcijami.

Odgovorna uporaba

Umetna inteligenca (AI), uporabljena s strojnim učenjem (ML), bo ena najbolj transformativnih tehnologij naše generacije, ki se bo spopadala z nekaterimi najzahtevnejšimi težavami človeštva, povečala človeško zmogljivost in povečala produktivnost. Odgovorna uporaba teh tehnologij je ključna za spodbujanje nadaljnjih inovacij. AWS se zavzema za razvoj pravičnih in natančnih storitev AI in ML ter vam zagotavlja orodja in smernice, potrebne za odgovorno gradnjo aplikacij AI in ML.

Ko sprejmete in povečate svojo uporabo AI in ML, AWS na podlagi naših izkušenj ponuja več virov za pomoč pri odgovornem razvoju in uporabi AI in ML:

Najboljše prakse in pogoste napake, ki se jim je treba izogniti

V tem razdelku razpravljamo o naslednjih najboljših praksah:

• Uporabite dovolj velik vzorec slik
• Izogibajte se odprtokodnim in sintetičnim naborom podatkov o obrazih
• Izogibajte se ročni in sintetični obdelavi slik
• Preverite kakovost slike v času ocenjevanja in skozi čas
• Spremljajte FMR in FNMR skozi čas
• Uporabite človeka v pregledu
• Bodite na tekočem z Amazon Rekognition

Uporabite dovolj velik vzorec slik

Uporabite dovolj velik, a razumen vzorec slik. Kakšna je razumna velikost vzorca? Odvisno od poslovne težave. Če ste delodajalec in imate 10,000 zaposlenih, ki jih želite overiti, je uporaba vseh 10,000 slik verjetno razumna. Vendar predpostavimo, da ste organizacija z milijoni strank, ki jih želite vključiti. V tem primeru verjetno zadošča reprezentativen vzorec strank, na primer 5,000–20,000. Tukaj je nekaj smernic glede velikosti vzorca:

• Velikost vzorca 100 – 1,000 parov slik dokazuje izvedljivost
• Velikost vzorca 1,000 – 10,000 parov slik je uporabnih za merjenje variabilnosti med slikami
• Velikost vzorca 10,000 – 1 milijon parov slik zagotavlja merilo operativne kakovosti in posplošljivosti

Ključno pri vzorčenju parov slik je zagotoviti, da vzorec zagotavlja dovolj variabilnosti v populaciji obrazov v vaši aplikaciji. Svoje vzorčenje in testiranje lahko dodatno razširite tako, da vključite demografske podatke, kot so ten kože, spol in starost.

Izogibajte se odprtokodnim in sintetičnim naborom podatkov o obrazih

Obstaja na desetine izbranih odprtokodnih naborov podatkov o slikah obraza in osupljivo realističnih sintetičnih naborov obrazov, ki se pogosto uporabljajo v raziskavah in za preučevanje izvedljivosti. Izziv je v tem, da ti nabori podatkov na splošno niso uporabni za 99 % primerov uporabe v resničnem svetu preprosto zato, ker niso reprezentativni za kamere, obraze in kakovost slik, na katere bo vaša aplikacija verjetno naletela v naravi. Čeprav so uporabni za razvoj aplikacij, se merila natančnosti teh nizov slik ne posplošujejo na tisto, na kar boste naleteli v svoji aplikaciji. Namesto tega priporočamo, da začnete z reprezentativnim vzorcem resničnih slik iz vaše rešitve, tudi če so vzorčni pari slik majhni (pod 1,000).

Izogibajte se ročni in sintetični obdelavi slik

Pogosto obstajajo robni primeri, ki jih ljudje želijo razumeti. Vedno so zanimive stvari, kot je kakovost zajema slike ali zamegljenost določenih obraznih potez. Pogosto nas na primer sprašujejo o vplivu starosti in kakovosti slike na prepoznavanje obraza. Lahko bi preprosto sintetično postarali obraz ali manipulirali s sliko, da bi subjekt izgledal starejši, ali manipulirali s kakovostjo slike, vendar to ne pomeni dobro staranja slik v resničnem svetu. Namesto tega priporočamo, da zberete reprezentativen vzorec robnih primerov iz resničnega sveta, ki jih želite preizkusiti.

Preverite kakovost slike v času ocenjevanja in skozi čas

Tehnologija kamere in aplikacij se sčasoma spreminja precej hitro. Kot najboljšo prakso priporočamo spremljanje kakovosti slike skozi čas. Od velikosti zajetih obrazov (z uporabo omejevalnih polj), do svetlosti in ostrine slike, do položaja obraza, pa tudi morebitnih zamegljenosti (klobuki, sončna očala, brade itd.), vse te slike in poteze obraza se sčasoma spreminjajo.

Spremljajte FNMR in FMR skozi čas

Spremembe se zgodijo, ne glede na to, ali gre za slike, aplikacijo ali pragove podobnosti, uporabljene v aplikaciji. Pomembno je, da občasno spremljate stopnje lažnega ujemanja in neujemanja skozi čas. Spremembe stopenj (tudi subtilne spremembe) lahko pogosto kažejo na izzive navzgor v zvezi z aplikacijo ali načinom uporabe aplikacije. Spremembe pragov podobnosti in poslovnih pravil, ki se uporabljajo za sprejemanje ali zavrnitev odločitev, lahko močno vplivajo na uporabniško izkušnjo vkrcanja in preverjanja pristnosti.

Uporabite človeka v pregledu

Sistemi za preverjanje identitete samodejno odločajo o ujemanju in neujemanju na podlagi pragov podobnosti in poslovnih pravil. Poleg regulativnih in internih zahtev glede skladnosti je pomemben proces v katerem koli avtomatiziranem sistemu odločanja uporaba človeških pregledovalcev kot dela stalnega spremljanja postopka odločanja. Človeški nadzor nad temi avtomatiziranimi sistemi odločanja zagotavlja potrjevanje in nenehno izboljševanje ter preglednost v procesu avtomatiziranega odločanja.

Bodite na tekočem z Amazon Rekognition

Model obrazov Amazon Recognition se redno posodablja (običajno letno) in je trenutno na različici 6. Ta posodobljena različica je pomembno izboljšala natančnost in indeksiranje. Pomembno je, da ste na tekočem z novimi različicami modelov in razumete, kako te nove različice uporabljati v aplikaciji za preverjanje identitete. Ko se izdajo nove različice modela obraza Amazon Rekognition, je dobra praksa, da znova zaženete postopek ocenjevanja preverjanja identitete in določite morebitne vplive (pozitivne in negativne) na vaše stopnje lažnega ujemanja in neujemanja.

zaključek

Ta objava obravnava ključne elemente, potrebne za oceno vidika učinkovitosti vaše rešitve za preverjanje identitete v smislu različnih meritev natančnosti. Vendar pa je natančnost le ena od mnogih razsežnosti, ki jih morate oceniti pri izbiri določene storitve moderiranja vsebine. Bistveno je, da vključite druge parametre, kot so skupni nabor funkcij storitve, enostavnost uporabe, obstoječe integracije, zasebnost in varnost, možnosti prilagajanja, posledice razširljivosti, storitve za stranke in cene.

Če želite izvedeti več o preverjanju identitete v Amazon Rekognition, obiščite Preverjanje identitete z Amazon Rekognition.

O avtorjih

Mike Ames je podatkovni znanstvenik, ki je postal specialist za rešitve za preverjanje identitete, z bogatimi izkušnjami pri razvoju rešitev strojnega učenja in umetne inteligence za zaščito organizacij pred goljufijami, zapravljanjem in zlorabo. V prostem času ga lahko najdete na pohodništvu, gorskem kolesarjenju ali igranju freebeeja s svojim psom Maxom.

Amit Gupta je višji arhitekt rešitev za storitve umetne inteligence pri AWS. Strastno se ukvarja s tem, da strankam omogoči dobro zasnovane rešitve strojnega učenja v velikem obsegu.

Zuhayr Raghib je arhitekt rešitev za storitve umetne inteligence pri AWS. Specializiran je za uporabno umetno inteligenco/ML in strastno želi strankam omogočiti uporabo oblaka za hitrejše inovacije in preoblikovanje njihovih podjetij.

Marcel Pividal je starejši arhitekt rešitev za storitve umetne inteligence v svetovni organizaciji specialistov. Marcel ima več kot 20 let izkušenj z reševanjem poslovnih problemov s tehnologijo za fintech, ponudnike plačil, farmacijo in vladne agencije. Njegova trenutna področja so obvladovanje tveganj, preprečevanje goljufij in preverjanje identitete.