Mérőszámok a személyazonosság-ellenőrzési megoldás értékeléséhez

Globálisan felgyorsult az elmozdulás a súrlódásmentes digitális felhasználói élmény felé. Legyen szó regisztrációról egy webhelyen, online tranzakcióról vagy egyszerűen bejelentkezésről a bankszámlájára, a szervezetek aktívan próbálják csökkenteni az ügyfelek által tapasztalt súrlódásokat, ugyanakkor fokozzák a biztonságot, a megfelelőséget és a csalásmegelőzési intézkedéseiket. A súrlódásmentes felhasználói élmény felé való elmozdulás eredményeként jöttek létre az arcalapú biometrikus személyazonosság-ellenőrzési megoldások, amelyek célja a „Hogyan ellenőrizhető egy személy a digitális világban?” kérdésre.

Az arcbiometrikus adatoknak két fő előnye van, amikor az azonosítás és a hitelesítés kérdéseiről van szó. Először is, ez egy kényelmes technológia a felhasználók számára: nincs szükség jelszavakra emlékezni, többtényezős kihívásokkal foglalkozni, ellenőrző linkekre kattintani, vagy CAPTCHA rejtvényeket megoldani. Másodszor, magas szintű biztonság érhető el: az arc-biometria alapján történő azonosítás és hitelesítés biztonságos, és kevésbé érzékeny a csalásra és támadásokra.

Ebben a bejegyzésben a személyazonosság-ellenőrzés két elsődleges felhasználási esetét mutatjuk be: a belépést és a hitelesítést. Ezután belevetjük magunkat a biometrikus rendszer pontosságának értékeléséhez használt két kulcsfontosságú mérőszámba: a hamis egyezési arány (más néven hamis elfogadási arány) és a hamis nem egyezési arány (más néven hamis elutasítási arány). Ezt a két mértéket széles körben használják a szervezetek a biometrikus rendszerek pontosságának és hibaarányának értékelésére. Végül megvitatjuk a személyazonosság-ellenőrző szolgáltatás értékelésének keretrendszerét és bevált gyakorlatait.

Lásd a mellékelt Jupyter jegyzetfüzet amely végigvezeti az ebben a bejegyzésben említett összes lépést.

Felhasználási esetek: Bevezetés és hitelesítés

A biometrikus megoldásoknak két elsődleges felhasználási esete van: a felhasználói bejelentkezés (gyakran ellenőrzésnek nevezik) és a hitelesítés (gyakran azonosításnak nevezik). A belépés magában foglalja az arcok egy az egyhez illesztését két kép között, például egy szelfi összehasonlítását egy megbízható személyazonosító okmánnyal, például jogosítvánnyal vagy útlevéllel. A hitelesítés ezzel szemben magában foglalja az arc egy-a többhöz való keresését egy tárolt arcgyűjteményhez képest, például az alkalmazottak arcainak gyűjteményében való keresést, hogy megtudja, egy alkalmazott jogosult-e belépni egy épület egy adott emeletére.

A beépítési és hitelesítési felhasználási esetek pontos teljesítményét a biometrikus megoldás által elkövetett hamis pozitív és hamis negatív hibák mérik. A hasonlósági pontszám (0%-tól, ami azt jelenti, hogy nincs egyezés a 100%-ig, ami tökéletes egyezést jelent) az egyezés vagy a nem egyező döntés meghatározásához használatos. Hamis pozitív eredmény akkor fordul elő, ha a megoldás két különböző egyén képét ugyanannak a személynek tekinti. A hamis negatív viszont azt jelenti, hogy a megoldás ugyanazon személy két képét különbözőnek tekintette.

Belépés: Személyes ellenőrzés

A biometrikus alapú beléptetési folyamatok leegyszerűsítik és biztonságossá teszik a folyamatot. A legfontosabb, hogy a szervezetet és az ügyfelet szinte súrlódásmentes beépítési élményre készteti. Ehhez a felhasználóknak egyszerűen be kell mutatniuk valamilyen, a felhasználó arcát tartalmazó megbízható azonosító okmány képét (például jogosítvány vagy útlevél), valamint szelfi képet kell készíteniük a bejelentkezési folyamat során. Miután a rendszer rendelkezik ezzel a két képpel, egyszerűen összehasonlítja a két képen belüli arcokat. Ha a hasonlóság nagyobb, mint egy megadott küszöb, akkor van egyezés; ellenkező esetben nincs egyezésed. Az alábbi diagram a folyamatot mutatja be.

Tekintsük Julie példáját, egy digitális bankszámlát nyitó új felhasználót. A megoldás arra kéri őt, hogy készítsen képet a jogosítványáról (2. lépés), és készítsen szelfit (3. lépés). Miután a rendszer ellenőrizte a képek minőségét (4. lépés), összehasonlítja a szelfi arcát a jogosítványon szereplő arccal (egy az egyhez egyezés), és hasonlósági pontszámot készít (5. lépés). Ha a hasonlósági pontszám alacsonyabb, mint az előírt hasonlósági küszöb, akkor Julie bekerülési kísérlete elutasításra kerül. Ezt nevezzük hamis nem egyezésnek vagy hamis elutasításnak: a megoldás ugyanazon személy két képét különbözõnek tekintette. Másrészt, ha a hasonlósági pontszám nagyobb volt, mint a szükséges hasonlóság, akkor a megoldás a két képet ugyanannak a személynek vagy egyezőnek tekinti.

Hitelesítés: Egy a többhez azonosítás

Az épületbe való belépéstől a kioszkba való bejelentkezésig, a felhasználó személyazonosságának igazolására szelfi készítésére való felszólításig – az arcfelismeréssel történő zéró-alacsony súrlódású azonosítás sok szervezetnél általánossá vált. Ahelyett, hogy kép-kép egyeztetést hajtana végre, ez a hitelesítési felhasználási eset egyetlen képet vesz, és összehasonlítja azt egy kereshető képgyűjteményével a lehetséges egyezés érdekében. Egy tipikus hitelesítési esetben a felhasználót arra kérik, hogy készítsen szelfit, amelyet aztán összehasonlítanak a gyűjteményben tárolt arcokkal. A keresés eredménye nulla, egy vagy több lehetséges egyezést ad a megfelelő hasonlósági pontszámokkal és külső azonosítókkal. Ha nem ad vissza egyezést, akkor a felhasználó nincs hitelesítve; Feltételezve azonban, hogy a keresés egy vagy több egyezést ad vissza, a rendszer a hasonlósági pontszámok és a külső azonosítók alapján hozza meg a hitelesítési döntést. Ha a hasonlósági pontszám meghaladja a szükséges hasonlósági küszöböt, és a külső azonosító egyezik a várt azonosítóval, akkor a felhasználó hitelesítése (egyeztetése) történik. A következő ábra egy arcalapú biometrikus hitelesítési eljárásra mutat be példát.

Vegyük például Jose példáját, aki egy gigagazdaságos szállítósofőr. A kézbesítési szolgáltatás úgy hitelesíti a szállító sofőröket, hogy felkéri a sofőrt, hogy készítsen szelfit, mielőtt a cég mobilalkalmazásával megkezdené a szállítást. A gigagazdasági szolgáltatók egyik problémája az állásmegosztás; lényegében két vagy több felhasználó osztozik ugyanazon a fiókon, hogy játszhasson a rendszerrel. Ennek leküzdésére sok kézbesítési szolgálat autóba épített kamerát használ a sofőr véletlenszerű időpontjaiban történő felvételére (2. lépés) a szállítás során (annak érdekében, hogy a szállító sofőr legyen a jogosult sofőr). Ebben az esetben Jose nemcsak szelfit készít a szülés kezdetén, hanem az autóban lévő kamera is képeket készít róla a szállítás során. A rendszer minőségellenőrzést végez (3. lépés) és megkeresi (4. lépés) a regisztrált illesztőprogramok gyűjteményét, hogy ellenőrizze az illesztőprogram kilétét. Ha másik illesztőprogramot észlel, a gigagazdaságos kézbesítési szolgáltatás tovább vizsgálhatja.

Hamis egyezés (hamis pozitív) akkor fordul elő, ha a megoldás két vagy több különböző ember képét ugyanannak a személynek tekinti. A mi használati esetünkben tegyük fel, hogy a felhatalmazott sofőr helyett Jose megengedi testvérének, Miguelnek, hogy elvigye helyette az egyik szállítmányát. Ha a megoldás helytelenül illeszti Miguel szelfijét José képeivel, akkor hamis egyezés (hamis pozitív) történik.

A hamis egyezések lehetőségének leküzdése érdekében azt javasoljuk, hogy a gyűjtemények minden témáról több képet is tartalmazzanak. Bevett gyakorlat az arcot, a belépéskor készült szelfit és az utolsó azonosítási ellenőrzések során készült szelfiket tartalmazó megbízható azonosító dokumentumok indexelése. Egy alany több képének indexelése lehetővé teszi a visszaadott arcok hasonlósági pontszámainak összesítését, ezáltal javítva az azonosítás pontosságát. Ezenkívül külső azonosítókat használnak a hamis elfogadás kockázatának korlátozására. Egy példa üzleti szabály a következőképpen nézhet ki:

HA az összesített hasonlósági pontszám >= szükséges hasonlósági küszöb ÉS külső azonosító == várt azonosító AKKOR hitelesítés

Főbb biometrikus pontossági intézkedések

Egy biometrikus rendszerben a hamis egyezési arány (FMR) és a hamis nem egyezési arány (FNMR) érdekel bennünket az arc-összehasonlításokból és keresésekből származó hasonlósági pontszámok alapján. Legyen szó beépítésről vagy hitelesítésről, a biometrikus rendszerek két vagy több kép hasonlósági pontszáma alapján döntenek úgy, hogy elfogadják vagy elutasítják a felhasználó arcának egyezését. Mint minden döntési rendszer, előfordulhatnak olyan hibák, amikor a rendszer helytelenül fogadja el vagy utasítja el a belépési vagy hitelesítési kísérletet. A személyazonosság-ellenőrzési megoldás kiértékelésének részeként a rendszert különböző hasonlósági küszöbök mellett kell kiértékelnie, hogy minimalizálja a hamis egyezések és a téves nem egyezések arányát, valamint összehasonlítsa ezeket a hibákat a helytelen elutasítások és elfogadások költségeivel. Az FMR-t és az FNMR-t használjuk két kulcsfontosságú mérőszámként az arc biometrikus rendszereinek értékeléséhez.

Hamis nem egyező arány

Ha a személyazonosság-ellenőrző rendszer nem képes megfelelően azonosítani vagy felhatalmazni egy valódi felhasználót, hamis nem egyezés történik, más néven hamis negatív. A hamis nem egyezési arány (FNMR) azt méri, hogy a rendszer mennyire hajlamos a valódi felhasználó helytelen azonosítására vagy engedélyezésére.

Az FNMR-t azon esetek százalékában fejezik ki, amikor bejelentkezési vagy hitelesítési kísérletet hajtanak végre, ahol a felhasználó arcát helytelenül utasítják el (hamis negatív), mert a hasonlósági pontszám az előírt küszöb alatt van.

Igazi pozitív (TP) az, amikor a megoldás ugyanazon személy két vagy több képét tekinti azonosnak. Vagyis az összehasonlítás vagy keresés hasonlósága meghaladja a szükséges hasonlósági küszöböt.

Hamis negatív (FN) az, amikor a megoldás két vagy több képét ugyanarról a személyről eltérőnek tekinti. Vagyis az összehasonlítás vagy keresés hasonlósága a szükséges hasonlósági küszöb alatt van.

Az FNMR képlete a következő:

FNMR = hamis negatív szám / (igaz pozitív szám + hamis negatív szám)

Tegyük fel például, hogy 10,000 100 valódi hitelesítési kísérletünk van, de 9,900 elutasításra kerül, mert a referenciaképhez vagy gyűjteményhez való hasonlóságuk a megadott hasonlósági küszöb alá esik. Itt 100 valódi pozitív és 1.0 hamis negatív van, ezért az FNMR-ünk XNUMX%

FNMR = 100/(9900 + 100) vagy 1.0%

Hamis egyezési arány

Amikor egy személyazonosság-ellenőrző rendszer helytelenül azonosít vagy hitelesít egy jogosulatlan felhasználót, hamis egyezés történik, más néven hamis pozitív eredmény. A hamis egyezési arány (FMR) azt méri, mennyire hajlamos a rendszer arra, hogy helytelenül azonosítson vagy engedélyezzen egy jogosulatlan felhasználót. Ezt a hamis pozitív felismerések vagy hitelesítések számának és az azonosítási kísérletek teljes számának hányadosaként mérik.

Hamis pozitív eredmény akkor fordul elő, ha a megoldás két vagy több különböző emberről készült képet ugyanannak a személynek tekint. Vagyis az összehasonlítás vagy keresés hasonlósági pontszáma meghaladja a szükséges hasonlósági küszöböt. Lényegében a rendszer helytelenül azonosítja vagy engedélyezi a felhasználót, amikor el kellett volna utasítania az azonosítási vagy hitelesítési kísérletet.

Az FMR képlete a következő:

FMR = hamis pozitív szám / (összes kísérlet)

Tegyük fel például, hogy 100,000 100 hitelesítési kísérletünk van, de 100 hamis felhasználót tévesen engedélyeztek, mert a referenciaképhez vagy gyűjteményhez való hasonlóságuk meghaladja a megadott hasonlósági küszöböt. Itt 0.01 hamis pozitív eredmény van, ezért az FMR-ünk XNUMX%

FMR = 100 / (100,000 0.01) vagy XNUMX%

Hamis egyezési arány és hamis nem egyezési arány

A hamis egyezési arány és a hamis nem egyezés aránya ellentétes egymással. A hasonlósági küszöb növekedésével a hamis egyezés lehetősége csökken, míg a hamis nem egyezés lehetősége nő. Egy másik módja ennek a kompromisszumnak az, hogy a hasonlósági küszöb növekedésével a megoldás szigorúbbá válik, így kevesebb az alacsony hasonlóság. Például gyakori, hogy a közbiztonságot és közbiztonságot érintő használati esetek meglehetősen magasra (99 és magasabb) állítanak be egyezési hasonlósági küszöböt. Alternatív megoldásként egy szervezet választhat egy kevésbé korlátozó hasonlósági küszöböt (90 és magasabb), ahol a súrlódásnak a felhasználóra gyakorolt ​​hatása fontosabb. A következő ábra szemlélteti ezeket a kompromisszumokat. A szervezetek számára az a kihívás, hogy megtalálják azt a küszöböt, amely minimálisra csökkenti az FMR-t és az FNMR-t az Ön szervezeti és alkalmazási követelményei alapján.

A hasonlósági küszöb kiválasztása az üzleti alkalmazástól függ. Tegyük fel például, hogy korlátozni szeretné az ügyfelek súrlódását a beépítés során (egy kevésbé korlátozó hasonlósági küszöb, amint az a következő bal oldali ábrán látható). Előfordulhat, hogy itt alacsonyabb a szükséges hasonlósági küszöb, és hajlandó elfogadni a felhasználók felvételének kockázatát, ha alacsonyabb a szelfi és a jogosítvány közötti egyezésbe vetett bizalom. Ezzel szemben tegyük fel, hogy biztosítani szeretné, hogy csak a jogosult felhasználók lépjenek be egy alkalmazásba. Itt egy meglehetősen korlátozó hasonlósági küszöb mellett működhet (amint az a jobb oldali ábrán látható).

A hamis egyezési és nem egyezési arányok kiszámításának lépései

Számos módja van ennek a két mutatónak a kiszámítására. A következő egy viszonylag egyszerű megközelítés a lépések felosztására valódi képpárok összegyűjtésére, álpárosítás létrehozására (olyan képek, amelyeknek nem kellene egyeznie), végül pedig egy szondával áthurkoljuk a várt egyező és nem egyező képpárokat, rögzítve a eredő hasonlóság. A lépések a következők:

1. Gyűjtsön össze egy valódi mintaképkészletet. Javasoljuk, hogy kezdje képpárok készletével, és rendeljen hozzá egy külső azonosítót, amelyet a hivatalos egyezés meghatározásához használnak. A pár a következő képekből áll:
   1. Forráskép – Megbízható forráskép, például jogosítvány.
   2. Célkép – Az Ön szelfije vagy képe, amellyel összehasonlítani fogja.
2. Gyűjts össze egy imposztor gyufa képkészletet. Ezek olyan képpárok, amelyeknél a forrás és a cél nem egyezik. Ez az FMR értékelésére szolgál (annak valószínűsége, hogy a rendszer hibásan egyezik két különböző felhasználó arcával). A képpárok felhasználásával imposztor képkészletet készíthet úgy, hogy a képekből egy derékszögű szorzatot hoz létre, majd az eredményt szűri és mintavételezi.
3. Vizsgálja meg az eredeti és az imposztor egyezési készleteket úgy, hogy áthurkolja a képpárokat, összehasonlítja a forrást és a csaló célpontját, és rögzíti a kapott hasonlóságot.
4. Számítsa ki az FMR-t és az FNMR-t úgy, hogy kiszámítja a hamis pozitív és hamis negatív értékeket különböző minimális hasonlósági küszöbök mellett.

Felmérheti az FMR és FNMR költségeit az alkalmazás szükségleteihez képest eltérő hasonlósági küszöbök mellett.

1. lépés: Gyűjtsön össze valódi képpár mintákat

A képpárok reprezentatív mintájának kiválasztása az értékeléshez kritikus fontosságú a személyazonosság-ellenőrző szolgáltatás értékelésekor. Az első lépés a képpárok valódi halmazának azonosítása. Ezek egy felhasználó ismert forrás- és célképei. Az eredeti képpárosítás az FNMR értékelésére szolgál, lényegében annak a valószínűségére, hogy a rendszer nem egyezik meg ugyanannak a személynek két arcával. Az egyik első gyakran feltett kérdés: „Hány képpárra van szükség?” A válasz az, hogy ez a használati esettől függ, de az általános útmutatás a következő:

• A 100–1,000 képpár a megvalósíthatóság mércéje
• Akár 10,000 XNUMX képpár is elég nagy a képek közötti eltérések mérésére
• Több mint 10,000 XNUMX képpár méri a működési minőséget és az általánosíthatóságot

A több adat mindig jobb; kiindulópontként azonban legalább 1,000 képpárt használjon. Nem ritka azonban, hogy egy adott üzleti probléma esetén 10,000 XNUMX-nél több képpárt használnak az elfogadható FNMR- vagy FMR-értékek nullázásához.

Az alábbiakban egy minta képpár-leképezési fájl látható. A képpár-leképezési fájlt használjuk a kiértékelési folyamat többi részének irányítására.

2. lépés: Hozzon létre egy imposztor képpárt készlet

Most, hogy rendelkezik egy valódi képpárokból álló fájllal, létrehozhat egy derékszögű szorzatot a cél- és forrásképekből, ahol a külső azonosítók nem egyeznek. Ez olyan forrás-cél párokat hoz létre, amelyeknek nem kellene egyezniük. Ez a párosítás az FMR értékelésére szolgál, lényegében annak valószínűségére, hogy a rendszer egy felhasználó arcát egy másik felhasználó arcához párosítja.

3. lépés: Vizsgálja meg az eredeti és az álképpár készleteket

Illesztőprogram segítségével alkalmazzuk a Amazon felismerés CompareFaces API át a képpárokon, és rögzítse a hasonlóságot. További információkat is rögzíthet, például a pózt, a minőséget és az összehasonlítás egyéb eredményeit. A hasonlósági pontszámokat a következő lépésben a hamis egyezés és a nem egyezés arányának kiszámításához használjuk.

A következő kódrészletben a CompareFaces API-t alkalmazzuk az összes képpárra, és az összes hasonlósági pontszámot egy táblázatban töltjük fel:

obj = s3.get_object(Bucket= bucket_name , Key = csv_file)

df = pd.read_csv(io.BytesIO(obj['Body'].read()), encoding='utf8')
def compare_faces(source_file, target_file, threshold = 0):
    response=rekognition.compare_faces(SimilarityThreshold=threshold,
                                        SourceImage={'S3Object': {
                                                    'Bucket': bucket_name,
                                                    'Name':source_file}},
                                        TargetImage={'S3Object': {
                                                    'Bucket': bucket_name,
                                                    'Name':target_file}})
df_similarity = df.copy()
df_similarity["SIMILARITY"] = None
for index, row in df.iterrows():
    source_file = dataset_folder + row["SOURCE"]
    target_file = dataset_folder + row["TARGET"]
    response_score = compare_faces(source_file, target_file)
    df_similarity._set_value(index,"SIMILARITY", response_score)
    df_similarity.head()

A kódrészlet a következő kimenetet adja.

A hasonlósági pontszámok tesztek szerinti eloszlásanalízise kiindulópont a képpárok hasonlósági pontszámának megértéséhez. A következő kódrészlet és kimeneti diagram egy egyszerű példát mutat be a hasonlósági pontszám tesztkészletenkénti eloszlására, valamint az ebből származó leíró statisztikákra:

sns.boxplot(data=df_similarity,
            x=df_similarity["SIMILARITY"],
            y=df_similarity["TEST"]).set(xlabel='Similarity Score',
            ylabel=None,
            title = "Similarity Score Distribution")
plt.show()

df_descriptive_stats = pd.DataFrame(columns=['test','count', 'min' , 'max', 'mean', 'median', 'std'])

tests = ["Genuine", "Imposter"]

for test in tests:
    count = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].count()
    mean = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].mean()
    max_ = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].max()
    min_ = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].min()
    median = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].median()
    std = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].std()

    new_row = {'test': test,
                'count': count,
                'min': min_,
                'max': max_,
                'mean': mean,
                'median':median,
                'std': std}
    df_descriptive_stats = df_descriptive_stats.append(new_row,
    ignore_index=True)

df_descriptive_stats

Ebben a példában láthatjuk, hogy a valódi arcpárok átlagos és medián hasonlósága 91.7 és 99.1, míg az imposztor párok esetében 2.8 és 0.8 volt. Ahogy az várható volt, ez a valódi képpárok magas hasonlósági pontszámát, az álképpárok alacsony hasonlósági pontszámát mutatja.

4. lépés: Számítsa ki az FMR-t és az FNMR-t különböző hasonlósági küszöbszinteken

Ebben a lépésben kiszámítjuk a hamis egyezés és a nem egyezés arányát különböző hasonlósági küszöbök mellett. Ehhez egyszerűen át kell lépnünk a hasonlósági küszöbértékeket (például 90–100). Minden kiválasztott hasonlósági küszöbnél kiszámítjuk a zavaró mátrixunkat, amely valódi pozitív, igaz negatív, hamis pozitív és hamis negatív számokat tartalmaz, amelyeket az FMR és FNMR kiszámításához használunk minden kiválasztott hasonlóságnál.

Ehhez létrehozunk egy függvényt, amely visszaadja a hamis pozitív és negatív számokat, és végigfut a hasonlósági pontszámokon (90–100):

similarity_thresholds = [80,85,90,95,96,97,98,99]

# create output df
df_cols = ['Similarity Threshold', 'TN' , 'FN', 'TP', 'FP', 'FNMR (%)', 'FMR (%)']
comparison_df = pd.DataFrame(columns=df_cols)

# create columns for y_actual and y_pred
df_analysis = df_similarity.copy()
df_analysis["y_actual"] = None
df_analysis["y_pred"] = None

for threshold in similarity_thresholds:
    # Create y_pred and y_actual columns, 1 == match, 0 == no match
    for index, row in df_similarity.iterrows():
        # set y_pred
        if row["SIMILARITY"] >= threshold:
            df_analysis._set_value(index,"y_pred", 1)
        else:
            df_analysis._set_value(index,"y_pred", 0)

        # set y_actual
        if row["TEST"] == "Genuine":
            df_analysis._set_value(index,"y_actual", 1)
        else:
            df_analysis._set_value(index,"y_actual", 0)

    tn, fp, fn, tp = confusion_matrix(df_analysis['y_actual'].tolist(),
                                      df_analysis['y_pred'].tolist()).ravel()
    FNMR = fn / (tp + fn)
    FMR = fp / (tn+fp+fn+tp)

    new_row = {'Similarity Threshold': threshold,
                'TN': tn,
                'FN': fn,
                'TP': tp,
                'FP': fp,
                'FNMR (%)':FNMR,
                'FMR (%)': FMR}
    comparison_df = comparison_df.append(new_row,ignore_index=True)

comparison_df

A következő táblázat az egyes hasonlósági küszöböknél végzett számlálások eredményeit mutatja.

Hogyan befolyásolja a hasonlósági küszöb a hamis nem egyezés arányát?

Tételezzük fel, hogy 1,000 valódi felhasználói belépési kísérletünk van, és ezek közül 10-et elutasítunk az egyezéshez szükséges minimum 95%-os hasonlóság alapján. Itt 10 valódi belépési kísérletet utasítunk el (hamis negatív), mert hasonlóságuk a meghatározott minimális hasonlósági küszöb alá esik. Ebben az esetben az FNMR-ünk 1.0%.

FNMR = hamis negatív szám / (igaz pozitív szám + hamis negatív szám)

FNMR = 10/(990 + 10) vagy 1.0%

Ezzel szemben tegyük fel, hogy 1,000 valódi felhasználó helyett 990 valódi felhasználónk és 10 szélhámos felhasználónk van (hamis pozitív). Tegyük fel, hogy 95%-os minimális hasonlóság mellett mind az 1,000 felhasználót elfogadjuk eredetinek. Itt 1%-os FMR-ünk lenne.

FMR = hamis pozitív szám / (összes kísérlet)

FMR = 10 / (1,000 1.0) vagy XNUMX%

Az FMR és FNMR költségeinek felmérése a beszálláskor

Bevezető használat esetén a hamis nem egyezés (elutasítás) költségei általában további felhasználói súrlódásokkal vagy a regisztráció elvesztésével járnak. Tegyük fel például, hogy a mi banki felhasználási esetünkben Julie két képet mutat be magáról, de tévesen utasítják el a felvételkor, mert a két kép közötti hasonlóság a kiválasztott hasonlóság alá esik (hamis nem egyezés). A pénzintézet azt kockáztathatja, hogy elveszíti Julie-t, mint potenciális ügyfelet, vagy további súrlódásokat okozhat Julie számára, ha megköveteli tőle, hogy tegyen lépéseket személyazonosságának bizonyítására.

Fordítva, tegyük fel, hogy a Julie-ról készült két kép különböző emberekről készült, és Julie felvételét el kellett volna utasítani. Abban az esetben, ha Julie-t helytelenül fogadják el (hamis egyezés), a pénzintézet költsége és kockázata egészen más. Előfordulhatnak szabályozási problémák, csalás kockázata és egyéb kockázatok a pénzügyi tranzakciókkal kapcsolatban.

Felelősségteljes használat

A gépi tanuláson (ML) keresztül alkalmazott mesterséges intelligencia (MI) generációnk egyik leginkább átalakító technológiája lesz, amely megoldja az emberiség legnagyobb kihívást jelentő problémáit, növeli az emberi teljesítményt és maximalizálja a termelékenységet. E technológiák felelősségteljes használata kulcsfontosságú a folyamatos innováció elősegítésében. Az AWS elkötelezett a tisztességes és pontos mesterségesintelligencia- és ML-szolgáltatások kifejlesztése mellett, valamint az AI- és ML-alkalmazások felelősségteljes felépítéséhez szükséges eszközök és útmutatás biztosítása mellett.

Ahogy elfogadja és növeli az AI és az ML használatát, az AWS tapasztalatainkon alapuló több erőforrást kínál, amelyek segítenek Önnek az AI és az ML felelős fejlesztésében és használatában:

A legjobb gyakorlatok és az elkerülendő gyakori hibák

Ebben a részben a következő bevált gyakorlatokat tárgyaljuk:

• Használjon elég nagy mintát a képekből
• Kerülje a nyílt forráskódú és szintetikus arcadatkészleteket
• Kerülje a kézi és szintetikus képkezelést
• Ellenőrizze a képminőséget az értékeléskor és idővel
• Kövesse az FMR-t és az FNMR-t az idő múlásával
• Használjon embert a ciklusban
• Legyen naprakész az Amazon Rekognition segítségével

Használjon elég nagy mintát a képekből

Használjon elég nagy, de ésszerű képmintát. Mi az ésszerű mintanagyság? Ez az üzleti problémától függ. Ha Ön munkáltató, és 10,000 10,000 alkalmazottja van, akiket hitelesíteni szeretne, akkor valószínűleg ésszerű mind a 5,000 20,000 kép használata. Tegyük fel azonban, hogy Ön egy olyan szervezet, amelynek több millió ügyfele van, akiket szeretne bevonni. Ebben az esetben valószínűleg elegendő egy reprezentatív minta vétele az ügyfelekből, például XNUMX–XNUMX XNUMX. Íme néhány útmutatás a minta méretéhez:

• A minta mérete 100 – 1,000 képpár bizonyítja a megvalósíthatóságot
• A minta mérete 1,000 – 10,000 XNUMX képpár hasznos a képek közötti variabilitás mérésére
• A minta mérete 10,000 – 1 millió képpár a működési minőség és az általánosíthatóság mércéje

A mintavételezésű képpárok kulcsa annak biztosítása, hogy a minta elegendő változatosságot biztosítson az alkalmazás arcainak sokaságában. A mintavételt és a tesztelést tovább bővítheti demográfiai adatokkal, mint például a bőrtónus, a nem és az életkor.

Kerülje a nyílt forráskódú és szintetikus arcadatkészleteket

Több tucat válogatott nyílt forráskódú arckép-adatkészlet, valamint elképesztően valósághű szintetikus arckészlet létezik, amelyeket gyakran használnak kutatásban és a megvalósíthatóság tanulmányozásában. A kihívás az, hogy ezek az adatkészletek általában nem hasznosak a valós felhasználási esetek 99%-ában, egyszerűen azért, mert nem reprezentatívak a kamerák, arcok és azon képek minősége szempontjából, amelyekkel az alkalmazás valószínűleg a vadonban találkozik. Bár hasznosak az alkalmazásfejlesztéshez, ezeknek a képkészleteknek a pontossági mutatói nem általánosítják azt, amivel a saját alkalmazásaiban találkozhat. Ehelyett azt javasoljuk, hogy a megoldásból származó valódi képek reprezentatív mintájával kezdjen, még akkor is, ha a mintaképpárok kicsik (1,000 alattiak).

Kerülje a kézi és szintetikus képkezelést

Gyakran vannak éles esetek, amelyek megértése az embereket érdekli. Az olyan dolgok, mint a képrögzítés minősége vagy bizonyos arcvonások elhomályosítása, mindig érdekesek. Például gyakran kérdeznek minket arról, hogy az életkor és a képminőség milyen hatással van az arcfelismerésre. Egyszerűen szintetikusan öregítheti az arcot, vagy manipulálhatja a képet, hogy az alany idősebbnek tűnjön, vagy manipulálhatja a képminőséget, de ez nem tükrözi jól a képek valós öregedését. Ehelyett azt javasoljuk, hogy gyűjtsön reprezentatív mintát azokból a valós helyzetekből, amelyek tesztelése iránt érdeklődik.

Ellenőrizze a képminőséget az értékeléskor és idővel

A kamera- és alkalmazástechnológia az idő múlásával meglehetősen gyorsan változik. Bevált gyakorlatként azt javasoljuk, hogy a képminőséget időnként figyelje. A rögzített arcok méretétől (határolókeretekkel), a kép világosságán és élességén át az arc pózáig, valamint a lehetséges zavaró tényezőkig (sapka, napszemüveg, szakáll stb.) az arcvonások idővel változnak.

Kövesse az FNMR-t és az FMR-t az idő múlásával

Változások történnek, legyen szó a képekről, az alkalmazásról vagy az alkalmazásban használt hasonlósági küszöbökről. Fontos, hogy időnként figyelje a hamis egyezések és a nem egyezés arányait. Az árak változásai (még a legapróbb változtatások is) gyakran utalhatnak az alkalmazás vagy az alkalmazás használatának felfelé irányuló kihívásaira. A hasonlósági küszöbértékek és az elfogadási vagy elutasítási döntések meghozatalához használt üzleti szabályok változásai jelentős hatással lehetnek a beépítési és hitelesítési felhasználói élményre.

Használjon embert a ciklusban

A személyazonosság-ellenőrző rendszerek a hasonlósági küszöbök és az üzleti szabályok alapján automatizált döntéseket hoznak az egyezésről és a nem egyeztetésről. A szabályozási és belső megfelelőségi követelmények mellett minden automatizált döntési rendszerben fontos folyamat, hogy a döntési folyamat folyamatos nyomon követésének részeként emberi felülvizsgálókat alkalmazzanak. Ezen automatizált döntéshozatali rendszerek emberi felügyelete validálást és folyamatos fejlesztést, valamint az automatizált döntéshozatali folyamat átláthatóságát biztosítja.

Legyen naprakész az Amazon Rekognition segítségével

Az Amazon Recognition arcok modelljét rendszeresen (általában évente) frissítik, és jelenleg a 6-os verzión fut. Ez a frissített verzió fontos fejlesztéseket tett a pontosság és az indexelés terén. Fontos, hogy naprakész maradjon az új modellverziókkal kapcsolatban, és megértse, hogyan használhatja ezeket az új verziókat a személyazonosság-ellenőrző alkalmazásban. Amikor az Amazon Rekognition arcmodell új verziói megjelennek, célszerű újra lefuttatni a személyazonosság-ellenőrzési folyamatot, és megállapítani, hogy milyen (pozitív és negatív) hatások jelentkezhetnek a hamis egyezési és nem egyezési arányokra.

Következtetés

Ez a bejegyzés azokat a kulcsfontosságú elemeket tárgyalja, amelyek a személyazonosság-ellenőrzési megoldás teljesítményének értékeléséhez szükségesek a különböző pontossági mutatók tekintetében. A pontosság azonban csak egy a sok dimenzió közül, amelyeket értékelnie kell egy adott tartalommoderálási szolgáltatás kiválasztásakor. Nagyon fontos, hogy más paramétereket is megadjon, például a szolgáltatás teljes szolgáltatáskészletét, a könnyű használhatóságot, a meglévő integrációkat, az adatvédelmet és a biztonságot, a testreszabási lehetőségeket, a skálázhatósági vonatkozásokat, az ügyfélszolgálatot és az árakat.

Ha többet szeretne megtudni az Amazon Rekognition személyazonosságának ellenőrzéséről, látogasson el a következő oldalra Személyazonosság-ellenőrzés az Amazon Rekognition segítségével.

A szerzőkről

Mike Ames egy adattudósból lett személyazonosság-ellenőrzési megoldások specialistája, aki széleskörű tapasztalattal rendelkezik gépi tanulási és mesterséges intelligencia megoldások fejlesztésében, amelyek megvédik a szervezeteket a csalástól, pazarlástól és visszaélésektől. Szabadidejében túrázhat, hegyikerékpározhat, vagy kutyájával, Max-szal játszik freebee-vel.

Amit Gupta az AWS vezető mesterséges intelligencia-szolgáltatási építésze. Szenvedélyesen törekszik arra, hogy ügyfelei széleskörű, jól megtervezett gépi tanulási megoldásokat biztosítsanak.

Zuhayr Raghib az AWS AI Services Solutions Architect-je. Az alkalmazott AI/ML-re specializálódott, és szenvedélyesen törekszik arra, hogy lehetővé tegye ügyfelei számára, hogy a felhő segítségével gyorsabban innováljanak és átalakítsák vállalkozásukat.

Marcel Pividal Sr. AI Services Solutions Architect a World-Wide Specialist Organizationnél. Marcel több mint 20 éves tapasztalattal rendelkezik üzleti problémák megoldásában a fintech-ek, fizetési szolgáltatók, gyógyszerészek és kormányzati ügynökségek számára. Jelenlegi területe a kockázatkezelés, a csalásmegelőzés és a személyazonosság-ellenőrzés.