Показники для оцінки рішення для підтвердження особи

У всьому світі відбувся прискорений зсув до безпроблемного цифрового досвіду користувача. Незалежно від того, чи це реєстрація на веб-сайті, транзакції в Інтернеті чи просто вхід у ваш банківський рахунок, організації активно намагаються зменшити тертя, з якими стикаються їхні клієнти, і в той же час підвищити рівень безпеки, відповідності та запобігання шахрайству. Перехід до безпроблемного користувальницького досвіду породив рішення біометричної перевірки особи на основі обличчя, спрямовані на відповідь на запитання «Як підтвердити особу в цифровому світі?»

Є дві ключові переваги біометрії обличчя, коли справа стосується питань ідентифікації та автентифікації. По-перше, це зручна технологія для користувачів: не потрібно запам’ятовувати пароль, вирішувати багатофакторні завдання, клацати за посиланнями для перевірки чи розгадувати головоломки CAPTCHA. По-друге, досягається високий рівень безпеки: ідентифікація та автентифікація на основі біометрії обличчя є безпечними та менш сприйнятливими до шахрайства та атак.

У цій публікації ми зануримося в два основні випадки використання перевірки особи: адаптація та автентифікація. Потім ми заглибимося в два ключові показники, які використовуються для оцінки точності біометричної системи: коефіцієнт хибних збігів (також відомий як коефіцієнт хибного прийняття) і рівень хибних невідповідностей (також відомий як коефіцієнт хибних відхилень). Ці два показники широко використовуються організаціями для оцінки точності та рівня помилок біометричних систем. Нарешті, ми обговорюємо структуру та найкращі практики для виконання оцінки служби перевірки особи.

Зверніться до супроводу Блокнот Юпітера який проходить усі кроки, згадані в цій публікації.

Варіанти використання: адаптація та автентифікація

Існує два основних випадки використання біометричних рішень: підключення користувача (часто називається верифікацією) та автентифікація (часто називається ідентифікацією). Онбординг передбачає однозначне зіставлення облич на двох зображеннях, наприклад, порівняння селфі з надійним ідентифікаційним документом, таким як водійські права чи паспорт. Автентифікація, з іншого боку, передбачає пошук обличчя «один-до-багатьох» у збереженій колекції облич, наприклад, пошук у колекції облич співробітників, щоб перевірити, чи має працівник авторизований доступ до певного поверху будівлі.

Точність виконання сценаріїв адаптації та автентифікації вимірюється хибнопозитивними та хибнонегативними помилками, які може зробити біометричне рішення. Оцінка подібності (від 0% означає відсутність відповідності до 100% означає повну відповідність) використовується для визначення відповідності чи невідповідності. Помилковий результат виникає, коли рішення вважає зображення двох різних осіб однією людиною. З іншого боку, помилковий негатив означає, що рішення вважало два зображення однієї людини різними.

Онбординг: індивідуальна перевірка

Процес адаптації на основі біометричних даних спрощує та захищає процес. Найважливіше те, що це налаштовує організацію та клієнта на майже безпроблемний досвід адаптації. Для цього користувачі просто повинні пред’явити зображення будь-якої форми надійного ідентифікаційного документа, що містить обличчя користувача (наприклад, водійські права чи паспорт), а також зробити селфі під час процесу реєстрації. Коли система має ці два зображення, вона просто порівнює обличчя на двох зображеннях. Якщо подібність перевищує заданий поріг, у вас є збіг; інакше ви маєте невідповідність. На наступній схемі показано процес.

Розглянемо приклад Джулі, нового користувача, який відкрив цифровий банківський рахунок. Рішення пропонує їй сфотографувати своє водійське посвідчення (крок 2) і зробити селфі (крок 3). Після того як система перевірить якість зображень (крок 4), вона порівнює обличчя на селфі з обличчям на водійських правах (однозначна відповідність) і видає оцінку схожості (крок 5). Якщо оцінка подібності нижча за необхідний поріг подібності, спроба Джулі відхиляється. Це те, що ми називаємо помилковим невідповідністю або помилковим відхиленням: рішення вважало два зображення однієї людини різними. З іншого боку, якщо оцінка подібності була більшою за необхідну подібність, тоді рішення вважатиме два зображення однією особою або збігом.

Автентифікація: ідентифікація один до багатьох

Від входу в будівлю до реєстрації в кіоску та запиту користувача зробити селфі для підтвердження своєї особи – цей тип автентифікації від нуля до низького тертя за допомогою розпізнавання обличчя став звичним явищем для багатьох організацій. Замість того, щоб виконувати зіставлення зображень із зображеннями, цей випадок використання автентифікації бере окреме зображення та порівнює його з доступною для пошуку колекцією зображень для потенційного збігу. У типовому випадку використання автентифікації користувачеві пропонується зробити селфі, яке потім порівнюється з обличчями, збереженими в колекції. Результат пошуку дає нуль, один або більше потенційних збігів із відповідними оцінками подібності та зовнішніми ідентифікаторами. Якщо збіг не знайдено, користувач не автентифікований; однак, припускаючи, що пошук повертає один або більше збігів, система приймає рішення про автентифікацію на основі показників подібності та зовнішніх ідентифікаторів. Якщо оцінка подібності перевищує необхідний поріг подібності, а зовнішній ідентифікатор збігається з очікуваним ідентифікатором, тоді користувач автентифікований (збігається). На наступній діаграмі показано приклад процесу біометричної автентифікації на основі обличчя.

Розглянемо приклад Хосе, водія доставки, який економить концерти. Служба доставки перевіряє автентичність водіїв, пропонуючи водієві зробити селфі перед початком доставки за допомогою мобільного додатку компанії. Одна з проблем, з якою стикаються постачальники послуг, пов’язаних з економікою концертів, — це розподіл робочих місць; по суті, два або більше користувачів використовують один обліковий запис, щоб грати в системі. Щоб боротися з цим, багато служб доставки використовують камеру в автомобілі, щоб знімати зображення водія (крок 2) у довільний час під час доставки (щоб переконатися, що водій доставки є авторизованим водієм). У цьому випадку Хосе не тільки робить селфі на початку доставки, але й камера в автомобілі знімає його під час доставки. Система виконує перевірку якості (крок 3) і пошук (крок 4) у колекції зареєстрованих драйверів, щоб перевірити особу драйвера. Якщо буде виявлено інший водій, служба доставки Gig-Economy може провести подальше дослідження.

Помилковий збіг (хибний спрацьовування) виникає, коли рішення розглядає два або більше зображень різних людей як одну людину. У нашому випадку використання припустимо, що замість уповноваженого водія Хосе він дозволяє своєму братові Мігелю взяти одну зі своїх поставок. Якщо розв’язок неправильно зіставляє селфі Мігеля із зображеннями Хосе, виникає хибний збіг (хибний результат).

Щоб боротися з можливістю помилкових збігів, ми рекомендуємо, щоб колекції містили кілька зображень кожного предмета. Поширеною практикою є індексування довірених ідентифікаційних документів, які містять обличчя, селфі під час реєстрації та селфі з кількох останніх перевірок ідентифікації. Індексування кількох зображень об’єкта дає можливість об’єднати оцінки подібності для повернутих облич, що покращує точність ідентифікації. Крім того, зовнішні ідентифікатори використовуються для обмеження ризику помилкового прийняття. Приклад бізнес-правила може виглядати приблизно так:

ЯКЩО сукупна оцінка подібності >= необхідний поріг подібності І зовнішній ідентифікатор == очікуваний ідентифікатор, ТОДІ автентифікація

Ключові показники біометричної точності

У біометричній системі нас цікавить коефіцієнт помилкових збігів (FMR) і коефіцієнт помилкових невідповідностей (FNMR) на основі балів схожості за результатами порівняння облич і пошуку. Незалежно від того, чи йдеться про адаптацію чи автентифікацію, біометричні системи приймають або відхиляють збіги обличчя користувача на основі оцінки схожості двох чи більше зображень. Як і в будь-якій системі прийняття рішень, будуть помилки, коли система неправильно приймає або відхиляє спробу реєстрації або автентифікації. У рамках оцінки вашого рішення для підтвердження особи вам потрібно оцінити систему за різними порогами подібності, щоб мінімізувати показники помилкових збігів і помилкових невідповідностей, а також порівняти ці помилки з вартістю неправильних відхилень і прийняття. Ми використовуємо FMR і FNMR як наші два ключові показники для оцінки біометричних систем обличчя.

Помилковий коефіцієнт невідповідності

Коли системі перевірки особи не вдається правильно ідентифікувати або авторизувати справжнього користувача, виникає хибне невідповідність, також відоме як хибне негативне значення. Коефіцієнт помилкових невідповідностей (FNMR) є мірою того, наскільки система схильна до неправильної ідентифікації або авторизації справжнього користувача.

FNMR виражається як відсоток випадків, коли робиться спроба адаптації або автентифікації, коли обличчя користувача неправильно відхиляється (хибнонегативний результат), оскільки оцінка схожості нижча від встановленого порогу.

Справжній позитивний результат (TP) — це коли рішення вважає однаковими два або більше зображень однієї людини. Тобто подібність порівняння або пошуку перевищує необхідний поріг подібності.

Помилково негативний (FN) — це коли рішення вважає два або більше зображень однієї людини різними. Тобто подібність порівняння або пошуку нижче необхідного порогу подібності.

Формула для FNMR є:

FNMR = хибно-негативний підрахунок / (справжній позитивний підрахунок + хибно-негативний підрахунок)

Наприклад, припустімо, що ми маємо 10,000 100 справжніх спроб автентифікації, але 9,900 відхилено через те, що їх схожість із еталонним зображенням або колекцією є нижчою за вказаний поріг подібності. Тут ми маємо 100 істинно позитивних результатів і 1.0 помилково негативних результатів, тому наш FNMR становить XNUMX%

FNMR = 100 / (9900 + 100) або 1.0%

Коефіцієнт помилкового збігу

Коли система перевірки особи неправильно ідентифікує або авторизує неавторизованого користувача як справжнього, виникає хибний збіг, також відомий як хибний результат. Коефіцієнт помилкових збігів (FMR) є мірою того, наскільки система схильна до неправильної ідентифікації або авторизації неавторизованого користувача. Він вимірюється кількістю хибнопозитивних розпізнань або автентифікацій, поділених на загальну кількість спроб ідентифікації.

Помилковий результат виникає, коли рішення вважає два або більше зображень різних людей однією людиною. Тобто оцінка подібності порівняння або пошуку перевищує необхідний поріг подібності. По суті, система неправильно ідентифікує або авторизує користувача, коли вона повинна була відхилити його спробу ідентифікації або автентифікації.

Формула для FMR така:

FMR = кількість помилкових позитивних результатів / (загальна кількість спроб)

Наприклад, припустімо, що ми маємо 100,000 100 спроб автентифікації, але 100 фіктивних користувачів неправильно авторизовано, оскільки їх схожість із еталонним зображенням або колекцією перевищує вказаний поріг подібності. Тут ми маємо 0.01 помилкових спрацьовувань, тому наш FMR становить XNUMX%

FMR = 100 / (100,000 0.01) або XNUMX%

Коефіцієнт хибного збігу проти коефіцієнта хибного невідповідності

Коефіцієнт помилкових збігів і коефіцієнт помилкових невідповідностей суперечать один одному. Зі збільшенням порогу подібності потенціал для хибного збігу зменшується, тоді як потенціал для хибного невідповідності зростає. Інший спосіб подумати про цей компроміс полягає в тому, що зі збільшенням порогу подібності рішення стає більш обмежувальним, створюючи менше збігів з низькою схожістю. Наприклад, зазвичай для випадків використання, пов’язаних із громадською безпекою, встановлюється досить високий поріг схожості (99 і вище). Крім того, організація може вибрати менш обмежувальний поріг подібності (90 і вище), де вплив тертя на користувача є більш важливим. Наступна діаграма ілюструє ці компроміси. Завдання для організацій полягає в тому, щоб знайти порогове значення, яке мінімізує як FMR, так і FNMR на основі вимог вашої організації та програми.

Вибір порогу подібності залежить від бізнес-програми. Наприклад, припустімо, що ви хочете обмежити тертя клієнтів під час адаптації (менш обмежувальний поріг подібності, як показано на малюнку ліворуч). Тут у вас може бути нижчий необхідний поріг схожості, і ви готові прийняти ризик підключення користувачів, де впевненість у відповідності між їхнім селфі та водійським посвідченням нижча. Навпаки, припустімо, що ви хочете забезпечити доступ до програми лише авторизованим користувачам. Тут ви можете працювати з досить обмеженим порогом подібності (як показано на малюнку праворуч).

Кроки для розрахунку коефіцієнтів помилкових збігів і невідповідностей

Є кілька способів обчислення цих двох показників. Нижче наведено відносно простий підхід, який полягає в поділі кроків на збір справжніх пар зображень, створення самозваних пар (зображень, які не повинні збігатися) і, нарешті, використання зонда для циклічного перегляду очікуваних відповідних і невідповідних пар зображень, фіксуючи результуюча подібність. Кроки такі:

1. Зберіть набір справжніх зразків зображень. Ми рекомендуємо почати з набору пар зображень і призначити зовнішній ідентифікатор, який використовується для офіційного визначення відповідності. Пара складається з наступних зображень:
   1. Вихідне зображення – ваше надійне вихідне зображення, наприклад, водійські права.
   2. Цільове зображення – ваше селфі або зображення, з яким ви збираєтеся порівнювати.
2. Зберіть набір зображень із сірників самозванців. Це пари зображень, де джерело та ціль не збігаються. Це використовується для оцінки FMR (ймовірність того, що система неправильно зіставить обличчя двох різних користувачів). Ви можете створити набір самозваних зображень, використовуючи пари зображень, створивши декартовий добуток зображень, а потім відфільтрувавши та відібравши результат.
3. Перевірте набори збігів справжнього та самозваного, циклічно переглянувши пари зображень, порівнявши джерело та ціль самозванця та зафіксувавши отриману подібність.
4. Обчисліть FMR і FNMR шляхом обчислення хибно-позитивних і хибно-негативних результатів при різних мінімальних порогах подібності.

Ви можете оцінити вартість FMR і FNMR за різними порогами подібності щодо потреб вашої програми.

Крок 1: Зберіть справжні зразки пар зображень

Вибір репрезентативної вибірки пар зображень для оцінювання має вирішальне значення під час оцінювання послуги перевірки особи. Першим кроком є ​​ідентифікація справжнього набору пар зображень. Це відомі вихідні та цільові зображення користувача. Поєднання справжніх зображень використовується для оцінки FNMR, по суті ймовірності того, що система не збігається з двома обличчями однієї людини. Одне з перших запитань, яке часто задають: «Скільки потрібно пар зображень?» Відповідь полягає в тому, що це залежить від вашого випадку використання, але загальні вказівки такі:

• Від 100 до 1,000 пар зображень є мірою здійсненності
• До 10,000 XNUMX пар зображень достатньо для вимірювання мінливості між зображеннями
• Понад 10,000 XNUMX пар зображень забезпечують міру оперативної якості та можливості узагальнення

Більше даних завжди краще; однак, як відправну точку, використовуйте принаймні 1,000 пар зображень. Однак нерідко використовують понад 10,000 XNUMX пар зображень, щоб визначити прийнятний FNMR або FMR для певної бізнес-проблеми.

Нижче наведено зразок файлу зіставлення пари зображень. Ми використовуємо файл зіставлення пар зображень, щоб керувати рештою процесу оцінювання.

Крок 2: Створіть пару зображень самозванця комплект

Тепер, коли у вас є файл справжніх пар зображень, ви можете створити декартовий добуток цільового та вихідного зображень, де зовнішні ідентифікатори не збігаються. Це створює пари джерело-ціль, які не повинні збігатися. Це поєднання використовується для оцінки FMR, тобто ймовірності того, що система зіставить обличчя одного користувача з обличчям іншого користувача.

Крок 3: перевірте набори пар зображень справжнього та фальшивого

Використовуючи програму-драйвер, ми застосовуємо Amazon Rekognition API CompareFaces над парами зображень і зафіксуйте подібність. Ви також можете отримати додаткову інформацію, як-от позу, якість та інші результати порівняння. Оцінки подібності використовуються для обчислення коефіцієнтів помилкового збігу та невідповідності на наступному кроці.

У наведеному нижче фрагменті коду ми застосовуємо API CompareFaces до всіх пар зображень і заповнюємо всі оцінки подібності в таблиці:

obj = s3.get_object(Bucket= bucket_name , Key = csv_file)

df = pd.read_csv(io.BytesIO(obj['Body'].read()), encoding='utf8')
def compare_faces(source_file, target_file, threshold = 0):
    response=rekognition.compare_faces(SimilarityThreshold=threshold,
                                        SourceImage={'S3Object': {
                                                    'Bucket': bucket_name,
                                                    'Name':source_file}},
                                        TargetImage={'S3Object': {
                                                    'Bucket': bucket_name,
                                                    'Name':target_file}})
df_similarity = df.copy()
df_similarity["SIMILARITY"] = None
for index, row in df.iterrows():
    source_file = dataset_folder + row["SOURCE"]
    target_file = dataset_folder + row["TARGET"]
    response_score = compare_faces(source_file, target_file)
    df_similarity._set_value(index,"SIMILARITY", response_score)
    df_similarity.head()

Фрагмент коду дає наступний результат.

Аналіз розподілу оцінок подібності за тестами є відправною точкою для розуміння оцінки подібності за парами зображень. У наведеному нижче фрагменті коду та вихідній діаграмі показано простий приклад розподілу оцінки подібності за набором тестів, а також отриману описову статистику:

sns.boxplot(data=df_similarity,
            x=df_similarity["SIMILARITY"],
            y=df_similarity["TEST"]).set(xlabel='Similarity Score',
            ylabel=None,
            title = "Similarity Score Distribution")
plt.show()

df_descriptive_stats = pd.DataFrame(columns=['test','count', 'min' , 'max', 'mean', 'median', 'std'])

tests = ["Genuine", "Imposter"]

for test in tests:
    count = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].count()
    mean = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].mean()
    max_ = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].max()
    min_ = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].min()
    median = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].median()
    std = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].std()

    new_row = {'test': test,
                'count': count,
                'min': min_,
                'max': max_,
                'mean': mean,
                'median':median,
                'std': std}
    df_descriptive_stats = df_descriptive_stats.append(new_row,
    ignore_index=True)

df_descriptive_stats

У цьому прикладі ми бачимо, що середнє значення та медіана подібності для справжніх пар облич становили 91.7 і 99.1, тоді як для самозваних пар становили 2.8 і 0.8 відповідно. Як і очікувалося, це показує високі показники подібності для пар справжніх зображень і низькі показники подібності для пар самозваних зображень.

Крок 4: Обчисліть FMR і FNMR на різних порогових рівнях подібності

На цьому кроці ми обчислюємо показники помилкового збігу та невідповідності за різних порогів подібності. Для цього ми просто перебираємо пороги подібності (наприклад, 90–100). Для кожного вибраного порогу подібності ми обчислюємо нашу матрицю плутанини, яка містить істинно позитивні, істинно негативні, хибнопозитивні та хибнонегативні підрахунки, які використовуються для обчислення FMR і FNMR для кожної вибраної подібності.

Для цього ми створюємо функцію, яка повертає хибнопозитивні та негативні підрахунки, і проходимо в циклі діапазон балів подібності (90–100):

similarity_thresholds = [80,85,90,95,96,97,98,99]

# create output df
df_cols = ['Similarity Threshold', 'TN' , 'FN', 'TP', 'FP', 'FNMR (%)', 'FMR (%)']
comparison_df = pd.DataFrame(columns=df_cols)

# create columns for y_actual and y_pred
df_analysis = df_similarity.copy()
df_analysis["y_actual"] = None
df_analysis["y_pred"] = None

for threshold in similarity_thresholds:
    # Create y_pred and y_actual columns, 1 == match, 0 == no match
    for index, row in df_similarity.iterrows():
        # set y_pred
        if row["SIMILARITY"] >= threshold:
            df_analysis._set_value(index,"y_pred", 1)
        else:
            df_analysis._set_value(index,"y_pred", 0)

        # set y_actual
        if row["TEST"] == "Genuine":
            df_analysis._set_value(index,"y_actual", 1)
        else:
            df_analysis._set_value(index,"y_actual", 0)

    tn, fp, fn, tp = confusion_matrix(df_analysis['y_actual'].tolist(),
                                      df_analysis['y_pred'].tolist()).ravel()
    FNMR = fn / (tp + fn)
    FMR = fp / (tn+fp+fn+tp)

    new_row = {'Similarity Threshold': threshold,
                'TN': tn,
                'FN': fn,
                'TP': tp,
                'FP': fp,
                'FNMR (%)':FNMR,
                'FMR (%)': FMR}
    comparison_df = comparison_df.append(new_row,ignore_index=True)

comparison_df

У наведеній нижче таблиці наведено результати підрахунку за кожним порогом подібності.

Як поріг схожості впливає на відсоток помилкових невідповідностей?

Припустімо, що у нас є 1,000 справжніх спроб реєстрації користувача, і ми відхиляємо 10 із цих спроб на основі необхідної мінімальної схожості в 95%, щоб вважатися збігом. Тут ми відхиляємо 10 справжніх спроб реєстрації (помилкові негативи), оскільки їхня схожість нижча за вказаний мінімальний необхідний поріг подібності. У цьому випадку наш FNMR становить 1.0%.

FNMR = хибно-негативний підрахунок / (справжній позитивний підрахунок + хибно-негативний підрахунок)

FNMR = 10 / (990 + 10) або 1.0%

Навпаки, припустімо, що замість 1,000 справжніх користувачів у нас є 990 справжніх користувачів і 10 користувачів-самозванців (хибний результат). При мінімальній схожості 95%, припустімо, що ми визнаємо всіх 1,000 користувачів справжніми. Тут ми мали б 1% FMR.

FMR = кількість помилкових позитивних результатів / (загальна кількість спроб)

FMR = 10 / (1,000 1.0) або XNUMX%

Оцінка витрат на FMR та FNMR при вступі на борт

У випадку використання підключення вартість хибного невідповідності (відхилення) зазвичай пов’язана з додатковим тертям користувача або втратою реєстрації. Наприклад, у нашому випадку банківського використання припустимо, що Джулі представляє два зображення себе, але її неправильно відхилено під час реєстрації, оскільки схожість між двома зображеннями є нижчою за вибрану подібність (хибне невідповідність). Фінансова установа може ризикувати втратити Джулі як потенційного клієнта або може спричинити Джулію додаткові труднощі, вимагаючи від неї виконання кроків для підтвердження своєї особи.

І навпаки, припустімо, що на двох зображеннях Джулі зображені різні люди, і включення Джулі в систему слід було відхилити. У випадку, коли Джулі прийнято неправильно (помилковий збіг), вартість і ризик для фінансової установи зовсім інші. Можуть виникнути проблеми з регулюванням, ризик шахрайства та інші ризики, пов’язані з фінансовими операціями.

Відповідальне використання

Штучний інтелект (ШІ), застосовуваний за допомогою машинного навчання (ML), стане однією з найбільш трансформаційних технологій нашого покоління, яка вирішуватиме деякі з найскладніших проблем людства, підвищувати продуктивність людини та максимізувати продуктивність. Відповідальне використання цих технологій є ключовим для сприяння постійним інноваціям. AWS прагне розробляти чесні та точні послуги штучного інтелекту та машинного навчання та надавати вам інструменти та вказівки, необхідні для відповідального створення програм штучного інтелекту та машинного навчання.

У міру впровадження та розширення використання ШІ та машинного навчання AWS пропонує кілька ресурсів на основі нашого досвіду, щоб допомогти вам у відповідальній розробці та використанні ШІ та машинного навчання:

Рекомендації та типові помилки, яких слід уникати

У цьому розділі ми обговорюємо такі найкращі практики:

• Використовуйте досить велику вибірку зображень
• Уникайте відкритих і синтетичних наборів даних про обличчя
• Уникайте ручної та синтетичної обробки зображень
• Перевірте якість зображення під час оцінки та з часом
• Моніторинг FMR і FNMR з часом
• Використовуйте людину в циклі огляду
• Будьте в курсі подій завдяки Amazon Rekognition

Використовуйте досить велику вибірку зображень

Використовуйте досить велику, але розумну вибірку зображень. Що таке розумний розмір вибірки? Це залежить від бізнес-проблеми. Якщо ви роботодавець і маєте 10,000 10,000 співробітників, яких ви хочете автентифікувати, то використання всіх 5,000 20,000 зображень, ймовірно, буде розумним. Однак припустімо, що ви організація з мільйонами клієнтів, яких ви хочете залучити. У цьому випадку достатньо взяти репрезентативну вибірку клієнтів, наприклад XNUMX–XNUMX XNUMX. Ось деякі вказівки щодо розміру вибірки:

• Розмір вибірки 100 – 1,000 пар зображень підтверджують здійсненність
• Розмір вибірки 1,000 – 10,000 XNUMX пар зображень корисні для вимірювання мінливості між зображеннями
• Розмір вибірки 10,000 – 1 мільйон пар зображень забезпечує міру оперативної якості та можливості узагальнення

Головне під час вибірки пар зображень полягає в тому, щоб переконатися, що вибірка забезпечує достатню варіативність у сукупності облич у вашій програмі. Ви можете додатково розширити вибірку та тестування, включивши демографічну інформацію, як-от колір шкіри, стать і вік.

Уникайте відкритих і синтетичних наборів даних про обличчя

Існують десятки підібраних наборів даних зображень обличчя з відкритим кодом, а також неймовірно реалістичні синтетичні набори облич, які часто використовуються в дослідженнях і для вивчення здійсненності. Проблема полягає в тому, що ці набори даних, як правило, непридатні для 99% випадків використання в реальному світі просто тому, що вони не репрезентують камери, обличчя та якість зображень, які ваша програма, ймовірно, зустріне в дикій природі. Хоча вони корисні для розробки додатків, показники точності цих наборів зображень не є узагальненими для того, що ви зустрінете у своїй власній програмі. Натомість ми рекомендуємо почати з репрезентативної вибірки реальних зображень із вашого рішення, навіть якщо пари зразків зображень невеликі (менше 1,000).

Уникайте ручної та синтетичної обробки зображень

Часто трапляються крайні випадки, які людям цікаво зрозуміти. Завжди цікавлять такі речі, як якість зйомки зображення або прихованість певних рис обличчя. Наприклад, нас часто запитують про вплив віку та якості зображення на розпізнавання обличчя. Ви можете просто штучно зістарити обличчя або маніпулювати зображенням, щоб зробити об’єкт старішим, або маніпулювати якістю зображення, але це погано вплине на старіння зображень у реальному світі. Натомість ми рекомендуємо зібрати репрезентативну вибірку реальних крайових випадків, які ви хочете протестувати.

Перевірте якість зображення під час оцінки та з часом

Технологія камери та додатків змінюється досить швидко з часом. Радимо контролювати якість зображення з часом. Від розміру знятих облич (з використанням обмежувальних рамок), до яскравості та чіткості зображення, до пози обличчя, а також потенційних спотворень (капелюхи, сонцезахисні окуляри, бороди тощо), усі ці зображення та риси обличчя змінюються з часом.

Моніторинг FNMR і FMR з часом

Зміни відбуваються, будь то зображення, програма чи пороги подібності, які використовуються в програмі. Важливо періодично відстежувати показники помилкових збігів і невідповідностей з часом. Зміни ставок (навіть незначні) часто можуть вказувати на проблеми, пов’язані з додатком або його використанням. Зміни в порогових значеннях схожості та бізнес-правилах, які використовуються для прийняття чи відхилення рішень, можуть мати значний вплив на взаємодію користувачів із адаптацією та автентифікацією.

Використовуйте людину в циклі огляду

Системи перевірки ідентифікації приймають автоматичні рішення щодо відповідності та невідповідності на основі порогів подібності та бізнес-правил. Крім регулятивних і внутрішніх вимог відповідності, важливим процесом у будь-якій автоматизованій системі прийняття рішень є використання людей, які перевіряють як частину поточного моніторингу процесу прийняття рішень. Людський нагляд за цими автоматизованими системами прийняття рішень забезпечує перевірку та постійне вдосконалення, а також прозорість автоматизованого процесу прийняття рішень.

Будьте в курсі подій завдяки Amazon Rekognition

Модель обличчя Amazon Recognition періодично оновлюється (зазвичай щорічно) і наразі працює у версії 6. У цій оновленій версії значно покращено точність та індексацію. Важливо бути в курсі нових версій моделей і розуміти, як використовувати ці нові версії в програмі перевірки особи. Коли запускаються нові версії моделі обличчя Amazon Rekognition, доцільно повторно запустити процес оцінки перевірки особи та визначити будь-який потенційний вплив (позитивний і негативний) на показники помилкових збігів і невідповідностей.

Висновок

У цій публікації обговорюються ключові елементи, необхідні для оцінки аспекту продуктивності вашого рішення для перевірки особи з точки зору різних показників точності. Однак точність є лише одним із багатьох параметрів, які потрібно оцінити, обираючи певну службу модерації вмісту. Важливо, щоб ви включили інші параметри, такі як загальний набір функцій служби, простота використання, існуючі інтеграції, конфіденційність і безпека, параметри налаштування, наслідки масштабованості, обслуговування клієнтів і ціни.

Щоб дізнатися більше про підтвердження особи в Amazon Rekognition, перейдіть на сторінку Перевірка особи за допомогою Amazon Rekognition.

Про авторів

Майк Еймс є фахівцем із обробки даних, який став спеціалістом з рішень перевірки особи, має великий досвід розробки рішень машинного навчання та ШІ для захисту організацій від шахрайства, марнотратства та зловживань. У вільний час ви можете знайти його в походах, на гірських велосипедах або у фрібі зі своїм собакою Максом.

Аміт Гупта є старшим архітектором рішень AI Services в AWS. Він захоплений тим, щоб надавати клієнтам добре продумані рішення для машинного навчання в масштабі.

Зухайр Рагіб є архітектором рішень AI Services в AWS. Спеціалізуючись на прикладному штучному інтелекті та ML, він пристрасно прагне дати клієнтам можливість використовувати хмару для швидшого впровадження інновацій і трансформації свого бізнесу.

Марсель Півідаль є старшим архітектором рішень AI Services у Всесвітній організації спеціалістів. Марсель має понад 20 років досвіду вирішення бізнес-проблем за допомогою технологій для фінтех-компаній, платіжних постачальників, фармацевтичних та державних установ. Нині його сфера уваги — управління ризиками, запобігання шахрайству та перевірка особи.