Métricas para evaluar una solución de verificación de identidad

A nivel mundial, ha habido un cambio acelerado hacia experiencias de usuario digitales sin fricciones. Ya sea registrándose en un sitio web, realizando transacciones en línea o simplemente iniciando sesión en su cuenta bancaria, las organizaciones intentan activamente reducir la fricción que experimentan sus clientes y, al mismo tiempo, mejorar sus medidas de seguridad, cumplimiento y prevención de fraude. El cambio hacia experiencias de usuario sin fricciones ha dado lugar a soluciones de verificación de identidad biométrica basadas en el rostro destinadas a responder a la pregunta "¿Cómo se verifica a una persona en el mundo digital?"

Hay dos ventajas clave de la biometría facial cuando se trata de cuestiones de identificación y autenticación. Primero, es una tecnología conveniente para los usuarios: no es necesario recordar una contraseña, enfrentar desafíos de múltiples factores, hacer clic en enlaces de verificación o resolver acertijos CAPTCHA. En segundo lugar, se logra un alto nivel de seguridad: la identificación y autenticación basada en biometría facial es segura y menos susceptible a fraudes y ataques.

En esta publicación, nos sumergimos en los dos casos de uso principales de verificación de identidad: incorporación y autenticación. Luego nos sumergimos en las dos métricas clave utilizadas para evaluar la precisión de un sistema biométrico: la tasa de coincidencias falsas (también conocida como tasa de aceptación falsa) y la tasa de no coincidencias falsas (también conocida como tasa de rechazo falso). Estas dos medidas son ampliamente utilizadas por las organizaciones para evaluar la precisión y la tasa de error de los sistemas biométricos. Finalmente, discutimos un marco y mejores prácticas para realizar una evaluación de un servicio de verificación de identidad.

Consulte el adjunto Cuaderno Jupyter que recorre todos los pasos mencionados en esta publicación.

Casos de uso: incorporación y autenticación

Hay dos casos de uso principales para las soluciones biométricas: incorporación de usuarios (a menudo denominada verificación) y autenticación (a menudo denominada identificación). La incorporación implica la coincidencia uno a uno de caras entre dos imágenes, por ejemplo, comparar una selfie con un documento de identificación confiable como una licencia de conducir o un pasaporte. La autenticación, por otro lado, implica la búsqueda de uno a muchos de una cara en una colección de caras almacenada, por ejemplo, buscar una colección de caras de empleados para ver si un empleado tiene acceso autorizado a un piso en particular en un edificio.

El rendimiento de precisión de los casos de uso de incorporación y autenticación se mide por los errores falsos positivos y falsos negativos que puede cometer la solución biométrica. Se utiliza una puntuación de similitud (que va desde 0 %, lo que significa que no hay coincidencia, hasta 100 %, lo que significa una coincidencia perfecta) para tomar la determinación de una decisión de coincidencia o no coincidencia. Un falso positivo ocurre cuando la solución considera que las imágenes de dos individuos diferentes son la misma persona. Un falso negativo, por otro lado, significa que la solución consideró dos imágenes de la misma persona como diferentes.

Incorporación: Verificación uno a uno

Los procesos de incorporación basados ​​en datos biométricos simplifican y aseguran el proceso. Lo que es más importante, prepara a la organización y al cliente para una experiencia de incorporación casi sin fricciones. Para hacer esto, los usuarios simplemente deben presentar una imagen de algún tipo de documento de identificación confiable que contenga la cara del usuario (como la licencia de conducir o el pasaporte), así como también tomar una imagen selfie durante el proceso de incorporación. Una vez que el sistema tiene estas dos imágenes, simplemente compara las caras dentro de las dos imágenes. Cuando la similitud es mayor que un umbral especificado, entonces tiene una coincidencia; de lo contrario, tiene una no coincidencia. El siguiente diagrama describe el proceso.

Considere el ejemplo de Julie, un nuevo usuario que abre una cuenta bancaria digital. La solución le pide que tome una foto de su licencia de conducir (paso 2) y tome una selfie (paso 3). Después de que el sistema verifica la calidad de las imágenes (paso 4), compara la cara en la selfie con la cara en la licencia de conducir (coincidencia uno a uno) y se produce una puntuación de similitud (paso 5). Si la puntuación de similitud es menor que el umbral de similitud requerido, se rechaza el intento de incorporación de Julie. Esto es lo que llamamos una falsa no coincidencia o falso rechazo: la solución consideraba dos imágenes de la misma persona como diferentes. Por otro lado, si el puntaje de similitud fue mayor que la similitud requerida, entonces la solución considera que las dos imágenes son la misma persona o una coincidencia.

Autenticación: identificación de uno a muchos

Desde ingresar a un edificio hasta registrarse en un quiosco y pedirle a un usuario que se tome una selfie para verificar su identidad, este tipo de autenticación de cero a baja fricción a través del reconocimiento facial se ha convertido en algo común para muchas organizaciones. En lugar de realizar una coincidencia de imagen a imagen, este caso de uso de autenticación toma una sola imagen y la compara con una colección de imágenes que se pueden buscar para una posible coincidencia. En un caso típico de uso de autenticación, se le pide al usuario que tome una selfie, que luego se compara con las caras almacenadas en la colección. El resultado de la búsqueda arroja cero, una o más coincidencias potenciales con las puntuaciones de similitud correspondientes y los identificadores externos. Si no se devuelve ninguna coincidencia, el usuario no está autenticado; sin embargo, suponiendo que la búsqueda arroja una o más coincidencias, el sistema toma la decisión de autenticación en función de las puntuaciones de similitud y los identificadores externos. Si la puntuación de similitud supera el umbral de similitud requerido y el identificador externo coincide con el identificador esperado, el usuario se autentica (coincide). El siguiente diagrama describe un ejemplo de proceso de autenticación biométrica basada en el rostro.

Considere el ejemplo de José, un conductor de entrega de economía de concierto. El servicio de entrega autentica a los repartidores solicitándoles que tomen una selfie antes de comenzar una entrega utilizando la aplicación móvil de la empresa. Un problema al que se enfrentan los proveedores de servicios de la economía gig es el trabajo compartido; esencialmente, dos o más usuarios comparten la misma cuenta para jugar con el sistema. Para combatir esto, muchos servicios de entrega usan una cámara en el automóvil para tomar imágenes (paso 2) del conductor en momentos aleatorios durante una entrega (para asegurarse de que el conductor de la entrega sea el conductor autorizado). En este caso, José no solo se toma una selfie al comienzo de su entrega, sino que una cámara en el automóvil toma imágenes de él durante la entrega. El sistema realiza controles de calidad (paso 3) y busca (paso 4) la colección de conductores registrados para verificar la identidad del conductor. Si se detecta un controlador diferente, entonces el servicio de entrega de economía de concierto puede investigar más a fondo.

Una coincidencia falsa (falso positivo) ocurre cuando la solución considera que dos o más imágenes de diferentes personas son la misma persona. En nuestro caso de uso, supongamos que en lugar del conductor autorizado, José deja que su hermano Miguel lleve una de sus entregas por él. Si la solución hace coincidir incorrectamente la selfie de Miguel con las imágenes de José, se produce una coincidencia falsa (falso positivo).

Para combatir la posibilidad de coincidencias falsas, recomendamos que las colecciones contengan varias imágenes de cada tema. Es una práctica común indexar documentos de identificación confiables que contengan una cara, una selfie en el momento de la incorporación y selfies de las últimas verificaciones de identificación. La indexación de varias imágenes de un sujeto brinda la capacidad de agregar las puntuaciones de similitud entre las caras devueltas, lo que mejora la precisión de la identificación. Además, se utilizan identificadores externos para limitar el riesgo de una aceptación falsa. Una regla de negocio de ejemplo podría verse así:

SI puntuación de similitud agregada >= umbral de similitud requerido E identificador externo == identificador esperado ENTONCES autenticar

Medidas clave de precisión biométrica

En un sistema biométrico, estamos interesados ​​en la tasa de coincidencias falsas (FMR) y la tasa de no coincidencias falsas (FNMR) en función de las puntuaciones de similitud de las comparaciones y búsquedas de rostros. Ya sea que se trate de un caso de uso de incorporación o autenticación, los sistemas biométricos deciden aceptar o rechazar las coincidencias de la cara de un usuario en función del puntaje de similitud de dos o más imágenes. Como cualquier sistema de decisión, habrá errores cuando el sistema acepte o rechace incorrectamente un intento de incorporación o autenticación. Como parte de la evaluación de su solución de verificación de identidad, debe evaluar el sistema en varios umbrales de similitud para minimizar las tasas de coincidencias falsas y no coincidencias, así como contrastar esos errores con el costo de hacer aceptaciones y rechazos incorrectos. Usamos FMR y FNMR como nuestras dos métricas clave para evaluar los sistemas biométricos faciales.

Tasa de no coincidencia falsa

Cuando el sistema de verificación de identidad no logra identificar o autorizar correctamente a un usuario genuino, se produce una falsa no coincidencia, también conocida como falso negativo. La tasa de falsos no coincidentes (FNMR) es una medida de cuán propenso es el sistema a identificar o autorizar incorrectamente a un usuario genuino.

El FNMR se expresa como un porcentaje de casos en los que se realiza un intento de incorporación o autenticación, donde la cara del usuario se rechaza incorrectamente (un falso negativo) porque el puntaje de similitud está por debajo del umbral prescrito.

Un verdadero positivo (TP) es cuando la solución considera que dos o más imágenes de la misma persona son iguales. Es decir, la similitud de la comparación o búsqueda está por encima del umbral de similitud requerido.

Un falso negativo (FN) es cuando la solución considera que dos o más imágenes de la misma persona son diferentes. Es decir, la similitud de la comparación o búsqueda está por debajo del umbral de similitud requerido.

La fórmula para el FNMR es:

FNMR = Recuento de falsos negativos / (Recuento de verdaderos positivos + Recuento de falsos negativos)

Por ejemplo, supongamos que tenemos 10,000 100 intentos de autenticación genuinos, pero se deniegan 9,900 porque su similitud con la imagen o colección de referencia cae por debajo del umbral de similitud especificado. Aquí tenemos 100 verdaderos positivos y 1.0 falsos negativos, por lo tanto nuestro FNMR es XNUMX%

FNMR = 100 / (9900 + 100) o 1.0%

Tasa de coincidencias falsas

Cuando un sistema de verificación de identidad identifica o autoriza incorrectamente a un usuario no autorizado como genuino, se produce una coincidencia falsa, también conocida como falso positivo. La tasa de coincidencias falsas (FMR) es una medida de cuán propenso es el sistema a identificar o autorizar incorrectamente a un usuario no autorizado. Se mide por el número de reconocimientos o autenticaciones falsos positivos dividido por el número total de intentos de identificación.

Un falso positivo ocurre cuando la solución considera que dos o más imágenes de diferentes personas son la misma persona. Es decir, la puntuación de similitud de la comparación o búsqueda está por encima del umbral de similitud requerido. Esencialmente, el sistema identifica o autoriza incorrectamente a un usuario cuando debería haber rechazado su intento de identificación o autenticación.

La fórmula para el FMR es:

FMR = Recuento de falsos positivos / (Total de intentos)

Por ejemplo, supongamos que tenemos 100,000 100 intentos de autenticación, pero 100 usuarios falsos están autorizados incorrectamente porque su similitud con la imagen o colección de referencia supera el umbral de similitud especificado. Aquí tenemos 0.01 falsos positivos, por lo tanto nuestro FMR es XNUMX%

TMF = 100 / (100,000 0.01) o XNUMX %

Tasa de coincidencias falsas frente a tasa de no coincidencias falsas

La tasa de coincidencias falsas y la tasa de no coincidencias falsas están en desacuerdo entre sí. A medida que aumenta el umbral de similitud, disminuye el potencial de una coincidencia falsa, mientras que aumenta el potencial de una no coincidencia falsa. Otra forma de pensar en esta compensación es que a medida que aumenta el umbral de similitud, la solución se vuelve más restrictiva, lo que genera menos coincidencias de similitud baja. Por ejemplo, es común que los casos de uso relacionados con la seguridad pública establezcan un umbral de similitud de coincidencia bastante alto (99 y superior). Alternativamente, una organización puede elegir un umbral de similitud menos restrictivo (90 y más), donde el impacto de la fricción para el usuario es más importante. El siguiente diagrama ilustra estas compensaciones. El desafío para las organizaciones es encontrar un umbral que minimice tanto FMR como FNMR en función de los requisitos de su organización y aplicación.

La selección de un umbral de similitud depende de la aplicación empresarial. Por ejemplo, suponga que desea limitar la fricción del cliente durante la incorporación (un umbral de similitud menos restrictivo, como se muestra en la siguiente figura a la izquierda). Aquí es posible que tenga un umbral de similitud requerido más bajo y esté dispuesto a aceptar el riesgo de incorporar usuarios donde la confianza en la coincidencia entre su selfie y la licencia de conducir es menor. Por el contrario, suponga que desea asegurarse de que solo los usuarios autorizados accedan a una aplicación. Aquí puede operar en un umbral de similitud bastante restrictivo (como se muestra en la figura de la derecha).

Pasos para calcular las tasas de coincidencias falsas y no coincidencias

Hay varias formas de calcular estas dos métricas. El siguiente es un enfoque relativamente simple de dividir los pasos para recopilar pares de imágenes genuinas, crear un emparejamiento impostor (imágenes que no deberían coincidir) y finalmente usar una sonda para recorrer los pares de imágenes coincidentes y no coincidentes esperados, capturando el similitud resultante. Los pasos son los siguientes:

1. Reúna un conjunto de imágenes de muestra genuino. Recomendamos comenzar con un conjunto de pares de imágenes y asignar un identificador externo, que se utiliza para realizar una determinación oficial del partido. La pareja consta de las siguientes imágenes:
   1. Imagen de origen: su imagen de origen de confianza, por ejemplo, una licencia de conducir.
   2. Imagen objetivo: tu selfie o imagen con la que vas a comparar.
2. Reúna un conjunto de imágenes de coincidencias de impostores. Estos son pares de imágenes donde la fuente y el destino no coinciden. Esto se utiliza para evaluar el FMR (la probabilidad de que el sistema coincida incorrectamente con las caras de dos usuarios diferentes). Puede crear un conjunto de imágenes impostor utilizando los pares de imágenes creando un producto cartesiano de las imágenes y luego filtrando y muestreando el resultado.
3. Pruebe los conjuntos de coincidencias genuinas e impostoras recorriendo los pares de imágenes, comparando la fuente y el objetivo impostor y capturando la similitud resultante.
4. Calcule FMR y FNMR calculando los falsos positivos y falsos negativos en diferentes umbrales mínimos de similitud.

Puede evaluar el costo de FMR y FNMR en diferentes umbrales de similitud en relación con la necesidad de su aplicación.

Paso 1: Reúna muestras de pares de imágenes genuinas

Elegir una muestra representativa de pares de imágenes para evaluar es fundamental al evaluar un servicio de verificación de identidad. El primer paso es identificar un conjunto genuino de pares de imágenes. Estas son imágenes de origen y destino conocidas de un usuario. El emparejamiento de imágenes genuinas se utiliza para evaluar el FNMR, esencialmente la probabilidad de que el sistema no coincida con dos caras de la misma persona. Una de las primeras preguntas que se hacen con frecuencia es "¿Cuántos pares de imágenes son necesarios?" La respuesta es que depende de su caso de uso, pero la guía general es la siguiente:

• Entre 100 y 1,000 pares de imágenes proporciona una medida de viabilidad
• Hasta 10,000 XNUMX pares de imágenes es lo suficientemente grande como para medir la variabilidad entre imágenes
• Más de 10,000 XNUMX pares de imágenes proporcionan una medida de la calidad operativa y la capacidad de generalización

Más datos siempre es mejor; sin embargo, como punto de partida, utilice al menos 1,000 pares de imágenes. Sin embargo, no es raro usar más de 10,000 XNUMX pares de imágenes para concentrarse en un FNMR o FMR aceptable para un problema empresarial determinado.

El siguiente es un archivo de mapeo de pares de imágenes de muestra. Usamos el archivo de asignación de pares de imágenes para impulsar el resto del proceso de evaluación.

Paso 2: generar un par de imágenes impostor set

Ahora que tiene un archivo de pares de imágenes genuinas, puede crear un producto cartesiano de imágenes de origen y destino donde los identificadores externos no coinciden. Esto produce pares de origen a destino que no deberían coincidir. Este emparejamiento se usa para evaluar el FMR, esencialmente la probabilidad de que el sistema haga coincidir la cara de un usuario con la cara de un usuario diferente.

Paso 3: sondee los conjuntos de pares de imágenes genuinas e impostoras

Usando un programa controlador, aplicamos el Reconocimiento de amazonas API de comparación de caras sobre los pares de imágenes y capturar la similitud. También puede capturar información adicional como pose, calidad y otros resultados de la comparación. Las puntuaciones de similitud se utilizan para calcular las tasas de coincidencias falsas y no coincidencias en el siguiente paso.

En el siguiente fragmento de código, aplicamos la API CompareFaces a todos los pares de imágenes y completamos todas las puntuaciones de similitud en una tabla:

obj = s3.get_object(Bucket= bucket_name , Key = csv_file)

df = pd.read_csv(io.BytesIO(obj['Body'].read()), encoding='utf8')
def compare_faces(source_file, target_file, threshold = 0):
    response=rekognition.compare_faces(SimilarityThreshold=threshold,
                                        SourceImage={'S3Object': {
                                                    'Bucket': bucket_name,
                                                    'Name':source_file}},
                                        TargetImage={'S3Object': {
                                                    'Bucket': bucket_name,
                                                    'Name':target_file}})
df_similarity = df.copy()
df_similarity["SIMILARITY"] = None
for index, row in df.iterrows():
    source_file = dataset_folder + row["SOURCE"]
    target_file = dataset_folder + row["TARGET"]
    response_score = compare_faces(source_file, target_file)
    df_similarity._set_value(index,"SIMILARITY", response_score)
    df_similarity.head()

El fragmento de código da el siguiente resultado.

El análisis de distribución de puntuaciones de similitud por pruebas es un punto de partida para comprender la puntuación de similitud por pares de imágenes. El siguiente fragmento de código y gráfico de salida muestra un ejemplo simple de la distribución de la puntuación de similitud por conjunto de pruebas, así como las estadísticas descriptivas resultantes:

sns.boxplot(data=df_similarity,
            x=df_similarity["SIMILARITY"],
            y=df_similarity["TEST"]).set(xlabel='Similarity Score',
            ylabel=None,
            title = "Similarity Score Distribution")
plt.show()

df_descriptive_stats = pd.DataFrame(columns=['test','count', 'min' , 'max', 'mean', 'median', 'std'])

tests = ["Genuine", "Imposter"]

for test in tests:
    count = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].count()
    mean = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].mean()
    max_ = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].max()
    min_ = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].min()
    median = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].median()
    std = df_similarity['SIMILARITY'].loc[df_similarity['TEST'] == test].std()

    new_row = {'test': test,
                'count': count,
                'min': min_,
                'max': max_,
                'mean': mean,
                'median':median,
                'std': std}
    df_descriptive_stats = df_descriptive_stats.append(new_row,
    ignore_index=True)

df_descriptive_stats

En este ejemplo, podemos ver que la similitud media y mediana para los pares de rostros genuinos fue 91.7 y 99.1, mientras que para los pares impostores fue 2.8 y 0.8, respectivamente. Como era de esperar, esto muestra los puntajes de similitud altos para pares de imágenes genuinas y puntajes de similitud bajos para pares de imágenes impostoras.

Paso 4: Calcular FMR y FNMR en diferentes niveles de umbral de similitud

En este paso, calculamos las tasas de coincidencias falsas y no coincidencias en diferentes umbrales de similitud. Para hacer esto, simplemente recorremos los umbrales de similitud (por ejemplo, 90–100). En cada umbral de similitud seleccionado, calculamos nuestra matriz de confusión que contiene recuentos de verdaderos positivos, verdaderos negativos, falsos positivos y falsos negativos, que se utilizan para calcular el FMR y el FNMR en cada similitud seleccionada.

Para hacer esto, creamos una función que devuelve los recuentos de falsos positivos y negativos, y recorre un rango de puntajes de similitud (90–100):

similarity_thresholds = [80,85,90,95,96,97,98,99]

# create output df
df_cols = ['Similarity Threshold', 'TN' , 'FN', 'TP', 'FP', 'FNMR (%)', 'FMR (%)']
comparison_df = pd.DataFrame(columns=df_cols)

# create columns for y_actual and y_pred
df_analysis = df_similarity.copy()
df_analysis["y_actual"] = None
df_analysis["y_pred"] = None

for threshold in similarity_thresholds:
    # Create y_pred and y_actual columns, 1 == match, 0 == no match
    for index, row in df_similarity.iterrows():
        # set y_pred
        if row["SIMILARITY"] >= threshold:
            df_analysis._set_value(index,"y_pred", 1)
        else:
            df_analysis._set_value(index,"y_pred", 0)

        # set y_actual
        if row["TEST"] == "Genuine":
            df_analysis._set_value(index,"y_actual", 1)
        else:
            df_analysis._set_value(index,"y_actual", 0)

    tn, fp, fn, tp = confusion_matrix(df_analysis['y_actual'].tolist(),
                                      df_analysis['y_pred'].tolist()).ravel()
    FNMR = fn / (tp + fn)
    FMR = fp / (tn+fp+fn+tp)

    new_row = {'Similarity Threshold': threshold,
                'TN': tn,
                'FN': fn,
                'TP': tp,
                'FP': fp,
                'FNMR (%)':FNMR,
                'FMR (%)': FMR}
    comparison_df = comparison_df.append(new_row,ignore_index=True)

comparison_df

La siguiente tabla muestra los resultados de los conteos en cada umbral de similitud.

¿Cómo afecta el umbral de similitud a la tasa de falsos no coincidentes?

Supongamos que tenemos 1,000 intentos genuinos de incorporación de usuarios y rechazamos 10 de estos intentos en función de una similitud mínima requerida del 95 % para que se considere una coincidencia. Aquí rechazamos 10 intentos de incorporación genuinos (falsos negativos) porque su similitud cae por debajo del umbral de similitud mínimo requerido especificado. En este caso, nuestro RMMN es 1.0%.

FNMR = Recuento de falsos negativos / (Recuento de verdaderos positivos + Recuento de falsos negativos)

FNMR = 10 / (990 + 10) o 1.0%

Por el contrario, supongamos que en lugar de tener 1,000 usuarios genuinos para incorporar, tenemos 990 usuarios genuinos y 10 usuarios impostores (falso positivo). Con una similitud mínima del 95 %, supongamos que aceptamos a los 1,000 usuarios como genuinos. Aquí tendríamos un 1% FMR.

FMR = Recuento de falsos positivos / (Total de intentos)

TMF = 10 / (1,000 1.0) o XNUMX %

Evaluación de costos de FMR y FNMR en la incorporación

En un caso de uso de incorporación, el costo de una falsa no coincidencia (un rechazo) generalmente se asocia con fricción adicional del usuario o pérdida de un registro. Por ejemplo, en nuestro caso de uso bancario, supongamos que Julie presenta dos imágenes de sí misma, pero se rechaza incorrectamente en el momento de la incorporación porque la similitud entre las dos imágenes cae por debajo de la similitud seleccionada (falsa no coincidencia). La institución financiera puede correr el riesgo de perder a Julie como cliente potencial, o puede causarle fricciones adicionales a Julie al exigirle que realice pasos para probar su identidad.

Por el contrario, suponga que las dos imágenes de Julie son de diferentes personas y la incorporación de Julie debería haberse rechazado. En el caso de que se acepte incorrectamente a Julie (una coincidencia falsa), el costo y el riesgo para la institución financiera son bastante diferentes. Podría haber problemas regulatorios, riesgo de fraude y otros riesgos asociados con las transacciones financieras.

Uso responsable

La inteligencia artificial (IA) aplicada a través del aprendizaje automático (ML) será una de las tecnologías más transformadoras de nuestra generación, ya que abordará algunos de los problemas más desafiantes de la humanidad, aumentará el rendimiento humano y maximizará la productividad. El uso responsable de estas tecnologías es clave para fomentar la innovación continua. AWS se compromete a desarrollar servicios de IA y ML justos y precisos y a brindarle las herramientas y la orientación necesarias para crear aplicaciones de IA y ML de manera responsable.

A medida que adopta y aumenta su uso de IA y ML, AWS ofrece varios recursos basados ​​en nuestra experiencia para ayudarlo en el desarrollo y uso responsables de IA y ML:

Mejores prácticas y errores comunes que se deben evitar

En esta sección, analizamos las siguientes mejores prácticas:

• Utilice una muestra lo suficientemente grande de imágenes
• Evite los conjuntos de datos de caras sintéticas y de código abierto
• Evite la manipulación de imágenes manual y sintética
• Compruebe la calidad de la imagen en el momento de la evaluación y a lo largo del tiempo
• Supervisar FMR y FNMR a lo largo del tiempo
• Use una revisión humana en el bucle
• Manténgase actualizado con Amazon Rekognition

Utilice una muestra lo suficientemente grande de imágenes

Use una muestra de imágenes lo suficientemente grande pero razonable. ¿Qué es un tamaño de muestra razonable? Depende del problema del negocio. Si es un empleador y tiene 10,000 10,000 empleados que desea autenticar, entonces usar las 5,000 20,000 imágenes probablemente sea razonable. Sin embargo, suponga que es una organización con millones de clientes que desea incorporar. En este caso, tomar una muestra representativa de clientes como XNUMX-XNUMX XNUMX probablemente sea suficiente. Aquí hay una guía sobre el tamaño de la muestra:

• Un tamaño de muestra de 100 – 1,000 pares de imágenes prueban la viabilidad
• Un tamaño de muestra de 1,000 – 10,000 pares de imágenes es útil para medir la variabilidad entre imágenes
• Un tamaño de muestra de 10,000 – 1 millón de pares de imágenes proporciona una medida de la calidad operativa y la generalización

La clave con el muestreo de pares de imágenes es asegurarse de que la muestra proporcione suficiente variabilidad en la población de caras en su aplicación. Puede ampliar aún más su muestreo y prueba para incluir información demográfica como el tono de piel, el sexo y la edad.

Evite los conjuntos de datos de caras sintéticas y de código abierto

Hay docenas de conjuntos de datos de imágenes faciales de código abierto seleccionados, así como conjuntos de rostros sintéticos asombrosamente realistas que a menudo se utilizan en la investigación y para estudiar la viabilidad. El desafío es que estos conjuntos de datos generalmente no son útiles para el 99 % de los casos de uso del mundo real simplemente porque no son representativos de las cámaras, los rostros y la calidad de las imágenes que es probable que encuentre su aplicación en la naturaleza. Aunque son útiles para el desarrollo de aplicaciones, las medidas de precisión de estos conjuntos de imágenes no se generalizan a lo que encontrará en su propia aplicación. En su lugar, recomendamos comenzar con una muestra representativa de imágenes reales de su solución, incluso si los pares de imágenes de muestra son pequeños (menos de 1,000).

Evite la manipulación de imágenes manual y sintética

A menudo hay casos extremos que las personas están interesadas en comprender. Cosas como la calidad de captura de imágenes o la ofuscación de rasgos faciales específicos siempre son de interés. Por ejemplo, a menudo nos preguntan sobre el impacto de la edad y la calidad de la imagen en el reconocimiento facial. Simplemente podría envejecer sintéticamente una cara o manipular la imagen para hacer que el sujeto parezca más viejo, o manipular la calidad de la imagen, pero esto no se traduce bien en el envejecimiento de las imágenes en el mundo real. En su lugar, nuestra recomendación es recopilar una muestra representativa de casos extremos del mundo real que le interese probar.

Compruebe la calidad de la imagen en el momento de la evaluación y a lo largo del tiempo

La tecnología de la cámara y la aplicación cambia bastante rápido con el tiempo. Como práctica recomendada, recomendamos monitorear la calidad de la imagen a lo largo del tiempo. Desde el tamaño de los rostros capturados (usando cuadros delimitadores), hasta el brillo y la nitidez de una imagen, la pose de un rostro, así como posibles ofuscaciones (sombreros, anteojos de sol, barbas, etc.), todas estas imágenes y Los rasgos faciales cambian con el tiempo.

Supervise FNMR y FMR a lo largo del tiempo

Se producen cambios, ya sean las imágenes, la aplicación o los umbrales de similitud utilizados en la aplicación. Es importante monitorear periódicamente las tasas de coincidencias falsas y no coincidencias a lo largo del tiempo. Los cambios en las tarifas (incluso los cambios sutiles) a menudo pueden señalar desafíos anteriores con la aplicación o cómo se usa la aplicación. Los cambios en los umbrales de similitud y las reglas comerciales utilizadas para tomar decisiones de aceptación o rechazo pueden tener un gran impacto en las experiencias de usuario de incorporación y autenticación.

Use una revisión humana en el bucle

Los sistemas de verificación de identidad toman decisiones automatizadas para coincidir y no coincidir en función de los umbrales de similitud y las reglas comerciales. Además de los requisitos normativos y de cumplimiento interno, un proceso importante en cualquier sistema de decisiones automatizado es utilizar revisores humanos como parte del control continuo del proceso de decisiones. La supervisión humana de estos sistemas de toma de decisiones automatizados proporciona validación y mejora continua, así como transparencia en el proceso de toma de decisiones automatizado.

Manténgase actualizado con Amazon Rekognition

El modelo de rostros de Amazon Recognition se actualiza periódicamente (generalmente anualmente) y actualmente se encuentra en la versión 6. Esta versión actualizada realizó mejoras importantes en la precisión y la indexación. Es importante mantenerse actualizado con las nuevas versiones del modelo y comprender cómo usar estas nuevas versiones en su aplicación de verificación de identidad. Cuando se lanzan nuevas versiones del modelo facial de Amazon Rekognition, es una buena práctica volver a ejecutar su proceso de evaluación de verificación de identidad y determinar cualquier impacto potencial (positivo y negativo) en sus tasas de coincidencias falsas y no coincidencias.

Conclusión

Esta publicación analiza los elementos clave necesarios para evaluar el aspecto del rendimiento de su solución de verificación de identidad en términos de varias métricas de precisión. Sin embargo, la precisión es solo una de las muchas dimensiones que debe evaluar al elegir un servicio de moderación de contenido en particular. Es fundamental que incluya otros parámetros, como el conjunto total de funciones del servicio, la facilidad de uso, las integraciones existentes, la privacidad y la seguridad, las opciones de personalización, las implicaciones de escalabilidad, el servicio al cliente y los precios.

Para obtener más información sobre la verificación de identidad en Amazon Rekognition, visite Verificación de identidad con Amazon Rekognition.

Acerca de los autores

mike ames es un científico de datos convertido en especialista en soluciones de verificación de identidad, con amplia experiencia en el desarrollo de soluciones de inteligencia artificial y aprendizaje automático para proteger a las organizaciones del fraude, el desperdicio y el abuso. En su tiempo libre, puedes encontrarlo haciendo senderismo, ciclismo de montaña o jugando freebee con su perro Max.

Amit Gupta es arquitecto sénior de soluciones de servicios de IA en AWS. Le apasiona brindar a los clientes soluciones de aprendizaje automático bien diseñadas a escala.

Zuhayr Raghib es arquitecto de soluciones de servicios de IA en AWS. Se especializa en AI/ML aplicado y le apasiona permitir que los clientes usen la nube para innovar más rápido y transformar sus negocios.

Marcelo Pividal es Arquitecto Sr. de Soluciones de Servicios de IA en la Organización Mundial de Especialistas. Marcel tiene más de 20 años de experiencia en la resolución de problemas comerciales a través de la tecnología para fintechs, proveedores de pagos, farmacéuticas y agencias gubernamentales. Sus áreas de enfoque actuales son la gestión de riesgos, la prevención del fraude y la verificación de identidad.