Mejorar la salud de los activos y la resiliencia de la red mediante el aprendizaje automático | Servicios web de Amazon

Esta publicación está coescrita con Travis Bronson y Brian L Wilkerson de Duke Energy.

El aprendizaje automático (ML) está transformando todas las industrias, procesos y negocios, pero el camino hacia el éxito no siempre es sencillo. En esta publicación de blog, demostramos cómo Duke Energy, una empresa Fortune 150 con sede en Charlotte, Carolina del Norte, colaboró ​​con Laboratorio de soluciones de aprendizaje automático de AWS (MLSL) para utilizar la visión por computadora para automatizar la inspección de postes de madera para servicios públicos y ayudar a prevenir cortes de energía, daños a la propiedad e incluso lesiones.

La red eléctrica está formada por postes, líneas y plantas de energía para generar y suministrar electricidad a millones de hogares y empresas. Estos postes de servicios públicos son componentes críticos de infraestructura y están sujetos a diversos factores ambientales como el viento, la lluvia y la nieve, que pueden causar desgaste de los activos. Es fundamental que los postes de servicios públicos sean inspeccionados y mantenidos periódicamente para evitar fallas que puedan provocar cortes de energía, daños a la propiedad e incluso lesiones. La mayoría de las empresas de servicios públicos, incluida Duke Energy, utilizan la inspección visual manual de los postes de servicios públicos para identificar anomalías relacionadas con su red de transmisión y distribución. Pero este método puede ser costoso y llevar mucho tiempo, y requiere que los trabajadores de las líneas de transmisión de energía sigan rigurosos protocolos de seguridad.

Duke Energy ha utilizado la inteligencia artificial en el pasado para crear eficiencias en las operaciones diarias con gran éxito. La empresa ha utilizado la IA para inspeccionar activos de generación e infraestructura crítica y también ha estado explorando oportunidades para aplicar la IA a la inspección de postes de servicios públicos. Durante el transcurso del compromiso del AWS Machine Learning Solutions Lab con Duke Energy, la empresa de servicios públicos avanzó en su trabajo para automatizar la detección de anomalías en postes de madera utilizando técnicas avanzadas de visión por computadora.

Objetivos y caso de uso

El objetivo de este compromiso entre Duke Energy y el Laboratorio de Soluciones de Aprendizaje Automático es aprovechar el aprendizaje automático para inspeccionar cientos de miles de imágenes aéreas de alta resolución para automatizar el proceso de identificación y revisión de todos los problemas relacionados con postes de madera a lo largo de 33,000 millas de líneas de transmisión. . Este objetivo ayudará aún más a Duke Energy a mejorar la resiliencia de la red y cumplir con las regulaciones gubernamentales al identificar los defectos de manera oportuna. También reducirá los costos de combustible y mano de obra, así como también reducirá las emisiones de carbono al minimizar los desplazamientos innecesarios de camiones. Finalmente, también mejorará la seguridad al minimizar las millas recorridas, los postes subidos y los riesgos de inspección física asociados con condiciones climáticas y del terreno comprometidas.

En las siguientes secciones, presentamos los desafíos clave asociados con el desarrollo de modelos robustos y eficientes para la detección de anomalías relacionadas con postes de servicios públicos de madera. También describimos los desafíos y suposiciones clave asociados con diversas técnicas de preprocesamiento de datos empleadas para lograr el rendimiento deseado del modelo. A continuación, presentamos las métricas clave utilizadas para evaluar el rendimiento del modelo junto con la evaluación de nuestros modelos finales. Y finalmente, comparamos varias técnicas de modelado supervisadas y no supervisadas de última generación.

Desafios

Uno de los desafíos clave asociados con el entrenamiento de un modelo para detectar anomalías utilizando imágenes aéreas son los tamaños de imagen no uniformes. La siguiente figura muestra la distribución del alto y ancho de la imagen de un conjunto de datos de muestra de Duke Energy. Se puede observar que las imágenes tienen una gran variación en cuanto a tamaño. Del mismo modo, el tamaño de las imágenes también plantea desafíos importantes. El tamaño de las imágenes de entrada es de miles de píxeles de ancho y miles de píxeles de largo. Esto tampoco es ideal para entrenar un modelo para la identificación de pequeñas regiones anómalas en la imagen.

Además, las imágenes de entrada contienen una gran cantidad de información de fondo irrelevante, como vegetación, automóviles, animales de granja, etc. La información de fondo podría dar como resultado un rendimiento subóptimo del modelo. Según nuestra evaluación, sólo el 5% de la imagen contiene postes de madera y las anomalías son aún menores. Este es un gran desafío para identificar y localizar anomalías en las imágenes de alta resolución. El número de anomalías es significativamente menor en comparación con el conjunto de datos completo. Solo hay un 0.12% de imágenes anómalas en todo el conjunto de datos (es decir, 1.2 anomalías de 1000 imágenes). Finalmente, no hay datos etiquetados disponibles para entrenar un modelo de aprendizaje automático supervisado. A continuación, describimos cómo abordamos estos desafíos y explicamos nuestro método propuesto.

Resumen de la solución

Técnicas de modelado

La siguiente figura muestra nuestro proceso de procesamiento de imágenes y detección de anomalías. Primero importamos los datos a Servicio de almacenamiento simple de Amazon (Amazon S3) usando Estudio Amazon SageMaker. Además, empleamos varias técnicas de procesamiento de datos para abordar algunos de los desafíos destacados anteriormente para mejorar el rendimiento del modelo. Después del preprocesamiento de datos, empleamos a Amazon. Etiquetas personalizadas de reconocimiento para el etiquetado de datos. Los datos etiquetados se utilizan además para entrenar modelos de aprendizaje automático supervisados, como Vision Transformer, Amazon Lookout para la visióny autogloun para la detección de anomalías.

La siguiente figura muestra la descripción detallada de nuestro enfoque propuesto que incluye el proceso de procesamiento de datos y varios algoritmos de ML empleados para la detección de anomalías. Primero, describiremos los pasos involucrados en el proceso de procesamiento de datos. A continuación, explicaremos los detalles y la intuición relacionados con varias técnicas de modelado empleadas durante este compromiso para lograr los objetivos de desempeño deseados.

Preprocesamiento de datos

El proceso de preprocesamiento de datos propuesto incluye estandarización de datos, identificación de región de interés (ROI), aumento de datos, segmentación de datos y finalmente etiquetado de datos. El propósito de cada paso se describe a continuación:

Estandarización de datos

El primer paso en nuestro proceso de procesamiento de datos incluye la estandarización de los datos. En este paso, cada imagen se recorta y se divide en parches no superpuestos de tamaño 224 X 224 píxeles. El objetivo de este paso es generar parches de tamaños uniformes que podrían utilizarse aún más para entrenar un modelo de ML y localizar las anomalías en imágenes de alta resolución.

Identificación de región de interés (ROI)

Los datos de entrada consisten en imágenes de alta resolución que contienen una gran cantidad de información de fondo irrelevante (es decir, vegetación, casas, automóviles, caballos, vacas, etc.). Nuestro objetivo es identificar anomalías relacionadas con los postes de madera. Para identificar el retorno de la inversión (es decir, los parches que contienen el poste de madera), empleamos el etiquetado personalizado de Amazon Rekognition. Entrenamos un modelo de etiquetas personalizado de Amazon Rekognition utilizando imágenes etiquetadas de 3k que contienen tanto ROI como imágenes de fondo. El objetivo del modelo es realizar una clasificación binaria entre el ROI y las imágenes de fondo. Los parches identificados como información de fondo se descartan mientras que los cultivos previstos como ROI se utilizan en el siguiente paso. La siguiente figura muestra el proceso que identifica el ROI. Generamos una muestra de cultivos no superpuestos de 1,110 imágenes de madera que generaron 244,673 cultivos. Además, utilizamos estas imágenes como entrada para un modelo personalizado de Amazon Rekognition que identificó 11,356 cultivos como ROI. Finalmente, verificamos manualmente cada uno de estos 11,356 parches. Durante la inspección manual, identificamos que el modelo era capaz de predecir correctamente 10,969 11,356 parches de madera de 96 XNUMX como retorno de la inversión. En otras palabras, el modelo alcanzó una precisión del XNUMX%.

Etiquetado de datos

Durante la inspección manual de las imágenes, también etiquetamos cada imagen con sus etiquetas asociadas. Las etiquetas asociadas de las imágenes incluyen parche de madera, parche sin madera, no estructura, parche sin madera y finalmente parches de madera con anomalías. La siguiente figura muestra la nomenclatura de las imágenes mediante el etiquetado personalizado de Amazon Rekognition.

Aumento de datos

Dada la cantidad limitada de datos etiquetados que estaban disponibles para el entrenamiento, aumentamos el conjunto de datos de entrenamiento realizando volteos horizontales de todos los parches. Esto tuvo el impacto efectivo de duplicar el tamaño de nuestro conjunto de datos.

Segmentación

Etiquetamos los objetos en 600 imágenes (postes, cables y barandillas de metal) utilizando la herramienta de etiquetado de detección de objetos del cuadro delimitador en Amazon Rekognition Custom Labels y entrenamos un modelo para detectar los tres objetos principales de interés. Usamos el modelo entrenado para eliminar el fondo de todas las imágenes, identificando y extrayendo los polos en cada imagen, mientras eliminamos todos los demás objetos además del fondo. El conjunto de datos resultante tenía menos imágenes que el conjunto de datos original, como resultado de eliminar todas las imágenes que no contienen postes de madera. Además, también hubo una imagen falsa positiva que se eliminó del conjunto de datos.

Detección de anomalías

A continuación, utilizamos los datos preprocesados ​​para entrenar el modelo de aprendizaje automático para la detección de anomalías. Empleamos tres métodos diferentes para la detección de anomalías que incluyen los servicios de aprendizaje automático administrados de AWS (Amazon Lookout for Vision [L4V], Amazon Rekognition), AutoGluon y el método de autodestilación basado en Vision Transformer.

Servicios de AWS

Amazon Lookout para la visión (L4V)

Amazon Lookout for Vision es un servicio de AWS administrado que permite una rápida capacitación e implementación de modelos de aprendizaje automático y proporciona capacidades de detección de anomalías. Requiere datos completamente etiquetados, que proporcionamos señalando las rutas de las imágenes en Amazon S3. Entrenar el modelo es tan simple como una sola llamada a la API (interfaz de programación de aplicaciones) o hacer clic en un botón de la consola y L4V se encarga de la selección del modelo y el ajuste de hiperparámetros bajo el capó.

Reconocimiento de amazonas

Amazon Rekognition es un servicio de IA/ML administrado similar a L4V, que oculta detalles de modelado y proporciona muchas capacidades, como clasificación de imágenes, detección de objetos, etiquetado personalizado y más. Proporciona la capacidad de utilizar los modelos integrados para aplicarlos a entidades previamente conocidas en imágenes (por ejemplo, de ImageNet u otros grandes conjuntos de datos abiertos). Sin embargo, utilizamos la funcionalidad de etiquetas personalizadas de Amazon Rekognition para entrenar el detector de ROI, así como un detector de anomalías en las imágenes específicas que tiene Duke Energy. También utilizamos las etiquetas personalizadas de Amazon Rekognition para entrenar un modelo para que coloque cuadros delimitadores alrededor de postes de madera en cada imagen.

autogloun

AutoGluon es una técnica de aprendizaje automático de código abierto desarrollada por Amazon. AutoGluon incluye un componente multimodal que permite un entrenamiento sencillo con datos de imágenes. Utilizamos AutoGluon Multi-modal para entrenar modelos en los parches de imágenes etiquetados para establecer una línea de base para identificar anomalías.

Transformador de visión

Muchos de los nuevos avances más interesantes en IA provienen de dos innovaciones recientes: el aprendizaje autosupervisado, que permite a las máquinas aprender a partir de ejemplos aleatorios y sin etiquetar; y Transformers, que permiten que los modelos de IA se centren selectivamente en determinadas partes de sus entradas y, por tanto, razonen de forma más eficaz. Ambos métodos han sido un enfoque sostenido para la comunidad de aprendizaje automático y nos complace compartir que los utilizamos en este compromiso.

En particular, trabajando en colaboración con investigadores de Duke Energy, utilizamos modelos ViT (Vision Transformer) de autodestilación previamente entrenados como extractores de características para la aplicación de detección de anomalías posteriores utilizando Amazon Sagemaker. Los modelos de transformadores de visión de autodestilación previamente entrenados se entrenan con una gran cantidad de datos de entrenamiento almacenados en Amazon S3 de forma autosupervisada mediante Amazon SageMaker. Aprovechamos las capacidades de aprendizaje por transferencia de los modelos ViT previamente entrenados en conjuntos de datos a gran escala (por ejemplo, ImageNet). Esto nos ayudó a lograr una recuperación del 83 % en un conjunto de evaluación que utilizó solo unos pocos miles de imágenes etiquetadas para la capacitación.

Métricas de evaluación

La siguiente figura muestra las métricas clave utilizadas para evaluar el rendimiento del modelo y sus impactos. El objetivo clave del modelo es maximizar la detección de anomalías (es decir, verdaderos positivos) y minimizar el número de falsos negativos, o momentos en los que las anomalías que podrían provocar interrupciones se clasifican erróneamente.

Una vez identificadas las anomalías, los técnicos pueden abordarlas, evitando futuras interrupciones y garantizando el cumplimiento de las regulaciones gubernamentales. Hay otro beneficio al minimizar los falsos positivos: evita el esfuerzo innecesario de revisar las imágenes nuevamente.

Teniendo estas métricas en mente, realizamos un seguimiento del rendimiento del modelo en términos de las siguientes métricas, que resumen las cuatro métricas definidas anteriormente.

Precisión

El porcentaje de anomalías detectadas que son anomalías reales para objetos de interés. La precisión mide qué tan bien nuestro algoritmo identifica solo anomalías. Para este caso de uso, una alta precisión significa pocas falsas alarmas (es decir, el algoritmo identifica falsamente un agujero de pájaro carpintero cuando no hay ninguno en la imagen).

Recordar

El porcentaje de todas las anomalías que se recuperan para cada objeto de interés. La recuperación mide qué tan bien identificamos todas las anomalías. Este conjunto captura algún porcentaje del conjunto completo de anomalías, y ese porcentaje es el retiro. Para este caso de uso, una alta recuperación significa que somos buenos para detectar agujeros de pájaros carpinteros cuando ocurren. Por lo tanto, la recuperación es la métrica correcta en la que centrarse en esta POC porque, en el mejor de los casos, las falsas alarmas son molestas, mientras que las anomalías omitidas podrían tener consecuencias graves si no se atienden.

Un menor retiro del servicio puede provocar interrupciones y violaciones de las regulaciones gubernamentales. Mientras que una menor precisión conduce a un esfuerzo humano desperdiciado. El objetivo principal de este compromiso es identificar todas las anomalías para cumplir con la regulación gubernamental y evitar cualquier interrupción, por lo que priorizamos mejorar la recuperación sobre la precisión.

Evaluación y comparación de modelos.

En la siguiente sección, demostramos la comparación de varias técnicas de modelado empleadas durante este compromiso. Evaluamos el rendimiento de dos servicios de AWS, Amazon Rekognition y Amazon Lookout for Vision. También evaluamos varias técnicas de modelado utilizando AutoGluon. Finalmente, comparamos el rendimiento con el método de autodestilación basado en ViT de última generación.

La siguiente figura muestra la mejora del modelo para AutoGluon utilizando diferentes técnicas de procesamiento de datos durante el período de este compromiso. La observación clave es que a medida que mejoramos la calidad y cantidad de los datos, el rendimiento del modelo en términos de recuperación mejoró de menos del 30% al 78%.

A continuación, comparamos el rendimiento de AutoGluon con los servicios de AWS. También empleamos varias técnicas de procesamiento de datos que ayudaron a mejorar el rendimiento. Sin embargo, la principal mejora provino del aumento de la cantidad y calidad de los datos. Aumentamos el tamaño del conjunto de datos de 11 K imágenes en total a 60 K imágenes.

A continuación, comparamos el rendimiento de los servicios AutoGluon y AWS con el método basado en ViT. La siguiente figura demuestra que el método basado en ViT, los servicios AutoGluon y AWS se desempeñaron a la par en términos de recuperación. Una observación clave es que, más allá de cierto punto, el aumento en la calidad y cantidad de los datos no ayuda a aumentar el rendimiento en términos de recuperación. Sin embargo, observamos mejoras en términos de precisión.

Comparación de precisión versus recuperación

Amazon AutoGluon	Anomalías previstas	normal previsto
Anomalías	15600	4400
NORMAL	3659	38341

A continuación, presentamos la matriz de confusión para el método basado en AutoGluon y Amazon Rekognition y ViT utilizando nuestro conjunto de datos que contiene 62 K muestras. De 62 muestras, 20 muestras son anómalas, mientras que las 42 imágenes restantes son normales. Se puede observar que los métodos basados ​​en ViT capturan la mayor cantidad de anomalías (16,600 16,000), seguidos de Amazon Rekognition (15600 3659) y Amazon AutoGluon (5918 15323). De manera similar, Amazon AutoGluon tiene el menor número de falsos positivos (XNUMX imágenes), seguido de Amazon Rekognition (XNUMX) y ViT (XNUMX). Estos resultados demuestran que Amazon Rekognition logra el AUC (área bajo la curva) más alta.

Reconocimiento de amazonas	Anomalías previstas	normal previsto
Anomalías	16,000	4000
NORMAL	5918	36082

vit	Anomalías previstas	normal previsto
Anomalías	16,600	3400
NORMAL	15,323	26,677

Conclusión

En esta publicación, le mostramos cómo los equipos de MLSL y Duke Energy trabajaron juntos para desarrollar una solución basada en visión por computadora para automatizar la detección de anomalías en postes de madera utilizando imágenes de alta resolución recopiladas mediante vuelos en helicóptero. La solución propuesta empleó un proceso de procesamiento de datos para recortar la imagen de alta resolución para estandarizar el tamaño. Las imágenes recortadas se procesan adicionalmente utilizando etiquetas personalizadas de Amazon Rekognition para identificar la región de interés (es decir, cultivos que contienen parches con postes). Amazon Rekognition logró una precisión del 96 % en términos de identificar correctamente los parches con postes. Los cultivos de ROI se utilizan además para la detección de anomalías utilizando el modelo de autodestilación basado en ViT AutoGluon y los servicios de AWS para la detección de anomalías. Utilizamos un conjunto de datos estándar para evaluar el rendimiento de los tres métodos. El modelo basado en ViT logró un 83 % de recuperación y un 52 % de precisión. AutoGluon logró un 78 % de recuperación y un 81 % de precisión. Finalmente, Amazon Rekognition logra un 80 % de recuperación y un 73 % de precisión. El objetivo de utilizar tres métodos diferentes es comparar el rendimiento de cada método con diferentes números de muestras de entrenamiento, tiempo de entrenamiento y tiempo de implementación. Todos estos métodos tardan menos de 2 horas en entrenarse e implementarse utilizando una única instancia de GPU A100 o servicios administrados en Amazon AWS. A continuación, los pasos para seguir mejorando el rendimiento del modelo incluyen agregar más datos de entrenamiento para mejorar la precisión del modelo.

En general, el proceso de extremo a extremo propuesto en esta publicación ayuda a lograr mejoras significativas en la detección de anomalías y, al mismo tiempo, minimiza los costos de operación, los incidentes de seguridad, los riesgos regulatorios, las emisiones de carbono y los posibles cortes de energía.

La solución desarrollada se puede emplear para otros casos de uso relacionados con la detección de anomalías y el estado de los activos en redes de transmisión y distribución, incluidos defectos en aisladores y otros equipos. Para obtener más ayuda para desarrollar y personalizar esta solución, no dude en ponerse en contacto con el equipo de MLSL.

---

Acerca de los autores

Travis Bronson es un Lead Artificial Intelligence Specialist con 15 años de experiencia en tecnología y 8 años específicamente dedicados a la inteligencia artificial. Durante sus cinco años en Duke Energy, Travis ha avanzado en la aplicación de la IA para la transformación digital al aportar conocimientos únicos y liderazgo de pensamiento creativo a la vanguardia de su empresa. Actualmente, Travis dirige el equipo central de IA, una comunidad de profesionales, entusiastas y socios comerciales de la IA centrados en promover los resultados y la gobernanza de la IA. Travis adquirió y perfeccionó sus habilidades en múltiples campos tecnológicos, comenzando en la Marina y el Gobierno de los EE. UU. y luego haciendo la transición al sector privado después de más de una década de servicio.

 Brian Wilkerson es un profesional consumado con dos décadas de experiencia en Duke Energy. Licenciado en informática, ha pasado los últimos 7 años destacándose en el campo de la Inteligencia Artificial. Brian es cofundador de MADlab (equipo de aprendizaje automático, inteligencia artificial y aprendizaje profundo) de Duke Energy. Actualmente ocupa el cargo de Director de Inteligencia Artificial y Transformación en Duke Energy, donde le apasiona generar valor empresarial a través de la implementación de IA.

Ahsan Alí es científico aplicado en el Centro de Innovación de IA Generativa de Amazon, donde trabaja con clientes de diferentes dominios para resolver sus problemas urgentes y costosos utilizando la IA Generativa.

Tahin Syed es un científico aplicado en el Centro de Innovación de IA Generativa de Amazon, donde trabaja con clientes para ayudar a lograr resultados comerciales con soluciones de IA generativa. Fuera del trabajo, le gusta probar comida nueva, viajar y enseñar taekwondo.

Dr. Nkechinyere N. Agu es científico aplicado en el Centro de Innovación de IA Generativa de AWS. Su experiencia se centra en métodos de IA/ML de visión por computadora, aplicaciones de IA/ML a la atención médica, así como en la integración de tecnologías semánticas (gráficos de conocimiento) en soluciones de ML. Tiene una Maestría y un Doctorado en Informática.

Aldo Arizmendi es estratega de IA generativa en el Centro de innovación de IA generativa de AWS con sede en Austin, Texas. Habiendo recibido su Licenciatura en Ingeniería Informática de la Universidad de Nebraska-Lincoln, durante los últimos 12 años, el Sr. Arizmendi ha ayudado a cientos de empresas Fortune 500 y nuevas empresas a transformar sus negocios utilizando análisis avanzados, aprendizaje automático e inteligencia artificial generativa.

Stacey Jenks es especialista principal en ventas de análisis en AWS, con más de dos décadas de experiencia en análisis e IA/ML. A Stacey le apasiona profundizar en las iniciativas de los clientes e impulsar resultados comerciales transformadores y medibles con datos. Está especialmente entusiasmada con la huella que las empresas de servicios públicos dejarán en la sociedad, a través de su camino hacia un planeta más verde con energía asequible, fiable y limpia.

Mehdi Noor es gerente de ciencias aplicadas en Generative Ai Innovation Center. Con una pasión por unir la tecnología y la innovación, ayuda a los clientes de AWS a desbloquear el potencial de la IA generativa, convirtiendo los desafíos potenciales en oportunidades para una experimentación e innovación rápidas centrándose en usos escalables, mensurables e impactantes de tecnologías avanzadas de IA, y agilizando el camino. a la producción.

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
• PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
• PlatoESG. Automoción / vehículos eléctricos, Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
• PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
• ChartPrime. Eleve su juego comercial con ChartPrime. Accede Aquí.
• Desplazamientos de bloque. Modernización de la propiedad de compensaciones ambientales. Accede Aquí.
• Fuente: https://aws.amazon.com/blogs/machine-learning/improving-asset-health-and-grid-resilience-using-machine-learning/