Melhorando a integridade dos ativos e a resiliência da rede usando aprendizado de máquina | Amazon Web Services

Esta postagem foi co-escrita com Travis Bronson e Brian L Wilkerson da Duke Energy

O aprendizado de máquina (ML) está transformando todos os setores, processos e negócios, mas o caminho para o sucesso nem sempre é simples. Nesta postagem do blog, demonstramos como Duke Energy, uma empresa Fortune 150 com sede em Charlotte, NC., colaborou com o Laboratório de soluções de aprendizado de máquina da AWS (MLSL) para usar visão computacional para automatizar a inspeção de postes de madeira e ajudar a evitar cortes de energia, danos materiais e até ferimentos.

A rede elétrica é composta por postes, linhas e usinas de energia para gerar e fornecer eletricidade a milhões de residências e empresas. Esses postes são componentes críticos da infraestrutura e estão sujeitos a diversos fatores ambientais, como vento, chuva e neve, que podem causar desgaste nos ativos. É fundamental que os postes sejam inspecionados e mantidos regularmente para evitar falhas que podem levar a cortes de energia, danos materiais e até ferimentos. A maioria das concessionárias de energia, incluindo a Duke Energy, utiliza a inspeção visual manual dos postes para identificar anomalias relacionadas à sua rede de transmissão e distribuição. Mas esse método pode ser caro e demorado e exige que os operadores das linhas de transmissão de energia sigam protocolos de segurança rigorosos.

A Duke Energy usou inteligência artificial no passado para criar eficiência nas operações diárias com grande sucesso. A empresa tem usado IA para inspecionar ativos de geração e infraestruturas críticas e tem explorado oportunidades para aplicar IA também na inspeção de postes de serviços públicos. Ao longo do envolvimento do AWS Machine Learning Solutions Lab com a Duke Energy, a concessionária progrediu em seu trabalho para automatizar a detecção de anomalias em postes de madeira usando técnicas avançadas de visão computacional.

Objetivos e caso de uso

O objetivo deste envolvimento entre a Duke Energy e o Laboratório de Soluções de Aprendizado de Máquina é aproveitar o aprendizado de máquina para inspecionar centenas de milhares de imagens aéreas de alta resolução para automatizar o processo de identificação e revisão de todos os problemas relacionados a postes de madeira em 33,000 milhas de linhas de transmissão. . Este objetivo ajudará ainda mais a Duke Energy a melhorar a resiliência da rede e a cumprir as regulamentações governamentais, identificando os defeitos em tempo hábil. Também reduzirá os custos de combustível e mão-de-obra, bem como reduzirá as emissões de carbono, minimizando deslocações desnecessárias de camiões. Por último, também melhorará a segurança, minimizando os quilómetros percorridos, os postes escalados e os riscos de inspecção física associados ao comprometimento do terreno e às condições meteorológicas.

Nas seções seguintes, apresentamos os principais desafios associados ao desenvolvimento de modelos robustos e eficientes para detecção de anomalias relacionadas a postes de madeira. Também descrevemos os principais desafios e suposições associados a diversas técnicas de pré-processamento de dados empregadas para alcançar o desempenho desejado do modelo. A seguir, apresentamos as principais métricas utilizadas para avaliar o desempenho do modelo juntamente com a avaliação de nossos modelos finais. E, finalmente, comparamos várias técnicas de modelagem supervisionadas e não supervisionadas de última geração.

Desafios

Um dos principais desafios associados ao treinamento de um modelo para detecção de anomalias usando imagens aéreas são os tamanhos não uniformes das imagens. A figura a seguir mostra a distribuição da altura e largura da imagem de um conjunto de dados de amostra da Duke Energy. Pode-se observar que as imagens apresentam uma grande variação em termos de tamanho. Da mesma forma, o tamanho das imagens também apresenta desafios significativos. O tamanho das imagens de entrada tem milhares de pixels de largura e milhares de pixels de comprimento. Isso também não é ideal para treinar um modelo para identificação de pequenas regiões anômalas na imagem.

Além disso, as imagens de entrada contêm uma grande quantidade de informações de fundo irrelevantes, como vegetação, carros, animais de fazenda, etc. As informações de fundo podem resultar em um desempenho abaixo do ideal do modelo. Com base na nossa avaliação, apenas 5% da imagem contém postes de madeira e as anomalias são ainda menores. Este é um grande desafio para identificar e localizar anomalias nas imagens de alta resolução. O número de anomalias é significativamente menor, comparado com todo o conjunto de dados. Existem apenas 0.12% de imagens anômalas em todo o conjunto de dados (ou seja, 1.2 anomalias em 1000 imagens). Finalmente, não há dados rotulados disponíveis para treinar um modelo de aprendizado de máquina supervisionado. A seguir, descrevemos como abordamos esses desafios e explicamos nosso método proposto.

Visão geral da solução

Técnicas de modelagem

A figura a seguir demonstra nosso pipeline de processamento de imagem e detecção de anomalias. Primeiro importamos os dados para Serviço de armazenamento simples da Amazon (Amazon S3) utilização Estúdio Amazon SageMaker. Empregamos ainda várias técnicas de processamento de dados para enfrentar alguns dos desafios destacados acima para melhorar o desempenho do modelo. Após o pré-processamento dos dados, empregamos Amazon Etiquetas personalizadas de reconhecimento para rotulagem de dados. Os dados rotulados são posteriormente usados ​​para treinar modelos de ML supervisionados, como Vision Transformer, Amazon Lookout para Visão e AutoGloun para detecção de anomalias.

A figura a seguir demonstra a visão geral detalhada de nossa abordagem proposta que inclui o pipeline de processamento de dados e vários algoritmos de ML empregados para detecção de anomalias. Primeiro, descreveremos as etapas envolvidas no pipeline de processamento de dados. A seguir, explicaremos os detalhes e a intuição relacionados às diversas técnicas de modelagem empregadas durante esse trabalho para atingir as metas de desempenho desejadas.

Pré-processamento de dados

O pipeline de pré-processamento de dados proposto inclui padronização de dados, identificação da região de interesse (ROI), aumento de dados, segmentação de dados e finalmente rotulagem de dados. O objetivo de cada etapa é descrito abaixo:

Padronização de dados

A primeira etapa em nosso pipeline de processamento de dados inclui a padronização de dados. Nesta etapa, cada imagem é cortada e dividida em fragmentos não sobrepostos de tamanho 224 X 224 pixels. O objetivo desta etapa é gerar patches de tamanhos uniformes que possam ser posteriormente utilizados para treinar um modelo de ML e localizar as anomalias em imagens de alta resolução.

Identificação da região de interesse (ROI)

Os dados de entrada consistem em imagens de alta resolução contendo grande quantidade de informações de fundo irrelevantes (isto é, vegetação, casas, carros, cavalos, vacas, etc.). Nosso objetivo é identificar anomalias relacionadas a postes de madeira. Para identificar o ROI (ou seja, manchas contendo o poste de madeira), empregamos a rotulagem personalizada do Amazon Rekognition. Treinamos um modelo de rótulo personalizado do Amazon Rekognition usando imagens rotuladas de 3 mil contendo ROI e imagens de fundo. O objetivo do modelo é fazer uma classificação binária entre o ROI e as imagens de fundo. As manchas identificadas como informações básicas são descartadas enquanto as culturas previstas como ROI são usadas na próxima etapa. A figura a seguir demonstra o pipeline que identifica o ROI. Geramos uma amostra de recortes não sobrepostos de 1,110 imagens de madeira que geraram 244,673 recortes. Além disso, usamos essas imagens como entrada para um modelo personalizado do Amazon Rekognition que identificou 11,356 culturas como ROI. Por fim, verificamos manualmente cada um desses 11,356 patches. Durante a inspeção manual, identificamos que o modelo foi capaz de prever corretamente 10,969 manchas de madeira de 11,356 como ROI. Ou seja, o modelo alcançou 96% de precisão.

Rotulagem de dados

Durante a inspeção manual das imagens, também rotulamos cada imagem com seus rótulos associados. Os rótulos de imagens associados incluem remendo de madeira, remendo de não-madeira, não estrutura, remendo de não-madeira e, finalmente, remendos de madeira com anomalias. A figura a seguir demonstra a nomenclatura das imagens usando a rotulagem personalizada do Amazon Rekognition.

Aumento de dados

Dada a quantidade limitada de dados rotulados disponíveis para treinamento, aumentamos o conjunto de dados de treinamento fazendo inversões horizontais de todos os patches. Isso teve o impacto efetivo de duplicar o tamanho do nosso conjunto de dados.

Segmentação

Rotulamos os objetos em 600 imagens (postes, fios e grades de metal) usando a ferramenta de rotulagem de detecção de objetos de caixa delimitadora no Amazon Rekognition Custom Labels e treinamos um modelo para detectar os três principais objetos de interesse. Utilizamos o modelo treinado para remover o fundo de todas as imagens, identificando e extraindo os pólos de cada imagem, ao mesmo tempo que removemos todos os outros objetos, bem como o fundo. O conjunto de dados resultante tinha menos imagens do que o conjunto de dados original, como resultado da remoção de todas as imagens que não continham postes de madeira. Além disso, também houve uma imagem falso positiva que foi removida do conjunto de dados.

Detecção de anomalia

A seguir, usamos os dados pré-processados ​​para treinar o modelo de aprendizado de máquina para detecção de anomalias. Empregamos três métodos diferentes para detecção de anomalias, que incluem AWS Managed Machine Learning Services (Amazon Lookout for Vision [L4V], Amazon Rekognition), AutoGluon e método de autodestilação baseado em Vision Transformer.

Serviços AWS

Amazon Lookout for Vision (L4V)

O Amazon Lookout for Vision é um serviço gerenciado da AWS que permite treinamento e implantação rápidos de modelos de ML e fornece recursos de detecção de anomalias. Requer dados totalmente rotulados, que fornecemos apontando para os caminhos da imagem no Amazon S3. Treinar o modelo é tão simples quanto uma única chamada de API (interface de programação de aplicativo) ou clique no botão do console e o L4V cuida da seleção do modelo e do ajuste de hiperparâmetros nos bastidores.

Reconhecimento da Amazônia

O Amazon Rekognition é um serviço gerenciado de IA/ML semelhante ao L4V, que oculta detalhes de modelagem e oferece muitos recursos, como classificação de imagens, detecção de objetos, rotulagem personalizada e muito mais. Ele fornece a capacidade de usar modelos integrados para aplicar a entidades previamente conhecidas em imagens (por exemplo, do ImageNet ou de outros grandes conjuntos de dados abertos). No entanto, usamos a funcionalidade Custom Labels do Amazon Rekognition para treinar o detector de ROI, bem como um detector de anomalias nas imagens específicas que a Duke Energy possui. Também usamos os rótulos personalizados do Amazon Rekognition para treinar um modelo para colocar caixas delimitadoras em torno de postes de madeira em cada imagem.

AutoGloun

AutoGluon é uma técnica de aprendizado de máquina de código aberto desenvolvida pela Amazon. AutoGluon inclui um componente multimodal que permite fácil treinamento em dados de imagem. Usamos o AutoGluon Multi-modal para treinar modelos nos patches de imagem rotulados para estabelecer uma linha de base para a identificação de anomalias.

Transformador de Visão

Muitas das mais recentes descobertas em IA vieram de duas inovações recentes: aprendizagem auto-supervisionada, que permite que as máquinas aprendam com exemplos aleatórios e não rotulados; e Transformers, que permitem que os modelos de IA se concentrem seletivamente em certas partes de suas informações e, assim, raciocinem de forma mais eficaz. Ambos os métodos têm sido um foco sustentado para a comunidade de aprendizado de máquina e temos o prazer de compartilhar que os utilizamos neste envolvimento.

Em particular, trabalhando em colaboração com pesquisadores da Duke Energy, usamos modelos ViT (Vision Transformer) de autodestilação pré-treinados como extratores de recursos para o aplicativo de detecção de anomalias downstream usando o Amazon Sagemaker. Os modelos de transformadores de visão de autodestilação pré-treinados são treinados em uma grande quantidade de dados de treinamento armazenados no Amazon S3 de maneira autosupervisionada usando o Amazon SageMaker. Aproveitamos os recursos de transferência de aprendizagem de modelos ViT pré-treinados em conjuntos de dados de grande escala (por exemplo, ImageNet). Isso nos ajudou a alcançar um recall de 83% em um conjunto de avaliação usando apenas alguns milhares de imagens rotuladas para treinamento.

Métricas de avaliação

A figura a seguir mostra as principais métricas usadas para avaliar o desempenho do modelo e seus impactos. O principal objetivo do modelo é maximizar a detecção de anomalias (ou seja, verdadeiros positivos) e minimizar o número de falsos negativos, ou momentos em que as anomalias que poderiam levar a interrupções estão sendo mal classificadas.

Uma vez identificadas as anomalias, os técnicos podem resolvê-las, evitando futuras interrupções e garantindo a conformidade com as regulamentações governamentais. Há outro benefício em minimizar os falsos positivos: você evita o esforço desnecessário de revisar as imagens novamente.

Mantendo essas métricas em mente, rastreamos o desempenho do modelo em termos das seguintes métricas, que encapsulam todas as quatro métricas definidas acima.

Precisão

A porcentagem de anomalias detectadas que são anomalias reais para objetos de interesse. A precisão mede quão bem nosso algoritmo identifica apenas anomalias. Para este caso de uso, alta precisão significa poucos alarmes falsos (ou seja, o algoritmo identifica falsamente um buraco de pica-pau enquanto não há nenhum na imagem).

Recordar

A porcentagem de todas as anomalias recuperadas para cada objeto de interesse. O recall mede quão bem identificamos todas as anomalias. Este conjunto captura uma porcentagem do conjunto completo de anomalias, e essa porcentagem é a recuperação. Para este caso de uso, um alto recall significa que somos bons em capturar buracos de pica-paus quando eles ocorrem. A recuperação é, portanto, a métrica certa a ser focada neste POC porque os alarmes falsos são, na melhor das hipóteses, irritantes, enquanto as anomalias perdidas podem levar a consequências graves se não forem atendidas.

Um recall menor pode levar a interrupções e violações de regulamentações governamentais. Enquanto a menor precisão leva ao desperdício de esforço humano. O objetivo principal deste envolvimento é identificar todas as anomalias para cumprir a regulamentação governamental e evitar qualquer interrupção, por isso priorizamos a melhoria do recall em vez da precisão.

Avaliação e comparação de modelos

Na seção seguinte, demonstramos a comparação de diversas técnicas de modelagem empregadas durante esse trabalho. Avaliamos o desempenho de dois serviços da AWS, Amazon Rekognition e Amazon Lookout for Vision. Também avaliamos diversas técnicas de modelagem usando AutoGluon. Finalmente, comparamos o desempenho com o método de autodestilação baseado em ViT de última geração.

A figura a seguir mostra a melhoria do modelo para o AutoGluon usando diferentes técnicas de processamento de dados durante o período deste contrato. A principal observação é que, à medida que melhoramos a qualidade e a quantidade dos dados, o desempenho do modelo em termos de recall melhorou de menos de 30% para 78%.

A seguir, comparamos o desempenho do AutoGluon com os serviços AWS. Também empregamos várias técnicas de processamento de dados que ajudaram a melhorar o desempenho. No entanto, a principal melhoria veio do aumento da quantidade e qualidade dos dados. Aumentamos o tamanho do conjunto de dados de 11 mil imagens no total para 60 mil imagens.

A seguir, comparamos o desempenho dos serviços AutoGluon e AWS com o método baseado em ViT. A figura a seguir demonstra que o método baseado em ViT, os serviços AutoGluon e AWS tiveram um desempenho equivalente em termos de recall. Uma observação importante é que, além de um certo ponto, o aumento na qualidade e quantidade dos dados não ajuda a aumentar o desempenho em termos de recuperação. No entanto, observamos melhorias em termos de precisão.

Comparação de precisão versus recall

Amazon AutoGluon	Anomalias previstas	Normal previsto
Anomalias	15600	4400
Normal	3659	38341

A seguir, apresentamos a matriz de confusão para AutoGluon e Amazon Rekognition e método baseado em ViT usando nosso conjunto de dados que contém 62 mil amostras. Das 62 mil amostras, 20 mil amostras são anômalas, enquanto as 42 mil imagens restantes são normais. Pode-se observar que os métodos baseados em ViT capturam o maior número de anomalias (16,600) seguidos pelo Amazon Rekognition (16,000) e Amazon AutoGluon (15600). Da mesma forma, o Amazon AutoGluon tem o menor número de falsos positivos (3659 imagens), seguido pelo Amazon Rekognition (5918) e ViT (15323). Esses resultados demonstram que o Amazon Rekognition atinge a maior AUC (área sob a curva).

Reconhecimento da Amazônia	Anomalias previstas	Normal previsto
Anomalias	16,000	4000
Normal	5918	36082

ViT	Anomalias previstas	Normal previsto
Anomalias	16,600	3400
Normal	15,323	26,677

Conclusão

Nesta postagem, mostramos como as equipes da MLSL e da Duke Energy trabalharam juntas para desenvolver uma solução baseada em visão computacional para automatizar a detecção de anomalias em postes de madeira usando imagens de alta resolução coletadas em voos de helicóptero. A solução proposta empregou um pipeline de processamento de dados para recortar a imagem de alta resolução para padronização de tamanho. As imagens recortadas são processadas posteriormente usando rótulos personalizados do Amazon Rekognition para identificar a região de interesse (ou seja, culturas contendo manchas com postes). O Amazon Rekognition alcançou 96% de precisão em termos de identificação correta dos patches com postes. As culturas ROI são ainda usadas para detecção de anomalias usando autodestilação baseada em ViT mdoel AutoGluon e serviços AWS para detecção de anomalias. Usamos um conjunto de dados padrão para avaliar o desempenho de todos os três métodos. O modelo baseado em ViT alcançou 83% de recall e 52% de precisão. AutoGluon alcançou 78% de recall e 81% de precisão. Por fim, o Amazon Rekognition atinge 80% de recall e 73% de precisão. O objetivo de usar três métodos diferentes é comparar o desempenho de cada método com diferentes números de amostras de treinamento, tempo de treinamento e tempo de implantação. Todos esses métodos levam menos de 2 horas para treinar e implantar usando uma única instância de GPU A100 ou serviços gerenciados no Amazon AWS. A seguir, as etapas para melhorar ainda mais o desempenho do modelo incluem adicionar mais dados de treinamento para melhorar a precisão do modelo.

No geral, o pipeline ponta a ponta proposto nesta postagem ajuda a alcançar melhorias significativas na detecção de anomalias, ao mesmo tempo que minimiza custos operacionais, incidentes de segurança, riscos regulatórios, emissões de carbono e possíveis interrupções de energia.

A solução desenvolvida pode ser empregada para outros casos de uso relacionados à detecção de anomalias e à saúde de ativos em redes de transmissão e distribuição, incluindo defeitos em isoladores e outros equipamentos. Para obter mais assistência no desenvolvimento e customização desta solução, sinta-se à vontade para entrar em contato com a equipe MLSL.

---

Sobre os autores

Travis Bronson é um especialista líder em inteligência artificial com 15 anos de experiência em tecnologia e 8 anos dedicados especificamente à inteligência artificial. Ao longo de seu mandato de 5 anos na Duke Energy, Travis avançou na aplicação da IA ​​para a transformação digital, trazendo insights exclusivos e liderança de pensamento criativo para a liderança de sua empresa. Travis atualmente lidera a AI Core Team, uma comunidade de profissionais, entusiastas e parceiros de negócios de IA focados no avanço dos resultados e na governança da IA. Travis adquiriu e aprimorou suas habilidades em vários campos tecnológicos, começando na Marinha e no Governo dos EUA, e depois fazendo a transição para o setor privado após mais de uma década de serviço.

 Brian Wilkerson é um profissional talentoso com duas décadas de experiência na Duke Energy. Formado em ciência da computação, passou os últimos 7 anos se destacando na área de Inteligência Artificial. Brian é cofundador do MADlab da Duke Energy (equipe de aprendizado de máquina, IA e aprendizado profundo). Atualmente ocupa o cargo de Diretor de Inteligência Artificial e Transformação na Duke Energy, onde é apaixonado por agregar valor comercial por meio da implementação de IA.

Ahsan Ali é Cientista Aplicado no Amazon Generative AI Innovation Center, onde trabalha com clientes de diferentes domínios para resolver seus problemas urgentes e caros usando IA Generativa.

Tahin Syed é cientista aplicado no Amazon Generative AI Innovation Center, onde trabalha com clientes para ajudar a obter resultados de negócios com soluções de IA generativa. Fora do trabalho, ele gosta de experimentar novas comidas, viajar e ensinar taekwondo.

Dr. Nkechinyere N. Agu é Cientista Aplicado no Centro de Inovação em IA Generativa da AWS. Sua experiência é em métodos de IA/ML de visão computacional, aplicações de IA/ML para saúde, bem como na integração de tecnologias semânticas (gráficos de conhecimento) em soluções de ML. Ela tem mestrado e doutorado em Ciência da Computação.

Aldo Arizmendi é estrategista de IA generativa no AWS Generative AI Innovation Center, com sede em Austin, Texas. Tendo recebido seu bacharelado em Engenharia da Computação pela Universidade de Nebraska-Lincoln, nos últimos 12 anos, o Sr. Arizmendi ajudou centenas de empresas e start-ups da Fortune 500 a transformar seus negócios usando análises avançadas, aprendizado de máquina e IA generativa.

Stacey Jenks é especialista principal em vendas de análise na AWS, com mais de duas décadas de experiência em análise e IA/ML. Stacey é apaixonada por se aprofundar nas iniciativas dos clientes e gerar resultados de negócios transformacionais e mensuráveis ​​com dados. Ela está especialmente entusiasmada com a marca que os serviços públicos deixarão na sociedade, através do seu caminho para um planeta mais verde, com energia limpa, acessível e confiável.

Mehdi Noor é gerente de ciências aplicadas no Generative Ai Innovation Center. Com uma paixão por unir tecnologia e inovação, ele auxilia os clientes da AWS a liberar o potencial da IA ​​generativa, transformando desafios potenciais em oportunidades para experimentação e inovação rápidas, concentrando-se em usos escaláveis, mensuráveis ​​e impactantes de tecnologias avançadas de IA e simplificando o caminho. para a produção.

• Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
• PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
• PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
• PlatãoESG. Automotivo / EVs, Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
• PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
• ChartPrime. Eleve seu jogo de negociação com ChartPrime. Acesse aqui.
• BlockOffsets. Modernizando a Propriedade de Compensação Ambiental. Acesse aqui.
• Fonte: https://aws.amazon.com/blogs/machine-learning/improving-asset-health-and-grid-resilience-using-machine-learning/