Forbedring af aktivsundhed og netresiliens ved hjælp af maskinlæring | Amazon Web Services

Dette indlæg er skrevet sammen med Travis Bronson og Brian L Wilkerson fra Duke Energy

Machine learning (ML) transformerer enhver industri, proces og virksomhed, men vejen til succes er ikke altid ligetil. I dette blogindlæg viser vi hvordan Duke Energy, et Fortune 150-firma med hovedkontor i Charlotte, NC., samarbejdede med AWS Machine Learning Solutions Lab (MLSL) til at bruge computersyn til at automatisere inspektionen af ​​træstænger og hjælpe med at forhindre strømafbrydelser, skade på ejendom og endda skader.

Elnettet består af stolper, ledninger og kraftværker til at generere og levere elektricitet til millioner af hjem og virksomheder. Disse forsyningsstænger er kritiske infrastrukturkomponenter og underlagt forskellige miljøfaktorer såsom vind, regn og sne, som kan forårsage slitage på aktiver. Det er afgørende, at forsyningsstænger regelmæssigt efterses og vedligeholdes for at forhindre fejl, der kan føre til strømafbrydelser, skade på ejendom og endda skader. De fleste elforsyningsselskaber, herunder Duke Energy, bruger manuel visuel inspektion af forsyningsstænger til at identificere uregelmæssigheder relateret til deres transmissions- og distributionsnet. Men denne metode kan være dyr og tidskrævende, og den kræver, at krafttransmissionslinjearbejdere følger strenge sikkerhedsprotokoller.

Duke Energy har tidligere brugt kunstig intelligens til at skabe effektivitet i den daglige drift til stor succes. Virksomheden har brugt AI til at inspicere produktionsaktiver og kritisk infrastruktur og har undersøgt mulighederne for også at anvende AI til inspektion af forsyningsstænger. I løbet af AWS Machine Learning Solutions Lab-engagement med Duke Energy, fortsatte forsyningsvirksomheden sit arbejde med at automatisere detektionen af ​​uregelmæssigheder i træstænger ved hjælp af avancerede computersynsteknikker.

Mål og use case

Målet med dette engagement mellem Duke Energy og Machine Learning Solutions Lab er at udnytte maskinlæring til at inspicere hundredtusindvis af højopløselige luftbilleder for at automatisere identifikation og gennemgang af alle træpæle-relaterede problemer på tværs af 33,000 miles af transmissionslinjer . Dette mål vil yderligere hjælpe Duke Energy med at forbedre nettets modstandsdygtighed og overholde regeringsbestemmelser ved at identificere defekterne rettidigt. Det vil også reducere brændstof- og arbejdsomkostninger samt reducere kulstofemissioner ved at minimere unødvendige lastbilruller. Endelig vil det også forbedre sikkerheden ved at minimere kørte kilometer, klatrede pæle og fysiske inspektionsrisici forbundet med kompromitterende terræn- og vejrforhold.

I de følgende afsnit præsenterer vi de vigtigste udfordringer forbundet med at udvikle robuste og effektive modeller til uregelmæssig detektering i forbindelse med træstænger. Vi beskriver også de vigtigste udfordringer og antagelser forbundet med forskellige dataforbehandlingsteknikker, der anvendes til at opnå den ønskede modelydelse. Dernæst præsenterer vi de nøglemetrikker, der bruges til at evaluere modellens ydeevne sammen med evalueringen af ​​vores endelige modeller. Og endelig sammenligner vi forskellige state-of-the-art overvågede og ikke-overvågede modelleringsteknikker.

Udfordringer

En af de vigtigste udfordringer forbundet med at træne en model til at detektere anomalier ved hjælp af luftbilleder er de uensartede billedstørrelser. Den følgende figur viser fordelingen af ​​billedhøjde og -bredde af et prøvedatasæt fra Duke Energy. Det kan ses, at billederne har en stor variation i størrelse. Tilsvarende udgør størrelsen af ​​billeder også betydelige udfordringer. Størrelsen af ​​inputbilleder er tusindvis af pixels brede og tusindvis af pixels lange. Dette er heller ikke ideelt til at træne en model til identifikation af de små anomale områder i billedet.

Desuden indeholder inputbillederne en stor mængde irrelevant baggrundsinformation såsom vegetation, biler, husdyr osv. Baggrundsinformationen kan resultere i suboptimal modelydelse. Baseret på vores vurdering indeholder kun 5 % af billedet træstængerne, og uregelmæssighederne er endnu mindre. Dette er en stor udfordring for at identificere og lokalisere anomalier i billederne i høj opløsning. Antallet af anomalier er væsentligt mindre sammenlignet med hele datasættet. Der er kun 0.12 % af unormale billeder i hele datasættet (dvs. 1.2 uregelmæssigheder ud af 1000 billeder). Endelig er der ingen mærkede data tilgængelige til træning af en overvåget maskinlæringsmodel. Dernæst beskriver vi, hvordan vi løser disse udfordringer og forklarer vores foreslåede metode.

Løsningsoversigt

Modelleringsteknikker

Følgende figur viser vores pipeline til billedbehandling og anomalidetektion. Vi importerede først dataene til Amazon Simple Storage Service (Amazon S3) ved brug af Amazon SageMaker Studio. Vi brugte yderligere forskellige databehandlingsteknikker til at løse nogle af de udfordringer, der er fremhævet ovenfor, for at forbedre modellens ydeevne. Efter dataforbehandling har vi ansat Amazon Brugerdefinerede etiketter for anerkendelse til datamærkning. De mærkede data bruges yderligere til at træne overvågede ML-modeller såsom Vision Transformer, Amazon Lookout for Visionog AutoGloun til afsløring af anomalier.

Følgende figur viser det detaljerede overblik over vores foreslåede tilgang, der inkluderer databehandlingspipelinen og forskellige ML-algoritmer, der anvendes til afsløring af anomalier. Først vil vi beskrive de trin, der er involveret i databehandlingspipelinen. Dernæst vil vi forklare detaljerne og intuitionen relateret til forskellige modelleringsteknikker, der anvendes under dette engagement for at nå de ønskede præstationsmål.

Dataforarbejdning

Den foreslåede dataforbehandlingspipeline omfatter datastandardisering, identifikation af interesseområde (ROI), dataforøgelse, datasegmentering, og endelig datamærkning. Formålet med hvert trin er beskrevet nedenfor:

Datastandardisering

Det første trin i vores databehandlingspipeline omfatter datastandardisering. I dette trin beskæres hvert billede og opdeles i ikke-overlappende pletter i størrelsen 224 X 224 pixels. Målet med dette trin er at generere patches af ensartede størrelser, der kan bruges yderligere til træning af en ML-model og lokalisering af uregelmæssighederne i billeder med høj opløsning.

Identifikation af interesseområde (ROI)

Inputdataene består af billeder i høj opløsning, der indeholder store mængder irrelevant baggrundsinformation (f.eks. vegetation, huse, biler, heste, køer osv.). Vores mål er at identificere anomalier relateret til træstænger. For at identificere ROI (dvs. plastre, der indeholder træstangen), har vi brugt Amazon Rekognition tilpasset mærkning. Vi trænede en Amazon Rekognition-brugerdefineret etiketmodel ved hjælp af 3k-mærkede billeder, der indeholder både ROI og baggrundsbilleder. Målet med modellen er at lave en binær klassifikation mellem ROI og baggrundsbilleder. De plastre, der er identificeret som baggrundsinformation, kasseres, mens afgrøderne forudsagt som ROI bruges i næste trin. Følgende figur viser den pipeline, der identificerer ROI. Vi genererede en prøve af ikke-overlappende afgrøder på 1,110 træbilleder, der genererede 244,673 afgrøder. Vi brugte yderligere disse billeder som input til en tilpasset Amazon Rekognition-model, der identificerede 11,356 afgrøder som ROI. Til sidst bekræftede vi manuelt hver af disse 11,356 patches. Under den manuelle inspektion identificerede vi, at modellen var i stand til korrekt at forudsige 10,969 træpletter ud af 11,356 som ROI. Modellen opnåede med andre ord 96 % præcision.

Datamærkning

Under den manuelle inspektion af billederne mærkede vi også hvert billede med deres tilhørende labels. De tilknyttede etiketter på billeder inkluderer trælap, ikke-træ-lap, ikke-struktur, non-wood patch og endelig træplaster med anomalier. Følgende figur viser nomenklaturen af ​​billederne ved hjælp af Amazon Rekognition tilpasset mærkning.

Dataforøgelse

I betragtning af den begrænsede mængde mærkede data, der var tilgængelige til træning, udvidede vi træningsdatasættet ved at lave vandrette vendinger af alle patches. Dette havde den effektive virkning at fordoble størrelsen af ​​vores datasæt.

Segmentering

Vi mærkede objekterne i 600 billeder (stænger, ledninger og metalgelænder) ved hjælp af mærkningsværktøjet til registrering af afgrænsningsboksobjekter i Amazon Rekognition Custom Labels og trænede en model til at opdage de tre hovedobjekter af interesse. Vi brugte den trænede model til at fjerne baggrunden fra alle billederne ved at identificere og udtrække polerne i hvert billede, mens vi fjernede alle andre objekter såvel som baggrunden. Det resulterende datasæt havde færre billeder end det originale datasæt, som et resultat af fjernelse af alle billeder, der ikke indeholder træstænger. Derudover var der også et falsk positivt billede, som blev fjernet fra datasættet.

Anomali påvisning

Dernæst bruger vi de forbehandlede data til træning af maskinlæringsmodellen til registrering af anomalier. Vi brugte tre forskellige metoder til afsløring af anomalier, som inkluderer AWS Managed Machine Learning Services (Amazon Lookout for Vision [L4V], Amazon Rekognition), AutoGluon og Vision Transformer baseret selvdestillationsmetode.

AWS tjenester

Amazon Lookout for Vision (L4V)

Amazon Lookout for Vision er en administreret AWS-tjeneste, der muliggør hurtig træning og implementering af ML-modeller og giver mulighed for afsløring af anomalier. Det kræver fuldt mærkede data, som vi leverede ved at pege på billedstierne i Amazon S3. Træning af modellen er så simpelt som et enkelt API (Application Programming Interface) opkald eller et klik på konsollen, og L4V tager sig af modelvalg og hyperparameterjustering under motorhjelmen.

Amazon-anerkendelse

Amazon Rekognition er en administreret AI/ML-tjeneste svarende til L4V, som skjuler modelleringsdetaljer og giver mange funktioner såsom billedklassificering, objektgenkendelse, tilpasset mærkning og mere. Det giver mulighed for at bruge de indbyggede modeller til at anvende på tidligere kendte enheder i billeder (f.eks. fra ImageNet eller andre store åbne datasæt). Vi brugte dog Amazon Rekognitions Custom Labels-funktionalitet til at træne ROI-detektoren, samt en anomalidetektor på de specifikke billeder, som Duke Energy har. Vi brugte også Amazon Rekognitions brugerdefinerede etiketter til at træne en model til at sætte afgrænsningskasser rundt om træpæle i hvert billede.

AutoGloun

AutoGluon er en open source maskinlæringsteknik udviklet af Amazon. AutoGluon inkluderer en multimodal komponent, som gør det nemt at træne billeddata. Vi brugte AutoGluon Multi-modal til at træne modeller på de mærkede billedplastre for at etablere en baseline for identifikation af anomalier.

Vision Transformer

Mange af de mest spændende nye AI-gennembrud er kommet fra to nylige innovationer: selvovervåget læring, som giver maskiner mulighed for at lære af tilfældige, umærkede eksempler; og Transformers, som gør AI-modeller i stand til selektivt at fokusere på visse dele af deres input og dermed ræsonnere mere effektivt. Begge metoder har været et vedvarende fokus for Machine learning-fællesskabet, og vi er glade for at kunne dele, at vi brugte dem i dette engagement.

I samarbejde med forskere hos Duke Energy brugte vi især fortrænede selvdestillations ViT (Vision Transformer) modeller som funktionsudtrækkere til downstream-anomalidetektionsapplikationen ved hjælp af Amazon Sagemaker. De fortrænede selvdestillende vision-transformatormodeller trænes på store mængder træningsdata, der er lagret på Amazon S3 på en selvovervåget måde ved hjælp af Amazon SageMaker. Vi udnytter overførselsindlæringskapaciteterne i ViT-modeller, der er forudtrænet på datasæt i stor skala (f.eks. ImageNet). Dette hjalp os med at opnå en tilbagekaldelse på 83 % på et evalueringssæt, der kun brugte nogle få tusinde mærkede billeder til træning.

Evalueringsmålinger

Følgende figur viser de vigtigste målinger, der bruges til at evaluere modellens ydeevne og dens virkninger. Nøglemålet med modellen er at maksimere anomalidetektion (dvs. sande positive) og minimere antallet af falske negativer, eller tidspunkter, hvor de anomalier, der kan føre til udfald, bliver fejlklassificeret.

Når uregelmæssighederne er identificeret, kan teknikere løse dem, forhindre fremtidige afbrydelser og sikre overholdelse af regeringsbestemmelser. Der er en anden fordel ved at minimere falske positiver: du undgår den unødvendige indsats ved at gennemgå billeder igen.

Med disse metrics i tankerne sporer vi modellens ydeevne i form af følgende metrics, som indkapsler alle fire metrics defineret ovenfor.

Precision

Procentdelen af ​​registrerede anomalier, der er faktiske anomalier for objekter af interesse. Præcision måler, hvor godt vores algoritme kun identificerer anomalier. I dette tilfælde betyder høj præcision lave falske alarmer (dvs. algoritmen identificerer fejlagtigt et spættehul, mens der ikke er nogen på billedet).

Recall

Procentdelen af ​​alle anomalier, der gendannes for hvert objekt af interesse. Recall måler, hvor godt vi identificerer alle uregelmæssigheder. Dette sæt fanger en vis procentdel af det fulde sæt af uregelmæssigheder, og denne procentdel er tilbagekaldelsen. I dette tilfælde betyder høj tilbagekaldelse, at vi er gode til at fange spættehuller, når de opstår. Tilbagekaldelse er derfor det rigtige mål at fokusere på i denne POC, fordi falske alarmer i bedste fald er irriterende, mens mistede anomalier kan føre til alvorlige konsekvenser, hvis de efterlades uden opsyn.

Lavere tilbagekaldelse kan føre til afbrydelser og overtrædelser af regeringsreguleringer. Mens lavere præcision fører til spildt menneskelig indsats. Det primære mål med dette engagement er at identificere alle uregelmæssigheder for at overholde myndighedernes regulering og undgå enhver afbrydelse, og derfor prioriterer vi forbedring af tilbagekaldelse frem for præcision.

Evaluering og modelsammenligning

I det følgende afsnit demonstrerer vi sammenligningen af ​​forskellige modelleringsteknikker anvendt under dette engagement. Vi evaluerede ydeevnen af ​​to AWS-tjenester Amazon Rekognition og Amazon Lookout for Vision. Vi evaluerede også forskellige modelleringsteknikker ved hjælp af AutoGluon. Til sidst sammenligner vi ydeevnen med den nyeste ViT-baserede selvdestillationsmetode.

Følgende figur viser modelforbedringen for AutoGluon ved brug af forskellige databehandlingsteknikker i løbet af denne engagementsperiode. Den vigtigste observation er, da vi forbedrer datakvaliteten og -kvantiteten, forbedres modellens ydeevne med hensyn til tilbagekaldelse fra under 30 % til 78 %.

Dernæst sammenligner vi AutoGluons ydeevne med AWS-tjenester. Vi brugte også forskellige databehandlingsteknikker, der hjalp med at forbedre ydeevnen. Den største forbedring kom dog fra at øge datamængden og kvaliteten. Vi øger datasættets størrelse fra 11 K billeder i alt til 60 K billeder.

Dernæst sammenligner vi ydeevnen af ​​AutoGluon og AWS-tjenester med ViT-baseret metode. Følgende figur viser, at ViT-baseret metode, AutoGluon og AWS-tjenester udførte på niveau med hensyn til tilbagekaldelse. En vigtig observation er, ud over et vist punkt, at stigning i datakvalitet og -kvantitet ikke hjælper med at øge ydeevnen med hensyn til tilbagekaldelse. Vi observerer dog forbedringer med hensyn til præcision.

Præcision versus genkaldelse sammenligning

Amazon AutoGluon	Forudsagte anomalier	Forudsagt normal
Uregelmæssigheder	15600	4400
Normal	3659	38341

Dernæst præsenterer vi forvirringsmatricen for AutoGluon og Amazon Rekognition og ViT-baseret metode ved hjælp af vores datasæt, der indeholder 62 K prøver. Ud af 62K prøver er 20K prøver unormale, mens de resterende 42K billeder er normale. Det kan observeres, at ViT-baserede metoder fanger det største antal anomalier (16,600) efterfulgt af Amazon Rekognition (16,000) og Amazon AutoGluon (15600). Tilsvarende har Amazon AutoGluon det mindste antal falske positiver (3659 billeder) efterfulgt af Amazon Rekognition (5918) og ViT (15323). Disse resultater viser, at Amazon Rekognition opnår den højeste AUC (areal under kurven).

Amazon-anerkendelse	Forudsagte anomalier	Forudsagt normal
Uregelmæssigheder	16,000	4000
Normal	5918	36082

ViT	Forudsagte anomalier	Forudsagt normal
Uregelmæssigheder	16,600	3400
Normal	15,323	26,677

Konklusion

I dette indlæg viste vi dig, hvordan MLSL- og Duke Energy-holdene arbejdede sammen om at udvikle en computervisionsbaseret løsning til at automatisere anomalidetektion i træstænger ved hjælp af billeder i høj opløsning indsamlet via helikopterflyvninger. Den foreslåede løsning anvendte en databehandlingspipeline til at beskære billedet i høj opløsning til størrelsesstandardisering. De beskårne billeder behandles yderligere ved hjælp af Amazon Rekognition Custom Labels for at identificere området af interesse (dvs. afgrøder, der indeholder pletterne med pæle). Amazon Rekognition opnåede 96% præcision med hensyn til korrekt identifikation af patches med stænger. ROI-afgrøderne bruges yderligere til anomalidetektion ved hjælp af ViT-baseret selvdestillation mdoel AutoGluon og AWS-tjenester til anomalidetektion. Vi brugte et standarddatasæt til at evaluere ydeevnen af ​​alle tre metoder. Den ViT-baserede model opnåede 83 % genkaldelse og 52 % præcision. AutoGluon opnåede 78 % genkaldelse og 81 % præcision. Endelig opnår Amazon Rekognition 80 % genkaldelse og 73 % præcision. Målet med at bruge tre forskellige metoder er at sammenligne ydeevnen af ​​hver metode med forskelligt antal træningsprøver, træningstid og implementeringstid. Alle disse metoder tager mindre end 2 timer at træne og implementere ved hjælp af en enkelt A100 GPU-instans eller administrerede tjenester på Amazon AWS. Dernæst omfatter trin til yderligere forbedring af modellens ydeevne tilføjelse af flere træningsdata for at forbedre modelpræcisionen.

Samlet set hjælper den ende-til-ende-pipeline, der er foreslået i dette indlæg, med at opnå betydelige forbedringer i afvigelsesdetektion, samtidig med at driftsomkostninger, sikkerhedshændelser, regulatoriske risici, kulstofemissioner og potentielle strømafbrydelser minimeres.

Den udviklede løsning kan anvendes til andre anomalidetektion og aktivsundhedsrelaterede brugssager på tværs af transmissions- og distributionsnetværk, herunder defekter i isolatorer og andet udstyr. For yderligere hjælp til at udvikle og tilpasse denne løsning, er du velkommen til at kontakte MLSL-teamet.

---

Om forfatterne

Travis Bronson er en Lead Artificial Intelligence Specialist med 15 års erfaring inden for teknologi og 8 år specifikt dedikeret til kunstig intelligens. I løbet af sin 5-årige embedsperiode hos Duke Energy har Travis avanceret anvendelsen af ​​AI til digital transformation ved at bringe unik indsigt og kreativ tankelederskab til sin virksomheds førende kant. Travis leder i øjeblikket AI Core Team, et fællesskab af AI-udøvere, entusiaster og forretningspartnere, der fokuserer på at fremme AI-resultater og -styring. Travis opnåede og forfinede sine færdigheder inden for flere teknologiske områder, begyndende i den amerikanske flåde og den amerikanske regering, hvorefter han skiftede til den private sektor efter mere end ti års tjeneste.

 Brian Wilkerson er en dygtig professionel med to årtiers erfaring hos Duke Energy. Med en grad i datalogi har han brugt de sidste 7 år på at udmærke sig inden for kunstig intelligens. Brian er medstifter af Duke Energy's MADlab (Machine Learning, AI and Deep learning team). Han har i øjeblikket stillingen som Director of Artificial Intelligence & Transformation hos Duke Energy, hvor han brænder for at levere forretningsværdi gennem implementering af AI.

Ahsan Ali er en Applied Scientist ved Amazon Generative AI Innovation Center, hvor han arbejder med kunder fra forskellige domæner for at løse deres presserende og dyre problemer ved hjælp af Generative AI.

Tahin Syed er en Applied Scientist med Amazon Generative AI Innovation Center, hvor han arbejder med kunder for at hjælpe med at realisere forretningsresultater med generative AI-løsninger. Uden for arbejdet nyder han at prøve ny mad, rejse og undervise i taekwondo.

Dr. Nkechinyere N. Agu er en anvendt videnskabsmand i Generative AI Innovation Center hos AWS. Hendes ekspertise er i Computer Vision AI/ML-metoder, Anvendelser af AI/ML til sundhedsvæsenet, samt integration af semantiske teknologier (Knowledge Graphs) i ML-løsninger. Hun har en kandidatgrad og en doktorgrad i datalogi.

Aldo Arizmendi er en generativ AI-strateg i AWS Generative AI Innovation Center med base i Austin, Texas. Efter at have modtaget sin BS i Computer Engineering fra University of Nebraska-Lincoln, har Mr. Arizmendi i løbet af de sidste 12 år hjulpet hundredvis af Fortune 500-virksomheder og nystartede virksomheder med at transformere deres forretning ved hjælp af avanceret analyse, maskinlæring og generativ AI.

Stacey Jenks er Principal Analytics Sales Specialist hos AWS, med mere end to årtiers erfaring i Analytics og AI/ML. Stacey brænder for at dykke dybt i kundeinitiativer og drive transformerende, målbare forretningsresultater med data. Hun er især begejstret for det præg, som forsyningsselskaber vil sætte på samfundet, via deres vej til en grønnere planet med økonomisk overkommelig, pålidelig, ren energi.

Mehdi Noor er en Applied Science Manager hos Generative Ai Innovation Center. Med en passion for at bygge bro mellem teknologi og innovation hjælper han AWS-kunder med at frigøre potentialet i Generativ AI, omdanne potentielle udfordringer til muligheder for hurtige eksperimenter og innovation ved at fokusere på skalerbar, målbar og virkningsfuld anvendelse af avancerede AI-teknologier og strømline vejen til produktion.

• SEO Powered Content & PR Distribution. Bliv forstærket i dag.
• PlatoData.Network Vertical Generative Ai. Styrk dig selv. Adgang her.
• PlatoAiStream. Web3 intelligens. Viden forstærket. Adgang her.
• PlatoESG. Automotive/elbiler, Kulstof, CleanTech, Energi, Miljø, Solenergi, Affaldshåndtering. Adgang her.
• PlatoHealth. Bioteknologiske og kliniske forsøgs intelligens. Adgang her.
• ChartPrime. Løft dit handelsspil med ChartPrime. Adgang her.
• BlockOffsets. Modernisering af miljømæssig offset-ejerskab. Adgang her.
• Kilde: https://aws.amazon.com/blogs/machine-learning/improving-asset-health-and-grid-resilience-using-machine-learning/