Forbedring av ressurshelse og nettresiliens ved hjelp av maskinlæring | Amazon Web Services

Dette innlegget er skrevet sammen med Travis Bronson, og Brian L Wilkerson fra Duke Energy

Maskinlæring (ML) transformerer alle bransjer, prosesser og virksomheter, men veien til suksess er ikke alltid enkel. I dette blogginnlegget viser vi hvordan Duke Energy, et Fortune 150-selskap med hovedkontor i Charlotte, NC., samarbeidet med AWS Machine Learning Solutions Lab (MLSL) for å bruke datasyn for å automatisere inspeksjonen av treverktøystolper og bidra til å forhindre strømbrudd, skade på eiendom og til og med personskader.

Det elektriske nettet består av stolper, linjer og kraftverk for å generere og levere strøm til millioner av hjem og bedrifter. Disse verktøystolpene er kritiske infrastrukturkomponenter og utsatt for ulike miljøfaktorer som vind, regn og snø, noe som kan forårsake slitasje på eiendeler. Det er avgjørende at verktøystolper regelmessig inspiseres og vedlikeholdes for å forhindre feil som kan føre til strømbrudd, skade på eiendom og til og med personskader. De fleste kraftselskaper, inkludert Duke Energy, bruker manuell visuell inspeksjon av strømstolper for å identifisere uregelmessigheter knyttet til deres overførings- og distribusjonsnettverk. Men denne metoden kan være kostbar og tidkrevende, og den krever at kraftoverføringslinjearbeidere følger strenge sikkerhetsprotokoller.

Duke Energy har tidligere brukt kunstig intelligens for å skape effektivitet i den daglige driften til stor suksess. Selskapet har brukt AI til å inspisere generasjonsressurser og kritisk infrastruktur og har undersøkt muligheter for å bruke AI til inspeksjon av verktøystolper også. I løpet av AWS Machine Learning Solutions Lab-engasjement med Duke Energy, fortsatte verktøyet arbeidet med å automatisere oppdagelsen av uregelmessigheter i trestolper ved hjelp av avanserte datasynsteknikker.

Mål og brukstilfelle

Målet med dette engasjementet mellom Duke Energy og Machine Learning Solutions Lab er å utnytte maskinlæring til å inspisere hundretusenvis av høyoppløselige luftbilder for å automatisere identifiserings- og gjennomgangsprosessen for alle trestolperelaterte problemer over 33,000 XNUMX miles med overføringslinjer . Dette målet vil ytterligere hjelpe Duke Energy med å forbedre nettets motstandskraft og overholde myndighetenes forskrifter ved å identifisere defektene i tide. Det vil også redusere drivstoff- og arbeidskostnader, samt redusere karbonutslipp ved å minimere unødvendige truckrullinger. Til slutt vil det også forbedre sikkerheten ved å minimere kjørte kilometer, klatret stolper og fysisk inspeksjonsrisiko forbundet med kompromitterende terreng- og værforhold.

I de følgende avsnittene presenterer vi de viktigste utfordringene knyttet til å utvikle robuste og effektive modeller for avviksdeteksjon knyttet til trebruksstolper. Vi beskriver også de viktigste utfordringene og antagelsene knyttet til ulike dataforbehandlingsteknikker som brukes for å oppnå ønsket modellytelse. Deretter presenterer vi nøkkelberegningene som brukes for å evaluere modellytelsen sammen med evalueringen av våre endelige modeller. Og til slutt sammenligner vi ulike toppmoderne overvåkede og uovervåkede modelleringsteknikker.

Utfordringer

En av hovedutfordringene knyttet til å trene en modell for å oppdage anomalier ved bruk av flybilder er de uensartede bildestørrelsene. Følgende figur viser fordelingen av bildehøyde og -bredde til et eksempeldatasett fra Duke Energy. Det kan observeres at bildene har stor variasjon når det gjelder størrelse. På samme måte utgjør størrelsen på bilder også betydelige utfordringer. Størrelsen på inndatabilder er tusenvis av piksler brede og tusenvis av piksler lange. Dette er heller ikke ideelt for å trene opp en modell for identifikasjon av de små unormale områdene i bildet.

Inndatabildene inneholder også en stor mengde irrelevant bakgrunnsinformasjon som vegetasjon, biler, husdyr osv. Bakgrunnsinformasjonen kan resultere i suboptimal modellytelse. Basert på vår vurdering er det kun 5 % av bildet som inneholder trestengene og uregelmessighetene er enda mindre. Dette er en stor utfordring for å identifisere og lokalisere anomalier i høyoppløselige bilder. Antall anomalier er betydelig mindre sammenlignet med hele datasettet. Det er bare 0.12 % av uregelmessige bilder i hele datasettet (dvs. 1.2 avvik av 1000 bilder). Til slutt er det ingen merket data tilgjengelig for opplæring av en overvåket maskinlæringsmodell. Deretter beskriver vi hvordan vi takler disse utfordringene og forklarer vår foreslåtte metode.

Løsningsoversikt

Modelleringsteknikker

Følgende figur demonstrerer vår pipeline for bildebehandling og avviksdeteksjon. Vi importerte først dataene til Amazon Simple Storage Service (Amazon S3) ved hjelp av Amazon SageMaker Studio. Vi brukte videre ulike databehandlingsteknikker for å møte noen av utfordringene som er fremhevet ovenfor for å forbedre modellens ytelse. Etter dataforbehandling brukte vi Amazon Egendefinerte etiketter for anerkjennelse for datamerking. De merkede dataene brukes videre til å trene overvåkede ML-modeller som Vision Transformer, Amazon Lookout for Visionog AutoGloun for oppdagelse av anomalier.

Følgende figur viser den detaljerte oversikten over vår foreslåtte tilnærming som inkluderer databehandlingsrørledningen og ulike ML-algoritmer som brukes for avviksdeteksjon. Først vil vi beskrive trinnene som er involvert i databehandlingsrørledningen. Deretter vil vi forklare detaljene og intuisjonen knyttet til ulike modelleringsteknikker brukt under dette engasjementet for å oppnå de ønskede ytelsesmålene.

Forbehandling av data

Den foreslåtte dataforbehandlingsrørledningen inkluderer datastandardisering, identifikasjon av interesseregion (ROI), dataforsterkning, datasegmentering, og endelig datamerking. Hensikten med hvert trinn er beskrevet nedenfor:

Datastandardisering

Det første trinnet i vår databehandlingspipeline inkluderer datastandardisering. I dette trinnet beskjæres hvert bilde og deles inn i ikke-overlappende flekker med størrelsen 224 X 224 piksler. Målet med dette trinnet er å generere lapper med ensartede størrelser som kan brukes videre for å trene en ML-modell og lokalisere uregelmessighetene i høyoppløselige bilder.

Identifikasjon av interesseregion (ROI)

Inndataene består av høyoppløselige bilder som inneholder store mengder irrelevant bakgrunnsinformasjon (f.eks. vegetasjon, hus, biler, hester, kyr, etc.). Vårt mål er å identifisere uregelmessigheter knyttet til trestolper. For å identifisere ROI (dvs. lapper som inneholder trestangen), brukte vi tilpasset merking fra Amazon Rekognition. Vi trente en tilpasset etikettmodell fra Amazon Rekognition ved å bruke 3k-merkede bilder som inneholder både ROI og bakgrunnsbilder. Målet med modellen er å gjøre en binær klassifisering mellom ROI og bakgrunnsbilder. Lattene som er identifisert som bakgrunnsinformasjon, forkastes mens avlingene som er spådd som ROI, brukes i neste trinn. Følgende figur viser rørledningen som identifiserer avkastningen. Vi genererte et utvalg av ikke-overlappende avlinger på 1,110 trebilder som genererte 244,673 avlinger. Vi brukte videre disse bildene som input til en tilpasset Amazon Rekognition-modell som identifiserte 11,356 11,356 avlinger som ROI. Til slutt bekreftet vi manuelt hver av disse 10,969 11,356 oppdateringene. Under den manuelle inspeksjonen identifiserte vi at modellen var i stand til å forutsi 96 XNUMX trelapper av XNUMX XNUMX korrekt som ROI. Modellen oppnådde med andre ord XNUMX % presisjon.

Datamerking

Under den manuelle inspeksjonen av bildene merket vi også hvert bilde med tilhørende etiketter. De tilknyttede etikettene til bilder inkluderer trelapp, ikke-trelapp, ikke-struktur, ikke-trelapp og til slutt trelapper med anomalier. Følgende figur viser nomenklaturen til bildene ved bruk av tilpasset merking fra Amazon Rekognition.

Dataforstørrelse

Gitt den begrensede mengden merket data som var tilgjengelig for trening, utvidet vi treningsdatasettet ved å gjøre horisontale vendinger av alle lappene. Dette hadde den effektive effekten av å doble størrelsen på datasettet vårt.

segmentering

Vi merket objektene i 600 bilder (stolper, ledninger og metallrekkverk) ved å bruke merkeverktøyet for avgrensing av objektgjenkjenning i Amazon Rekognition Custom Labels og trente en modell for å oppdage de tre hovedobjektene av interesse. Vi brukte den trente modellen til å fjerne bakgrunnen fra alle bildene, ved å identifisere og trekke ut polene i hvert bilde, mens vi fjernet alle andre objekter så vel som bakgrunnen. Det resulterende datasettet hadde færre bilder enn det originale datasettet, som et resultat av å fjerne alle bilder som ikke inneholder trestolper. I tillegg var det også et falskt positivt bilde som ble fjernet fra datasettet.

Anomali påvisning

Deretter bruker vi de forhåndsbehandlede dataene for å trene maskinlæringsmodellen for avviksdeteksjon. Vi brukte tre forskjellige metoder for avviksdeteksjon som inkluderer AWS Managed Machine Learning Services (Amazon Lookout for Vision [L4V], Amazon Rekognition), AutoGluon og Vision Transformer-basert selvdestillasjonsmetode.

AWS-tjenester

Amazon Lookout for Vision (L4V)

Amazon Lookout for Vision er en administrert AWS-tjeneste som muliggjør rask opplæring og distribusjon av ML-modeller og gir funksjoner for oppdagelse av anomalier. Det krever fullstendig merket data, som vi ga ved å peke på bildebanene i Amazon S3. Trening av modellen er så enkelt som et enkelt API (Application Programming Interface)-kall eller konsollknappklikk, og L4V tar seg av modellvalg og hyperparameterinnstilling under panseret.

Amazon-anerkjennelse

Amazon Rekognition er en administrert AI/ML-tjeneste som ligner på L4V, som skjuler modelleringsdetaljer og gir mange funksjoner som bildeklassifisering, objektgjenkjenning, tilpasset merking og mer. Det gir muligheten til å bruke de innebygde modellene til å bruke på tidligere kjente enheter i bilder (f.eks. fra ImageNet eller andre store åpne datasett). Vi brukte imidlertid Amazon Rekognitions Custom Labels-funksjonalitet for å trene ROI-detektoren, samt en anomalidetektor på de spesifikke bildene som Duke Energy har. Vi brukte også Amazon Rekognitions egendefinerte etiketter for å trene en modell til å sette avgrensende bokser rundt trestolper i hvert bilde.

AutoGloun

AutoGluon er en åpen kildekode maskinlæringsteknikk utviklet av Amazon. AutoGluon inkluderer en multimodal komponent som gjør det enkelt å trene på bildedata. Vi brukte AutoGluon Multi-modal for å trene modeller på de merkede bildelappene for å etablere en grunnlinje for å identifisere anomalier.

Visjonstransformator

Mange av de mest spennende nye AI-gjennombruddene har kommet fra to nyere innovasjoner: selvovervåket læring, som lar maskiner lære fra tilfeldige, umerkede eksempler; og Transformers, som gjør det mulig for AI-modeller å selektivt fokusere på visse deler av input og dermed resonnere mer effektivt. Begge metodene har vært et vedvarende fokus for maskinlæringsfellesskapet, og vi er glade for å dele at vi brukte dem i dette engasjementet.

Spesielt, i samarbeid med forskere ved Duke Energy, brukte vi forhåndstrente selvdestillasjons ViT (Vision Transformer)-modeller som funksjonsekstraktorer for nedstrøms anomalideteksjonsapplikasjonen ved bruk av Amazon Sagemaker. De forhåndstrente modellene for selvdestillasjon av synstransformatorer er trent på store mengder treningsdata lagret på Amazon S3 på en selvovervåket måte ved hjelp av Amazon SageMaker. Vi utnytter overføringslæringsmulighetene til ViT-modeller som er forhåndstrent på datasett i stor skala (f.eks. ImageNet). Dette hjalp oss med å oppnå en tilbakekalling på 83 % på et evalueringssett med kun noen få tusen merkede bilder for trening.

Evalueringsberegninger

Følgende figur viser nøkkelberegningene som brukes til å evaluere modellens ytelse og dens innvirkning. Hovedmålet med modellen er å maksimere anomalideteksjon (dvs. sanne positive) og minimere antall falske negativer, eller tider når anomaliene som kan føre til driftsstans blir feilklassifisert.

Når uregelmessighetene er identifisert, kan teknikere løse dem, forhindre fremtidige strømbrudd og sikre overholdelse av myndighetenes forskrifter. Det er en annen fordel med å minimere falske positiver: du unngår unødvendig innsats med å gå gjennom bilder på nytt.

Med disse beregningene i bakhodet sporer vi modellens ytelse i form av følgende beregninger, som innkapsler alle de fire beregningene definert ovenfor.

Precision

Prosentandelen av avvik som er oppdaget som er faktiske anomalier for objekter av interesse. Presisjon måler hvor godt algoritmen vår identifiserer kun anomalier. For dette tilfellet betyr høy presisjon lave falske alarmer (dvs. algoritmen identifiserer feilaktig et hakkespetthull mens det ikke er noen i bildet).

Husker

Prosentandelen av alle anomalier som gjenopprettes for hvert objekt av interesse. Recall måler hvor godt vi identifiserer alle uregelmessigheter. Dette settet fanger opp en viss prosentandel av hele settet med uregelmessigheter, og den prosentandelen er tilbakekallingen. I dette tilfellet betyr høy tilbakekalling at vi er flinke til å fange spetthull når de oppstår. Tilbakekalling er derfor den riktige beregningen å fokusere på i denne POC fordi falske alarmer i beste fall er irriterende, mens tapte anomalier kan føre til alvorlige konsekvenser hvis de blir stående uten tilsyn.

Lavere tilbakekalling kan føre til strømbrudd og brudd på myndighetsreguleringer. Mens lavere presisjon fører til bortkastet menneskelig innsats. Hovedmålet med dette engasjementet er å identifisere alle uregelmessighetene for å overholde myndighetenes reguleringer og unngå strømbrudd, og derfor prioriterer vi å forbedre tilbakekallingen fremfor presisjonen.

Evaluering og modellsammenligning

I den følgende delen demonstrerer vi sammenligningen av ulike modelleringsteknikker brukt under dette engasjementet. Vi evaluerte ytelsen til to AWS-tjenester Amazon Rekognition og Amazon Lookout for Vision. Vi evaluerte også ulike modelleringsteknikker ved hjelp av AutoGluon. Til slutt sammenligner vi ytelsen med den nyeste ViT-baserte selvdestillasjonsmetoden.

Den følgende figuren viser modellforbedringen for AutoGluon ved bruk av forskjellige databehandlingsteknikker i løpet av perioden for dette engasjementet. Den viktigste observasjonen er når vi forbedrer datakvaliteten og kvantiteten, og ytelsen til modellen når det gjelder tilbakekalling forbedret seg fra under 30 % til 78 %.

Deretter sammenligner vi ytelsen til AutoGluon med AWS-tjenester. Vi brukte også ulike databehandlingsteknikker som bidro til å forbedre ytelsen. Den store forbedringen kom imidlertid fra å øke datamengden og kvaliteten. Vi øker datasettstørrelsen fra totalt 11 K bilder til 60 K bilder.

Deretter sammenligner vi ytelsen til AutoGluon og AWS-tjenester med ViT-basert metode. Følgende figur viser at ViT-basert metode, AutoGluon og AWS-tjenester utførte på nivå med hensyn til tilbakekalling. En viktig observasjon er, utover et visst punkt, at økning i datakvalitet og kvantitet ikke bidrar til å øke ytelsen når det gjelder tilbakekalling. Vi observerer imidlertid forbedringer når det gjelder presisjon.

Presisjon versus tilbakekalling sammenligning

Amazon AutoGluon	Forutsagte anomalier	Spådd normal
anomalies	15600	4400
Normal	3659	38341

Deretter presenterer vi forvirringsmatrisen for AutoGluon og Amazon Rekognition og ViT-basert metode ved å bruke vårt datasett som inneholder 62 K prøver. Av 62K prøver er 20K prøver unormale mens de resterende 42K bilder er normale. Det kan observeres at ViT-baserte metoder fanger opp det største antallet anomalier (16,600 16,000) etterfulgt av Amazon Rekognition (15600 3659) og Amazon AutoGluon (5918 15323). Tilsvarende har Amazon AutoGluon minst antall falske positiver (XNUMX bilder) etterfulgt av Amazon Rekognition (XNUMX) og ViT (XNUMX). Disse resultatene viser at Amazon Rekognition oppnår den høyeste AUC (areal under kurven).

Amazon-anerkjennelse	Forutsagte anomalier	Spådd normal
anomalies	16,000	4000
Normal	5918	36082

ViT	Forutsagte anomalier	Spådd normal
anomalies	16,600	3400
Normal	15,323	26,677

konklusjonen

I dette innlegget viste vi deg hvordan MLSL- og Duke Energy-teamene jobbet sammen for å utvikle en datasynsbasert løsning for å automatisere anomalideteksjon i trestolper ved å bruke høyoppløselige bilder samlet inn via helikopterflyvninger. Den foreslåtte løsningen brukte en databehandlingspipeline for å beskjære høyoppløsningsbildet for størrelsesstandardisering. De beskårne bildene behandles videre ved å bruke tilpassede etiketter for Amazon Rekognition for å identifisere området av interesse (dvs. avlinger som inneholder lappene med stolper). Amazon Rekognition oppnådde 96 % presisjon når det gjaldt å identifisere lappene korrekt med stolper. ROI-avlingene brukes videre til anomalideteksjon ved bruk av ViT-basert selvdestillasjonsmdoel AutoGluon og AWS-tjenester for anomalideteksjon. Vi brukte et standard datasett for å evaluere ytelsen til alle tre metodene. Den ViT-baserte modellen oppnådde 83 % tilbakekalling og 52 % presisjon. AutoGluon oppnådde 78 % tilbakekalling og 81 % presisjon. Til slutt oppnår Amazon Rekognition 80 % tilbakekalling og 73 % presisjon. Målet med å bruke tre forskjellige metoder er å sammenligne ytelsen til hver metode med forskjellig antall treningsprøver, treningstid og utplasseringstid. Alle disse metodene tar mindre enn 2 timer å trene og distribuere ved å bruke en enkelt A100 GPU-forekomst eller administrerte tjenester på Amazon AWS. Deretter inkluderer trinn for ytterligere forbedring av modellytelsen å legge til flere treningsdata for å forbedre modellpresisjonen.

Totalt sett bidrar ende-til-ende-rørledningen som er foreslått i dette innlegget med å oppnå betydelige forbedringer i deteksjon av anomalier, samtidig som driftskostnader, sikkerhetshendelser, regulatoriske risikoer, karbonutslipp og potensielle strømbrudd minimeres.

Løsningen som er utviklet kan brukes til andre avviksdeteksjon og helserelaterte brukssaker på tvers av overførings- og distribusjonsnettverk, inkludert defekter i isolatorer og annet utstyr. For ytterligere hjelp med å utvikle og tilpasse denne løsningen, ta gjerne kontakt med MLSL-teamet.

---

Om forfatterne

Travis Bronson er en Lead Artificial Intelligence Specialist med 15 års erfaring innen teknologi og 8 år spesifikt dedikert til kunstig intelligens. I løpet av sin 5-årige periode i Duke Energy har Travis avansert bruken av AI for digital transformasjon ved å bringe unik innsikt og kreativ tankeledelse til selskapets fremste kant. Travis leder for tiden AI Core Team, et fellesskap av AI-utøvere, entusiaster og forretningspartnere med fokus på å fremme AI-resultater og styring. Travis oppnådde og foredlet sine ferdigheter innen flere teknologiske felt, og startet i den amerikanske marinen og amerikanske myndigheter, og gikk deretter over til privat sektor etter mer enn et tiår med tjeneste.

 Brian Wilkerson er en dyktig profesjonell med to tiårs erfaring hos Duke Energy. Med en grad i informatikk har han brukt de siste 7 årene på å utmerke seg innen kunstig intelligens. Brian er en av grunnleggerne av Duke Energys MADlab (Machine Learning, AI and Deep learning team). Han har for tiden stillingen som direktør for kunstig intelligens og transformasjon hos Duke Energy, hvor han brenner for å levere forretningsverdi gjennom implementering av AI.

Ahsan Ali er en Applied Scientist ved Amazon Generative AI Innovation Center, hvor han jobber med kunder fra forskjellige domener for å løse deres presserende og kostbare problemer ved å bruke Generative AI.

Tahin Syed er en Applied Scientist ved Amazon Generative AI Innovation Center, hvor han jobber med kunder for å hjelpe med å realisere forretningsresultater med generative AI-løsninger. Utenom jobben liker han å prøve ny mat, reise og undervise i taekwondo.

Dr. Nkechinyere N. Agu er en Applied Scientist i Generative AI Innovation Center ved AWS. Hennes ekspertise er innen Computer Vision AI/ML-metoder, Applications of AI/ML to healthcare, samt integrering av semantiske teknologier (Knowledge Graphs) i ML-løsninger. Hun har en mastergrad og en doktorgrad i informatikk.

Aldo Arizmendi er en generativ AI-strateg i AWS Generative AI Innovation Center basert i Austin, Texas. Etter å ha mottatt sin BS i datateknikk fra University of Nebraska-Lincoln, i løpet av de siste 12 årene, har Mr. Arizmendi hjulpet hundrevis av Fortune 500-selskaper og oppstartsbedrifter med å transformere virksomheten sin ved hjelp av avansert analyse, maskinlæring og generativ AI.

Stacey Jenks er en hovedanalysespesialist hos AWS, med mer enn to tiår med erfaring innen Analytics og AI/ML. Stacey er lidenskapelig opptatt av å dykke i dybden på kundeinitiativer og drive transformerende, målbare forretningsresultater med data. Hun er spesielt begeistret for det preget forsyningsselskapene vil sette på samfunnet, via deres vei til en grønnere planet med rimelig, pålitelig, ren energi.

Mehdi Noor er en Applied Science Manager ved Generative Ai Innovation Center. Med en lidenskap for å bygge bro mellom teknologi og innovasjon, hjelper han AWS-kunder med å frigjøre potensialet til Generativ AI, gjøre potensielle utfordringer til muligheter for rask eksperimentering og innovasjon ved å fokusere på skalerbar, målbar og effektfull bruk av avanserte AI-teknologier, og strømlinjeforme veien til produksjon.

• SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
• PlatoData.Network Vertical Generative Ai. Styrk deg selv. Tilgang her.
• PlatoAiStream. Web3 Intelligence. Kunnskap forsterket. Tilgang her.
• PlatoESG. Bil / elbiler, Karbon, CleanTech, Energi, Miljø, Solenergi, Avfallshåndtering. Tilgang her.
• PlatoHelse. Bioteknologisk og klinisk etterretning. Tilgang her.
• ChartPrime. Hev handelsspillet ditt med ChartPrime. Tilgang her.
• BlockOffsets. Modernisering av eierskap for miljøkompensasjon. Tilgang her.
• kilde: https://aws.amazon.com/blogs/machine-learning/improving-asset-health-and-grid-resilience-using-machine-learning/