Detta är ett gästinlägg av Mario Namtao Shianti Larcher, chef för datorseende på Enel.
Enel, som började som Italiens nationella enhet för el, är idag ett multinationellt företag som finns i 32 länder och den första privata nätoperatören i världen med 74 miljoner användare. Det är också erkänt som den första förnybara aktören med 55.4 GW installerad kapacitet. Under de senaste åren har företaget investerat mycket i maskininlärningssektorn (ML) genom att utveckla ett starkt internt kunnande som har gjort det möjligt för dem att realisera mycket ambitiösa projekt som automatisk övervakning av dess 2.3 miljoner kilometers distributionsnät.
Varje år inspekterar Enel sitt eldistributionsnät med helikoptrar, bilar eller på annat sätt; tar miljontals fotografier; och rekonstruerar 3D-bilden av sitt nätverk, som är en punktmoln 3D-rekonstruktion av nätverket, erhållen med LiDAR-teknik.
Granskning av dessa data är avgörande för att övervaka elnätets tillstånd, identifiera avvikelser i infrastrukturen och uppdatera databaser över installerade tillgångar, och det möjliggör granulär kontroll av infrastrukturen ner till materialet och statusen för den minsta isolatorn installerad på en given stolpe. Med tanke på mängden data (mer än 40 miljoner bilder varje år bara i Italien), antalet föremål som ska identifieras och deras specificitet, är en helt manuell analys mycket kostsam, både när det gäller tid och pengar, och felbenägen. Tack vare enorma framsteg i världen av datorseende och djupinlärning och mognad och demokratisering av dessa teknologier, är det lyckligtvis möjligt att automatisera denna dyra process delvis eller till och med helt.
Självklart är uppgiften fortfarande mycket utmanande, och som alla moderna AI-applikationer kräver den datorkraft och förmågan att hantera stora datamängder effektivt.
Enel byggde sin egen ML-plattform (internt kallad ML-fabriken) baserad på Amazon SageMaker, och plattformen är etablerad som standardlösningen för att bygga och träna modeller hos Enel för olika användningsfall, över olika digitala hubbar (affärsenheter) med tiotals ML-projekt som utvecklas på Amazon SageMaker utbildning, Amazon SageMaker-bearbetning, och andra AWS-tjänster som AWS stegfunktioner.
Enel samlar in bilder och data från två olika källor:
- Inspektioner av flygnät:
- LiDAR punktmoln – De har fördelen av att vara en extremt noggrann och geolokaliserad 3D-rekonstruktion av infrastrukturen och är därför mycket användbara för att beräkna avstånd eller göra mätningar med en noggrannhet som inte kan erhållas från 2D-bildanalys.
- Högupplösta bilder – Dessa bilder av infrastrukturen är tagna inom några sekunder från varandra. Detta gör det möjligt att upptäcka element och anomalier som är för små för att kunna identifieras i punktmolnet.
- Satellitbilder – Även om dessa kan vara billigare än en elledningsinspektion (vissa är tillgängliga gratis eller mot en avgift), är deras upplösning och kvalitet ofta inte i nivå med bilder tagna direkt av Enel. Dessa bilders egenskaper gör dem användbara för vissa uppgifter som att utvärdera skogstäthet och makrokategori eller hitta byggnader.
I det här inlägget diskuterar vi detaljerna om hur Enel använder dessa tre källor, och delar hur Enel automatiserar sin storskaliga hantering av elnätsbedömning och anomalidetektering med SageMaker.
Analysera högupplösta fotografier för att identifiera tillgångar och anomalier
Liksom med annan ostrukturerad data som samlas in vid inspektioner lagras de fotografier som tas på Amazon enkel lagringstjänst (Amazon S3). Vissa av dessa är manuellt märkta med målet att träna olika modeller för djupinlärning för olika datorseendeuppgifter.
Begreppsmässigt involverar bearbetnings- och slutledningspipelinen ett hierarkiskt tillvägagångssätt med flera steg: först identifieras regionerna av intresse i bilden, sedan beskärs dessa, tillgångar identifieras inom dem och slutligen klassificeras dessa enligt materialet eller förekomsten av anomalier på dem. Eftersom samma pol ofta förekommer i mer än en bild, är det också nödvändigt att kunna gruppera dess bilder för att undvika dubbletter, en operation som kallas återidentifiering.
För alla dessa uppgifter använder Enel PyTorch-ramverket och de senaste arkitekturerna för bildklassificering och objektdetektering, som t.ex. EfficientNet/EfficientDet eller andra för den semantiska segmenteringen av vissa anomalier, såsom oljeläckor på transformatorer. För återidentifieringsuppgiften, om de inte kan göra det geometriskt eftersom de saknar kameraparametrar, använder de SimCLR-baserade självkontrollerade metoder eller transformatorbaserade arkitekturer används. Det skulle vara omöjligt att träna alla dessa modeller utan att ha tillgång till ett stort antal instanser utrustade med högpresterande GPU:er, så alla modeller tränades parallellt med Amazon SageMaker utbildning jobb med GPU-accelererade ML-instanser. Inferens har samma struktur och orkestreras av en Step Functions-tillståndsmaskin som styr flera SageMaker-bearbetnings- och utbildningsjobb som, trots namnet, är lika användbara i träning som i inferens.
Följande är en högnivåarkitektur för ML-pipelinen med dess huvudsteg.
Det här diagrammet visar den förenklade arkitekturen för ODIN-bildledningsledningen, som extraherar och analyserar ROI:er (såsom elposter) från datauppsättningsbilder. Rörledningen borrar vidare på ROI, extraherar och analyserar elektriska element (transformatorer, isolatorer och så vidare). Efter att komponenterna (ROI och element) har slutförts, börjar återidentifieringsprocessen: bilder och poler i nätverkskartan matchas baserat på 3D-metadata. Detta möjliggör klustring av ROI som refererar till samma pol. Efter det slutförs avvikelser och rapporter genereras.
Extrahera exakta mätningar med LiDAR punktmoln
Högupplösta fotografier är mycket användbara, men eftersom de är 2D är det omöjligt att extrahera exakta mätningar från dem. LiDAR punktmoln kommer till undsättning här, eftersom de är 3D och har varje punkt i molnet en position med ett tillhörande fel på mindre än en handfull centimeter.
Men i många fall är ett rått punktmoln inte användbart, eftersom du inte kan göra så mycket med det om du inte vet om en uppsättning punkter representerar ett träd, en kraftledning eller ett hus. Av denna anledning använder Enel KPConv, en semantisk punktmolnsegmenteringsalgoritm, för att tilldela en klass till varje punkt. Efter att molnet har klassificerats är det möjligt att ta reda på om vegetationen är för nära kraftledningen snarare än att mäta lutningen på stolpar. På grund av flexibiliteten hos SageMaker-tjänsterna skiljer sig pipelinen för denna lösning inte mycket från den som redan beskrivits, med den enda skillnaden är att det i det här fallet är nödvändigt att använda GPU-instanser också för slutledning.
Följande är några exempel på punktmolnbilder.
Tittar på elnätet från rymden: Kartlägga växtlighet för att förhindra servicestörningar
Att inspektera elnätet med helikoptrar och andra medel är i allmänhet mycket dyrt och kan inte göras för ofta. Å andra sidan är det extremt användbart att ha ett system för att övervaka vegetationstrender med korta tidsintervall för att optimera en av de dyraste processerna för en energidistributör: trädbeskärning. Det är därför Enel även inkluderade analysen av satellitbilder i sin lösning, varifrån man med en multitask-ansats identifierar var vegetation finns, dess täthet och typen av växter indelade i makroklasser.
För detta användningsfall, efter att ha experimenterat med olika upplösningar, drog Enel slutsatsen att gratis Sentinel 2 bilder som tillhandahålls av Copernicus-programmet hade det bästa kostnads-nyttoförhållandet. Förutom vegetation använder Enel även satellitbilder för att identifiera byggnader, vilket är användbar information för att förstå om det finns avvikelser mellan deras närvaro och var Enel levererar ström och därför eventuella oregelbundna anslutningar eller problem i databaserna. För det senare användningsfallet räcker inte upplösningen för Sentinel 2, där en pixel representerar en yta på 10 kvadratmeter, och därför köps betalda bilder med en upplösning på 50 kvadratcentimeter. Denna lösning skiljer sig inte heller mycket från de tidigare när det gäller tjänster som används och flöde.
Följande är en flygbild med identifiering av tillgångar (stolpar och isolatorer).
Angela Italiano, chef för datavetenskap på ENEL Grid, säger:
"På Enel använder vi datorseende modeller för att inspektera vårt eldistributionsnätverk genom att rekonstruera 3D-bilder av vårt nätverk med hjälp av tiotals miljoner högkvalitativa bilder och LiDAR-punktmoln. Utbildningen av dessa ML-modeller kräver tillgång till ett stort antal instanser utrustade med högpresterande GPU:er och förmågan att hantera stora datamängder effektivt. Med Amazon SageMaker kan vi snabbt träna alla våra modeller parallellt utan att behöva hantera infrastrukturen eftersom Amazon SageMaker-utbildning skalar beräkningsresurserna upp och ner efter behov. Med Amazon SageMaker kan vi bygga 3D-bilder av våra system, övervaka avvikelser och betjäna över 60 miljoner kunder effektivt."
Slutsats
I det här inlägget såg vi hur en toppaktör inom energivärlden som Enel använde datorseende modeller och SageMaker utbildnings- och bearbetningsjobb för att lösa ett av huvudproblemen för dem som måste hantera en infrastruktur av denna kolossala storlek, hålla reda på installerade tillgångar och identifiera anomalier och källor till fara för en kraftledning som växtlighet för nära den.
Lär dig mer om de relaterade funktionerna i SageMaker.
Om författarna
Mario Namtao Shianti Larcher är chef för datorseende på Enel. Han har en bakgrund inom matematik, statistik och en djupgående expertis inom maskininlärning och datorseende, han leder ett team på över tio yrkesverksamma. Marios roll innebär att implementera avancerade lösningar som effektivt utnyttjar kraften i AI och datorseende för att dra nytta av Enels omfattande dataresurser. Utöver sina professionella ansträngningar fostrar han en personlig passion för både traditionell och AI-genererad konst.
Cristian Gavazzeni är senior lösningsarkitekt på Amazon Web Services. Han har mer än 20 års erfarenhet som pre-sales konsult med fokus på Data Management, Infrastructure and Security. På fritiden gillar han att spela golf med vänner och att resa utomlands med enbart flyg- och körbokningar.
Giuseppe Angelo Porcelli är en huvudsaklig maskininlärningsspecialistlösningsarkitekt för Amazon Web Services. Med flera års mjukvaruutveckling och ML-bakgrund arbetar han med kunder av alla storlekar för att på djupet förstå deras affärsbehov och tekniska behov och designa AI- och Machine Learning-lösningar som utnyttjar AWS Cloud och Amazon Machine Learning-stacken på bästa sätt. Han har arbetat med projekt inom olika domäner, inklusive MLOps, Computer Vision, NLP och involverat en bred uppsättning AWS-tjänster. På fritiden tycker Giuseppe om att spela fotboll.
- SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
- PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
- PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
- Platoesg. Fordon / elbilar, Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
- BlockOffsets. Modernisera miljökompensation ägande. Tillgång här.
- Källa: https://aws.amazon.com/blogs/machine-learning/enel-automates-large-scale-power-grid-asset-management-and-anomaly-detection-using-amazon-sagemaker/
- : har
- :är
- :inte
- :var
- $UPP
- 1
- 10
- 100
- 13
- 20
- 20 år
- 2D
- 32
- 3d
- 40
- 50
- 60
- 7
- a
- förmåga
- Able
- Om Oss
- accelererad
- tillgång
- Enligt
- noggrannhet
- exakt
- tvärs
- Dessutom
- avancerat
- framsteg
- Fördel
- prisvärd
- Efter
- AI
- algoritm
- Alla
- tillåter
- redan
- också
- Även
- amason
- Amazon maskininlärning
- Amazon SageMaker
- Amazon Web Services
- ambitiösa
- mängd
- an
- analys
- analyser
- analys
- och
- avvikelse av anomali
- vilken som helst
- visas
- tillämpningar
- tillvägagångssätt
- arkitektoniska
- arkitektur
- ÄR
- OMRÅDE
- Konst
- AS
- bedömning
- tillgång
- Kapitalförvaltning
- Tillgångar
- associerad
- At
- automatisera
- automatiserar
- Automat
- tillgänglig
- undvika
- AWS
- bakgrund
- baserat
- BE
- därför att
- Där vi får lov att vara utan att konstant prestera,
- BÄST
- mellan
- bokningar
- båda
- bred
- SLUTRESULTAT
- byggt
- företag
- men
- by
- beräkning
- kallas
- rum
- KAN
- Kapacitet
- bilar
- Vid
- fall
- vissa
- utmanande
- egenskaper
- klass
- klasser
- klassificering
- klassificerad
- Stäng
- cloud
- klustring
- komma
- företag
- fullständigt
- komponenter
- Compute
- dator
- Datorsyn
- databehandling
- beräkningskraft
- ingås
- Anslutningar
- konsult
- kontroll
- kostsam
- länder
- Kurs
- kritisk
- Kunder
- FARA
- datum
- datahantering
- datavetenskap
- databaser
- djup
- djupt lärande
- levererar
- demokratisering
- beskriven
- Designa
- Trots
- detaljer
- upptäcka
- Detektering
- utvecklade
- utveckla
- skilja sig
- Skillnaden
- olika
- digital
- direkt
- Direktör
- diskutera
- fördelning
- dividerat
- do
- inte
- domäner
- gjort
- inte
- ner
- driv
- grund
- dubbletter
- under
- varje
- effektivt
- effektivt
- el
- element
- aktiverad
- strävanden
- energi
- Teknik
- enorm
- enhet
- utrustad
- fel
- etablerade
- utvärdering
- Även
- exempel
- dyra
- erfarenhet
- expertis
- omfattande
- extrahera
- extrakt
- extremt
- fabrik
- Funktioner
- avgift
- Figur
- slutfört
- Slutligen
- finna
- Förnamn
- Flexibilitet
- flöda
- fokusering
- efter
- fotboll
- För
- skog
- Lyckligtvis
- Ramverk
- Fri
- ofta
- vänner
- från
- funktioner
- ytterligare
- allmänhet
- genereras
- skaffa sig
- ges
- Målet
- golf
- reglerar
- GPU
- GPUs
- Rutnät
- Grupp
- Gäst
- gäst inlägg
- hade
- sidan
- näve
- hantera
- Har
- har
- he
- huvud
- kraftigt
- här.
- högnivå
- högpresterande
- hög kvalitet
- hög upplösning
- hans
- Huset
- Hur ser din drömresa ut
- html
- http
- HTTPS
- Identifiering
- identifierade
- identifiera
- identifiera
- if
- bild
- Bildklassificering
- bilder
- genomföra
- omöjligt
- in
- ingår
- Inklusive
- informationen
- Infrastruktur
- installerad
- intresse
- invändigt
- in
- investerat
- involverar
- IT
- Italien
- artikel
- DESS
- Lediga jobb
- jpg
- bara
- Ha kvar
- Vet
- Brist
- Large
- storskalig
- senaste
- Leads
- Läckor
- inlärning
- mindre
- Hävstång
- tycka om
- gillar
- linje
- Maskinen
- maskininlärning
- Makro
- Huvudsida
- göra
- GÖR
- hantera
- ledning
- manuell
- manuellt
- många
- karta
- kartläggning
- mario
- matchas
- Materialet
- matematik
- förfall
- betyder
- mätningar
- mätning
- metadata
- metoder
- miljon
- miljoner
- ML
- MLOps
- modeller
- Modern Konst
- pengar
- Övervaka
- övervakning
- mer
- mest
- mycket
- multinationell
- multipel
- namn
- nationell
- nödvändigt för
- behövs
- behöver
- behov
- nät
- nlp
- antal
- objektet
- Objektdetektion
- erhållna
- of
- Ofta
- Olja
- on
- ONE
- ettor
- endast
- drift
- Operatören
- optimera
- or
- iscensatt
- Övriga
- Övrigt
- vår
- ut
- över
- egen
- Parallell
- parametrar
- brinner
- personlig
- Fotografierna
- Bild
- rörledning
- pixel
- Växter
- plattform
- plato
- Platon Data Intelligence
- PlatonData
- Spelaren
- i
- Punkt
- poäng
- placera
- möjlig
- Inlägg
- inlägg
- kraft
- Kraftnät
- exakt
- Närvaron
- presentera
- förhindra
- föregående
- Principal
- privat
- problem
- process
- processer
- bearbetning
- professionell
- yrkesmän/kvinnor
- djupgående
- Program
- projekt
- förutsatt
- köpt
- pytorch
- kvalitet
- snabbt
- snarare
- ratio
- Raw
- inser
- Anledningen
- senaste
- erkänt
- regioner
- relaterad
- resterna
- Renewables
- Rapport
- representerar
- Kräver
- rädda
- Upplösning
- Resurser
- Roll
- sagemaker
- Samma
- satellit
- såg
- säger
- skalor
- Vetenskap
- sekunder
- sektor
- säkerhet
- segmentering
- senior
- tjänar
- service
- Tjänster
- in
- flera
- Dela
- Kort
- Visar
- Enkelt
- förenklade
- Storlek
- Small
- So
- Mjukvara
- mjukvaruutveckling
- lösning
- Lösningar
- LÖSA
- några
- Källor
- Utrymme
- specialist
- specificitet
- kvadrat
- stapel
- standard
- igång
- Ange
- statistik
- status
- Steg
- Steg
- förvaring
- lagras
- stark
- struktur
- sådana
- tillräcklig
- system
- System
- tagen
- tar
- tar
- uppgift
- uppgifter
- grupp
- Teknisk
- Tekniken
- Teknologi
- tio
- tiotals
- villkor
- än
- Tack
- den där
- Smakämnen
- Staten
- världen
- deras
- Dem
- sedan
- Där.
- därför
- Dessa
- de
- detta
- de
- tre
- tid
- till
- i dag
- alltför
- topp
- spår
- traditionell
- Tåg
- tränad
- Utbildning
- transformatorer
- träd
- Trender
- två
- Typ
- förstå
- enheter
- uppdatering
- användbar
- användning
- användningsfall
- Begagnade
- användare
- användningar
- med hjälp av
- utnyttja
- mycket
- syn
- volymer
- we
- webb
- webbservice
- VÄL
- były
- om
- som
- VEM
- varför
- wikipedia
- med
- inom
- utan
- arbetade
- fungerar
- världen
- skulle
- år
- år
- Om er
- zephyrnet