Dette er et gjesteinnlegg av Mario Namtao Shianti Larcher, Head of Computer Vision hos Enel.
Enel, som startet som Italias nasjonale enhet for elektrisitet, er i dag et multinasjonalt selskap til stede i 32 land og den første private nettverksoperatøren i verden med 74 millioner brukere. Det er også anerkjent som den første fornybare aktøren med 55.4 GW installert kapasitet. De siste årene har selskapet investert tungt i maskinlæringssektoren (ML) ved å utvikle sterk intern kunnskap som har gjort dem i stand til å realisere svært ambisiøse prosjekter som automatisk overvåking av dets 2.3 millioner kilometer med distribusjonsnettverk.
Hvert år inspiserer Enel sitt strømdistribusjonsnettverk med helikoptre, biler eller andre midler; tar millioner av fotografier; og rekonstruerer 3D-bildet av nettverket sitt, som er en poengsky 3D-rekonstruksjon av nettverket, oppnådd ved hjelp av LiDAR-teknologi.
Undersøkelse av disse dataene er avgjørende for å overvåke tilstanden til strømnettet, identifisere infrastrukturavvik og oppdatere databaser over installerte eiendeler, og det tillater granulær kontroll av infrastrukturen ned til materialet og statusen til den minste isolatoren installert på en gitt stolpe. Gitt mengden data (mer enn 40 millioner bilder hvert år bare i Italia), antall elementer som skal identifiseres, og deres spesifisitet, er en fullstendig manuell analyse svært kostbar, både når det gjelder tid og penger, og utsatt for feil. Heldigvis, takket være enorme fremskritt i verden av datasyn og dyp læring og modenhet og demokratisering av disse teknologiene, er det mulig å automatisere denne kostbare prosessen delvis eller til og med fullstendig.
Selvfølgelig er oppgaven fortsatt svært utfordrende, og som alle moderne AI-applikasjoner krever den datakraft og evnen til å håndtere store datamengder effektivt.
Enel bygget sin egen ML-plattform (internt kalt ML-fabrikken) basert på Amazon SageMaker, og plattformen er etablert som standardløsningen for å bygge og trene modeller hos Enel for ulike brukstilfeller, på tvers av ulike digitale hubs (forretningsenheter) med titalls ML-prosjekter under utvikling på Amazon SageMaker-opplæring, Amazon SageMaker-prosessering, og andre AWS-tjenester som AWS trinnfunksjoner.
Enel samler inn bilder og data fra to forskjellige kilder:
- Inspeksjoner av luftnettverket:
- LiDAR punktskyer – De har fordelen av å være en ekstremt nøyaktig og geolokalisert 3D-rekonstruksjon av infrastrukturen, og er derfor svært nyttige for å beregne avstander eller ta målinger med en nøyaktighet som ikke kan oppnås fra 2D-bildeanalyse.
- Høyoppløselige bilder – Disse bildene av infrastrukturen er tatt innen sekunder fra hverandre. Dette gjør det mulig å oppdage elementer og anomalier som er for små til å kunne identifiseres i punktskyen.
- Satellittbilder – Selv om disse kan være rimeligere enn en kraftledningsinspeksjon (noen er tilgjengelig gratis eller mot betaling), er oppløsningen og kvaliteten ofte ikke på nivå med bilder tatt direkte av Enel. Egenskapene til disse bildene gjør dem nyttige for visse oppgaver som å evaluere skogtetthet og makrokategori eller finne bygninger.
I dette innlegget diskuterer vi detaljene om hvordan Enel bruker disse tre kildene, og deler hvordan Enel automatiserer deres storskala vurderingsstyring og anomalideteksjonsprosess ved hjelp av SageMaker.
Analyse av høyoppløselige fotografier for å identifisere eiendeler og uregelmessigheter
Som med andre ustrukturerte data som samles inn under inspeksjoner, lagres bildene som tas på Amazon enkel lagringstjeneste (Amazon S3). Noen av disse er manuelt merket med mål om å trene forskjellige dyplæringsmodeller for forskjellige datasynsoppgaver.
Konseptuelt involverer prosesserings- og slutningspipelinen en hierarkisk tilnærming med flere trinn: først identifiseres områdene av interesse i bildet, deretter beskjæres disse, eiendeler identifiseres i dem, og til slutt klassifiseres disse i henhold til materialet eller tilstedeværelsen av anomalier på dem. Fordi den samme polen ofte vises i mer enn ett bilde, er det også nødvendig å kunne gruppere bildene for å unngå duplikater, en operasjon som kalles reidentifikasjon.
For alle disse oppgavene bruker Enel PyTorch-rammeverket og de nyeste arkitekturene for bildeklassifisering og objektdeteksjon, som f.eks. EfficientNet/EfficientDet eller andre for semantisk segmentering av visse anomalier, for eksempel oljelekkasjer på transformatorer. For reidentifikasjonsoppgaven, hvis de ikke kan gjøre det geometrisk fordi de mangler kameraparametere, bruker de SimCLRDet brukes -baserte selvstyrte metoder eller transformatorbaserte arkitekturer. Det ville være umulig å trene alle disse modellene uten å ha tilgang til et stort antall forekomster utstyrt med høyytelses GPUer, så alle modellene ble trent parallelt vha. Amazon SageMaker-opplæring jobber med GPU-akselererte ML-forekomster. Inferens har samme struktur og er orkestrert av en Step Functions-tilstandsmaskin som styrer flere SageMaker-behandlings- og treningsjobber som, til tross for navnet, er like brukbare i trening som i inferens.
Følgende er en høynivåarkitektur av ML-rørledningen med hovedtrinnene.
Dette diagrammet viser den forenklede arkitekturen til ODIN-bildeslutningsrørledningen, som trekker ut og analyserer ROI-er (for eksempel strømposter) fra datasettbilder. Rørledningen borer videre ned på ROIer, trekker ut og analyserer elektriske elementer (transformatorer, isolatorer og så videre). Etter at komponentene (ROIer og elementer) er ferdigstilt, starter reidentifikasjonsprosessen: bilder og poler i nettverkskartet matches basert på 3D-metadata. Dette tillater gruppering av ROIer som refererer til samme pol. Etter det blir avvik ferdigstilt og rapporter generert.
Trekker ut nøyaktige målinger ved hjelp av LiDAR punktskyer
Høyoppløselige fotografier er veldig nyttige, men fordi de er 2D, er det umulig å trekke ut nøyaktige målinger fra dem. LiDAR punktskyer kommer til unnsetning her, fordi de er 3D og har hvert punkt i skyen en posisjon med tilhørende feil på mindre enn en håndfull centimeter.
Men i mange tilfeller er en rå punktsky ikke nyttig, fordi du ikke kan gjøre mye med den hvis du ikke vet om et sett med punkter representerer et tre, en kraftledning eller et hus. Av denne grunn bruker Enel KPConv, en semantisk punktskysegmenteringsalgoritme, for å tilordne en klasse til hvert punkt. Etter at skyen er klassifisert, er det mulig å finne ut om vegetasjonen er for nær kraftlinjen i stedet for å måle helningen til stolper. På grunn av fleksibiliteten til SageMaker-tjenestene, er ikke rørledningen til denne løsningen mye forskjellig fra den som allerede er beskrevet, med den eneste forskjellen at i dette tilfellet er det nødvendig å bruke GPU-forekomster også for slutninger.
Følgende er noen eksempler på punktskybilder.
Ser på strømnettet fra verdensrommet: Kartlegging av vegetasjon for å hindre tjenesteforstyrrelser
Å inspisere strømnettet med helikoptre og andre midler er generelt svært kostbart og kan ikke gjøres for ofte. På den annen side er det ekstremt nyttig å ha et system for å overvåke vegetasjonstrender i korte tidsintervaller for å optimalisere en av de dyreste prosessene til en energifordeler: beskjæring av tre. Dette er grunnen til at Enel også inkluderte analysen av satellittbilder i sin løsning, hvorfra man med en multitask-tilnærming identifiserer hvor vegetasjon er tilstede, dens tetthet og typen planter delt inn i makroklasser.
For denne brukssaken, etter å ha eksperimentert med forskjellige oppløsninger, konkluderte Enel med at gratis Sentinel 2 bilder levert av Copernicus-programmet hadde det beste kostnad-nytte-forholdet. I tillegg til vegetasjon, bruker Enel også satellittbilder for å identifisere bygninger, noe som er nyttig informasjon for å forstå om det er uoverensstemmelser mellom deres tilstedeværelse og hvor Enel leverer strøm og derfor eventuelle uregelmessige tilkoblinger eller problemer i databasene. For sistnevnte bruk er ikke oppløsningen til Sentinel 2, der én piksel representerer et område på 10 kvadratmeter, tilstrekkelig, og derfor kjøpes betalte bilder med en oppløsning på 50 kvadratcentimeter. Denne løsningen skiller seg heller ikke mye fra de tidligere når det gjelder tjenester brukt og flyt.
Følgende er et flybilde med identifisering av eiendeler (stolper og isolatorer).
Angela Italiano, direktør for datavitenskap ved ENEL Grid, sier:
«Hos Enel bruker vi datasynsmodeller for å inspisere strømdistribusjonsnettverket vårt ved å rekonstruere 3D-bilder av nettverket vårt ved å bruke titalls millioner bilder av høy kvalitet og LiDAR-punktskyer. Opplæringen av disse ML-modellene krever tilgang til et stort antall instanser utstyrt med høyytelses GPUer og evnen til å håndtere store datamengder effektivt. Med Amazon SageMaker kan vi raskt trene alle modellene våre parallelt uten å måtte administrere infrastrukturen, da Amazon SageMaker-trening skalerer dataressursene opp og ned etter behov. Ved å bruke Amazon SageMaker er vi i stand til å bygge 3D-bilder av systemene våre, overvåke for uregelmessigheter og betjene over 60 millioner kunder effektivt.»
konklusjonen
I dette innlegget så vi hvordan en toppspiller i energiverdenen som Enel brukte datasynsmodeller og SageMaker-trenings- og prosesseringsjobber for å løse et av hovedproblemene til de som må administrere en infrastruktur av denne kolossale størrelsen, holde styr på installerte eiendeler og identifisere uregelmessigheter og farekilder for en kraftledning som vegetasjon for nærme den.
Lær mer om de relaterte funksjonene til SageMaker.
Om forfatterne
Mario Namtao Shianti Larcher er sjef for datasyn hos Enel. Han har bakgrunn i matematikk, statistikk og en dyp ekspertise innen maskinlæring og datasyn, han leder et team på over ti fagfolk. Marios rolle innebærer å implementere avanserte løsninger som effektivt utnytter kraften til AI og datasyn for å utnytte Enels omfattende dataressurser. I tillegg til sine profesjonelle bestrebelser, nærer han en personlig lidenskap for både tradisjonell og AI-generert kunst.
Cristian Gavazzeni er senior løsningsarkitekt hos Amazon Web Services. Han har mer enn 20 års erfaring som pre-sales konsulent med fokus på Data Management, Infrastructure and Security. På fritiden liker han å spille golf med venner og reise til utlandet med kun fly- og kjørebestillinger.
Giuseppe Angelo Porcelli er en hovedløsningsarkitekt for maskinlæring for Amazon Web Services. Med flere års programvareutvikling og ML-bakgrunn, jobber han med kunder av alle størrelser for å forstå deres forretningsmessige og tekniske behov dypt og utforme AI- og Machine Learning-løsninger som utnytter AWS Cloud og Amazon Machine Learning-stabel på best mulig måte. Han har jobbet med prosjekter innen forskjellige domener, inkludert MLOps, Computer Vision, NLP, og involverer et bredt sett av AWS-tjenester. På fritiden liker Giuseppe å spille fotball.
- SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk deg selv. Tilgang her.
- PlatoAiStream. Web3 Intelligence. Kunnskap forsterket. Tilgang her.
- PlatoESG. Bil / elbiler, Karbon, CleanTech, Energi, Miljø, Solenergi, Avfallshåndtering. Tilgang her.
- BlockOffsets. Modernisering av eierskap for miljøkompensasjon. Tilgang her.
- kilde: https://aws.amazon.com/blogs/machine-learning/enel-automates-large-scale-power-grid-asset-management-and-anomaly-detection-using-amazon-sagemaker/
- : har
- :er
- :ikke
- :hvor
- $OPP
- 1
- 10
- 100
- 13
- 20
- 20 år
- 2D
- 32
- 3d
- 40
- 50
- 60
- 7
- a
- evne
- I stand
- Om oss
- akselerert
- adgang
- Ifølge
- nøyaktighet
- nøyaktig
- tvers
- tillegg
- avansert
- fremskritt
- Fordel
- rimelig
- Etter
- AI
- algoritme
- Alle
- tillater
- allerede
- også
- Selv
- Amazon
- Amazon maskinlæring
- Amazon SageMaker
- Amazon Web Services
- ambisiøs
- beløp
- an
- analyse
- analyser
- analyserer
- og
- anomali påvisning
- noen
- vises
- søknader
- tilnærming
- arkitektonisk
- arkitektur
- ER
- AREA
- Kunst
- AS
- evaluering
- eiendel
- Kapitalforvaltning
- Eiendeler
- assosiert
- At
- automatisere
- automatiserer
- Automatisk
- tilgjengelig
- unngå
- AWS
- bakgrunn
- basert
- BE
- fordi
- være
- BEST
- mellom
- bestillinger
- både
- bred
- bygge
- bygget
- virksomhet
- men
- by
- beregning
- som heter
- rom
- CAN
- Kapasitet
- biler
- saken
- saker
- viss
- utfordrende
- egenskaper
- klasse
- klasser
- klassifisering
- klassifisert
- Lukke
- Cloud
- gruppering
- Kom
- Selskapet
- helt
- komponenter
- Beregn
- datamaskin
- Datamaskin syn
- databehandling
- databehandlingskraft
- konkluderte
- Tilkoblinger
- konsulent
- kontroll
- kostbar
- land
- Kurs
- kritisk
- Kunder
- FARE
- dato
- Dataledelse
- datavitenskap
- databaser
- dyp
- dyp læring
- leverer
- demokratisering
- beskrevet
- utforming
- Til tross for
- detaljer
- oppdage
- Gjenkjenning
- utviklet
- utvikle
- avvike
- forskjell
- forskjellig
- digitalt
- direkte
- Regissør
- diskutere
- distribusjon
- Divided
- do
- ikke
- domener
- gjort
- ikke
- ned
- stasjonen
- to
- duplikater
- under
- hver enkelt
- effektivt
- effektivt
- elektrisitet
- elementer
- aktivert
- bestrebelser
- energi
- Ingeniørarbeid
- enorm
- enhet
- utstyrt
- feil
- etablert
- evaluere
- Selv
- eksempler
- dyrt
- erfaring
- ekspertise
- omfattende
- trekke ut
- ekstrakter
- ekstremt
- fabrikk
- Egenskaper
- gebyr
- Figur
- avsluttet
- Endelig
- finne
- Først
- fleksibilitet
- flyten
- fokusering
- etter
- fotball
- Til
- skog
- Heldigvis
- Rammeverk
- Gratis
- ofte
- venner
- fra
- funksjoner
- videre
- generelt
- generert
- få
- gitt
- mål
- golf
- reglene
- GPU
- GPU
- Grid
- Gruppe
- Gjest
- gjest innlegg
- HAD
- hånd
- håndfull
- håndtere
- Ha
- å ha
- he
- hode
- tungt
- her.
- høyt nivå
- høy ytelse
- høykvalitets
- høy oppløsning
- hans
- hus
- Hvordan
- HTML
- http
- HTTPS
- Identifikasjon
- identifisert
- identifisere
- identifisering
- if
- bilde
- Bildeklassifisering
- bilder
- implementere
- umulig
- in
- inkludert
- Inkludert
- informasjon
- Infrastruktur
- installerte
- interesse
- internt
- inn
- investert
- involverer
- IT
- Italia
- varer
- DET ER
- Jobb
- jpg
- bare
- Hold
- Vet
- maling
- stor
- storskala
- siste
- Fører
- Lekkasjer
- læring
- mindre
- Leverage
- i likhet med
- liker
- linje
- maskin
- maskinlæring
- Makro
- Hoved
- gjøre
- GJØR AT
- administrer
- ledelse
- håndbok
- manuelt
- mange
- kart
- kartlegging
- mario
- matchet
- materiale
- matematikk
- modenhet
- midler
- målinger
- måling
- metadata
- metoder
- millioner
- millioner
- ML
- MLOps
- modeller
- Moderne
- penger
- Overvåke
- overvåking
- mer
- mest
- mye
- multinasjonale
- flere
- navn
- nasjonal
- nødvendig
- nødvendig
- trenger
- behov
- nettverk
- nlp
- Antall
- objekt
- Objektdeteksjon
- innhentet
- of
- ofte
- Olje
- on
- ONE
- seg
- bare
- drift
- operatør
- optimalisere
- or
- orkestrert
- Annen
- andre
- vår
- ut
- enn
- egen
- Parallel
- parametere
- lidenskap
- personlig
- fotografier
- bilde
- rørledning
- pixel
- Hvordan få de til å trives
- plattform
- plato
- Platon Data Intelligence
- PlatonData
- spiller
- spiller
- Point
- poeng
- posisjon
- mulig
- Post
- innlegg
- makt
- Kraftnettet
- presis
- tilstedeværelse
- presentere
- forebygge
- forrige
- Principal
- privat
- problemer
- prosess
- Prosesser
- prosessering
- profesjonell
- fagfolk
- dyp
- program
- prosjekter
- forutsatt
- kjøpt
- pytorch
- kvalitet
- raskt
- heller
- ratio
- Raw
- realisere
- grunnen til
- nylig
- gjenkjent
- regioner
- i slekt
- forblir
- Renewables
- Rapporter
- representerer
- Krever
- redde
- oppløsning
- Ressurser
- Rolle
- sagemaker
- samme
- satellitt
- så
- sier
- vekter
- Vitenskap
- sekunder
- sektor
- sikkerhet
- segmentering
- senior
- betjene
- tjeneste
- Tjenester
- sett
- flere
- Del
- Kort
- Viser
- Enkelt
- forenklet
- Størrelse
- liten
- So
- Software
- software engineering
- løsning
- Solutions
- LØSE
- noen
- Kilder
- Rom
- spesialist
- spesifisitet
- kvadrat
- stable
- Standard
- startet
- Tilstand
- statistikk
- status
- Trinn
- Steps
- lagring
- lagret
- sterk
- struktur
- slik
- tilstrekkelig
- system
- Systemer
- tatt
- tar
- ta
- Oppgave
- oppgaver
- lag
- Teknisk
- Technologies
- Teknologi
- ti
- titus
- vilkår
- enn
- Takk
- Det
- De
- Staten
- verden
- deres
- Dem
- deretter
- Der.
- derfor
- Disse
- de
- denne
- De
- tre
- tid
- til
- i dag
- også
- topp
- spor
- tradisjonelle
- Tog
- trent
- Kurs
- transformers
- Treet
- Trender
- to
- typen
- forstå
- lomper
- oppdatering
- bruk
- bruke
- bruk sak
- brukt
- Brukere
- bruker
- ved hjelp av
- bruke
- veldig
- syn
- volumer
- we
- web
- webtjenester
- VI VIL
- var
- om
- hvilken
- HVEM
- hvorfor
- Wikipedia
- med
- innenfor
- uten
- arbeidet
- virker
- verden
- ville
- år
- år
- Du
- zephyrnet