See on Eneli arvutivisiooni juhi Mario Namtao Shianti Larcheri külalispostitus.
Enel, mis alustas Itaalia riikliku elektriüksusena, on tänaseks rahvusvaheline ettevõte, mis tegutseb 32 riigis ja 74 miljoni kasutajaga esimene eravõrguettevõtja maailmas. Samuti on see esimene taastuvenergia mängija, mille installeeritud võimsus on 55.4 GW. Viimastel aastatel on ettevõte investeerinud palju masinõppe (ML) sektorisse, arendades välja tugevat ettevõttesisest oskusteavet, mis on võimaldanud neil ellu viia väga ambitsioonikaid projekte, nagu 2.3 miljoni kilomeetri pikkuse jaotusvõrgu automaatne jälgimine.
Igal aastal kontrollib Enel oma elektrijaotusvõrku helikopterite, autode või muul viisil; teeb miljoneid fotosid; ja rekonstrueerib oma võrgu 3D-kujutise, mis on a punktpilv Võrgu 3D rekonstrueerimine, saadud kasutades LiDAR tehnoloogiat.
Nende andmete uurimine on kriitilise tähtsusega elektrivõrgu seisukorra jälgimiseks, infrastruktuuri anomaaliate tuvastamiseks ja paigaldatud varade andmebaaside uuendamiseks ning võimaldab taristut üksikasjalikult kontrollida kuni antud postile paigaldatud väikseima isolaatori materjali ja olekuni. Arvestades andmehulka (ainuüksi Itaalias üle 40 miljoni pildi igal aastal), tuvastatavate üksuste arvu ja nende spetsiifilisust, on täiesti käsitsi teostatav analüüs väga kulukas nii ajaliselt kui ka rahaliselt ning veaohtlik. Õnneks on tänu tohututele edusammudele arvutinägemise ja süvaõppe maailmas ning nende tehnoloogiate küpsusele ja demokratiseerimisele võimalik seda kulukat protsessi osaliselt või isegi täielikult automatiseerida.
Loomulikult on ülesanne endiselt väga keeruline ja nagu kõik kaasaegsed AI-rakendused, nõuab see arvutusvõimsust ja võimet hallata tõhusalt suuri andmemahtusid.
Enel ehitas oma ML-i platvormi (sisemiselt nimetatakse seda ML-i tehaseks), mille põhjal Amazon SageMakerplatvorm on loodud standardlahendusena Enelis mudelite ehitamiseks ja koolitamiseks erinevateks kasutusjuhtudeks, erinevates digitaalsetes keskustes (äriüksustes), kus arendatakse kümneid ML-projekte. Amazon SageMakeri koolitus, Amazon SageMakeri töötlemineja muud AWS-i teenused nagu AWS-i astmefunktsioonid.
Enel kogub pilte ja andmeid kahest erinevast allikast:
- Õhuvõrgu kontrollid:
- LiDAR punktipilved – Nende eeliseks on see, et tegemist on infrastruktuuri äärmiselt täpse ja geolokaliseeritud 3D rekonstrueerimisega ning seetõttu on need väga kasulikud vahemaade arvutamiseks või mõõtmiste tegemiseks täpsusega, mida 2D-kujutise analüüsist ei saa.
- Kõrge eraldusvõimega pildid – Need infrastruktuuri pildid tehakse üksteisest mõne sekundi jooksul. See võimaldab tuvastada elemente ja anomaaliaid, mis on punktipilves tuvastamiseks liiga väikesed.
- Satelliidipildid – Kuigi need võivad olla soodsamad kui elektriliinide ülevaatus (mõned on saadaval tasuta või tasu eest), ei ole nende eraldusvõime ja kvaliteet sageli võrdsed otse Eneli tehtud piltidega. Nende piltide omadused muudavad need kasulikuks teatud ülesannete puhul, nagu metsatiheduse ja makrokategooria hindamine või hoonete otsimine.
Selles postituses käsitleme üksikasju selle kohta, kuidas Enel neid kolme allikat kasutab, ja jagame, kuidas Enel automatiseerib nende suuremahulist elektrivõrgu hindamise juhtimist ja anomaaliate tuvastamise protsessi SageMakeri abil.
Kõrge eraldusvõimega fotode analüüsimine varade ja kõrvalekallete tuvastamiseks
Sarnaselt muude kontrollide käigus kogutud struktureerimata andmetega salvestatakse tehtud fotod Amazoni lihtne salvestusteenus (Amazon S3). Mõned neist on käsitsi märgistatud eesmärgiga koolitada erinevaid süvaõppe mudeleid erinevate arvutinägemisülesannete jaoks.
Kontseptuaalselt hõlmab töötlemine ja järelduste konveier mitmeastmelist hierarhilist lähenemist: esiteks tuvastatakse pildil huvipakkuvad piirkonnad, seejärel need kärbitakse, tuvastatakse nende sees olevad varad ja lõpuks klassifitseeritakse need vastavalt materjalile või anomaaliate olemasolule. Kuna sama poolus esineb sageli rohkem kui ühel pildil, on dubleerimise vältimiseks vaja ka selle pilte rühmitada. uuesti identifitseerimine.
Kõigi nende ülesannete jaoks kasutab Enel PyTorchi raamistikku ja uusimaid kujutiste klassifitseerimise ja objektide tuvastamise arhitektuure, nagu näiteks EfficientNet/EfficientDet või teised teatud kõrvalekallete (nt trafode õlilekked) semantiliseks segmenteerimiseks. Kui nad ei saa seda geomeetriliselt teha, kuna neil puuduvad kaamera parameetrid, kasutavad nad uuesti tuvastamise ülesande jaoks SimCLRKasutatakse enesejärelevalvega meetodeid või trafopõhiseid arhitektuure. Kõiki neid mudeleid oleks võimatu koolitada ilma juurdepääsuta suurele hulgale suure jõudlusega GPU-ga varustatud eksemplaridele, nii et kõiki mudeleid koolitati paralleelselt, kasutades Amazon SageMakeri koolitus tööd GPU kiirendatud ML eksemplaridega. Järeldamisel on sama struktuur ja seda juhib Step Functions olekumasin, mis juhib mitut SageMakeri töötlemis- ja koolitustööd, mis on nimele vaatamata samaväärselt kasutatavad nii koolitusel kui ka järeldamisel.
Järgnevalt on toodud ML-konveieri kõrgetasemeline arhitektuur koos selle peamiste sammudega.
See diagramm näitab ODIN-i kujutise järelduste konveieri lihtsustatud arhitektuuri, mis eraldab ja analüüsib andmestiku kujutistest ROI-sid (nt elektripostid). Torujuhe uurib veelgi ROI-sid, eraldades ja analüüsides elektrilisi elemente (trafod, isolaatorid jne). Pärast komponentide (ROI-d ja elemendid) lõpetamist algab uuesti tuvastamise protsess: võrgukaardil olevad pildid ja poolused sobitatakse 3D-metaandmete põhjal. See võimaldab rühmitada ROI-sid, mis viitavad samale poolusele. Pärast seda vormistatakse kõrvalekalded ja koostatakse aruanded.
Täpsete mõõtmiste eraldamine LiDAR-i punktipilvede abil
Kõrge eraldusvõimega fotod on väga kasulikud, kuid kuna need on 2D-pildid, on neist võimatu täpseid mõõte välja võtta. Siin tulevad appi LiDAR-i punktipilved, sest need on 3D-d ja iga pilve punkti asukoht on seotud veaga alla peotäie sentimeetri.
Paljudel juhtudel pole aga toorest punktipilvest kasu, sest sellega ei saa suurt midagi peale hakata, kui ei tea, kas punktide kogum tähistab puud, elektriliini või maja. Sel põhjusel kasutab Enel KPConv, semantilise punktipilve segmenteerimise algoritm, et määrata igale punktile klass. Pärast pilve klassifitseerimist on postide kalde mõõtmise asemel võimalik aru saada, kas taimestik on elektriliinile liiga lähedal. Tänu SageMakeri teenuste paindlikkusele ei erine selle lahenduse konveier palju juba kirjeldatust, ainsa erinevusega, et sel juhul on vaja järelduste tegemiseks kasutada ka GPU eksemplare.
Järgnevalt on toodud mõned näited punktipilvepiltidest.
Elektrivõrku kosmosest vaadates: taimestiku kaardistamine, et vältida teenuse katkestusi
Elektrivõrgu kontrollimine helikopterite ja muude vahenditega on üldiselt väga kulukas ja seda ei saa teha liiga sageli. Teisest küljest on taimestiku trendide jälgimise süsteem lühikeste ajavahemike järel ülimalt kasulik energiajaotaja ühe kõige kallima protsessi – puude pügamise – optimeerimiseks. Seetõttu lülitas Enel oma lahendusse ka satelliidipiltide analüüsi, millest multitask-lähenemisega tehakse kindlaks, kus taimkate esineb, selle tihedus ja makroklassidesse jaotatud taimeliik.
Selle kasutusjuhtumi puhul jõudis Enel pärast erinevate eraldusvõimetega katsetamist järeldusele, et tasuta Sentinel 2 pildid Copernicuse programmi pakutud kulude ja tulude suhe oli parim. Lisaks taimestikule kasutab Enel hoonete tuvastamiseks ka satelliidipilte, mis on kasulik teave, et mõista, kas nende olemasolu ja Eneli toiteallika vahel on lahknevusi ja seega ka ebakorrapäraseid ühendusi või probleeme andmebaasides. Viimase kasutusjuhu jaoks ei piisa Sentinel 2 eraldusvõimest, kus üks piksel esindab 10 ruutmeetri suurust ala, ja nii ostetakse tasulisi pilte 50 ruutsentimeetrise eraldusvõimega. Ka see lahendus ei erine oluliselt varasematest kasutatavate teenuste ja voogu poolest.
Alljärgnevalt on aeropilt koos varade identifitseerimisega (postid ja isolaatorid).
Angela Italiano, ENEL Gridi andmeteaduse direktor, ütleb:
„Enelis kasutame oma elektrijaotusvõrgu kontrollimiseks arvutinägemismudeleid, rekonstrueerides oma võrgust 3D-kujutisi kümnete miljonite kvaliteetsete piltide ja LiDAR-i punktipilvede abil. Nende ML-mudelite väljaõpe nõuab juurdepääsu suurele hulgale suure jõudlusega graafikaprotsessoritega varustatud eksemplaridele ja võimalust hallata tõhusalt suuri andmemahtusid. Amazon SageMakeriga saame kiiresti koolitada kõiki oma mudeleid paralleelselt, ilma et peaksime infrastruktuuri haldama, kuna Amazon SageMakeri koolitus skaleerib arvutusressursse vastavalt vajadusele üles ja alla. Amazon SageMakeri abil saame luua oma süsteemidest 3D-pilte, jälgida kõrvalekaldeid ja teenindada tõhusalt üle 60 miljoni kliendi.
Järeldus
Selles postituses nägime, kuidas energiamaailma tipptegija nagu Enel kasutas arvutinägemise mudeleid ja SageMakeri koolitus- ja töötlemistöid, et lahendada üks peamisi probleeme nende inimeste jaoks, kes peavad haldama nii kolossaalse suurusega infrastruktuuri, jälgima paigaldatud varasid ning tuvastama elektriliini anomaaliaid ja ohuallikaid, näiteks taimestik sellele liiga lähedal.
Lisateavet seotud funktsioonide kohta SageMaker.
Autoritest
Mario Namtao Shianti Larcher on Eneli arvutivisiooni juht. Tal on matemaatika ja statistika taust ning sügavad teadmised masinõppe ja arvutinägemise vallas, ta juhib enam kui kümnest professionaalist koosnevat meeskonda. Mario roll hõlmab täiustatud lahenduste juurutamist, mis kasutavad tõhusalt tehisintellekti ja arvutinägemise jõudu, et kasutada Eneli ulatuslikke andmeressursse. Lisaks oma professionaalsetele püüdlustele kasvatab ta isiklikku kirge nii traditsioonilise kui ka tehisintellekti loodud kunsti vastu.
Cristian Gavazzeni on Amazon Web Servicesi vanemlahenduste arhitekt. Tal on üle 20-aastane kogemus müügieelse konsultandina, keskendudes andmehaldusele, infrastruktuurile ja turvalisusele. Vabal ajal meeldib talle sõpradega golfi mängida ja välismaale reisida, tehes ainult lennu- ja sõidubroneeringuid.
Giuseppe Angelo Porcelli on Amazoni veebiteenuste peamine masinõppespetsialisti lahenduste arhitekt. Mitmeaastase tarkvaratehnoloogia ja ML-taustaga teeb ta koostööd igas suuruses klientidega, et mõista põhjalikult nende äri- ja tehnilisi vajadusi ning kavandada tehisintellekti ja masinõppe lahendusi, mis kasutavad AWS-i pilve ja Amazoni masinõppe pinu kõige paremini ära. Ta on töötanud projektide kallal erinevates valdkondades, sealhulgas MLOps, Computer Vision, NLP ja kaasates laia AWS-teenuste hulka. Vabal ajal mängib Giuseppe jalgpalli.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
- PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
- PlatoESG. Autod/elektrisõidukid, Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
- BlockOffsets. Keskkonnakompensatsiooni omandi ajakohastamine. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/machine-learning/enel-automates-large-scale-power-grid-asset-management-and-anomaly-detection-using-amazon-sagemaker/
- :on
- :on
- :mitte
- : kus
- $ UP
- 1
- 10
- 100
- 13
- 20
- 20 aastat
- 2D
- 32
- 3d
- 40
- 50
- 60
- 7
- a
- võime
- Võimalik
- MEIST
- kiirendatud
- juurdepääs
- Vastavalt
- täpsus
- täpne
- üle
- lisamine
- edasijõudnud
- ettemaksed
- ADEelis
- taskukohane
- pärast
- AI
- algoritm
- Materjal: BPA ja flataatide vaba plastik
- võimaldab
- juba
- Ka
- Kuigi
- Amazon
- Amazoni masinõpe
- Amazon SageMaker
- Amazon Web Services
- edasipüüdlik
- summa
- an
- analüüs
- analüüse
- analüüsides
- ja
- anomaalia tuvastamine
- mistahes
- ilmub
- rakendused
- lähenemine
- arhitektuuri-
- arhitektuur
- OLEME
- PIIRKOND
- Kunst
- AS
- hindamine
- eelis
- varahaldus
- vara
- seotud
- At
- automatiseerima
- automatiseerib
- Automaatne
- saadaval
- vältima
- AWS
- tagapõhi
- põhineb
- BE
- sest
- on
- BEST
- vahel
- tellimustele
- mõlemad
- lai
- ehitama
- ehitatud
- äri
- kuid
- by
- arvutamisel
- kutsutud
- kaamera
- CAN
- Võimsus
- autod
- juhul
- juhtudel
- kindel
- raske
- omadused
- klass
- klassid
- klassifikatsioon
- salastatud
- lähedal
- Cloud
- Klastrite loomine
- Tulema
- ettevõte
- täiesti
- komponendid
- Arvutama
- arvuti
- Arvuti visioon
- arvutustehnika
- arvutusvõimsus
- sõlmitud
- Side
- konsultant
- kontrollida
- kulukas
- riikides
- Kursus
- kriitiline
- Kliendid
- OHT
- andmed
- andmehaldus
- andmeteadus
- andmebaasid
- sügav
- sügav õpe
- annab
- demokratiseerimine
- kirjeldatud
- Disain
- Vaatamata
- detailid
- avastama
- Detection
- arenenud
- arenev
- erinevad
- erinevus
- erinev
- digitaalne
- otse
- Juhataja
- arutama
- jaotus
- jagatud
- do
- Ei tee
- Domeenid
- tehtud
- Ära
- alla
- ajam
- kaks
- duplikaadid
- ajal
- iga
- tõhusalt
- tõhusalt
- elekter
- elemendid
- lubatud
- püüdlused
- energia
- Inseneriteadus
- tohutu
- üksus
- varustatud
- viga
- asutatud
- hindamine
- Isegi
- näited
- kallis
- kogemus
- teadmised
- ulatuslik
- väljavõte
- Väljavõtted
- äärmiselt
- tehas
- FUNKTSIOONID
- tasu
- Joonis
- lõpetatud
- Lõpuks
- leidmine
- esimene
- Paindlikkus
- voog
- keskendumine
- Järel
- jalgpall
- eest
- mets
- Õnneks
- Raamistik
- tasuta
- sageli
- sõbrad
- Alates
- funktsioonid
- edasi
- üldiselt
- loodud
- saama
- antud
- eesmärk
- golf
- valitseb
- GPU
- GPU
- võre
- Grupp
- külaline
- Külaline Postitus
- olnud
- käsi
- käputäis
- käepide
- Olema
- võttes
- he
- juhataja
- tugevalt
- siin
- kõrgetasemeline
- suur jõudlus
- kvaliteetne
- kõrgresolutsiooniga
- tema
- maja
- Kuidas
- HTML
- http
- HTTPS
- Identifitseerimine
- tuvastatud
- identifitseerima
- identifitseerimiseks
- if
- pilt
- Piltide klassifikatsioon
- pildid
- rakendamisel
- võimatu
- in
- lisatud
- Kaasa arvatud
- info
- Infrastruktuur
- paigaldatud
- huvi
- sisemiselt
- sisse
- investeerinud
- kaasates
- IT
- Itaalia
- kirjed
- ITS
- Tööturg
- jpg
- lihtsalt
- hoidma
- Teadma
- puudus
- suur
- suuremahuline
- hiljemalt
- Leads
- Lekked
- õppimine
- vähem
- Finantsvõimendus
- nagu
- meeldib
- joon
- masin
- masinõpe
- Makro
- põhiline
- tegema
- TEEB
- juhtima
- juhtimine
- käsiraamat
- käsitsi
- palju
- kaart
- kaardistus
- Mario
- sobitatud
- materjal
- matemaatika
- tähtaeg
- vahendid
- mõõdud
- mõõtmine
- Metaandmed
- meetodid
- miljon
- miljonid
- ML
- MLOps
- mudelid
- Kaasaegne
- raha
- Jälgida
- järelevalve
- rohkem
- kõige
- palju
- rahvusvahelised
- mitmekordne
- nimi
- riiklik
- vajalik
- vaja
- vajav
- vajadustele
- võrk
- nlp
- number
- objekt
- Objekti tuvastamine
- saadud
- of
- sageli
- Õli
- on
- ONE
- ones
- ainult
- töö
- operaator
- optimeerimine
- or
- korraldatud
- Muu
- teised
- meie
- välja
- üle
- enda
- Parallel
- parameetrid
- kirg
- isiklik
- fotosid
- pilt
- torujuhe
- piksel
- Taimed
- inimesele
- Platon
- Platoni andmete intelligentsus
- PlatoData
- mängija
- mängimine
- Punkt
- võrra
- positsioon
- võimalik
- post
- Postitusi
- võim
- Elektrivõrk
- vajadus
- olemasolu
- esitada
- vältida
- eelmine
- Peamine
- era-
- probleeme
- protsess
- Protsessid
- töötlemine
- professionaalne
- spetsialistid
- sügav
- Programm
- projektid
- tingimusel
- ostetud
- pütorch
- kvaliteet
- kiiresti
- pigem
- suhe
- Töötlemata
- mõistma
- põhjus
- hiljuti
- tunnustatud
- piirkondades
- seotud
- jäänused
- Taastuvad
- Aruanded
- esindab
- Vajab
- päästma
- resolutsioon
- Vahendid
- Roll
- salveitegija
- sama
- satelliit
- nägin
- ütleb
- Kaalud
- teadus
- sekundit
- sektor
- turvalisus
- segmentatsioon
- vanem
- teenima
- teenus
- Teenused
- komplekt
- mitu
- Jaga
- Lühike
- Näitused
- lihtne
- lihtsustatud
- SUURUS
- väike
- So
- tarkvara
- tarkvaraarendus
- lahendus
- Lahendused
- LAHENDAGE
- mõned
- Allikad
- Ruum
- spetsialist
- spetsiifilisus
- ruut
- Kestab
- standard
- alustatud
- riik
- statistika
- olek
- Samm
- Sammud
- ladustamine
- ladustatud
- tugev
- struktuur
- selline
- piisav
- süsteem
- süsteemid
- võtnud
- võtab
- võtmine
- Ülesanne
- ülesanded
- meeskond
- Tehniline
- Tehnoloogiad
- Tehnoloogia
- kümme
- kümneid
- tingimused
- kui
- tänan
- et
- .
- Riik
- maailm
- oma
- Neile
- SIIS
- Seal.
- seetõttu
- Need
- nad
- see
- need
- kolm
- aeg
- et
- täna
- liiga
- ülemine
- jälgida
- traditsiooniline
- Rong
- koolitatud
- koolitus
- trafod
- puu
- Trends
- kaks
- tüüp
- mõistma
- üksused
- ajakohastamine
- kasutatav
- kasutama
- kasutage juhtumit
- Kasutatud
- Kasutajad
- kasutusalad
- kasutamine
- ära kasutama
- väga
- nägemus
- mahud
- we
- web
- veebiteenused
- Hästi
- olid
- kas
- mis
- WHO
- miks
- Wikipedia
- koos
- jooksul
- ilma
- töötas
- töötab
- maailm
- oleks
- aasta
- aastat
- sa
- sephyrnet