Aceasta este o postare a invitaților lui Mario Namtao Shianti Larcher, șeful departamentului de viziune computerizată la Enel.
Enel, care a început ca entitate națională pentru energie electrică a Italiei, este astăzi o companie multinațională prezentă în 32 de țări și primul operator de rețea privată din lume, cu 74 de milioane de utilizatori. Este, de asemenea, recunoscut ca primul jucător din surse regenerabile cu 55.4 GW de capacitate instalată. În ultimii ani, compania a investit masiv în sectorul învățării automate (ML) prin dezvoltarea unui know-how intern puternic, care le-a permis să realizeze proiecte foarte ambițioase, cum ar fi monitorizarea automată a rețelei sale de distribuție de 2.3 milioane de kilometri.
În fiecare an, Enel își inspectează rețeaua de distribuție a energiei electrice cu elicoptere, mașini sau alte mijloace; face milioane de fotografii; și reconstruiește imaginea 3D a rețelei sale, care este a nor de puncte Reconstituirea 3D a retelei, obtinuta folosind tehnologia LiDAR.
Examinarea acestor date este esențială pentru monitorizarea stării rețelei electrice, identificarea anomaliilor de infrastructură și actualizarea bazelor de date cu activele instalate și permite controlul granular al infrastructurii până la materialul și starea celui mai mic izolator instalat pe un anumit stâlp. Având în vedere cantitatea de date (peste 40 de milioane de imagini în fiecare an doar în Italia), numărul de articole care trebuie identificate și specificul acestora, o analiză complet manuală este foarte costisitoare, atât din punct de vedere al timpului, cât și al banilor, și predispusă la erori. Din fericire, datorită progreselor enorme din lumea viziunii computerizate și a învățării profunde și a maturității și democratizării acestor tehnologii, este posibilă automatizarea acestui proces costisitor parțial sau chiar complet.
Desigur, sarcina rămâne foarte dificilă și, la fel ca toate aplicațiile moderne AI, necesită putere de calcul și capacitatea de a gestiona eficient volume mari de date.
Enel și-a construit propria platformă ML (numită intern fabrica ML) pe baza Amazon SageMaker, iar platforma este stabilită ca soluție standard pentru construirea și instruirea modelelor la Enel pentru diferite cazuri de utilizare, în diferite hub-uri digitale (unități de afaceri), cu zeci de proiecte ML fiind dezvoltate pe Instruire Amazon SageMaker, Procesare Amazon SageMaker, și alte servicii AWS precum Funcții pas AWS.
Enel colectează imagini și date din două surse diferite:
- Inspecții rețele aeriene:
- nori de puncte LiDAR – Au avantajul de a fi o reconstrucție 3D extrem de precisă și geo-localizată a infrastructurii și, prin urmare, sunt foarte utile pentru calcularea distanțelor sau efectuarea de măsurători cu o precizie neobținută din analiza imaginilor 2D.
- Imagini de înaltă rezoluție – Aceste imagini ale infrastructurii sunt luate în câteva secunde una de cealaltă. Acest lucru face posibilă detectarea elementelor și anomaliilor care sunt prea mici pentru a fi identificate în norul de puncte.
- Imagini prin satelit – Deși acestea pot fi mai accesibile decât o inspecție a liniilor electrice (unele sunt disponibile gratuit sau contra cost), rezoluția și calitatea lor nu sunt adesea la egalitate cu imaginile realizate direct de Enel. Caracteristicile acestor imagini le fac utile pentru anumite sarcini, cum ar fi evaluarea densității și macrocategoria pădurilor sau găsirea clădirilor.
În această postare, discutăm detaliile despre modul în care Enel utilizează aceste trei surse și împărtășim modul în care Enel își automatizează procesul de evaluare a rețelei electrice la scară largă și procesul de detectare a anomaliilor folosind SageMaker.
Analizarea fotografiilor de înaltă rezoluție pentru a identifica activele și anomaliile
Ca și în cazul altor date nestructurate colectate în timpul inspecțiilor, fotografiile realizate sunt stocate pe Serviciul Amazon de stocare simplă (Amazon S3). Unele dintre acestea sunt etichetate manual cu scopul de a antrena diferite modele de învățare profundă pentru diferite sarcini de viziune computerizată.
Din punct de vedere conceptual, pipeline-ul de procesare și inferență presupune o abordare ierarhică cu mai mulți pași: mai întâi, sunt identificate regiunile de interes din imagine, apoi acestea sunt decupate, activele sunt identificate în interiorul lor și, în final, acestea sunt clasificate în funcție de materialul sau prezența anomaliilor pe ele. Deoarece același stâlp apare adesea în mai multe imagini, este, de asemenea, necesar să îi poți grupa imaginile pentru a evita duplicarea, operație numită reidentificare.
Pentru toate aceste sarcini, Enel folosește cadrul PyTorch și cele mai recente arhitecturi pentru clasificarea imaginilor și detectarea obiectelor, cum ar fi EfficientNet/EfficientDet sau altele pentru segmentarea semantică a anumitor anomalii, precum scurgerile de ulei pe transformatoare. Pentru sarcina de reidentificare, dacă nu o pot face geometric pentru că le lipsesc parametrii camerei, folosesc SimCLRSe folosesc metode auto-supravegheate sau arhitecturi bazate pe transformatoare. Ar fi imposibil să antrenezi toate aceste modele fără a avea acces la un număr mare de instanțe echipate cu GPU-uri de înaltă performanță, așa că toate modelele au fost antrenate în paralel folosind Instruire Amazon SageMaker locuri de muncă cu instanțe ML accelerate GPU. Inferența are aceeași structură și este orchestrată de o mașină de stare Step Functions care guvernează mai multe joburi de procesare și instruire SageMaker care, în ciuda numelui, sunt la fel de utilizabile în antrenament ca și în inferență.
Următoarea este o arhitectură la nivel înalt a conductei ML cu pașii săi principali.
Această diagramă arată arhitectura simplificată a conductei de inferență a imaginii ODIN, care extrage și analizează ROI (cum ar fi posturile de energie electrică) din imaginile setului de date. Conducta analizează în continuare ROI, extragând și analizând elementele electrice (transformatoare, izolatoare și așa mai departe). După ce componentele (ROI-uri și elemente) sunt finalizate, începe procesul de reidentificare: imaginile și polii din harta rețelei sunt potriviți pe baza metadatelor 3D. Acest lucru permite gruparea ROI-urilor referitoare la același pol. După aceea, anomaliile sunt finalizate și sunt generate rapoarte.
Extragerea de măsurători precise folosind nori de puncte LiDAR
Fotografiile de înaltă rezoluție sunt foarte utile, dar pentru că sunt 2D, este imposibil să extragi măsurători precise din ele. Norii de puncte LiDAR vin în ajutor aici, deoarece sunt 3D și au fiecare punct din nor o poziție cu o eroare asociată de mai puțin de o mână de centimetri.
Cu toate acestea, în multe cazuri, un nor de puncte brut nu este util, deoarece nu poți face mare lucru cu el dacă nu știi dacă un set de puncte reprezintă un copac, o linie electrică sau o casă. Din acest motiv, Enel folosește KPConv, un algoritm semantic de segmentare a norului de puncte, pentru a atribui o clasă fiecărui punct. După ce norul este clasificat, este posibil să ne dăm seama dacă vegetația este prea aproape de linia electrică, mai degrabă decât măsurarea înclinării stâlpilor. Datorită flexibilității serviciilor SageMaker, pipeline-ul acestei soluții nu este mult diferit de cel deja descris, singura diferență fiind că în acest caz este necesar să se folosească și instanțe GPU pentru inferență.
Următoarele sunt câteva exemple de imagini cu nori de puncte.
Privirea rețelei electrice din spațiu: cartografierea vegetației pentru a preveni întreruperile serviciului
Inspectarea rețelei electrice cu elicoptere și alte mijloace este în general foarte costisitoare și nu se poate face prea des. Pe de altă parte, a avea un sistem de monitorizare a tendințelor vegetației în intervale scurte de timp este extrem de utilă pentru optimizarea unuia dintre cele mai costisitoare procese ale unui distribuitor de energie: tăierea copacilor. Acesta este motivul pentru care Enel a inclus în soluția sa și analiza imaginilor satelitare, din care printr-o abordare multitask se identifică unde este prezentă vegetația, densitatea acesteia și tipul de plante împărțit în macroclase.
Pentru acest caz de utilizare, după ce a experimentat diferite rezoluții, Enel a concluzionat că gratuit Imaginile Sentinel 2 oferit de programul Copernicus a avut cel mai bun raport cost-beneficiu. Pe lângă vegetație, Enel folosește și imagini din satelit pentru a identifica clădirile, ceea ce este o informație utilă pentru a înțelege dacă există discrepanțe între prezența acestora și locul în care Enel furnizează energie și, prin urmare, orice conexiuni neregulate sau probleme în bazele de date. Pentru ultimul caz de utilizare, rezoluția Sentinel 2, unde un pixel reprezintă o suprafață de 10 metri pătrați, nu este suficientă, astfel încât sunt achiziționate imagini plătite cu o rezoluție de 50 de centimetri pătrați. Nici această soluție nu diferă foarte mult de cele anterioare în ceea ce privește serviciile utilizate și fluxul.
Următoarea este o fotografie aeriană cu identificarea activelor (stâlp și izolatori).
Angela Italiano, Director de Data Science la ENEL Grid, spune:
„La Enel, folosim modele de computer vision pentru a inspecta rețeaua noastră de distribuție a energiei electrice, reconstruind imagini 3D ale rețelei noastre folosind zeci de milioane de imagini de înaltă calitate și nori de puncte LiDAR. Antrenarea acestor modele ML necesită acces la un număr mare de instanțe echipate cu GPU-uri de înaltă performanță și capacitatea de a gestiona eficient volume mari de date. Cu Amazon SageMaker, putem antrena rapid toate modelele noastre în paralel, fără a fi nevoie să gestionăm infrastructura, deoarece instruirea Amazon SageMaker mărește resursele de calcul în sus și în jos, după cum este necesar. Folosind Amazon SageMaker, suntem capabili să construim imagini 3D ale sistemelor noastre, să monitorizăm anomaliile și să servim eficient peste 60 de milioane de clienți.”
Concluzie
În această postare, am văzut cum un jucător de top din lumea energiei precum Enel a folosit modele de viziune computerizată și joburi de instruire și procesare SageMaker pentru a rezolva una dintre principalele probleme ale celor care trebuie să gestioneze o infrastructură de această dimensiune colosală, să țină evidența activelor instalate și să identifice anomaliile și sursele de pericol pentru o linie electrică, cum ar fi vegetația prea aproape de ea.
Aflați mai multe despre caracteristicile asociate ale SageMaker.
Despre Autori
Mario Namtao Shianti Larcher este șeful departamentului Computer Vision la Enel. Are o experiență în matematică, statistică și o experiență profundă în învățarea automată și viziunea pe computer, conduce o echipă de peste zece profesioniști. Rolul lui Mario presupune implementarea de soluții avansate care utilizează eficient puterea AI și a viziunii computerizate pentru a valorifica resursele extinse de date ale Enel. Pe lângă eforturile sale profesionale, el nutrește o pasiune personală atât pentru arta tradițională, cât și pentru arta generată de inteligență artificială.
Cristian Gavazzeni este arhitect senior de soluții la Amazon Web Services. Are o experiență de peste 20 de ani ca consultant pre-vânzare, concentrându-se pe managementul datelor, infrastructură și securitate. În timpul liber îi place să joace golf cu prietenii și să călătorească în străinătate doar cu rezervări de zbor și mașină.
Giuseppe Angelo Porcelli este arhitect principal de soluții de specialitate în învățare automată pentru Amazon Web Services. Cu câțiva ani în domeniul ingineriei software cu un fundal ML, el lucrează cu clienți de orice dimensiune pentru a înțelege în profunzime nevoile lor de afaceri și tehnice și pentru a proiecta soluții AI și de învățare automată care folosesc cel mai bine AWS Cloud și stiva Amazon Machine Learning. El a lucrat la proiecte în diferite domenii, inclusiv MLOps, Computer Vision, NLP și implicând un set larg de servicii AWS. În timpul liber lui Giuseppe îi place să joace fotbal.
- Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
- PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
- PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
- PlatoESG. Automobile/VE-uri, carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
- BlockOffsets. Modernizarea proprietății de compensare a mediului. Accesați Aici.
- Sursa: https://aws.amazon.com/blogs/machine-learning/enel-automates-large-scale-power-grid-asset-management-and-anomaly-detection-using-amazon-sagemaker/
- :are
- :este
- :nu
- :Unde
- $UP
- 1
- 10
- 100
- 13
- 20
- ani 20
- 2D
- 32
- 3d
- 40
- 50
- 60
- 7
- a
- capacitate
- Capabil
- Despre Noi
- accelerat
- acces
- Conform
- precizie
- precis
- peste
- plus
- avansat
- avans
- Avantaj
- accesibil
- După
- AI
- Algoritmul
- TOATE
- permite
- deja
- de asemenea
- Cu toate ca
- Amazon
- Învățare automată Amazon
- Amazon SageMaker
- Amazon Web Services
- ambițios
- sumă
- an
- analiză
- analize
- analiza
- și
- detectarea anomaliilor
- Orice
- apare
- aplicatii
- abordare
- arhitectural
- arhitectură
- SUNT
- ZONĂ
- Artă
- AS
- evaluare
- activ
- gestionarea activelor
- Bunuri
- asociate
- At
- automatizarea
- automate
- Automat
- disponibil
- evita
- AWS
- fundal
- bazat
- BE
- deoarece
- fiind
- CEL MAI BUN
- între
- rezervările
- atât
- larg
- construi
- construit
- afaceri
- dar
- by
- calcularea
- denumit
- aparat foto
- CAN
- Capacitate
- masini
- caz
- cazuri
- sigur
- provocare
- Caracteristici
- clasă
- clase
- clasificare
- clasificate
- Închide
- Cloud
- clustering
- cum
- companie
- complet
- componente
- Calcula
- calculator
- Computer Vision
- tehnica de calcul
- puterea de calcul
- încheiat
- Conexiuni
- consultant
- Control
- costisitor
- țări
- Curs
- critic
- clienţii care
- PERICOL
- de date
- management de date
- știința datelor
- baze de date
- adânc
- învățare profundă
- Oferă
- democratizare
- descris
- Amenajări
- În ciuda
- detalii
- detecta
- Detectare
- dezvoltat
- în curs de dezvoltare
- diferi
- diferenţă
- diferit
- digital
- direct
- Director
- discuta
- distribuire
- împărțit
- do
- Nu
- domenii
- făcut
- Dont
- jos
- conduce
- două
- duplicate
- în timpul
- fiecare
- în mod eficient
- eficient
- electricitate
- element
- activat
- eforturi
- energie
- Inginerie
- enorm
- entitate
- echipat
- eroare
- stabilit
- evaluarea
- Chiar
- exemple
- scump
- experienţă
- expertiză
- extensiv
- extrage
- extracte
- extrem
- fabrică
- DESCRIERE
- taxă
- Figura
- finalizat
- În cele din urmă
- descoperire
- First
- Flexibilitate
- debit
- concentrându-se
- următor
- Fotbal
- Pentru
- pădure
- din fericire
- Cadru
- Gratuit
- frecvent
- Prietenii lui
- din
- funcții
- mai mult
- în general
- generată
- obține
- dat
- scop
- golf
- guvernează
- GPU
- unități de procesare grafică
- Grilă
- grup
- Oaspete
- Vizitator Mesaj
- HAD
- mână
- mână
- manipula
- Avea
- având în
- he
- cap
- puternic
- aici
- la nivel înalt
- performanta ridicata
- de înaltă calitate
- Rezoluție înaltă
- lui
- casă
- Cum
- HTML
- http
- HTTPS
- Identificare
- identificat
- identifica
- identificarea
- if
- imagine
- Clasificarea imaginilor
- imagini
- Punere în aplicare a
- imposibil
- in
- inclus
- Inclusiv
- informații
- Infrastructură
- instalat
- interes
- intern
- în
- investit
- implicând
- IT
- Italia
- articole
- ESTE
- Locuri de munca
- jpg
- doar
- A pastra
- Cunoaște
- lipsă
- mare
- pe scară largă
- Ultimele
- Conduce
- Scurgeri
- învăţare
- mai puțin
- Pârghie
- ca
- îi place
- Linie
- maşină
- masina de învățare
- Macro
- Principal
- face
- FACE
- administra
- administrare
- manual
- manual
- multe
- Hartă
- cartografiere
- mario
- potrivire
- material
- matematică
- scadență
- mijloace
- măsurători
- măsurare
- Metadata
- Metode
- milion
- milioane
- ML
- MLOps
- Modele
- Modern
- bani
- monitor
- Monitorizarea
- mai mult
- cele mai multe
- mult
- multinațională
- multiplu
- nume
- național
- necesar
- necesar
- au nevoie
- nevoilor
- reţea
- nlp
- număr
- obiect
- Detectarea obiectelor
- obținut
- of
- de multe ori
- Ulei
- on
- ONE
- cele
- afară
- operaţie
- operator
- optimizarea
- or
- orchestrat
- Altele
- Altele
- al nostru
- afară
- peste
- propriu
- Paralel
- parametrii
- pasiune
- personal
- fotografii
- imagine
- conducte
- Pixel
- Plante
- platformă
- Plato
- Informații despre date Platon
- PlatoData
- player
- joc
- Punct
- puncte
- poziţie
- posibil
- Post
- postări
- putere
- Rețea de energie electrică
- precis
- prezenţă
- prezenta
- împiedica
- precedent
- Principal
- privat
- probleme
- proces
- procese
- prelucrare
- profesional
- profesioniști
- profund
- Program
- Proiecte
- prevăzut
- cumparate
- pirtorh
- calitate
- repede
- mai degraba
- raport
- Crud
- realiza
- motiv
- recent
- recunoscut
- regiuni
- legate de
- rămășițe
- Sursele regenerabile de energie
- Rapoarte
- reprezintă
- Necesită
- salvare
- Rezoluţie
- Resurse
- Rol
- sagemaker
- acelaşi
- satelit
- văzut
- spune
- cântare
- Ştiinţă
- secunde
- sector
- securitate
- segmentarea
- senior
- servi
- serviciu
- Servicii
- set
- câteva
- Distribuie
- Pantaloni scurți
- Emisiuni
- simplu
- simplificată
- Mărimea
- mic
- So
- Software
- Inginerie software
- soluţie
- soluţii
- REZOLVAREA
- unele
- Surse
- Spaţiu
- specialist
- specificitate
- pătrat
- stivui
- standard
- început
- Stat
- statistică
- Stare
- Pas
- paşi
- depozitare
- stocate
- puternic
- structura
- astfel de
- suficient
- sistem
- sisteme
- luate
- ia
- luare
- Sarcină
- sarcini
- echipă
- Tehnic
- Tehnologii
- Tehnologia
- zece
- zeci
- termeni
- decât
- mulțumesc
- acea
- Statul
- lumea
- lor
- Lor
- apoi
- Acolo.
- prin urmare
- Acestea
- ei
- acest
- aceste
- trei
- timp
- la
- astăzi
- de asemenea
- top
- urmări
- tradiţional
- Tren
- dresat
- Pregătire
- transformatoare
- copac
- Tendinţe
- Două
- tip
- înţelege
- de unităţi
- actualizarea
- utilizabil
- utilizare
- carcasa de utilizare
- utilizat
- utilizatorii
- utilizări
- folosind
- folosi
- foarte
- viziune
- volume
- we
- web
- servicii web
- BINE
- au fost
- dacă
- care
- OMS
- de ce
- Wikipedia
- cu
- în
- fără
- a lucrat
- fabrică
- lume
- ar
- an
- ani
- Tu
- zephyrnet