Demistificarea învățării automate la margine prin cazuri reale de utilizare

Margine este un termen care se referă la o locație, departe de cloud sau de un mare centru de date, în care aveți un computer (dispozitiv edge) capabil să ruleze aplicații (edge). Edge computing este acțiunea de a rula sarcini de lucru pe aceste dispozitive edge. Învățarea automată la margine (ML@Edge) este un concept care aduce capacitatea de a rula modele ML la nivel local pe dispozitivele edge. Aceste modele ML pot fi apoi invocate de aplicația edge. ML@Edge este important pentru multe scenarii în care datele brute sunt colectate din surse departe de cloud. Aceste scenarii pot avea, de asemenea, cerințe sau restricții specifice:

• Predicții în timp real cu latență scăzută
• Conectivitate slabă sau inexistentă la cloud
• Restricții legale care nu permit trimiterea datelor către servicii externe
• Seturi mari de date care trebuie preprocesate local înainte de a trimite răspunsuri către cloud

Următoarele sunt câteva dintre multele cazuri de utilizare care pot beneficia de modelele ML care rulează aproape de echipamentul care generează datele utilizate pentru predicții:

• Securitate și siguranță – O zonă restricționată în care mașinile grele operează într-un port automatizat este monitorizată de o cameră. Dacă o persoană intră din greșeală în această zonă, este activat un mecanism de siguranță pentru a opri mașinile și a proteja omul.
• Întreținere predictivă – Senzorii de vibrații și audio colectează date de la o cutie de viteze a unei turbine eoliene. Un model de detectare a anomaliilor procesează datele senzorului și identifică dacă există anomalii la echipament. Dacă este detectată o anomalie, dispozitivul de margine poate începe o măsurare de urgență în timp real pentru a evita deteriorarea echipamentului, cum ar fi cuplarea întreruperilor sau deconectarea generatorului de la rețea.
• Detectarea defectelor în liniile de producție – O cameră captează imagini ale produselor pe o bandă transportoare și procesează cadrele cu un model de clasificare a imaginilor. Dacă se detectează un defect, produsul poate fi aruncat automat fără intervenție manuală.

Deși ML@Edge poate aborda multe cazuri de utilizare, există provocări arhitecturale complexe care trebuie rezolvate pentru a avea un design sigur, robust și de încredere. În această postare, aflați câteva detalii despre ML@Edge, subiecte conexe și cum să utilizați serviciile AWS pentru a depăși aceste provocări și pentru a implementa o soluție completă pentru volumul de lucru ML la edge.

Prezentare generală ML@Edge

Există o confuzie comună când vine vorba de ML@Edge și Internet of Things (IoT), prin urmare este important să clarificăm modul în care ML@Edge este diferit de IoT și cum ar putea ambele să se asocieze pentru a oferi o soluție puternică în anumite cazuri.

O soluție edge care utilizează ML@Edge are două componente principale: o aplicație edge și un model ML (invocat de aplicație) care rulează pe dispozitivul edge. ML@Edge se referă la controlul ciclului de viață al unuia sau mai multor modele ML implementate pe o flotă de dispozitive edge. Ciclul de viață al modelului ML poate începe din partea cloud (on Amazon SageMaker, de exemplu), dar se termină în mod normal cu o implementare independentă a modelului pe dispozitivul de margine. Fiecare scenariu necesită cicluri de viață diferite ale modelului ML, care pot fi compuse din mai multe etape, cum ar fi colectarea datelor; pregătirea datelor; construirea modelului, compilarea și implementarea pe dispozitivul de margine; încărcarea și funcționarea modelului; și repetarea ciclului de viață.

Mecanismul ML@Edge nu este responsabil pentru ciclul de viață al aplicației. În acest scop, ar trebui adoptată o abordare diferită. Decuplarea ciclului de viață al modelului ML și a ciclului de viață al aplicației vă oferă libertatea și flexibilitatea de a continua să le evoluați în ritmuri diferite. Imaginați-vă o aplicație mobilă care încorporează un model ML ca o resursă, cum ar fi o imagine sau un fișier XML. În acest caz, de fiecare dată când antrenați un model nou și doriți să-l implementați pe telefoanele mobile, trebuie să redistribuiți întreaga aplicație. Acest lucru consumă timp și bani și poate introduce erori în aplicația dvs. Prin decuplarea ciclului de viață al modelului ML, publicați o singură dată aplicația mobilă și implementați câte versiuni ale modelului ML aveți nevoie.

Dar cum se corelează IoT cu ML@Edge? IoT se referă la obiecte fizice încorporate cu tehnologii precum senzori, capacitatea de procesare și software. Aceste obiecte sunt conectate la alte dispozitive și sisteme prin internet sau alte rețele de comunicații, pentru a face schimb de date. Figura următoare ilustrează această arhitectură. Conceptul a fost creat inițial când ne-am gândit la dispozitive simple care doar colectează date de la margine, efectuează procesare locală simplă și trimit rezultatul către o unitate de calcul mai puternică care rulează procese de analiză care ajută oamenii și companiile în luarea deciziilor. Soluția IoT este responsabilă pentru controlul ciclului de viață al aplicației edge. Pentru mai multe informații despre IoT, consultați Internetul Lucrurilor.

Dacă aveți deja o aplicație IoT, puteți adăuga capabilități ML@Edge pentru a face produsul mai eficient, așa cum se arată în figura următoare. Rețineți că ML@Edge nu depinde de IoT, dar le puteți combina pentru a crea o soluție mai puternică. Când faceți asta, îmbunătățiți potențialul dispozitivului dvs. simplu de a genera informații în timp real pentru afacerea dvs. mai rapid decât trimiterea datelor în cloud pentru procesare ulterioară.

Dacă creați o nouă soluție edge de la zero cu capabilități ML@Edge, este important să proiectați o arhitectură flexibilă care să accepte atât ciclurile de viață ale aplicației, cât și ale modelului ML. Oferim câteva arhitecturi de referință pentru aplicațiile edge cu ML@Edge mai târziu în această postare. Dar, mai întâi, să ne aprofundăm în edge computing și să învățăm cum să alegem dispozitivul edge corect pentru soluția dvs., pe baza restricțiilor mediului.

Calcul de margine

În funcție de cât de departe este dispozitivul de cloud sau de un mare centru de date (bază), trebuie luate în considerare trei caracteristici principale ale dispozitivelor edge pentru a maximiza performanța și longevitatea sistemului: capacitatea de calcul și stocare, conectivitate și consumul de energie. Următoarea diagramă prezintă trei grupuri de dispozitive de margine care combină diferite specificații ale acestor caracteristici, în funcție de cât de departe sunt de bază.

Grupurile sunt după cum urmează:

• MEC (Computing Edge cu acces multiplu) – MEC-urile sau centrele de date mici, caracterizate prin latență scăzută sau ultra-scăzută și lățime de bandă mare, sunt medii obișnuite în care ML@Edge poate aduce beneficii fără restricții mari în comparație cu sarcinile de lucru din cloud. Antenele și serverele 5G din fabrici, depozite, laboratoare și așa mai departe, cu constrângeri minime de energie și cu o conexiune bună la internet, oferă diferite moduri de a rula modele ML pe GPU-uri și procesoare, mașini virtuale, containere și servere bare-metal.
• Aproape de margine – Acesta este momentul în care mobilitatea sau agregarea datelor sunt cerințe, iar dispozitivele au unele constrângeri în ceea ce privește consumul de energie și puterea de procesare, dar au totuși o oarecare conectivitate fiabilă, deși cu latență mai mare, cu debit limitat și mai scumpe decât „aproape de margine”. În acest grup sunt incluse aplicații mobile, plăci specifice pentru accelerarea modelelor ML sau dispozitive simple cu capacitate de rulare a modelelor ML, acoperite de rețele wireless.
• Marginea îndepărtată – În acest scenariu extrem, dispozitivele de vârf au constrângeri severe de consum de energie sau de conectivitate. În consecință, puterea de procesare este, de asemenea, limitată în multe scenarii extreme. Agricultura, mineritul, supravegherea și securitatea și transportul maritim sunt câteva domenii în care dispozitivele de vârf joacă un rol important. Plăcile simple, în mod normal fără GPU-uri sau alte acceleratoare AI, sunt comune. Sunt concepute pentru a încărca și rula modele ML simple, pentru a salva predicțiile într-o bază de date locală și pentru a dormi până la următorul ciclu de predicție. Dispozitivele care trebuie să proceseze date în timp real pot avea stocări locale mari pentru a evita pierderea datelor.

Provocări

Este obișnuit să aveți scenarii ML@Edge în care aveți sute sau mii (poate chiar milioane) de dispozitive care rulează aceleași modele și aplicații edge. Când scalați sistemul, este important să aveți o soluție robustă care să poată gestiona numărul de dispozitive pe care trebuie să le susțineți. Aceasta este o sarcină complexă și pentru aceste scenarii, trebuie să puneți multe întrebări:

• Cum operez modele ML pe o flotă de dispozitive la margine?
• Cum construiesc, optimizez și implementez modele ML pe mai multe dispozitive de vârf?
• Cum îmi securizez modelul în timp ce îl implementez și îl rulez la margine?
• Cum monitorizez performanța modelului meu și îl reantrenez, dacă este necesar?
• Cum elimin nevoia de a instala un cadru mare precum TensorFlow sau PyTorch pe dispozitivul meu restricţionat?
• Cum expun unul sau mai multe modele cu aplicația mea edge ca un simplu API?
• Cum creez un nou set de date cu încărcăturile utile și predicțiile capturate de dispozitivele edge?
• Cum fac toate aceste sarcini automat (MLOps plus ML@Edge)?

În secțiunea următoare, oferim răspunsuri la toate aceste întrebări prin exemple de cazuri de utilizare și arhitecturi de referință. De asemenea, discutăm ce servicii AWS puteți combina pentru a construi soluții complete pentru fiecare dintre scenariile explorate. Cu toate acestea, dacă doriți să începeți cu un flux foarte simplu care descrie cum să utilizați unele dintre serviciile furnizate de AWS pentru a vă crea soluția ML@Edge, acesta este un exemplu:

Cu SageMaker, puteți pregăti cu ușurință un set de date și puteți construi modelele ML care sunt implementate pe dispozitivele de vârf. Cu Amazon SageMaker Neo, puteți compila și optimiza modelul pe care l-ați antrenat pentru dispozitivul de vârf pe care l-ați ales. După compilarea modelului, aveți nevoie doar de un timp de rulare ușor pentru a-l rula (furnizat de serviciu). Amazon SageMaker Edge Manager este responsabil pentru gestionarea ciclului de viață al tuturor modelelor ML implementate în flota dvs. de dispozitive edge. Edge Manager poate gestiona flote de până la milioane de dispozitive. Un agent, instalat pe fiecare dintre dispozitivele edge, expune modelele ML implementate ca API pentru aplicație. Agentul este, de asemenea, responsabil pentru colectarea de valori, încărcături utile și predicții pe care le puteți utiliza pentru monitorizarea sau construirea unui nou set de date pentru a reantrenați modelul dacă este necesar. In fine, cu Pipelines Amazon SageMaker, puteți crea o conductă automată cu toți pașii necesari pentru a construi, optimiza și implementa modele ML în flota dvs. de dispozitive. Această conductă automată poate fi apoi declanșată de evenimente simple pe care le definiți, fără intervenția umană.

Folosiți cazul 1

Să presupunem că un producător de avioane dorește să detecteze și să urmărească piesele și uneltele din hangarul de producție. Pentru a îmbunătăți productivitatea, toate piesele necesare și uneltele corecte trebuie să fie disponibile pentru ingineri în fiecare etapă a producției. Dorim să putem răspunde la întrebări precum: Unde este partea A? sau Unde este instrumentul B? Avem deja mai multe camere IP instalate și conectate la o rețea locală. Camerele acoperă întreg hangarul și pot reda videoclipuri HD în timp real prin rețea.

AWS Panorama se potrivește bine în acest caz. AWS Panorama oferă un dispozitiv ML și un serviciu gestionat care vă permite să adăugați viziune computerizată (CV) la flota dvs. existentă de camere IP și să automatizați. AWS Panorama vă oferă posibilitatea de a adăuga un CV la camerele dvs. de protocol Internet (IP) existente și de a automatiza sarcini care necesită în mod tradițional inspecție și monitorizare umană.

În următoarea arhitectură de referință, arătăm componentele majore ale aplicației care rulează pe un AWS Panorama Appliance. Panorama Application SDK facilitează capturarea videoclipurilor din fluxurile camerei, efectuarea de inferențe cu o conductă de mai multe modele ML și procesarea rezultatelor folosind codul Python care rulează într-un container. Puteți rula modele din orice bibliotecă ML populară, cum ar fi TensorFlow, PyTorch sau TensorRT. Rezultatele modelului pot fi integrate cu sistemele de afaceri din rețeaua dumneavoastră locală, permițându-vă să răspundeți la evenimente în timp real.

Soluția constă din următorii pași:

1. Conectați și configurați un dispozitiv AWS Panorama la aceeași rețea locală.
2. Antrenați un model ML (detecția obiectelor) pentru a identifica piese și instrumente în fiecare cadru.
3. Creați o aplicație AWS Panorama care primește predicțiile din modelul ML, aplică un mecanism de urmărire fiecărui obiect și trimite rezultatele la o bază de date în timp real.
4. Operatorii pot trimite interogări către baza de date pentru a localiza piesele și instrumentele.

Folosiți cazul 2

Pentru următorul nostru caz de utilizare, imaginați-vă că creăm o cameră de bord pentru vehicule capabile să sprijine șoferul în multe situații, cum ar fi evitarea pietonilor, pe baza unui Placa CV25 de la Ambaralla. Găzduirea modelelor ML pe un dispozitiv cu resurse limitate de sistem poate fi dificilă. În acest caz, să presupunem că avem deja un mecanism de livrare OTA (over-the-air) bine stabilit pentru a implementa componentele aplicației necesare pe dispozitivul de margine. Cu toate acestea, am beneficia în continuare de capacitatea de a realiza implementarea OTA a modelului în sine, izolând astfel ciclul de viață al aplicației și ciclul de viață al modelului.

Amazon SageMaker Edge Manager și Amazon SageMaker Neo se potrivesc bine pentru acest caz de utilizare.

Edge Manager facilitează pentru dezvoltatorii ML edge să folosească aceleași instrumente familiare în cloud sau pe dispozitive edge. Reduce timpul și efortul necesar pentru a aduce modelele în producție, permițându-vă în același timp să monitorizați și să îmbunătățiți în mod continuu calitatea modelului în flota dvs. de dispozitive. SageMaker Edge include un mecanism de implementare OTA care vă ajută să implementați modele pe flotă independent de aplicația sau firmware-ul dispozitivului. The Agent Edge Manager vă permite să rulați mai multe modele pe același dispozitiv. Agentul colectează date de predicție pe baza logicii pe care o controlați, cum ar fi intervalele, și le încarcă în cloud, astfel încât să vă puteți reanaliza periodic modelele în timp. SageMaker Edge semnează criptografic modelele dvs., astfel încât să puteți verifica dacă nu a fost manipulat în timp ce trece de la un dispozitiv cloud la cel de margine.

Neo este un compilator ca serviciu și o potrivire deosebit de bună în acest caz de utilizare. Neo optimizează automat modelele ML pentru inferențe asupra instanțelor cloud și a dispozitivelor edge pentru a rula mai rapid, fără pierderi de precizie. Începeți cu un model ML construit cu unul dintre cadre suportate și instruit în SageMaker sau oriunde altundeva. Apoi alegeți platforma hardware țintă (consultați lista de dispozitive acceptate). Cu un singur clic, Neo optimizează modelul antrenat și îl compilează într-un pachet care poate fi rulat folosind timpul de rulare ușor SageMaker Edge. Compilatorul folosește un model ML pentru a aplica optimizările de performanță care extrag cea mai bună performanță disponibilă pentru modelul dvs. pe instanța cloud sau dispozitivul edge. Apoi implementați modelul ca punct final SageMaker sau pe dispozitive de margine acceptate și începeți să faceți predicții.

Următoarea diagramă ilustrează această arhitectură.

Fluxul de lucru al soluției constă din următorii pași:

1. Dezvoltatorul construiește, antrenează, validează și creează artefactul final al modelului care trebuie să fie implementat în camera de bord.
2. Invocați Neo pentru a compila modelul antrenat.
3. Agentul SageMaker Edge este instalat și configurat pe dispozitivul Edge, în acest caz camera de bord.
4. Creați un pachet de implementare cu un model semnat și timpul de execuție utilizat de agentul SageMaker Edge pentru a încărca și a invoca modelul optimizat.
5. Implementați pachetul utilizând mecanismul de implementare OTA existent.
6. Aplicația Edge interacționează cu agentul SageMaker Edge pentru a face inferențe.
7. Agentul poate fi configurat (dacă este necesar) să trimită date de intrare în eșantion în timp real din aplicație în scopuri de monitorizare și rafinare a modelului.

Folosiți cazul 3

Să presupunem că clientul dumneavoastră dezvoltă o aplicație care detectează anomalii în mecanismele unei turbine eoliene (cum ar fi cutia de viteze, generatorul sau rotorul). Scopul este de a minimiza deteriorarea echipamentului prin rularea procedurilor locale de protecție din mers. Aceste turbine sunt foarte scumpe și sunt situate în locuri care nu sunt ușor accesibile. Fiecare turbină poate fi echipată cu un dispozitiv NVIDIA Jetson pentru a monitoriza datele senzorilor de la turbină. Avem apoi nevoie de o soluție pentru a captura datele și a folosi un algoritm ML pentru a detecta anomaliile. Avem nevoie și de un mecanism OTA pentru a menține actualizate software-ul și modelele ML de pe dispozitiv.

AWS IoT Greengrass V2 împreună cu Edge Manager se potrivesc bine în acest caz de utilizare. AWS IoT Greengrass este un serviciu IoT edge runtime open-source și cloud care vă ajută să construiți, să implementați și să gestionați aplicații IoT pe dispozitivele dvs. Puteți utiliza AWS IoT Greengrass pentru a crea aplicații de vârf folosind module software pre-construite, numite componente, care vă poate conecta dispozitivele edge la servicii AWS sau servicii terță parte. Această capacitate a AWS IoT Greengrass facilitează implementarea activelor pe dispozitive, inclusiv pe un agent SageMaker Edge. AWS IoT Greengrass este responsabil pentru gestionarea ciclului de viață al aplicației, în timp ce Edge Manager decuplă ciclul de viață al modelului ML. Acest lucru vă oferă flexibilitatea de a continua să evoluați întreaga soluție prin implementarea de noi versiuni ale aplicației edge și modelelor ML în mod independent. Următoarea diagramă ilustrează această arhitectură.

Soluția constă din următorii pași:

1. Dezvoltatorul construiește, antrenează, validează și creează artefactul final al modelului care trebuie să fie implementat în turbina eoliană.
2. Invocați Neo pentru a compila modelul antrenat.
3. Creați o componentă de model utilizând Edge Manager cu integrarea AWS IoT Greengrass V2.
4. Configurați AWS IoT Greengrass V2.
5. Creați o componentă de inferență folosind AWS IoT Greengrass V2.
6. Aplicația Edge interacționează cu agentul SageMaker Edge pentru a face inferențe.
7. Agentul poate fi configurat (dacă este necesar) să trimită date de intrare în eșantion în timp real din aplicație în scopuri de monitorizare și rafinare a modelului.

Folosiți cazul 4

Pentru cazul nostru final de utilizare, să ne uităm la o navă care transportă containere, în care fiecare container are câțiva senzori și transmite un semnal către infrastructura de calcul și stocare instalată local. Provocarea este că dorim să cunoaștem conținutul fiecărui container și starea mărfurilor în funcție de temperatură, umiditate și gaze din interiorul fiecărui container. De asemenea, dorim să urmărim toate mărfurile din fiecare container. Nu există conexiune la internet pe tot parcursul călătoriei, iar călătoria poate dura luni de zile. Modelele ML care rulează pe această infrastructură ar trebui să preproceseze datele și să genereze informații pentru a răspunde la toate întrebările noastre. Datele generate trebuie stocate local timp de luni de zile. Aplicația edge stochează toate inferențele într-o bază de date locală și apoi sincronizează rezultatele cu cloud-ul când nava se apropie de port.

AWS Snowcone și AWS Snowball de la Familia de zăpadă AWS s-ar putea potrivi foarte bine în acest caz de utilizare.

AWS Snowcone este un dispozitiv mic, robust și sigur de calcul de margine și de migrare a datelor. Snowcone este proiectat conform standardului OSHA pentru un dispozitiv care poate fi ridicat pentru o singură persoană. Snowcone vă permite să rulați încărcături de lucru edge folosind Cloud Elastic de calcul Amazon (Amazon EC2) și stocare locală în medii dure, deconectate, cum ar fi platformele petroliere, vehiculele de căutare și salvare, site-urile militare sau etajele fabricilor, precum și birouri îndepărtate, spitale și cinematografe.

Snowball adaugă mai multe calculatoare în comparație cu Snowcone și, prin urmare, poate fi potrivit pentru aplicații mai solicitante. Funcția de optimizare pentru calcul oferă un GPU opțional NVIDIA Tesla V100 împreună cu instanțe EC2 pentru a accelera performanța unei aplicații în medii deconectate. Cu opțiunea GPU, puteți rula aplicații precum ML avansat și analiză video cu mișcare completă în medii cu conectivitate mică sau deloc.

Pe lângă instanța EC2, aveți libertatea de a construi și de a implementa orice tip de soluție edge. De exemplu: puteți utiliza Amazon ECS sau alt manager de containere pentru a implementa aplicația Edge, Agentul Edge Manager și modelul ML ca containere individuale. Această arhitectură ar fi similară cu cazul de utilizare 2 (cu excepția faptului că va funcționa offline de cele mai multe ori), cu adăugarea unui instrument de gestionare a containerelor.

Următoarea diagramă ilustrează această arhitectură a soluției.

Pentru a implementa această soluție, pur și simplu comandați dispozitivul Snow de la Consola de administrare AWS și lansează-ți resursele.

Concluzie

În această postare, am discutat despre diferitele aspecte ale edge cu care puteți alege să lucrați în funcție de cazul dvs. de utilizare. Am discutat, de asemenea, câteva dintre conceptele cheie din jurul ML@Edge și modul în care decuplarea ciclului de viață al aplicației și a ciclului de viață al modelului ML vă oferă libertatea de a le dezvolta fără nicio dependență unul de celălalt. Am subliniat modul în care alegerea dispozitivului de vârf potrivit pentru volumul dvs. de lucru și adresarea întrebărilor potrivite în timpul procesului de soluție vă pot ajuta să lucrați înapoi și să restrângeți serviciile AWS potrivite. De asemenea, am prezentat diferite cazuri de utilizare împreună cu arhitecturi de referință pentru a vă inspira să vă creați propriile soluții care să funcționeze pentru volumul dvs. de lucru.

---

Despre Autori

Dinesh Kumar Subramani este arhitect senior de soluții cu echipa UKIR SMB, cu sediul în Edinburgh, Scoția. El este specializat în inteligență artificială și învățare automată. Dinesh îi place să lucreze cu clienții din diverse industrii pentru a-i ajuta să-și rezolve problemele cu serviciile AWS. În afara serviciului, îi place să petreacă timpul cu familia sa, să joace șah și să se bucure de muzică în toate genurile.

Samir Araújo este un arhitect de soluții AI / ML la AWS. El îi ajută pe clienți să creeze soluții AI / ML care să-și rezolve provocările de afaceri folosind AWS. El a lucrat la mai multe proiecte AI / ML legate de viziunea pe computer, procesarea limbajului natural, prognoză, ML la margine și multe altele. Îi place să se joace cu hardware și proiecte de automatizare în timpul liber și are un interes deosebit pentru robotică.

• Coinsmart. Cel mai bun schimb de Bitcoin și Crypto din Europa.
• Platoblockchain. Web3 Metaverse Intelligence. Cunoștințe amplificate. ACCES LIBER.
• CryptoHawk. Radar Altcoin. Încercare gratuită.
• Sursa: https://aws.amazon.com/blogs/machine-learning/demystifying-machine-learning-at-the-edge-through-real-use-cases/