Demistifikacija strojnega učenja na robu skozi resnične primere uporabe

Edge je izraz, ki se nanaša na lokacijo, daleč od oblaka ali velikega podatkovnega centra, kjer imate računalniško napravo (edge ​​device), ki lahko izvaja (edge) aplikacije. Robno računalništvo je dejanje izvajanja delovnih obremenitev na teh robnih napravah. Strojno učenje na robu (ML@Edge) je koncept, ki prinaša zmožnost lokalnega izvajanja modelov ML na robnih napravah. Te modele ML lahko nato prikliče robna aplikacija. ML@Edge je pomemben za številne scenarije, kjer se neobdelani podatki zbirajo iz virov, ki so daleč od oblaka. Ti scenariji imajo lahko tudi posebne zahteve ali omejitve:

• Napovedi v realnem času z nizko zakasnitvijo
• Slaba ali neobstoječa povezljivost z oblakom
• Pravne omejitve, ki ne dovoljujejo pošiljanja podatkov zunanjim storitvam
• Veliki nabori podatkov, ki jih je treba predhodno obdelati lokalno, preden pošljejo odgovore v oblak

Sledi nekaj primerov uporabe, ki jim lahko koristijo modeli ML, ki se izvajajo blizu opreme, ki ustvarja podatke, uporabljene za napovedi:

• Varnost in varnost – Omejeno območje, kjer težki stroji delujejo v avtomatiziranem pristanišču, je nadzorovano s kamero. Če oseba pomotoma vstopi v to območje, se aktivira varnostni mehanizem, ki zaustavi stroje in zaščiti človeka.
• Predvidevanje vzdrževanja – Vibracijski in zvočni senzorji zbirajo podatke iz menjalnika vetrne turbine. Model za odkrivanje nepravilnosti obdeluje podatke senzorja in prepozna nepravilnosti v opremi. Če je zaznana anomalija, lahko robna naprava v realnem času začne meritev v nepredvidljivih dogodkih, da se izogne ​​poškodbam opreme, na primer vključi prekinitve ali odklop generatorja iz omrežja.
• Odkrivanje napak v proizvodnih linijah – Kamera zajema slike izdelkov na tekočem traku in obdela okvirje z modelom klasifikacije slike. Če je zaznana napaka, se lahko izdelek samodejno zavrže brez ročnega posega.

Čeprav lahko ML@Edge obravnava številne primere uporabe, obstajajo zapleteni arhitekturni izzivi, ki jih je treba rešiti, da bi imeli varno, robustno in zanesljivo zasnovo. V tej objavi boste izvedeli nekaj podrobnosti o ML@Edge, sorodnih temah in o tem, kako uporabljati storitve AWS za premagovanje teh izzivov in implementacijo popolne rešitve za vaš ML pri delovni obremenitvi roba.

Pregled ML@Edge

Obstaja pogosta zmeda, ko gre za ML@Edge in internet stvari (IoT), zato je pomembno razjasniti, kako se ML@Edge razlikuje od interneta stvari in kako bi lahko oba združila, da bi v določenih primerih zagotovila zmogljivo rešitev.

Robna rešitev, ki uporablja ML@Edge, ima dve glavni komponenti: robno aplikacijo in model ML (ki ga prikliče aplikacija), ki se izvaja na robni napravi. ML@Edge je namenjen nadzoru življenjskega cikla enega ali več modelov ML, ki so nameščeni v skupini robnih naprav. Življenjski cikel modela ML se lahko začne na strani oblaka (on Amazon SageMaker, na primer), vendar se običajno konča s samostojno uvedbo modela na robni napravi. Vsak scenarij zahteva različne življenjske cikle modela ML, ki jih je mogoče sestaviti iz več stopenj, kot je zbiranje podatkov; priprava podatkov; izdelava modela, prevajanje in namestitev na robno napravo; nalaganje in delovanje modela; in ponavljanje življenjskega cikla.

Mehanizem ML@Edge ni odgovoren za življenjski cikel aplikacije. V ta namen je treba uporabiti drugačen pristop. Ločevanje življenjskega cikla modela ML in življenjskega cikla aplikacije vam daje svobodo in prilagodljivost, da ju razvijate z različnimi hitrostmi. Predstavljajte si mobilno aplikacijo, ki vdela model ML kot vir, kot je slika ali datoteka XML. V tem primeru morate vsakič, ko usposobite nov model in ga želite namestiti v mobilne telefone, znova namestiti celotno aplikacijo. To porabi čas in denar ter lahko povzroči napake v vaši aplikaciji. Z ločitvijo življenjskega cikla modela ML enkrat objavite mobilno aplikacijo in uvedete toliko različic modela ML, kot jih potrebujete.

Kako pa je IoT povezan z ML@Edge? IoT se nanaša na fizične objekte, v katere so vgrajene tehnologije, kot so senzorji, sposobnost obdelave in programska oprema. Ti objekti so povezani z drugimi napravami in sistemi prek interneta ali drugih komunikacijskih omrežij, da izmenjujejo podatke. Naslednja slika ponazarja to arhitekturo. Koncept je bil prvotno ustvarjen ob razmišljanju o preprostih napravah, ki samo zbirajo podatke z roba, izvajajo preprosto lokalno obdelavo in pošljejo rezultat zmogljivejši računalniški enoti, ki izvaja analitične procese, ki ljudem in podjetjem pomagajo pri sprejemanju odločitev. Rešitev IoT je odgovorna za nadzor življenjskega cikla robne aplikacije. Za več informacij o IoT glejte Internet stvari.

Če že imate aplikacijo IoT, lahko dodate zmožnosti ML@Edge, da bo izdelek učinkovitejši, kot je prikazano na naslednji sliki. Ne pozabite, da ML@Edge ni odvisen od interneta stvari, vendar jih lahko združite in ustvarite zmogljivejšo rešitev. Ko to storite, izboljšate potencial svoje preproste naprave za ustvarjanje vpogledov v realnem času za vaše podjetje hitreje kot le pošiljanje podatkov v oblak za kasnejšo obdelavo.

Če ustvarjate novo robno rešitev iz nič z zmogljivostmi ML@Edge, je pomembno, da oblikujete prilagodljivo arhitekturo, ki podpira življenjske cikle aplikacije in modela ML. V nadaljevanju te objave nudimo nekaj referenčnih arhitektur za robne aplikacije z ML@Edge. Najprej pa se poglobimo v robno računalništvo in se naučimo, kako izbrati pravo robno napravo za svojo rešitev glede na omejitve okolja.

Ročno računanje

Glede na to, kako daleč je naprava od oblaka ali velikega podatkovnega središča (baze), je treba upoštevati tri glavne značilnosti robnih naprav, da povečate zmogljivost in dolgo življenjsko dobo sistema: računalniško zmogljivost in zmogljivost shranjevanja, povezljivost in porabo energije. Naslednji diagram prikazuje tri skupine robnih naprav, ki združujejo različne specifikacije teh značilnosti, odvisno od tega, kako oddaljene so od osnove.

Skupine so naslednje:

• MEC (robno računalništvo z več dostopi) – MEC ali majhni podatkovni centri, za katere je značilna nizka ali izjemno nizka zakasnitev in visoka pasovna širina, so pogosta okolja, kjer lahko ML@Edge prinese koristi brez večjih omejitev v primerjavi z delovnimi obremenitvami v oblaku. Antene in strežniki 5G v tovarnah, skladiščih, laboratorijih in tako naprej z minimalnimi energetskimi omejitvami in z dobro internetno povezljivostjo ponujajo različne načine za izvajanje modelov ML na GPE in CPE, virtualnih strojih, vsebnikih in golih strežnikih.
• Blizu roba – Takrat sta zahteva mobilnost ali združevanje podatkov in imajo naprave nekaj omejitev glede porabe energije in procesorske moči, vendar imajo še vedno nekaj zanesljive povezljivosti, čeprav z večjo zakasnitvijo, z omejeno prepustnostjo in dražje kot »blizu roba«. V to skupino so vključene mobilne aplikacije, posebne plošče za pospeševanje modelov ML ali preproste naprave z zmogljivostjo za zagon modelov ML, ki jih pokrivajo brezžična omrežja.
• Skrajni rob – V tem ekstremnem scenariju imajo robne naprave veliko porabo energije ali omejitve povezljivosti. Posledično je tudi procesorska moč omejena v mnogih scenarijih oddaljenega roba. Kmetijstvo, rudarstvo, nadzor in varnost ter pomorski promet so nekatera področja, kjer imajo oddaljene naprave pomembno vlogo. Preproste plošče, običajno brez grafičnih procesorjev ali drugih pospeševalnikov umetne inteligence, so običajne. Zasnovani so za nalaganje in izvajanje preprostih modelov ML, shranjevanje napovedi v lokalno zbirko podatkov in mirovanje do naslednjega cikla napovedi. Naprave, ki morajo obdelovati podatke v realnem času, imajo lahko velike lokalne pomnilnike, da preprečijo izgubo podatkov.

Izzivi

Običajni so scenariji ML@Edge, kjer imate na stotine ali tisoče (morda celo milijone) naprav, ki poganjajo iste modele in robne aplikacije. Ko prilagajate sistem, je pomembno, da imate robustno rešitev, ki lahko upravlja število naprav, ki jih morate podpirati. To je zapletena naloga in za te scenarije morate postaviti veliko vprašanj:

• Kako upravljam modele ML na floti naprav na robu?
• Kako zgradim, optimiziram in uvedem modele ML na več robnih naprav?
• Kako zaščitim svoj model med uvajanjem in izvajanjem na robu?
• Kako spremljam delovanje svojega modela in ga po potrebi ponovno usposobim?
• Kako odpravim potrebo po namestitvi velikega ogrodja, kot je TensorFlow ali PyTorch, na svojo omejeno napravo?
• Kako izpostavim enega ali več modelov s svojo robno aplikacijo kot preprost API?
• Kako ustvarim nov nabor podatkov s koristnimi obremenitvami in napovedmi, ki jih zajamejo robne naprave?
• Kako vsa ta opravila opravim samodejno (MLOps plus ML@Edge)?

V naslednjem razdelku ponujamo odgovore na vsa ta vprašanja prek primerov uporabe in referenčnih arhitektur. Razpravljamo tudi o tem, katere storitve AWS lahko združite, da ustvarite popolne rešitve za vsakega od raziskanih scenarijev. Če pa želite začeti z zelo preprostim potekom, ki opisuje, kako uporabiti nekatere storitve, ki jih ponuja AWS, da ustvarite svojo rešitev ML@Edge, je to primer:

S SageMakerjem lahko preprosto pripravite nabor podatkov in zgradite modele ML, ki so uvedeni v robne naprave. z Amazon SageMaker Neo, lahko sestavite in optimizirate model, ki ste ga usposobili za določeno robno napravo, ki ste jo izbrali. Po prevajanju modela potrebujete le lahek čas izvajanja, da ga zaženete (zagotavlja storitev). Amazon SageMaker Edge Manager je odgovoren za upravljanje življenjskega cikla vseh modelov ML, nameščenih v vaši floti robnih naprav. Edge Manager lahko upravlja flote do milijonov naprav. Agent, nameščen v vsako od robnih naprav, razkrije razporejene modele ML kot API za aplikacijo. Agent je odgovoren tudi za zbiranje meritev, uporabnih obremenitev in predvidevanj, ki jih lahko uporabite za spremljanje ali gradnjo novega nabora podatkov za ponovno usposabljanje modela, če je to potrebno. Končno, z Amazonski cevovodi SageMaker, lahko ustvarite avtomatiziran cevovod z vsemi potrebnimi koraki za gradnjo, optimizacijo in uvajanje modelov ML v vašo floto naprav. Ta avtomatizirani cevovod lahko nato sprožijo preprosti dogodki, ki jih definirate, brez človeškega posredovanja.

Uporabite 1. primer

Recimo, da želi proizvajalec letal zaznati in izslediti dele in orodja v proizvodnem hangarju. Za izboljšanje produktivnosti morajo biti vsi zahtevani deli in pravilna orodja na voljo inženirjem na vsaki stopnji proizvodnje. Želimo biti sposobni odgovoriti na vprašanja, kot so: Kje je del A? ali Kje je orodje B? Imamo že nameščenih več IP ​​kamer, ki so povezane v lokalno omrežje. Kamere pokrivajo celoten hangar in lahko v omrežju pretakajo HD video v realnem času.

Panorama AWS v tem primeru se lepo prilega. AWS Panorama ponuja napravo ML in upravljano storitev, ki vam omogoča dodajanje računalniškega vida (CV) vaši obstoječi floti kamer IP in avtomatizacijo. AWS Panorama vam omogoča, da svojim obstoječim kameram z internetnim protokolom (IP) dodate CV in avtomatizirate naloge, ki tradicionalno zahtevajo človeški pregled in nadzor.

V naslednji referenčni arhitekturi prikazujemo glavne komponente aplikacije, ki se izvaja v napravi AWS Panorama. Panorama Application SDK olajša zajemanje videa iz tokov kamere, izvajanje sklepanja s cevovodom več modelov ML in obdelavo rezultatov z uporabo kode Python, ki se izvaja znotraj vsebnika. Zaženete lahko modele iz katere koli priljubljene knjižnice ML, kot je TensorFlow, PyTorch ali TensorRT. Rezultate modela je mogoče integrirati s poslovnimi sistemi v vašem lokalnem omrežju, kar vam omogoča, da se na dogodke odzovete v realnem času.

Rešitev je sestavljena iz naslednjih korakov:

1. Povežite in konfigurirajte napravo AWS Panorama v isto lokalno omrežje.
2. Usposobite model ML (zaznavanje predmeta) za prepoznavanje delov in orodij v vsakem okvirju.
3. Zgradite aplikacijo AWS Panorama, ki pridobi napovedi iz modela ML, uporabi mehanizem sledenja za vsak predmet in pošlje rezultate v bazo podatkov v realnem času.
4. Operaterji lahko pošljejo poizvedbe v bazo podatkov, da poiščejo dele in orodja.

Uporabite 2. primer

Za naš naslednji primer uporabe si predstavljajte, da ustvarjamo armaturno kamero za vozila, ki je sposobna podpreti voznika v številnih situacijah, kot je izogibanje pešcem, na podlagi Plošča CV25 podjetja Ambaralla. Gostovanje modelov ML na napravi z omejenimi sistemskimi viri je lahko težavno. V tem primeru predpostavimo, da že imamo vzpostavljen dobro uveljavljen mehanizem dostave po zraku (OTA) za namestitev potrebnih aplikacijskih komponent na robno napravo. Vendar bi nam še vedno koristila zmožnost izvajanja OTA uvajanja samega modela, s čimer bi izolirali življenjski cikel aplikacije in življenjski cikel modela.

Amazon SageMaker Edge Manager in Amazon SageMaker Neo dobro ustrezajo temu primeru uporabe.

Edge Manager razvijalcem ML edge olajša uporabo istih znanih orodij v oblaku ali na robnih napravah. Zmanjšuje čas in trud, potreben za pripravo modelov v proizvodnjo, hkrati pa vam omogoča stalno spremljanje in izboljšanje kakovosti modelov v celotnem parku naprav. SageMaker Edge vključuje mehanizem za uvajanje OTA, ki vam pomaga pri uvajanju modelov v floto neodvisno od aplikacije ali vdelane programske opreme naprave. The Agent programa Edge Manager omogoča uporabo več modelov na isti napravi. Agent zbira podatke o predvidevanju na podlagi logike, ki jo nadzorujete, kot so intervali, in jih naloži v oblak, tako da lahko občasno znova usposobite svoje modele skozi čas. SageMaker Edge kriptografsko podpiše vaše modele, tako da lahko preverite, ali ni bil spremenjen, ko se premika iz oblaka v napravo edge.

Neo je prevajalnik kot storitev in je še posebej primeren v tem primeru uporabe. Neo samodejno optimizira modele ML za sklepanje na primerkih v oblaku in robnih napravah, da delujejo hitreje brez izgube natančnosti. Začnete z modelom ML, izdelanim z enim od podprti okviri in usposobljeni za SageMaker ali kjer koli drugje. Nato izberete ciljno platformo strojne opreme (glejte seznam podprte naprave). Z enim samim klikom Neo optimizira naučen model in ga sestavi v paket, ki ga je mogoče zagnati z uporabo lahkega izvajalnega okolja SageMaker Edge. Prevajalnik uporablja model ML za uporabo optimizacij zmogljivosti, ki izvlečejo najboljšo razpoložljivo zmogljivost za vaš model na primerku v oblaku ali robni napravi. Nato uvedete model kot končno točko SageMaker ali na podprtih robnih napravah in začnete napovedovati.

Naslednji diagram prikazuje to arhitekturo.

Potek dela rešitve je sestavljen iz naslednjih korakov:

1. Razvijalec gradi, uri, validira in ustvari končni artefakt modela, ki ga je treba namestiti v armaturno kamero.
2. Prikličite Neo, da prevede izurjeni model.
3. Agent SageMaker Edge je nameščen in konfiguriran na napravi Edge, v tem primeru na armaturni plošči.
4. Ustvarite paket za uvajanje s podpisanim modelom in časom izvajanja, ki ga uporablja agent SageMaker Edge za nalaganje in priklic optimiziranega modela.
5. Razmestite paket z uporabo obstoječega mehanizma za uvajanje OTA.
6. Robna aplikacija sodeluje z agentom SageMaker Edge za sklepanje.
7. Agenta je mogoče konfigurirati (če je potrebno) za pošiljanje vzorčnih vhodnih podatkov v realnem času iz aplikacije za namene spremljanja in izboljšave modela.

Uporabite 3. primer

Recimo, da vaša stranka razvija aplikacijo, ki zaznava anomalije v mehanizmih vetrne turbine (kot je menjalnik, generator ali rotor). Cilj je zmanjšati škodo na opremi s sprotnim izvajanjem lokalnih zaščitnih postopkov. Te turbine so zelo drage in se nahajajo na težko dostopnih mestih. Vsako turbino je mogoče opremiti z napravo NVIDIA Jetson za spremljanje podatkov senzorjev iz turbine. Nato potrebujemo rešitev za zajem podatkov in uporabo algoritma ML za odkrivanje nepravilnosti. Potrebujemo tudi mehanizem OTA za posodabljanje programske opreme in modelov ML v napravi.

AWS IoT Greengrass V2 skupaj z Edge Managerjem se dobro ujemajo v tem primeru uporabe. AWS IoT Greengrass je odprtokodno IoT robno izvajalno okolje in storitev v oblaku, ki vam pomaga graditi, uvajati in upravljati IoT aplikacije v vaših napravah. AWS IoT Greengrass lahko uporabite za gradnjo robnih aplikacij z uporabo vnaprej izdelanih programskih modulov, imenovanih deli, ki lahko poveže vaše robne naprave s storitvami AWS ali storitvami tretjih oseb. Ta zmožnost AWS IoT Greengrass olajša uvajanje sredstev v naprave, vključno z agentom SageMaker Edge. AWS IoT Greengrass je odgovoren za upravljanje življenjskega cikla aplikacije, medtem ko Edge Manager ločuje življenjski cikel modela ML. To vam daje prilagodljivost, da še naprej razvijate celotno rešitev z neodvisnim uvajanjem novih različic robne aplikacije in modelov ML. Naslednji diagram ponazarja to arhitekturo.

Rešitev je sestavljena iz naslednjih korakov:

1. Razvijalec zgradi, uri, potrdi in ustvari končni artefakt modela, ki ga je treba namestiti na vetrno turbino.
2. Prikličite Neo, da prevede izurjeni model.
3. Ustvarite komponento modela z uporabo programa Edge Manager z integracijo AWS IoT Greengrass V2.
4. Nastavite AWS IoT Greengrass V2.
5. Ustvarite komponento sklepanja z uporabo AWS IoT Greengrass V2.
6. Robna aplikacija sodeluje z agentom SageMaker Edge za sklepanje.
7. Agenta je mogoče konfigurirati (če je potrebno) za pošiljanje vzorčnih vhodnih podatkov v realnem času iz aplikacije za namene spremljanja in izboljšave modela.

Uporabite 4. primer

Za naš končni primer uporabe si oglejmo plovilo, ki prevaža zabojnike, kjer ima vsak zabojnik nekaj senzorjev in pretaka signal v računalniško in pomnilniško infrastrukturo, nameščeno lokalno. Izziv je v tem, da želimo vedeti vsebino vsakega zabojnika in stanje blaga na podlagi temperature, vlažnosti in plinov v vsakem zabojniku. Prav tako želimo slediti vsemu blagu v vsakem od kontejnerjev. Celotno potovanje ni internetne povezave, potovanje pa lahko traja več mesecev. Modeli ML, ki se izvajajo na tej infrastrukturi, bi morali predhodno obdelati podatke in ustvariti informacije za odgovore na vsa naša vprašanja. Ustvarjene podatke je treba hraniti lokalno več mesecev. Edge aplikacija shrani vse sklepe v lokalno bazo podatkov in nato sinhronizira rezultate z oblakom, ko se plovilo približa pristanišču.

Snežni stožec AWS in AWS Snežna kepa Iz AWS Snow Family se lahko zelo dobro prilega v tem primeru uporabe.

AWS Snowcone je majhna, robustna in varna naprava za robno računalništvo in prenos podatkov. Snowcone je zasnovan po standardu OSHA za dvigljivo napravo za eno osebo. Snowcone vam omogoča izvajanje robnih delovnih obremenitev z uporabo Amazonski elastični računalniški oblak (Amazon EC2) računalništvo in lokalno shranjevanje v težkih, nepovezanih poljskih okoljih, kot so naftne ploščadi, vozila za iskanje in reševanje, vojaška mesta ali tovarniška tla, kot tudi oddaljene pisarne, bolnišnice in kinodvorane.

Snowball doda več računalništva v primerjavi s Snowcone in je zato lahko odličen za zahtevnejše aplikacije. Funkcija Compute Optimized ponuja izbirni grafični procesor NVIDIA Tesla V100 skupaj z instancami EC2 za pospešitev delovanja aplikacije v nepovezanih okoljih. Z možnostjo GPE lahko izvajate aplikacije, kot sta napredno ML in analiza videa v celoti v gibanju, v okoljih z malo ali brez povezljivosti.

Poleg instance EC2 imate še svobodo gradnje in uvajanja katere koli vrste robne rešitve. Na primer: lahko uporabite Amazon ECS ali drugega upravitelja vsebnikov za uvedbo robne aplikacije, agenta Edge Manager in modela ML kot posameznih vsebnikov. Ta arhitektura bi bila podobna primeru uporabe 2 (le da bo večino časa delovala brez povezave), z dodatkom orodja za upravljanje vsebnikov.

Naslednji diagram ponazarja to arhitekturo rešitve.

Za izvedbo te rešitve preprosto naročite svojo napravo Snow pri Konzola za upravljanje AWS in zaženite svoje vire.

zaključek

V tej objavi smo razpravljali o različnih vidikih edge, s katerimi se lahko odločite za delo glede na vaš primer uporabe. Razpravljali smo tudi o nekaterih ključnih konceptih okoli ML@Edge in o tem, kako vam ločevanje življenjskega cikla aplikacije in življenjskega cikla modela ML daje svobodo, da ju razvijate brez kakršne koli odvisnosti drug od drugega. Poudarili smo, kako vam lahko izbira prave robne naprave za vašo delovno obremenitev in postavljanje pravih vprašanj med postopkom rešitve pomaga delati nazaj in zožiti prave storitve AWS. Predstavili smo tudi različne primere uporabe skupaj z referenčnimi arhitekturami, da bi vas navdihnili pri ustvarjanju lastnih rešitev, ki bodo ustrezale vaši delovni obremenitvi.

---

O avtorjih

Dinesh Kumar Subramani je višji arhitekt rešitev pri ekipi UKIR SMB s sedežem v Edinburghu na Škotskem. Specializiran je za umetno inteligenco in strojno učenje. Dinesh uživa v delu s strankami v različnih panogah, da bi jim pomagal rešiti njihove težave s storitvami AWS. Zunaj službe rad preživlja čas s svojo družino, igra šah in uživa v glasbi različnih žanrov.

Samir Araújo je arhitekt rešitev AI / ML pri AWS. Pomaga strankam pri ustvarjanju rešitev AI / ML, ki z AWS rešujejo njihove poslovne izzive. Delal je na več projektih AI / ML, povezanih z računalniškim vidom, obdelavo naravnega jezika, napovedovanjem, ML na robu in še več. V prostem času se rad igra s projekti strojne opreme in avtomatizacije, posebno zanimanje pa ima za robotiko.

• Coinsmart. Najboljša evropska borza bitcoinov in kriptovalut.
• Platoblockchain. Web3 Metaverse Intelligence. Razširjeno znanje. PROST DOSTOP.
• CryptoHawk. Altcoin radar. Brezplačen preizkus.
• Vir: https://aws.amazon.com/blogs/machine-learning/demystifying-machine-learning-at-the-edge-through-real-use-cases/