Kiirete 5G mobiilsidevõrkude tulekuga on ettevõtetel lihtsam kui kunagi varem positsioneerida, kuna neil on võimalus kasutada telekommunikatsioonivõrkude ja pilve ühtlustamist. Seni ühe silmapaistvama kasutusjuhtumina on masinõpe (ML) võimaldanud ettevõtetel juurutada ML-mudeleid lõppklientidele lähemal, et vähendada latentsust ja suurendada rakenduste reageerimisvõimet. Näiteks nutikad kohalahendused saab kasutada peaaegu reaalajas arvutinägemust 5G-võrkude kaudu rahvahulga analüüsimiseks, minimeerides samal ajal investeeringuid kohapealse riistvaravõrgu seadmetesse. Jaemüüjad saavad loomuliku keele töötlemise (NLP), reaalajas soovitussüsteemide ja pettuste tuvastamise abil pakkuda liikvel olles hõõrdumatumaid kogemusi. Isegi maa- ja õhurobootika saab kasutada ML-i turvalisemate ja autonoomsemate toimingute avamiseks.
Et vähendada ML-i servas sisenemise takistust, tahtsime näidata näidet eelkoolitatud mudeli kasutuselevõtust Amazon SageMaker et AWS lainepikkus, kõik vähem kui 100 koodireal. Selles postituses demonstreerime, kuidas juurutada SageMakeri mudelit AWS-i lainepikkusele, et vähendada 5G võrgupõhiste rakenduste mudeli järelduste latentsust.
Lahenduse ülevaade
AWS-i kiiresti laienevas globaalses infrastruktuuris toob AWS Wavelength pilvandmetöötluse ja salvestusruumi võimsuse 5G võrkude servale, avades tõhusamad mobiilsed kogemused. AWS lainepikkuse abil saate laiendada oma virtuaalset privaatpilve (VPC) lainepikkuste tsoonideks, mis vastavad telekommunikatsioonioperaatori võrgu servale. 29 linnad üle maakera. Järgmine diagramm näitab selle arhitektuuri näidet.
Saate valida antud piirkonna lainepikkuste tsoonide kasutamise, kasutades AWS-i juhtimiskonsool või AWS-i käsurea liides (AWS CLI). Lisateavet geograafiliselt hajutatud rakenduste AWS-i lainepikkusel juurutamise kohta leiate artiklist Geopõhiselt hajutatud Amazon EKS-klastrite juurutamine AWS-i lainepikkusel.
Tuginedes selles postituses käsitletud põhialustele, käsitleme ML-i servas kui näidistöökoormust, millega AWS-i lainepikkusesse juurutada. Näidistöökoormusena juurutame eelkoolitatud mudeli Amazon SageMaker JumpStart.
SageMaker on täielikult hallatav ML-teenus, mis võimaldab arendajatel hõlpsasti juurutada ML-mudeleid oma AWS-i keskkondadesse. Kuigi AWS pakub mudelitreeninguks mitmeid võimalusi – alates AWS Marketplace mudelid ja SageMakeri sisseehitatud algoritmid – avatud lähtekoodiga ML-mudelite juurutamiseks on mitmeid tehnikaid.
JumpStart pakub juurdepääsu sadadele sisseehitatud algoritmidele koos eelkoolitatud mudelitega, mida saab SageMakeri lõpp-punktides sujuvalt juurutada. Alates ennustavast hooldusest ja arvutinägemisest kuni autonoomse sõidu ja pettuste tuvastamiseni toetab JumpStart mitmesuguseid populaarseid kasutusjuhtumeid ühe klõpsuga konsoolil juurutamisega.
Kuna SageMakerit lainepikkuste tsoonides algselt ei toetata, demonstreerime, kuidas mudeli artefaktid piirkonnast eraldada ja servale uuesti kasutusele võtta. Selleks kasutate Amazoni elastse Kubernetese teenus (Amazon EKS) klastrid ja sõlmerühmad lainepikkustes, millele järgneb JumpStarti loodud konteineri kujutisega juurutamise manifesti loomine. Järgmine diagramm illustreerib seda arhitektuuri.
Eeldused
Selle võimalikult lihtsaks muutmiseks veenduge, et teie AWS-i kontol oleks lubatud lainepikkuse tsoonid. Pange tähele, et see integratsioon on saadaval ainult riigis us-east-1
ja us-west-2
, ja te kasutate seda us-east-1
demo ajaks.
AWS-i lainepikkuse lubamiseks toimige järgmiselt.
- Amazon VPC konsoolil valige Tsoonid all Seaded Ja vali USA idaosa (Verizon) / us-east-1-wl1.
- Vali juhtima.
- valima Lubatud.
- Vali Värskenda tsoone.
Looge AWS lainepikkuse infrastruktuur
Enne kui teisendame kohaliku SageMakeri mudeli järelduse lõpp-punkti Kubernetese juurutuseks, saate lainepikkuses luua EKS-i klastri. Selleks juurutage Amazon EKS-klaster koos AWS-i lainepikkuse sõlmerühmaga. Lisateabe saamiseks võite külastada see juhend AWS-i konteinerite ajaveebis or Verizoni 5GEdgeTutorialsi hoidla ühe sellise näite jaoks.
Järgmiseks, kasutades an AWSi pilv keskkond või interaktiivne arenduskeskkond (IDE), laadige alla vajalikud SageMakeri paketid ja Docker loo, JumpStarti peamine sõltuvus.
Loo mudeliartefakte, kasutades JumpStart
Esiteks veenduge, et teil on AWS-i identiteedi- ja juurdepääsuhaldus (IAM) SageMakeri täitmise roll. Lisateabe saamiseks külastage SageMakeri rollid.
- Kasutamine see näide, looge fail nimega train_model.py, mis kasutab SageMakeri tarkvaraarenduskomplekti (SDK), et hankida eelkoostatud mudel (asendada koos teie SageMakeri täitmisrolli Amazoni ressursinimega (ARN). Selles failis juurutate mudeli kohapeal, kasutades
instance_type
atribuutmodel.deploy()
funktsioon, mis käivitab teie IDE-s Dockeri konteineri, kasutades kõiki teie määratletud vajalikke mudeliartefakte:
- Järgmiseks seadke
infer_model_id
selle SageMakeri mudeli ID-le, mida soovite kasutada.
Täieliku loendi saamiseks vaadake Sisseehitatud algoritmid koos eelkoolitatud mudelitabeliga. Meie näites kasutame kahesuunaliste kodeerijate esituste mudelit Transformers (BERT), mida tavaliselt kasutatakse loomuliku keele töötlemiseks.
- Käivita
train_model.py
skript JumpStarti mudeli artefaktide toomiseks ja eelkoolitatud mudeli juurutamiseks kohalikus masinas:
Kui see samm õnnestub, võib teie väljund sarnaneda järgmisega:
Väljundis näete järjekorras kolme artefakti: TensorFlow järelduse põhipilti, mudelit teenindavat järeldusskripti ja treenitud mudelit sisaldavad artefakti. Kuigi saate nende artefaktidega luua kohandatud Dockeri pildi, on veel üks võimalus lasta SageMakeri kohalikul režiimil luua teie jaoks Dockeri pilt. Järgmistes etappides eraldame kohapeal töötava konteineri kujutise ja juurutame selle Amazoni elastsete konteinerite register (Amazon ECR) ja suruge mudeli artefakt eraldi Amazoni lihtne salvestusteenus (Amazon S3).
Teisendage kohaliku režiimi artefaktid Kubernetese kaugjuurutuseks
Nüüd, kui olete kinnitanud, et SageMaker töötab kohapeal, ekstraheerime käitavast konteinerist juurutusmanifesti. Tehke järgmised sammud.
Tuvastage SageMakeri kohaliku režiimi juurutamise manifesti asukoht: selleks otsige meie juurkataloogist mis tahes nimega faile docker-compose.yaml
.
docker_manifest=$( find /tmp/tmp* -name "docker-compose.yaml" -printf '%T+ %pn' | sort | tail -n 1 | cut -d' ' -f2-)
echo $docker_manifest
Tuvastage SageMakeri kohaliku režiimi mudeli artefaktide asukoht: järgmiseks leidke kohaliku SageMakeri järelduskonteinerisse paigaldatud alusmaht, mida kasutatakse igas EKS-i töötaja sõlmes pärast artefakti Amazon s3 üleslaadimist.
model_local_volume = $(grep -A1 -w "volumes:" $docker_manifest | tail -n 1 | tr -d ' ' | awk -F: '{print $1}' | cut -c 2-) # Returns something like: /tmp/tmpcr4bu_a7</p>
Looge töötavast SageMakeri järelduskonteinerist kohalik koopia: järgmiseks leiame praegu töötava konteineri kujutise, mis käitab meie masinõppe järeldusmudelit, ja teeme konteinerist kohapeal koopia. See tagab, et meil on konteineri kujutise koopia, mida Amazon ECR-ist tõmmata.
# Find container ID of running SageMaker Local container
mkdir sagemaker-container
container_id=$(docker ps --format "{{.ID}} {{.Image}}" | grep "tensorflow" | awk '{print $1}')
# Retrieve the files of the container locally
docker cp $my_container_id:/ sagemaker-container/
Enne tegutsemist model_local_volume
, mille edastame Amazon S3-le, lükkame töötava Dockeri kujutise koopia, nüüd rakenduses sagemaker-container
kataloogi Amazon Elastic Container Registry. Asendage kindlasti region
, aws_account_id
, docker_image_id
ja my-repository:tag
või järgige Amazon ECR kasutusjuhend. Märkige kindlasti ka lõplik ECR-pildi URL (aws_account_id.dkr.ecr.region.amazonaws.com/my-repository:tag
), mida kasutame oma EKS-i juurutamisel.
Nüüd, kui meil on järelduse lõpp-punktile vastav ECR-pilt, looge uus Amazon S3 ämber ja kopeerige SageMakeri kohalikud artefaktid (model_local_volume
) sellesse ämbrisse. Paralleelselt looge identiteedi juurdepääsu haldus (IAM), mis annab Amazon EC2 eksemplaridele juurdepääsu ämbris olevate objektide lugemiseks. Asendage kindlasti teie Amazon S3 ämbri globaalselt ainulaadse nimega.
Järgmiseks muutke oma EKS-i töötaja sõlmede kasutajaandmeid tagamaks, et iga EC2 eksemplar tõmbab käivitamisel mudeli artefakti koopia. Oma kasutajaandmete skriptis veenduge, et iga sõlm hangib käivitamisel S3 API abil mudeli artefaktid. Asendage kindlasti teie Amazon S3 ämbri globaalselt ainulaadse nimega. Arvestades, et sõlme kasutajaandmed sisaldavad ka EKS-i alglaadimisskripti, võivad täielikud kasutajaandmed välja näha umbes sellised.
Nüüd saate kontrollida olemasolevat dokkeri manifesti ja tõlkida selle Kubernetese-sõbralikeks manifestifailideks Kompose, tuntud teisendustööriist. Märkus. Kui näete versiooni ühilduvuse tõrke, muutke version
atribuut faili docker-compose.yml real 27 “2”
.
Pärast Kompose käivitamist näete nelja uut faili: a Deployment
objekt, Service
objekt, PersistentVolumeClaim
objekt ja NetworkPolicy
objektiks. Nüüd on teil kõik, mida vajate, et alustada oma teekonda Kubernetesega.
SageMakeri mudeli artefaktide juurutamine
Veenduge, et kubectl ja aws-iam-authenticator oleks oma AWS Cloud9 IDE-sse alla laaditud. Kui ei, järgige paigaldusjuhiseid:
Nüüd täitke järgmised sammud.
Muuda service/algo-1-ow3nv
objekti teenuse tüübi vahetamiseks ClusterIP
et NodePort
. Meie näites oleme valinud omaks pordi 30,007 XNUMX NodePort
:
Järgmiseks peate lubama NodePorti oma sõlme turvarühmas. Selleks hankige turvagrupi ID ja lisage NodePort lubamisloend:
Järgmisena muutke algo-1-ow3nv-deployment.yaml
manifesti paigaldamiseks /tmp/model hostPath
kataloog konteinerisse. Asenda varem loodud ECR-pildiga:
Kompose loodud manifestifailide puhul kasutage klastris konfiguratsioonide rakendamiseks käsku kubectl:
Ühendage 5G servamudeliga
Oma mudeliga ühenduse loomiseks toimige järgmiselt.
Hankige Amazon EC2 konsoolis EKS-i töötaja sõlme operaatori IP või kasutage operaatori IP-aadressi otse päringu tegemiseks AWS-i CLI-d.
Nüüd, kui operaatori IP-aadress on ekstraheeritud, saate mudeliga NodePorti abil otse ühenduse luua. Looge fail nimega invoke.py
BERTi mudeli otse käivitamiseks, pakkudes tekstipõhist sisendit, mida käivitatakse sentimentanalüsaatoriga, et teha kindlaks, kas toon oli positiivne või negatiivne:
Teie väljund peaks sarnanema järgmisega:
Koristage
Kõigi loodud rakenduseressursside hävitamiseks kustutage AWS-i lainepikkuse töötaja sõlmed, EKS-i juhttasand ja kõik VPC-s loodud ressursid. Lisaks kustutage konteineri kujutise hostimiseks kasutatud ECR-repo, SageMakeri mudeli artefaktide majutamiseks kasutatud S3-salgad ja sagemaker-demo-app-s3 IAM
poliitika.
Järeldus
Selles postituses demonstreerisime uudset lähenemisviisi SageMakeri mudelite juurutamiseks võrgu servale, kasutades Amazon EKS-i ja AWS-i lainepikkust. AWS-i lainepikkuse Amazon EKS-i parimate tavade kohta lisateabe saamiseks vaadake Geopõhiselt hajutatud Amazon EKS-klastrite juurutamine AWS-i lainepikkusel. Lisaks Kiirstardi kohta lisateabe saamiseks külastage veebilehte Amazon SageMaker JumpStart arendaja juhend või KiirStart Saadaolevate mudelite tabel.
Autoritest
Robert Belson on AWS Worldwide Telecomi äriüksuse arendajaadvokaat, mis on spetsialiseerunud AWS Edge Computingule. Ta keskendub koostööle arendajate kogukonna ja suurettevõtete klientidega, et lahendada nende äriprobleeme automatiseerimise, hübriidvõrgu ja servapilve abil.
Mohammed Al-Mehdar on AWS-i ülemaailmse telekommunikatsiooni äriüksuse vanemlahenduste arhitekt. Tema põhirõhk on aidata klientidel luua ja juurutada AWS-is Telco ja Enterprise IT töökoormust. Enne AWS-iga liitumist on Mohammed töötanud Telco-tööstuses üle 13 aasta ning tal on palju kogemusi LTE Packet Core, 5G, IMS ja WebRTC valdkondades. Mohammedil on bakalaureusekraad Concordia ülikoolist telekommunikatsiooni inseneri erialal.
Evan Kravitz on Amazon Web Servicesi tarkvarainsener, kes töötab SageMaker JumpStart. Talle meeldib süüa teha ja New Yorgis jooksmas käia.
Justin St. Arnauld on Verizoni avaliku sektori lahendusarhitektide asedirektor, kellel on IT-valdkonnas üle 15-aastane kogemus. Ta on kirglik servaarvutite ja 5G-võrkude võimsuse eestkõneleja ning ekspert uuenduslike tehnoloogiliste lahenduste väljatöötamisel, mis neid tehnoloogiaid võimendavad. Justin on eriti entusiastlik Amazon Web Servicesi (AWS) pakutavatest võimalustest oma klientidele tipptasemel lahenduste pakkumisel. Vabal ajal meeldib Justinile olla kursis uusimate tehnoloogiatrendidega ning jagada oma teadmisi ja arusaamu valdkonna teistega.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- Platoblockchain. Web3 metaversiooni intelligentsus. Täiustatud teadmised. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/machine-learning/deploy-pre-trained-models-on-aws-wavelength-with-5g-edge-using-amazon-sagemaker-jumpstart/
- :on
- 1
- 10
- 100
- 11
- 15 aastat
- 5G
- 7
- 8
- 9
- a
- MEIST
- aktsepteerima
- juurdepääs
- konto
- üle
- tegevus
- Lisaks
- aadress
- Advent
- advokaat
- pärast
- vastu
- algoritme
- Materjal: BPA ja flataatide vaba plastik
- võimaldab
- Kuigi
- alati
- Amazon
- Amazon EC2
- Amazon SageMaker
- Amazon SageMaker JumpStart
- Amazon Web Services
- Amazon Web Services (AWS)
- analytics
- ja
- Teine
- API
- taotlus
- rakendused
- kehtima
- lähenemine
- arhitektuur
- OLEME
- valdkondades
- AS
- Partner
- Ühing
- At
- Automaatika
- autonoomne
- saadaval
- AWS
- AWSi pilv
- tõke
- baas
- BE
- alustama
- BEST
- parimaid tavasid
- Bootstrap
- Toob
- ehitama
- sisseehitatud
- äri
- by
- kutsutud
- CAN
- võimeid
- juhtudel
- CAT
- CD
- väljakutseid
- muutma
- valik
- Vali
- Linn
- kliendid
- lähemale
- Cloud
- Cloud9
- Cluster
- kood
- COM
- tavaliselt
- kogukond
- ühilduvus
- täitma
- Arvutama
- arvuti
- Arvuti visioon
- arvutustehnika
- KINNITATUD
- Võta meiega ühendust
- konsool
- Konteiner
- Konteinerid
- kontrollida
- Lähenemine
- Konverteerimine
- muutma
- tuum
- Vastav
- võiks
- looma
- loodud
- loomine
- rahvahulk
- Praegu
- tava
- Kliendid
- lõigatud
- viimase peal
- andmed
- kuupäev
- määratletud
- Kraad
- tarnima
- edastamine
- näitama
- Näidatud
- Sõltuvus
- juurutada
- lähetatud
- juurutamine
- kasutuselevõtu
- hävitama
- Detection
- Määrama
- arendaja
- Arendajad
- arenev
- & Tarkvaraarendus
- otse
- Juhataja
- arutatud
- laevalaadija
- lae alla
- sõidu
- iga
- Ajalugu
- kergesti
- Ida
- miss
- serv
- servaarvutus
- mõju
- võimaldama
- lubatud
- Lõpp-punkt
- insener
- Inseneriteadus
- tagama
- ettevõte
- ettevõtete
- entusiastlik
- kanne
- keskkond
- keskkondades
- seadmed
- viga
- Isegi
- KUNAGI
- kõik
- näide
- täitmine
- olemasolevate
- laiendades
- kogemus
- Kogemused
- ekspert
- laiendama
- väljavõte
- fail
- Faile
- lõplik
- leidma
- Keskenduma
- keskendub
- järgima
- Järgneb
- Järel
- eest
- Foray
- pettus
- pettuste avastamine
- tasuta
- hõõrdeta
- Alates
- täielikult
- funktsioon
- Põhialused
- loodud
- saama
- antud
- Globaalne
- Ülemaailmselt
- maakera
- Go
- läheb
- Grupp
- Grupi omad
- suunata
- juhendid
- riistvara
- rakmed
- Olema
- aitama
- omab
- võõrustaja
- Kuidas
- Kuidas
- HTML
- http
- HTTPS
- sajad
- hübriid
- ID
- Identity
- pilt
- import
- in
- sisaldama
- Suurendama
- tööstus
- Infrastruktuur
- uuenduslik
- uuenduslik tehnoloogia
- sisend
- teadmisi
- paigaldama
- Näiteks
- integratsioon
- interaktiivne
- investeering
- IP
- IP-aadress
- IT
- IT-tööstus
- liitumine
- jpg
- Json
- Justin
- pidamine
- Võti
- Laps
- Komplekt (SDK)
- teadmised
- Labels
- keel
- suur
- Hilinemine
- hiljemalt
- algatama
- Õppida
- õppimine
- Finantsvõimendus
- nagu
- joon
- liinid
- nimekiri
- kohalik
- kohapeal
- liising
- Vaata
- masin
- masinõpe
- põhiline
- hooldus
- tegema
- juhitud
- juhtimine
- Metaandmed
- minimeerimine
- ML
- mobiilne
- mobiilsidevõrkudes
- viis
- mudel
- mudelid
- muutma
- rohkem
- kõige
- MOUNT
- nimi
- Nimega
- Natural
- Natural Language Processing
- Vajadus
- negatiivne
- võrk
- võrgupõhine
- võrgustike loomine
- võrgustikud
- Uus
- New York
- New York City
- järgmine
- nlp
- sõlme
- sõlmed
- romaan
- number
- objekt
- esemeid
- of
- pakutud
- Pakkumised
- on
- ONE
- avatud lähtekoodiga
- Operations
- Võimalus
- Valikud
- et
- teised
- väljund
- enda
- pakette
- Parallel
- eriti
- kirglik
- tee
- Platon
- Platoni andmete intelligentsus
- PlatoData
- poliitika
- populaarne
- paigutatud
- positiivne
- võimalik
- post
- võim
- tavad
- Predictor
- Eelnev
- era-
- töötlemine
- silmapaistev
- annab
- pakkudes
- avalik
- Tõmbab
- Lükkama
- kiiresti
- Lugenud
- reaalajas
- Soovitus
- vähendama
- piirkond
- registri
- kauge
- asendama
- Taotlusi
- vajalik
- ressurss
- Vahendid
- jaemüüjad
- Tulu
- Roll
- juur
- jooks
- jooksmine
- ohutum
- salveitegija
- SageMakeri järeldus
- SDK
- sujuvalt
- Otsing
- sektor
- turvalisus
- väljavalitud
- vanem
- teenima
- teenib
- teenus
- Teenused
- komplekt
- jagamine
- peaks
- Näitused
- lihtne
- lihtsalt
- So
- tarkvara
- tarkvaraarenduse
- Tarkvara insener
- lahendus
- Lahendused
- LAHENDAGE
- midagi
- spetsialiseerunud
- algab
- väljavõte
- olek
- Samm
- Sammud
- ladustamine
- Strateegia
- järgnev
- edukas
- selline
- Toetatud
- Toetab
- Lüliti
- süsteemid
- TAG
- Võtma
- tehnikat
- Tehnoloogiad
- Tehnoloogia
- Telco
- telekommunikatsiooni
- telekommunikatsioon
- Telekommunikatsioonitehnoloogia
- šabloon
- tensorivool
- et
- .
- oma
- Need
- kolm
- aeg
- et
- TONE
- tööriist
- koolitatud
- trafod
- tõlkima
- Trends
- tõsi
- all
- aluseks
- ainulaadne
- üksus
- Ülikool
- avamine
- avamine
- ajakohane
- URL
- kasutama
- Kasutaja
- v1
- väärtus
- sort
- Tegevuskoht
- Verizon
- versioon
- kaudu
- virtuaalne
- nägemus
- visiit
- maht
- mahud
- tagaotsitav
- Jõukus
- web
- veebiteenused
- Hästi
- hästi tuntud
- kas
- mis
- kuigi
- will
- koos
- jooksul
- töötaja
- töö
- ülemaailmne
- oleks
- yaml
- aastat
- sa
- Sinu
- youtube
- sephyrnet
- tsoonid