A nagysebességű 5G mobilhálózatok megjelenésével a vállalkozások minden eddiginél könnyebben pozícionálhatók a telekommunikációs hálózatok és a felhő konvergenciájának kihasználásával. Az eddigi egyik legjelentősebb felhasználási esetként a gépi tanulás (ML) a szélén lehetővé tette a vállalatok számára, hogy a végfelhasználóikhoz közelebb telepítsenek ML-modelleket, hogy csökkentsék a késleltetést és növeljék alkalmazásaik válaszkészségét. Mint például, okos helyszíni megoldások közel valós idejű számítógépes látást használhat az 5G hálózatokon keresztüli tömegelemzéshez, miközben minimálisra csökkenti a helyszíni hardveres hálózati berendezésekbe való befektetést. A természetes nyelvi feldolgozás (NLP), a valós idejű ajánlórendszerek és a csalásészlelés révén a kiskereskedők súrlódásmentes élményt nyújthatnak útközben. Még földi és légi robotika használhatja az ML-t a biztonságosabb, autonómabb műveletek feloldására.
Annak érdekében, hogy csökkentsük az ML belépési akadályát a peremen, példát akartunk mutatni egy előre betanított modell bevezetésére. Amazon SageMaker nak nek AWS hullámhossz, mindezt kevesebb mint 100 kódsorban. Ebben a bejegyzésben bemutatjuk, hogyan telepíthet SageMaker-modellt az AWS hullámhosszra, hogy csökkentse a modellkövetkeztetési késleltetést az 5G-hálózat alapú alkalmazásokhoz.
Megoldás áttekintése
Az AWS gyorsan bővülő globális infrastruktúrájában az AWS Wavelength a felhőalapú számítástechnika és a tárolás erejét az 5G-hálózatok szélére hozza, és még hatékonyabb mobilélményt biztosít. Az AWS Wavelength segítségével virtuális privát felhőjét (VPC) kiterjesztheti a távközlési szolgáltató hálózati élének megfelelő hullámhosszzónákra. 29 városok a föld körül. A következő ábra egy példát mutat erre az architektúrára.
Az adott régión belüli hullámhosszzónákra a következőn keresztül jelentkezhet be AWS felügyeleti konzol vagy a AWS parancssori interfész (AWS CLI). Ha többet szeretne megtudni a földrajzilag elosztott alkalmazások AWS hullámhosszon történő telepítéséről, tekintse meg a következőt: Telepítsen földrajzilag elosztott Amazon EKS-fürtöket az AWS hullámhosszon.
Az ebben a bejegyzésben tárgyalt alapokra építve az ML-t a szélén tekintjük mintamunkaterhelésnek, amellyel az AWS hullámhosszúságra telepíthető. Mintamunkaként egy előre betanított modellt telepítünk Amazon SageMaker JumpStart.
A SageMaker egy teljesen felügyelt ML-szolgáltatás, amely lehetővé teszi a fejlesztők számára, hogy könnyen telepítsenek ML-modelleket AWS-környezetükbe. Bár az AWS számos lehetőséget kínál a modellképzéshez – a AWS piactér modellek és SageMaker beépített algoritmusok – számos technika létezik a nyílt forráskódú ML modellek telepítésére.
A JumpStart több száz beépített algoritmushoz biztosít hozzáférést előre betanított modellekkel, amelyek zökkenőmentesen telepíthetők a SageMaker végpontjaira. A prediktív karbantartástól és a számítógépes látástól az autonóm vezetésig és a csalásészlelésig a JumpStart számos népszerű használati esetet támogat egy kattintással a konzolon.
Mivel a SageMaker natív módon nem támogatott a hullámhossz-zónákban, bemutatjuk, hogyan lehet kinyerni a modell melléktermékeit a régióból, és újratelepíteni a peremre. Ehhez használja Amazon Elastic Kubernetes szolgáltatás (Amazon EKS) fürtök és csomópontcsoportok a hullámhossz-zónákban, majd létrejön egy telepítési jegyzék a JumpStart által generált tárolóképből. A következő diagram ezt az architektúrát szemlélteti.
Előfeltételek
Ennek a lehető legegyszerűbbé tétele érdekében győződjön meg arról, hogy az AWS-fiókjában engedélyezve vannak a hullámhosszzónák. Vegye figyelembe, hogy ez az integráció csak itt érhető el us-east-1
és a us-west-2
, és használni fogod us-east-1
a demó idejére.
Az AWS Wavelength használatához a következő lépéseket kell végrehajtania:
- Az Amazon VPC konzolon válassza a lehetőséget Zones alatt beállítások És válasszon US East (Verizon) / us-east-1-wl1.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a kezel.
- választ Feliratkozott.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Frissítse a zónákat.
Hozzon létre AWS hullámhosszú infrastruktúrát
Mielőtt átalakítanánk a helyi SageMaker-modell-következtetési végpontot Kubernetes-telepítéssé, létrehozhat egy EKS-fürtöt egy hullámhossz-zónában. Ehhez telepítsen egy Amazon EKS-fürtöt egy AWS hullámhossz csomópontcsoporttal. Ha többet szeretne megtudni, látogasson el ezt az útmutatót az AWS Containers Blogon or A Verizon 5GEdgeTutorials tárháza egy ilyen példára.
Ezután egy AWS Cloud9 környezetet vagy interaktív fejlesztői környezetet (IDE), töltse le a szükséges SageMaker csomagokat és Docker Compose, a JumpStart kulcsfontosságú függősége.
Modelltermékek létrehozása a JumpStart segítségével
Először is győződjön meg arról, hogy rendelkezik egy AWS Identity and Access Management (IAM) végrehajtási szerepkör a SageMaker számára. Ha többet szeretne megtudni, látogasson el SageMaker szerepek.
- <p></p>
ezt a példát, hozzon létre egy train_model.py nevű fájlt, amely a SageMaker szoftverfejlesztő készletet (SDK) használja egy előre elkészített modell lekéréséhez (csere a SageMaker végrehajtási szerep Amazon erőforrásnevével (ARN). Ebben a fájlban helyileg telepíthet egy modellt a
instance_type
attribútum amodel.deploy()
függvény, amely elindít egy Docker-tárolót az IDE-n belül az összes szükséges modellműtermék felhasználásával, amelyet definiált:
- Következő, állítsa be
infer_model_id
annak a SageMaker modellnek az azonosítójához, amelyet használni szeretne.
A teljes listát lásd: Beépített algoritmusok előre betanított modelltáblázattal. Példánkban a Bidirectional Encoder Representations from Transformers (BERT) modellt használjuk, amelyet általában a természetes nyelvi feldolgozáshoz használnak.
- Futtassa a
train_model.py
szkript a JumpStart modell melléktermékeinek lekéréséhez és az előre betanított modell telepítéséhez a helyi gépen:
Ha ez a lépés sikerül, a kimenet a következőhöz hasonlíthat:
A kimenetben három melléktermék látható sorrendben: a TensorFlow következtetés alapképe, a modellt kiszolgáló következtetési szkript és a betanított modellt tartalmazó melléktermékek. Bár ezekkel a műtermékekkel létrehozhat egyéni Docker-képet, egy másik megközelítés az, hogy hagyja, hogy a SageMaker helyi mód létrehozza a Docker-képet. A következő lépésekben kibontjuk a helyileg futó konténerképet, és telepítjük Amazon Elastic Container Registry (Amazon ECR), valamint külön tolja a modell műterméket Amazon egyszerű tárolási szolgáltatás (Amazon S3).
A helyi módú melléktermékek átalakítása távoli Kubernetes-telepítéssé
Most, hogy megerősítette, hogy a SageMaker helyileg működik, bontsa ki a telepítési jegyzéket a futó tárolóból. Hajtsa végre a következő lépéseket:
Határozza meg a SageMaker helyi módú telepítési jegyzékének helyét: Ehhez keresse meg a gyökérkönyvtárunkban az összes nevű fájlt. docker-compose.yaml
.
docker_manifest=$( find /tmp/tmp* -name "docker-compose.yaml" -printf '%T+ %pn' | sort | tail -n 1 | cut -d' ' -f2-)
echo $docker_manifest
Határozza meg a SageMaker helyi módú modell melléktermékeinek helyét: Ezután keresse meg a mögöttes kötetet a helyi SageMaker következtetési tárolóhoz csatolva, amely minden egyes EKS-munkavégző csomópontban használatos, miután feltöltöttük a műterméket az Amazon s3-ba.
model_local_volume = $(grep -A1 -w "volumes:" $docker_manifest | tail -n 1 | tr -d ' ' | awk -F: '{print $1}' | cut -c 2-) # Returns something like: /tmp/tmpcr4bu_a7</p>
Hozzon létre helyi másolatot a futó SageMaker következtetési tárolóról: Ezután megkeressük a gépi tanulási következtetési modellünket futtató, jelenleg futó tárolóképet, és helyileg készítünk másolatot a tárolóról. Ez biztosítja, hogy a konténerkép saját másolatunk legyen az Amazon ECR-ből.
# Find container ID of running SageMaker Local container
mkdir sagemaker-container
container_id=$(docker ps --format "{{.ID}} {{.Image}}" | grep "tensorflow" | awk '{print $1}')
# Retrieve the files of the container locally
docker cp $my_container_id:/ sagemaker-container/
Mielőtt a model_local_volume
, amelyet az Amazon S3-ra fogunk továbbítani, a futó Docker-kép másolatának leküldése, most a sagemaker-container
könyvtárba, az Amazon Elastic Container Registry-be. Feltétlenül cserélje ki region
, aws_account_id
, docker_image_id
és a my-repository:tag
vagy kövesse a Amazon ECR használati útmutató. Ügyeljen arra is, hogy vegye figyelembe a végső ECR kép URL-jét (aws_account_id.dkr.ecr.region.amazonaws.com/my-repository:tag
), amelyet az EKS telepítése során fogunk használni.
Most, hogy van egy ECR-képünk, amely megfelel a következtetési végpontnak, hozzon létre egy új Amazon S3 tárolót, és másolja át a SageMaker helyi melléktermékeit (model_local_volume
) ehhez a vödörhöz. Ezzel párhuzamosan hozzon létre egy Identity Access Management (IAM), amely hozzáférést biztosít az Amazon EC2 példányok számára a tárolóban lévő objektumok olvasásához. Feltétlenül cserélje ki globálisan egyedi névvel az Amazon S3 vödörhöz.
Ezután annak biztosítására, hogy minden EC2-példány indításkor lekérje a modell melléktermékének másolatát, szerkessze az EKS-munkavégző csomópontok felhasználói adatait. A felhasználói adatszkriptben győződjön meg arról, hogy minden csomópont lekéri a modell melléktermékeit az S3 API használatával az indításkor. Feltétlenül cserélje ki globálisan egyedi névvel az Amazon S3 vödörhöz. Tekintettel arra, hogy a csomópont felhasználói adatai tartalmazni fogják az EKS bootstrap szkriptet is, a teljes felhasználói adatok valahogy így nézhetnek ki.
Most megtekintheti a meglévő docker-jegyzékfájlt, és lefordíthatja Kubernetes-barát jegyzékfájlokká Kompose, egy jól ismert konverziós eszköz. Megjegyzés: ha verziókompatibilitási hibát kap, módosítsa a version
attribútumot a docker-compose.yml 27. sorában “2”
.
A Kompose futtatása után négy új fájl jelenik meg: a Deployment
tárgy, Service
tárgy, PersistentVolumeClaim
tárgy, és NetworkPolicy
tárgy. Most már mindent megtalál, amire szüksége van ahhoz, hogy megkezdje a Kubernetesbe való betörést a szélén!
Telepítse a SageMaker modell melléktermékeit
Győződjön meg arról, hogy a kubectl és az aws-iam-authenticator letöltve van az AWS Cloud9 IDE-re. Ha nem, kövesse a telepítési útmutatókat:
Most hajtsa végre a következő lépéseket:
Módosítsa a service/algo-1-ow3nv
objektum, amelyről a szolgáltatástípust át kell váltani ClusterIP
nak nek NodePort
. Példánkban a 30,007 XNUMX-es portot választottuk NodePort
:
Ezután engedélyeznie kell a NodePortot a csomópont biztonsági csoportjában. Ehhez kérje le a biztonsági csoportazonosítót, és adja meg a NodePort engedélyezési listáját:
Ezután módosítsa a algo-1-ow3nv-deployment.yaml
manifeszt, hogy felszerelje a /tmp/model hostPath
könyvtárat a tárolóba. Cserélje ki a korábban létrehozott ECR-képpel:
A Kompose-ból létrehozott jegyzékfájlokkal használja a kubectl-t a konfigurációk alkalmazásához a fürtben:
Csatlakozzon az 5G élmodellhez
A modellhez való csatlakozáshoz hajtsa végre a következő lépéseket:
Az Amazon EC2 konzolon kérje le az EKS worker csomópont szolgáltatói IP-címét, vagy használja az AWS CLI-t a szolgáltató IP-címének közvetlen lekérdezéséhez:
Most a szolgáltató IP-címének kibontásával közvetlenül csatlakozhat a modellhez a NodePort használatával. Hozzon létre egy fájlt, melynek neve invoke.py
a BERT-modell közvetlen meghívása egy szövegalapú bemenet biztosításával, amelyet egy hangulatelemzővel futtatnak le annak meghatározására, hogy a hang pozitív vagy negatív volt-e:
A kimenetnek a következőkhöz kell hasonlítania:
Tisztítsuk meg
Az összes létrehozott alkalmazáserőforrás megsemmisítéséhez törölje az AWS Wavelength munkavégző csomópontjait, az EKS vezérlősíkot és a VPC-n belül létrehozott összes erőforrást. Ezenkívül törölje a tárolókép tárolására használt ECR-tárat, a SageMaker modellműtermékek tárolására használt S3-tárolókat és a sagemaker-demo-app-s3 IAM
irányelv.
Következtetés
Ebben a bejegyzésben bemutattunk egy újszerű megközelítést a SageMaker modellek telepítéséhez a hálózat szélére az Amazon EKS és az AWS Wavelength használatával. Ha többet szeretne megtudni az Amazon EKS bevált gyakorlatairól az AWS Wavelength területén, tekintse meg a következőt: Telepítsen földrajzilag elosztott Amazon EKS-fürtöket az AWS hullámhosszon. Ezenkívül, ha többet szeretne megtudni a Jumpstartról, látogassa meg a Amazon SageMaker JumpStart fejlesztői útmutató vagy a JumpStart elérhető modelltáblázat.
A szerzőkről
Robert Belson az AWS Worldwide Telecom Business Unit fejlesztői tanácsadója, szakterülete az AWS Edge Computing. A fejlesztői közösséggel és a nagyvállalati ügyfelekkel való együttműködésre összpontosít, hogy az automatizálás, a hibrid hálózatok és a szélső felhő segítségével megoldják üzleti kihívásaikat.
Mohammed Al-Mehdar az AWS Worldwide Telecom üzletágának vezető megoldási építésze. Fő célja, hogy segítse ügyfeleit a Telco és Enterprise IT-munkaterhelések AWS-en való kiépítésében és üzembe helyezésében. Mielőtt csatlakozott volna az AWS-hez, Mohammed több mint 13 éve a Telco iparágban dolgozott, és rengeteg tapasztalattal rendelkezik az LTE Packet Core, 5G, IMS és WebRTC területén. Mohammed a Concordia Egyetemen szerzett távközlési mérnöki diplomát.
Evan Kravitz az Amazon Web Services szoftvermérnöke, a SageMaker JumpStarton dolgozik. Szeret főzni és futni New Yorkban.
Justin St. Arnauld a Verizon Solution Architects igazgatóhelyettese az állami szektorban, több mint 15 éves tapasztalattal az IT-iparban. Szenvedélyes szószólója az éles számítástechnika és az 5G-hálózatok erejének, és szakértője az ezeket a technológiákat hasznosító innovatív technológiai megoldások fejlesztésének. Justin különösen lelkes az Amazon Web Services (AWS) által kínált képességekért, amelyek csúcsminőségű megoldásokat kínálnak ügyfelei számára. Szabadidejében Justin szeret naprakészen tartani a legújabb technológiai trendeket, és megosztani tudását és meglátásait az iparág másokkal.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- Platoblockchain. Web3 metaverzum intelligencia. Felerősített tudás. Hozzáférés itt.
- Forrás: https://aws.amazon.com/blogs/machine-learning/deploy-pre-trained-models-on-aws-wavelength-with-5g-edge-using-amazon-sagemaker-jumpstart/
- :is
- 1
- 10
- 100
- 11
- 15 év
- 5G
- 7
- 8
- 9
- a
- Rólunk
- Elfogad!
- hozzáférés
- Fiók
- át
- Akció
- Ezen kívül
- cím
- megérkezés
- szószóló
- Után
- ellen
- algoritmusok
- Minden termék
- lehetővé teszi, hogy
- Bár
- mindig
- amazon
- Amazon EC2
- Amazon SageMaker
- Amazon SageMaker JumpStart
- Az Amazon Web Services
- Amazon Web Services (AWS)
- analitika
- és a
- Másik
- api
- Alkalmazás
- alkalmazások
- alkalmaz
- megközelítés
- építészet
- VANNAK
- területek
- AS
- Társult
- Egyesület
- At
- Automatizálás
- autonóm
- elérhető
- AWS
- AWS Cloud9
- korlát
- bázis
- BE
- kezdődik
- BEST
- legjobb gyakorlatok
- Bootstrap
- Bring
- épít
- beépített
- üzleti
- by
- hívott
- TUD
- képességek
- esetek
- CAT
- CD
- kihívások
- változik
- választás
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a
- Város
- ügyfél részére
- közelebb
- felhő
- Cloud9
- Fürt
- kód
- COM
- általában
- közösség
- kompatibilitás
- teljes
- Kiszámít
- számítógép
- Számítógépes látás
- számítástechnika
- MEGERŐSÍTETT
- Csatlakozás
- Konzol
- Konténer
- Konténerek
- ellenőrzés
- Konvergencia
- Átalakítás
- megtérít
- Mag
- Megfelelő
- tudott
- teremt
- készítette
- létrehozása
- tömeg
- Jelenleg
- szokás
- Ügyfelek
- vágás
- élvonalbeli
- dátum
- találka
- meghatározott
- Fok
- szállít
- átadó
- bizonyítani
- igazolták
- Függőség
- telepíteni
- telepített
- bevezetéséhez
- bevetés
- elpusztítani
- Érzékelés
- Határozzuk meg
- Fejlesztő
- fejlesztők
- fejlesztése
- Fejlesztés
- közvetlenül
- Igazgató
- tárgyalt
- Dokkmunkás
- letöltés
- vezetés
- minden
- Korábban
- könnyen
- Keleti
- visszhang
- él
- szélsőséges számítástechnika
- hatás
- lehetővé
- engedélyezve
- Endpoint
- mérnök
- Mérnöki
- biztosítására
- Vállalkozás
- Vállalatok
- lelkes
- belépés
- Környezet
- környezetek
- felszerelés
- hiba
- Még
- EVER
- minden
- példa
- végrehajtás
- létező
- bővülő
- tapasztalat
- Tapasztalatok
- szakértő
- terjed
- kivonat
- filé
- Fájlok
- utolsó
- Találjon
- Összpontosít
- koncentrál
- következik
- követ
- következő
- A
- Fosztogat
- csalás
- csalások felderítése
- Ingyenes
- súrlódásmentes
- ból ből
- teljesen
- funkció
- alapjai
- generált
- kap
- adott
- Globális
- globálisan
- földgolyó
- Go
- megy
- Csoport
- Csoportok
- útmutató
- Útmutatók
- hardver
- hám
- Legyen
- segít
- tart
- vendéglátó
- Hogyan
- How To
- HTML
- http
- HTTPS
- Több száz
- hibrid
- ID
- Identitás
- kép
- importál
- in
- tartalmaz
- Növelje
- ipar
- Infrastruktúra
- újító
- innovatív technológia
- bemenet
- meglátások
- telepíteni
- példa
- integráció
- interaktív
- beruházás
- IP
- IP-cím
- IT
- IT ipar
- csatlakozott
- jpg
- json
- Justin
- tartás
- Kulcs
- Kedves
- Kit (SDK)
- tudás
- Címkék
- nyelv
- nagy
- Késleltetés
- legutolsó
- indít
- TANUL
- tanulás
- Tőkeáttétel
- mint
- vonal
- vonalak
- Lista
- helyi
- helyileg
- elhelyezkedés
- néz
- gép
- gépi tanulás
- Fő
- karbantartás
- csinál
- sikerült
- vezetés
- Metaadatok
- minimalizálása
- ML
- Mobil
- mobilhálózat
- Mód
- modell
- modellek
- módosítása
- több
- a legtöbb
- SZERELJÜK
- név
- Nevezett
- Természetes
- Természetes nyelvi feldolgozás
- Szükség
- negatív
- hálózat
- hálózati alapú
- hálózatba
- hálózatok
- Új
- New York
- new york city
- következő
- NLP
- csomópont
- csomópontok
- regény
- szám
- tárgy
- objektumok
- of
- felajánlott
- Ajánlatok
- on
- ONE
- nyílt forráskódú
- Művelet
- Alkalom
- Opciók
- érdekében
- Egyéb
- teljesítmény
- saját
- csomagok
- Párhuzamos
- különösen
- szenvedélyes
- ösvény
- Plató
- Platón adatintelligencia
- PlatoData
- politika
- Népszerű
- pozicionált
- pozitív
- lehetséges
- állás
- hatalom
- gyakorlat
- Predictor
- Előzetes
- magán
- feldolgozás
- kiemelkedő
- biztosít
- amely
- nyilvános
- Húz
- Nyomja
- gyorsan
- Olvass
- real-time
- Ajánlást
- csökkenteni
- vidék
- iktató hivatal
- távoli
- cserélni
- kéri
- szükséges
- forrás
- Tudástár
- kiskereskedők
- Visszatér
- Szerep
- gyökér
- futás
- futás
- biztonságosabb
- sagemaker
- SageMaker következtetés
- sdk
- zökkenőmentesen
- Keresés
- szektor
- biztonság
- kiválasztott
- idősebb
- szolgál
- szolgálja
- szolgáltatás
- Szolgáltatások
- készlet
- megosztás
- kellene
- Műsorok
- Egyszerű
- egyszerűen
- So
- szoftver
- szoftverfejlesztés
- Software Engineer
- megoldások
- Megoldások
- SOLVE
- valami
- szakosodott
- kezdődik
- nyilatkozat
- Állapot
- Lépés
- Lépései
- tárolás
- Stratégia
- későbbi
- sikerül
- ilyen
- Támogatott
- Támogatja
- kapcsoló
- Systems
- TAG
- Vesz
- technikák
- Technologies
- Technológia
- Telco
- távközlési
- távközlés
- Távközlési technika
- sablon
- tensorflow
- hogy
- A
- azok
- Ezek
- három
- idő
- nak nek
- TONE
- szerszám
- kiképzett
- transzformerek
- fordít
- Trends
- igaz
- alatt
- mögöttes
- egyedi
- egység
- egyetemi
- kinyit
- kinyitó
- up-to-date
- URL
- használ
- használó
- v1
- érték
- fajta
- helyszín
- Verizon
- változat
- keresztül
- Tényleges
- látomás
- Látogat
- kötet
- kötetek
- kívánatos
- Vagyon
- háló
- webes szolgáltatások
- JÓL
- jól ismert
- vajon
- ami
- míg
- lesz
- val vel
- belül
- munkás
- dolgozó
- világszerte
- lenne
- yaml
- év
- te
- A te
- youtube
- zephyrnet
- zónák