Z veseljem objavljamo novo različico Operatorji Amazon SageMaker za Kubernetes uporabi Krmilniki AWS za Kubernetes (ACK). ACK je ogrodje za izdelavo krmilnikov po meri Kubernetes, kjer vsak krmilnik komunicira z API-jem storitve AWS. Ti krmilniki omogočajo uporabnikom Kubernetes, da zagotovijo vire AWS, kot so vedra, zbirke podatkov ali čakalne vrste sporočil, preprosto z uporabo API-ja Kubernetes.
Sprostite v1.2.9 operaterjev ACK SageMaker dodaja podporo za komponente sklepanja, ki so bili do zdaj na voljo le prek API-ja SageMaker in kompletov za razvoj programske opreme AWS (SDK). Komponente sklepanja vam lahko pomagajo optimizirati stroške uvajanja in zmanjšati zakasnitev. Z novimi zmožnostmi komponente sklepanja lahko namestite enega ali več temeljnih modelov (FM) na isti Amazon SageMaker končno točko in nadzirate, koliko pospeševalnikov in koliko pomnilnika je rezerviranega za vsak FM. To pomaga izboljšati uporabo virov, zmanjša stroške uvajanja modela v povprečju za 50 % in vam omogoča prilagajanje končnih točk skupaj z vašimi primeri uporabe. Za več podrobnosti glejte Amazon SageMaker dodaja nove zmožnosti sklepanja, ki pomagajo zmanjšati stroške uvajanja temeljnega modela in zakasnitev.
Razpoložljivost komponent sklepanja prek krmilnika SageMaker omogoča strankam, ki uporabljajo Kubernetes kot nadzorno ravnino, da izkoristijo komponente sklepanja med uvajanjem svojih modelov v SageMaker.
V tej objavi pokažemo, kako uporabiti operaterje ACK SageMaker za uvajanje komponent sklepanja SageMaker.
Kako deluje ACK
Za dokazovanje kako deluje ACK, poglejmo primer z uporabo Preprosta storitev shranjevanja Amazon (Amazon S3). V naslednjem diagramu je Alice naša uporabnica Kubernetes. Njena uporaba je odvisna od obstoja vedra S3 z imenom my-bucket
.
Potek dela je sestavljen iz naslednjih korakov:
- Alice pokliče na
kubectl apply
, ki posreduje datoteko, ki opisuje Kubernetes vir po meri opisuje njeno vedro S3.kubectl apply
posreduje to datoteko, imenovano a manifest, v strežnik API-ja Kubernetes, ki se izvaja v vozlišču krmilnika Kubernetes. - Strežnik Kubernetes API prejme manifest, ki opisuje vedro S3, in ugotovi, ali je Alice Dovoljenja za ustvarjanje vira po meri vrsta
s3.services.k8s.aws/Bucket
in da je vir po meri pravilno formatiran. - Če je Alice pooblaščena in je vir po meri veljaven, strežnik API-ja Kubernetes zapiše vir po meri v svoj
etcd
shranjevanje podatkov. - Nato odgovori Alice, da je bil vir po meri ustvarjen.
- Na tej točki storitev ACK krmilnik za Amazon S3, ki se izvaja na delovnem vozlišču Kubernetes v kontekstu običajnega Kubernetesa Pod, je obveščen, da je nov vir po meri
s3.services.k8s.aws/Bucket
je bil ustvarjen. - Krmilnik storitve ACK za Amazon S3 nato komunicira z API-jem Amazon S3 in pokliče S3 CreateBucket API da ustvarite vedro v AWS.
- Po komunikaciji z API-jem Amazon S3 krmilnik storitve ACK pokliče strežnik API-ja Kubernetes, da posodobi vir po meri Status z informacijami, ki jih je prejel od Amazon S3.
Ključne komponente
Nove zmožnosti sklepanja temeljijo na SageMakerjevih končnih točkah sklepanja v realnem času. Kot prej ustvarite končno točko SageMaker s konfiguracijo končne točke, ki definira vrsto primerka in začetno število primerkov za končno točko. Model je konfiguriran v novem konstruktu, komponenti sklepanja. Tukaj določite število pospeševalnikov in količino pomnilnika, ki ga želite dodeliti vsaki kopiji modela, skupaj z artefakti modela, sliko vsebnika in številom kopij modela za razmestitev.
Uporabite lahko nove zmožnosti sklepanja iz Amazon SageMaker Studioje SDK SageMaker Python, SDK-ji za AWSin Vmesnik ukazne vrstice AWS (AWS CLI). Podpira jih tudi Oblikovanje oblaka AWS. Zdaj jih lahko uporabljate tudi z Operatorji SageMaker za Kubernetes.
Pregled rešitev
Za to predstavitev uporabimo krmilnik SageMaker za uvedbo kopije Model Dolly v2 7B in kopijo Model FLAN-T5 XXL Iz Hugging Face Model Hub na končni točki SageMaker v realnem času z uporabo novih zmožnosti sklepanja.
Predpogoji
Če želite slediti, bi morali imeti nameščeno gručo Kubernetes z nameščenim krmilnikom SageMaker ACK v1.2.9 ali novejšim. Za navodila o zagotavljanju an Amazonski elastični kubernetes storitev (Amazon EKS) grozd z Amazonski elastični računalniški oblak (Amazon EC2) Vozlišča, ki jih upravlja Linux z uporabo eksctl, glejte Kako začeti z Amazon EKS – eksctl. Za navodila o namestitvi krmilnika SageMaker glejte Strojno učenje s krmilnikom ACK SageMaker.
Za gostovanje LLM potrebujete dostop do pospešenih primerkov (GPU). Ta rešitev uporablja en primerek ml.g5.12xlarge; lahko preverite razpoložljivost teh primerkov v svojem računu AWS in zahtevate te primerke po potrebi prek zahteve za povečanje kvot storitev, kot je prikazano na naslednjem posnetku zaslona.
Ustvari komponento sklepanja
Če želite ustvariti svojo komponento sklepanja, definirajte EndpointConfig
, Endpoint
, Model
in InferenceComponent
Datoteke YAML, podobne tistim, prikazanim v tem razdelku. Uporaba kubectl apply -f <yaml file>
za ustvarjanje virov Kubernetes.
Stanje vira lahko prikažete prek kubectl describe <resource-type>
; na primer kubectl describe inferencecomponent
.
Komponento sklepanja lahko ustvarite tudi brez vira modela. Glejte navodila v Dokumentacija API Za več podrobnosti.
EndpointConfig YAML
Sledi koda za datoteko EndpointConfig:
Končna točka YAML
Sledi koda za datoteko Endpoint:
Model YAML
Sledi koda za datoteko modela:
InferenceComponent YAML-ji
Glede na to, da je primerek ml.g5.12xlarge opremljen s 4 grafičnimi procesorji, v naslednjih datotekah YAML vsakemu modelu dodeljujemo 2 grafična procesorja, 2 procesorja in 1,024 MB pomnilnika:
Priklic modelov
Zdaj lahko prikličete modele z naslednjo kodo:
Posodobite komponento sklepanja
Če želite posodobiti obstoječo komponento sklepanja, lahko posodobite datoteke YAML in nato uporabite kubectl apply -f <yaml file>
. Sledi primer posodobljene datoteke:
Izbrišite komponento sklepanja
Če želite izbrisati obstoječo komponento sklepanja, uporabite ukaz kubectl delete -f <yaml file>
.
Razpoložljivost in cene
Nove zmožnosti sklepanja SageMaker so danes na voljo v regijah AWS Vzhod ZDA (Ohio, S. Virginija), Zahod ZDA (Oregon), Azija Pacifik (Džakarta, Mumbaj, Seul, Singapur, Sydney, Tokio), Kanada (osrednja), Evropa ( Frankfurt, Irska, London, Stockholm), Bližnji vzhod (ZAE) in Južna Amerika (São Paulo). Za podrobnosti o cenah obiščite Cene Amazon SageMaker.
zaključek
V tej objavi smo pokazali, kako uporabiti operaterje ACK SageMaker za uvajanje komponent sklepanja SageMaker. Zaženite svojo gručo Kubernetes in uvedite svoje FM-je z novimi zmožnostmi sklepanja SageMaker še danes!
O avtorjih
Rajesh Ramchander je glavni inženir ML v strokovnih storitvah pri AWS. Strankam pomaga na različnih stopnjah njihove poti AI/ML in GenAI, od tistih, ki šele začenjajo, pa vse do tistih, ki svoje podjetje vodijo s strategijo, ki je na prvem mestu AI.
Amit Arora je specialist za AI in ML pri Amazon Web Services, ki podjetjem pomaga pri uporabi storitev strojnega učenja v oblaku za hitro razširitev njihovih inovacij. Je tudi pomožni predavatelj v programu podatkovne znanosti in analitike MS na Univerzi Georgetown v Washingtonu DC.
Suryansh Singh je inženir za razvoj programske opreme pri AWS SageMaker in dela na razvoju ML-distribuiranih infrastrukturnih rešitev za stranke AWS v velikem obsegu.
Saurabh Trikande je višji produktni vodja za Amazon SageMaker Inference. Navdušen je nad delom s strankami in ga motivira cilj demokratizacije strojnega učenja. Osredotoča se na ključne izzive, povezane z uvajanjem kompleksnih aplikacij ML, modelov ML z več najemniki, optimizacijo stroškov in zagotavljanjem dostopnosti uvajanja modelov globokega učenja. V prostem času Saurabh uživa v pohodništvu, spoznavanju inovativnih tehnologij, spremlja TechCrunch in preživlja čas s svojo družino.
Johna Liu je inženir za razvoj programske opreme v ekipi Amazon SageMaker. Njeno trenutno delo se osredotoča na pomoč razvijalcem pri učinkovitem gostovanju modelov strojnega učenja in izboljšanju zmogljivosti sklepanja. Navdušena je nad analizo prostorskih podatkov in uporabo umetne inteligence za reševanje družbenih problemov.
- Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
- PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
- PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
- PlatoESG. Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
- PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
- vir: https://aws.amazon.com/blogs/machine-learning/use-kubernetes-operators-for-new-inference-capabilities-in-amazon-sagemaker-that-reduce-llm-deployment-costs-by-50-on-average/
- :ima
- : je
- :kje
- $GOR
- 1
- 10
- 100
- 20
- 7
- 9
- 98
- a
- O meni
- nad
- pospešeno
- pospeševalniki
- dostop
- dostopen
- Račun
- Dodaja
- dodatek
- Prednost
- AI
- AI / ML
- Alice
- vsi
- dodeliti
- omogočajo
- skupaj
- Prav tako
- Amazon
- Amazon EC2
- Amazon SageMaker
- Amazon Web Services
- Amerika
- znesek
- an
- Analiza
- analitika
- in
- Objavi
- API
- uporaba
- aplikacije
- Uporabi
- SE
- AS
- asia
- azijska pacifična
- At
- pooblaščeni
- razpoložljivost
- Na voljo
- povprečno
- AWS
- bilo
- pred
- telo
- izgradnjo
- Building
- poslovni
- by
- california
- klic
- se imenuje
- kliče
- poziva
- CAN
- Kanada
- Zmogljivosti
- primeri
- Osrednji
- izzivi
- preveriti
- cli
- Grozd
- Koda
- prihaja
- ukaz
- komuniciranje
- kompleksna
- komponenta
- deli
- Izračunajte
- konfiguracija
- konfigurirano
- vsebuje
- gradnjo
- Posoda
- Zabojniki
- ozadje
- nadzor
- krmilnik
- copy
- Core
- strošek
- stroški
- štetje
- ustvarjajo
- ustvaril
- Trenutna
- po meri
- Stranke, ki so
- datum
- Analiza podatkov
- znanost o podatkih
- baze podatkov
- globoko
- globoko učenje
- opredeliti
- Določa
- demo
- Demokratiziranje
- izkazati
- odvisno
- razporedi
- uvajanja
- uvajanje
- opisati
- opisuje
- Opisuje
- Podrobnosti
- določa
- Razvijalci
- razvoju
- Razvoj
- diagram
- vsak
- East
- učinkovito
- omogoča
- Končna točka
- inženir
- Podjetje
- okolje
- Evropa
- Primer
- razburjen
- Obstoj
- obstoječih
- Obraz
- družina
- file
- datoteke
- narava
- Osredotoča
- sledi
- po
- za
- Fundacija
- Okvirni
- Frankfurt
- iz
- genai
- Georgetown
- pridobivanje
- GitHub
- dana
- Cilj
- Grafične kartice
- veliko
- Navodila
- Imajo
- he
- pomoč
- pomoč
- Pomaga
- jo
- tukaj
- njegov
- gostitelj
- gostovanje
- Kako
- Kako
- HTML
- http
- HTTPS
- if
- slika
- uvoz
- izboljšanje
- in
- Povečajte
- Podatki
- Infrastruktura
- začetna
- novosti
- inovativne
- inovativne tehnologije
- vhodi
- nameščen
- Namestitev
- primer
- Navodila
- Irska
- Vprašanja
- IT
- ITS
- Potovanje
- jpeg
- jpg
- json
- samo
- Otrok
- Latenca
- vodi
- učenje
- Lets
- kot
- vrstica
- linux
- Seznam
- v živo
- LLM
- London
- Poglej
- stroj
- strojno učenje
- Izdelava
- upravlja
- upravitelj
- več
- Spomin
- Sporočilo
- metapodatki
- Bližnji
- srednji vzhod
- ML
- Model
- modeli
- več
- motivirani
- MS
- veliko
- Mumbai
- Ime
- Imenovan
- Nimate
- potrebna
- Novo
- Vozel
- vozlišča
- normalno
- zdaj
- Številka
- of
- Ohio
- on
- ONE
- tiste
- samo
- operaterji
- optimizacije
- Optimizirajte
- or
- Oregon
- naši
- Pacific
- vozovnice
- Podaje
- strastno
- performance
- Kraj
- letalo
- platon
- Platonova podatkovna inteligenca
- PlatoData
- Točka
- Prispevek
- cenitev
- , ravnateljica
- Težave
- Izdelek
- produktni vodja
- strokovni
- Program
- pravilno
- če
- zagotavljanje
- Python
- hitro
- v realnem času
- prejetih
- prejme
- zmanjša
- zmanjšuje
- glejte
- regije
- povezane
- zahteva
- pridržane
- vir
- viri
- tek
- sagemaker
- Sklep SageMaker
- Enako
- Lestvica
- Znanost
- sdks
- Oddelek
- glej
- višji
- Seoul
- strežnik
- Storitev
- Storitve
- je
- shouldnt
- Prikaži
- je pokazala,
- pokazale
- Podoben
- Enostavno
- preprosto
- Singapur
- družbeni
- Software
- Razvoj programske opreme
- Rešitev
- rešitve
- SOLVE
- South
- Južna Amerika
- prostorsko
- specialist
- specifikacija
- Poraba
- postopka
- začel
- Status
- Koraki
- shranjevanje
- trgovina
- Strategija
- podpora
- Podprti
- sydney
- Bodite
- skupina
- TechCrunch
- Tehnologije
- da
- O
- njihove
- Njih
- POTEM
- te
- jih
- ta
- tisti,
- skozi
- čas
- do
- danes
- skupaj
- tokio
- tip
- ZAE
- univerza
- dokler
- Nadgradnja
- posodobljeno
- naprej
- us
- uporaba
- uporabnik
- Uporabniki
- uporablja
- uporabo
- v1
- veljavno
- različnih
- različica
- preko
- Virginia
- obisk
- želeli
- washington
- način..
- we
- web
- spletne storitve
- so bili
- West
- ki
- medtem
- WHO
- zakaj
- z
- v
- brez
- delo
- delavec
- potek dela
- deluje
- deluje
- yaml
- Vi
- Vaša rutina za
- zefirnet