AWS har kommet opp med en ny ordning for å tjene penger – som lar kunder som er desperate etter GPU-ressurser betale for å reservere dem for planlagte datoer og klokkeslett, betalt på forhånd, og uten at ordreendringer er tillatt.
Den nye forbruksmodellen er kjent som Amazon Elastic Compute Cloud (EC2) Kapasitetsblokker for ML. Den lar kundene få tilgang til svært ettertraktede GPU-datamaskiner for å kjøre korte maskinlæringsarbeidsmengder.
Veksten i etterspørselen etter GPU-kapasitet for å trene og inferere maskinlæringsmodeller har overgått tilbudet i hele bransjen, noe som gjør GPUer til en knapp ressurs.
Det AWS ikke innrømmer, selvfølgelig, er at dette er fordi hyperscaler står foran i køen for GPUer, og samler opp forsyningen, inkludert AWS selv. Nvidia velig sa at 22 prosent av deres kalenderinntekter for 2. kvartal ble drevet av én enkelt skytjenesteleverandør.
EC2-kapasitetsblokker er i utgangspunktet tilgjengelige for Amazon EC2 P5 virtuelle maskinforekomster, som det for øyeblikket bare er én type av, p5.48xlarge. Denne har 192 vCPUer, 2 TB systemminne og åtte av Nvidias H100 GPUer, noe som gjør det til en ganske heftig instans.
I følge AWS fungerer EC2 Capacity Block-reservasjoner som hotellromreservasjoner. Du spesifiserer dato og varighet og størrelse på rommet ditt. På samme måte lar AWS deg velge dato og varighet du trenger GPU-forekomster og antall forekomster som kreves.
Kunder kan reservere en EC2-kapasitetsblokk som bare består av en enkelt forekomst, eller opptil 64, og disse kan reserveres i én til 14 dager etter behov. AWS vil tillate at disse reserveres opptil åtte uker i forveien, og hevder at kunder da kan planlegge for sine maskinlæringsimplementeringer med sikkerhet, vel vitende om at de vil ha GPU-kapasiteten når de trenger det.
AWS sier at prisene på EC2 Capacity Block er dynamiske og avhenger av det totale tilgjengelige nivået av tilbud og etterspørsel på det tidspunktet kunden kjøper. AWS hevder det vil vise det laveste tilbudet som er tilgjengelig som oppfyller utvalget kunden har spesifisert. EN skjermbilde på selskapets blogg viser et eksempel på en enkelt forekomst for en enkelt dag som koster $2,344.
Men her er kickeren: den totale kostnaden for en EC2-kapasitetsblokk belastes på forhånd, faktureres kontoen din innen 12 timer, og AWS tillater ikke at de endres eller kanselleres etter kjøpet. Så du bør være sikker på at du virkelig trenger den GPU-kapasiteten på disse datoene.
Og når tiden din er ute, vil arbeidsmengden din bli stanset uten seremonier. EC2 vil sende ut en hendelse gjennom Amazon EventBridge for å varsle om at reservasjonen avsluttes slik at brukeren kan kontrollere arbeidsbelastningen. Forekomster som kjører vil gå inn i en avslutningstilstand 30 minutter før reservasjonen avsluttes, men når tiden utløper, vil alle forekomster som fortsatt kjører bli avsluttet.
EC2 kapasitetsblokker er tilgjengelig nå, men i utgangspunktet bare i AWS US East (Ohio)-regionen. Tilgjengelighet er planlagt for flere regioner og lokale soner i fremtiden, sa AWS.
Skyen biz rapporterte inntekter på 23 milliarder dollar for 3. kvartal i år, opp fra 20.5 milliarder dollar et år tidligere, noe som gjenspeiler den fortsatte veksten i skymarkedet, men i et lavere tempo ettersom kundene søker måter å begrense forbruket på. Som de andre store skyene, ser AWS etterspørselen etter AI-tjenester som en måte å bekjempe denne trenden. ®
- SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk deg selv. Tilgang her.
- PlatoAiStream. Web3 Intelligence. Kunnskap forsterket. Tilgang her.
- PlatoESG. Karbon, CleanTech, Energi, Miljø, Solenergi, Avfallshåndtering. Tilgang her.
- PlatoHelse. Bioteknologisk og klinisk etterretning. Tilgang her.
- kilde: https://go.theregister.com/feed/www.theregister.com/2023/11/01/aws_reserve_gpu_time/
- : har
- :er
- :ikke
- $OPP
- 12
- 14
- 22
- 30
- a
- adgang
- Logg inn
- Ytterligere
- innrømme
- avansere
- Etter
- AI
- AI-tjenester
- Varsle
- tillate
- tillatt
- Amazon
- Amazon EC2
- an
- og
- noen
- ER
- AS
- At
- tilgjengelighet
- tilgjengelig
- AWS
- BE
- fordi
- før du
- Bedre
- Stor
- Milliarder
- biz
- Blokker
- Blocks
- men
- buys
- by
- Kalender
- CAN
- Kapasitet
- visshet
- ladet
- hevder
- krav
- Cloud
- CO
- bekjempe
- Kom
- Selskapet
- omfattende
- Beregn
- forbruk
- fortsatte
- Kostnad
- Kurs
- I dag
- kunde
- Kunder
- Dato
- datoer
- dag
- Dager
- Etterspørsel
- distribusjoner
- gjør
- doesn
- drevet
- varighet
- dynamisk
- Tidligere
- øst
- slutt
- slutter
- Event
- eksempel
- Egenskaper
- Til
- fra
- foran
- framtid
- Go
- GPU
- GPU
- Vekst
- Ha
- her.
- svært
- hotell
- TIMER
- HTTPS
- in
- Inkludert
- i utgangspunktet
- f.eks
- inn
- IT
- DET ER
- selv
- jpg
- bare
- Knowing
- kjent
- læring
- la
- Lar
- utleie
- nivåer
- i likhet med
- lokal
- maskin
- maskinlæring
- Making
- marked
- møter
- Minne
- minutter
- modell
- modeller
- modifisert
- tjene penger
- Trenger
- Ny
- Nei.
- nå
- Antall
- Nvidia
- of
- tilby
- Ohio
- on
- gang
- ONE
- bare
- or
- rekkefølge
- Annen
- Fred
- betalt
- Betale
- prosent
- fly
- planlagt
- plato
- Platon Data Intelligence
- PlatonData
- pen
- Prisene
- leverandør
- Kjøp
- Q2
- Q3
- område
- virkelig
- reflekterende
- refusjoner
- region
- regioner
- påkrevd
- Booking
- Reserve
- reservert
- ressurs
- Ressurser
- inntekter
- rom
- Kjør
- rennende
- s
- Sa
- samme
- sier
- Knappe
- planlagt
- ordningen
- Søke
- Sees
- tjeneste
- Tjenesteyter
- Tjenester
- Kort
- Vis
- Viser
- enkelt
- Størrelse
- So
- spesifisert
- utgifter
- Tilstand
- Still
- levere
- Tilbud og etterspørsel
- sikker
- system
- Det
- De
- deres
- Dem
- deretter
- Der.
- Disse
- de
- denne
- dette året
- De
- Gjennom
- tid
- ganger
- til
- Totalt
- Tog
- Trend
- typen
- us
- Bruker
- virtuelle
- virtuell maskin
- var
- Vei..
- måter
- uker
- når
- hvilken
- vil
- med
- innenfor
- Arbeid
- år
- Du
- Din
- zephyrnet
- soner