Organizirajte razvoj strojnega učenja z uporabo skupnih prostorov v SageMaker Studio za sodelovanje v realnem času

Amazon SageMaker Studio je prvo popolnoma integrirano razvojno okolje (IDE) za strojno učenje (ML). Zagotavlja enoten spletni vizualni vmesnik, kjer lahko izvajate vse razvojne korake ML, vključno s pripravo podatkov in gradnjo, usposabljanjem in uvajanjem modelov.

V roku Domena Amazon SageMaker, lahko uporabniki zagotovijo osebno aplikacijo Amazon SageMaker Studio IDE, ki poganja brezplačen strežnik JupyterServer z vgrajenimi integracijami za pregled Amazona. Poskusi SageMaker, orkestrirati Amazonski cevovodi SageMaker, in veliko več. Uporabniki plačajo samo za prilagodljivo računanje v jedrih svojih prenosnikov. Te osebne aplikacije samodejno namestijo zasebne uporabnike Elastični datotečni sistem Amazon (Amazon EFS), tako da lahko kodo, podatke in druge datoteke hranijo ločeno od drugih uporabnikov. Amazon SageMaker Studio že podpira skupno rabo zvezkov med zasebnimi aplikacijami, vendar lahko asinhroni mehanizem upočasni postopek ponavljanja.

Zdaj s skupne prostore v Amazon SageMaker Studio, lahko uporabniki organizirajo skupna prizadevanja in pobude ML z ustvarjanjem skupne aplikacije IDE, ki jo uporabniki uporabljajo z lastnim uporabniškim profilom Amazon SageMaker. Podatkovni delavci, ki sodelujejo v skupnem prostoru, dobijo dostop do okolja Amazon SageMaker Studio, kjer lahko dostopajo do svojih zvezkov, jih berejo, urejajo in delijo v realnem času, kar jim daje najhitrejšo pot, da začnejo ponavljati nove zamisli s svojimi kolegi. Podatkovni delavci lahko celo sočasno sodelujejo na istem prenosnem računalniku z uporabo zmogljivosti sodelovanja v realnem času. Beležnica označuje vsakega uporabnika, ki sodeluje pri urejanju, z drugačnim kazalcem, ki prikazuje ime njegovega uporabniškega profila.

Prostori v skupni rabi v SageMaker Studio samodejno označijo vire, kot so opravila usposabljanja, opravila obdelave, eksperimenti, cevovodi in vnosi v registru modelov, ustvarjeni v obsegu delovnega prostora, z njihovimi ustreznimi sagemaker:space-arn. Prostor filtrira te vire v uporabniškem vmesniku (UI) Amazon SageMaker Studio, tako da so uporabnikom predstavljeni samo eksperimenti SageMaker, cevovodi in drugi viri, ki so pomembni za njihova prizadevanja ML.

Pregled rešitev

Ker prostori v skupni rabi samodejno označujejo vire, lahko skrbniki enostavno spremljajo stroške, povezane s podvigom ML, in načrtujejo proračune z orodji, kot je Proračuni AWS in Raziskovalec stroškov AWS. Kot skrbnik boste morali le priložiti a oznaka za razdelitev stroškov za sagemaker:space-arn.

Ko je to končano, lahko uporabite AWS Cost Explorer, da ugotovite, koliko posamezni projekti ML stanejo vašo organizacijo.

Začnite s skupnimi prostori v Amazon SageMaker Studio

V tem razdelku bomo analizirali tipičen potek dela za ustvarjanje in uporabo skupnih prostorov v Amazon SageMaker Studio.

Ustvarite skupni prostor v Amazon SageMaker Studio

Uporabite lahko konzolo Amazon SageMaker ali Vmesnik ukazne vrstice AWS (AWS CLI), da dodate podporo za prostore obstoječi domeni. Za najnovejše informacije preverite Ustvarite skupni prostor. Prostori v skupni rabi delujejo samo s sliko JupyterLab 3 SageMaker Studio in za domene SageMaker z uporabo avtentikacije AWS Identity and Access Management (AWS IAM).

Ustvarjanje konzole

Če želite ustvariti prostor znotraj določene domene Amazon SageMaker, morate najprej nastaviti privzeto vlogo izvajanja določenega prostora. Iz Podrobnosti o domeni strani izberite Nastavitve domene Kartico in izberite Uredi. Nato lahko nastavite privzeto vlogo izvajanja prostora, ki jo je treba dokončati samo enkrat na domeno, kot je prikazano v naslednjem diagramu:

Nato lahko greste do Upravljanje prostora znotraj svoje domene in izberite ustvarjanje gumb, kot je prikazano na naslednjem diagramu:

Izdelava AWS CLI

V AWS CLI lahko nastavite tudi privzeto vlogo izvajanja domenskega prostora. Če želite določiti ARN slike JupyterLab3 vaše regije, preverite Nastavitev privzete različice JupyterLab.

aws --region  
sagemaker update-domain 
--domain-id  
--default-space-settings "ExecutionRole="

Ko je to dokončano za vašo domeno, lahko iz CLI ustvarite prostor v skupni rabi.

aws --region  
sagemaker create-space 
--domain-id  
--space-name  

Zaženite skupni prostor v Amazon SageMaker Studio

Uporabniki lahko zaženejo skupni prostor tako, da izberejo Zagon poleg njihovega uporabniškega profila v konzoli AWS za njihovo domeno Amazon SageMaker.

Po izbiri Prostori pod razdelkom Sodelovanje nato izberite, kateri prostor želite zagnati:

Druga možnost je, da uporabniki ustvarijo vnaprej podpisan URL za zagon prostora prek AWS CLI:

aws sagemaker create-presigned-domain-url 
--region  
--domain-id  
--space-name  
--user-profile-name  

Sodelovanje v realnem času

Ko je IDE za skupni prostor Amazon SageMaker Studio naložen, lahko uporabniki izberejo Sodelavci na levi plošči, da vidite, kateri uporabniki aktivno delajo v vašem prostoru in na katerem prenosniku. Če z istim zvezkom dela več kot ena oseba, boste videli kazalec z imenom profila drugega uporabnika, kjer urejajo:

Na naslednjem posnetku zaslona si lahko ogledate različne uporabniške izkušnje nekoga, ki ureja in si ogleduje isti zvezek:

zaključek

V tej objavi smo vam pokazali, kako skupni prostori v SageMaker Studio dodajo izkušnjo sodelovanja IDE v realnem času v Amazon SageMaker Studio. Samodejno označevanje pomaga uporabnikom pri določanju obsega in filtriranju njihovih virov Amazon SageMaker, kar vključuje: poskuse, cevovode in vnose v registru modelov za povečanje produktivnosti uporabnikov. Poleg tega lahko skrbniki uporabijo te uporabljene oznake za spremljanje stroškov, povezanih z danim prostorom, in nastavitev ustreznih proračunov z uporabo AWS Cost Explorer in AWS Budgets.

Pospešite sodelovanje svoje ekipe že danes z nastavitvijo skupnih prostorov v Amazon SageMaker Studio za vaša specifična prizadevanja strojnega učenja!

O avtorjih

Sean Morgan je arhitekt rešitev AI/ML pri AWS. Ima izkušnje na področju polprevodnikov in akademskih raziskav ter svoje izkušnje uporablja za pomoč strankam pri doseganju njihovih ciljev na AWS. V prostem času Sean aktivno prispeva/vzdržuje odprtokodni program in je vodja posebne interesne skupine za dodatke TensorFlow.

Han Zhang je višji programski inženir pri Amazon Web Services. Je del skupine za zagon prenosnikov Amazon SageMaker in Amazon SageMaker Studio ter se osredotoča na gradnjo varnih okolij strojnega učenja za stranke. V prostem času uživa v pohodništvu in smučanju na pacifiškem severozahodu.

Arkaprava De je višji programski inženir pri AWS. V Amazonu je zaposlen že več kot 7 let in trenutno dela na izboljšanju izkušnje Amazon SageMaker Studio IDE. Najdete ga na LinkedIn.

Kunal Jha je višji produktni vodja pri AWS. Osredotočen je na izdelavo Amazon SageMaker Studio kot IDE izbire za vse razvojne korake ML. V prostem času Kunal uživa v smučanju in raziskovanju pacifiškega severozahoda. Najdete ga na LinkedIn.