Organisera utveckling av maskininlärning med hjälp av delade utrymmen i SageMaker Studio för samarbete i realtid

Amazon SageMaker Studio är den första helt integrerade utvecklingsmiljön (IDE) för maskininlärning (ML). Det tillhandahåller ett enda, webbaserat visuellt gränssnitt där du kan utföra alla ML-utvecklingssteg, inklusive att förbereda data och bygga, träna och distribuera modeller.

Inom en Amazon SageMaker-domän, kan användare tillhandahålla en personlig Amazon SageMaker Studio IDE-applikation, som kör en gratis JupyterServer med inbyggda integrationer för att undersöka Amazon SageMaker-experiment, orkestrera Amazon SageMaker-rörledningar, och mycket mer. Användare betalar bara för den flexibla datorn på sina bärbara kärnor. Dessa personliga applikationer monterar automatiskt en respektive användares privata Amazon Elastic File System (Amazon EFS) hemkatalog så att de kan hålla kod, data och andra filer isolerade från andra användare. Amazon SageMaker Studio stöder redan delning av bärbara datorer mellan privata applikationer, men den asynkrona mekanismen kan sakta ner iterationsprocessen.

nu med delade utrymmen i Amazon SageMaker Studio, kan användare organisera gemensamma ML-strävanden och initiativ genom att skapa en delad IDE-applikation som användare använder med sin egen Amazon SageMaker-användarprofil. Dataarbetare som samarbetar i ett delat utrymme får tillgång till en Amazon SageMaker Studio-miljö där de kan komma åt, läsa, redigera och dela sina anteckningsböcker i realtid, vilket ger dem den snabbaste vägen att börja iterera med sina kamrater om nya idéer. Dataarbetare kan till och med samarbeta på samma bärbara dator samtidigt med hjälp av samarbetsmöjligheter i realtid. Anteckningsboken indikerar varje medredigerande användare med en annan markör som visar deras respektive användarprofilnamn.

Delade utrymmen i SageMaker Studio taggar automatiskt resurser, såsom utbildningsjobb, bearbetningsjobb, experiment, pipelines och modellregisterposter som skapats inom ramen för en arbetsyta med sina respektive sagemaker:space-arn. Utrymmet filtrerar dessa resurser inom Amazon SageMaker Studios användargränssnitt (UI) så att användare endast presenteras med SageMaker Experiment, Pipelines och andra resurser som är relevanta för deras ML-strävan.

Lösningsöversikt

Eftersom delade utrymmen automatiskt taggar resurser kan administratörer enkelt övervaka kostnader förknippade med en ML-insats och planera budgetar med hjälp av verktyg som t.ex. AWS budgetar och AWS Cost Explorer. Som administratör behöver du bara bifoga en kostnadsfördelningstagg för sagemaker:space-arn.

När det är klart kan du använda AWS Cost Explorer för att identifiera hur mycket enskilda ML-projekt kostar din organisation.

Kom igång med delade utrymmen i Amazon SageMaker Studio

I det här avsnittet kommer vi att analysera det typiska arbetsflödet för att skapa och använda delade utrymmen i Amazon SageMaker Studio.

Skapa ett delat utrymme i Amazon SageMaker Studio

Du kan använda Amazon SageMaker-konsolen eller AWS-kommandoradsgränssnitt (AWS CLI) för att lägga till stöd för utrymmen till en befintlig domän. För den senaste informationen, vänligen kontrollera Skapa ett delat utrymme. Delade utrymmen fungerar bara med en JupyterLab 3 SageMaker Studio-bild och för SageMaker-domäner som använder AWS Identity and Access Management (AWS IAM)-autentisering.

Konsolskapande

För att skapa ett utrymme inom en utsedd Amazon SageMaker-domän måste du först ställa in en utsedd utrymmesstandardexekveringsroll. Från Domäninformation sida, välj Domäninställningar Fliken och välj Redigera. Sedan kan du ställa in en standardexekveringsroll för utrymme, som bara behöver slutföras en gång per domän, som visas i följande diagram:

Därefter kan du gå till Utrymmehantering fliken inom din domän och välj Skapa knappen, som visas i följande diagram:

AWS CLI skapande

Du kan också ställa in en standardexekveringsroll för domänutrymme från AWS CLI. För att bestämma din regions JupyterLab3 bild ARN, kontrollera Ställa in en standardversion av JupyterLab.

aws --region  
sagemaker update-domain 
--domain-id  
--default-space-settings "ExecutionRole="

När det är klart för din domän kan du skapa ett delat utrymme från CLI.

aws --region  
sagemaker create-space 
--domain-id  
--space-name  

Starta ett delat utrymme i Amazon SageMaker Studio

Användare kan starta ett delat utrymme genom att välja Starta knappen bredvid deras användarprofil i AWS-konsolen för deras Amazon SageMaker-domän.

Efter att ha valt Utrymmen under Samarbetssektionen och välj sedan vilket utrymme som ska lanseras:

Alternativt kan användare generera en försignerad URL för att starta ett utrymme via AWS CLI:

aws sagemaker create-presigned-domain-url 
--region  
--domain-id  
--space-name  
--user-profile-name  

Realtidssamarbete

När Amazon SageMaker Studio shared space IDE har laddats kan användare välja medarbetare fliken på den vänstra panelen för att se vilka användare som aktivt arbetar i ditt utrymme och på vilken bärbar dator. Om mer än en person arbetar på samma anteckningsbok, kommer du att se en markör med den andra användarens profilnamn där de redigerar:

I följande skärmdump kan du se de olika användarupplevelserna för någon som redigerar och tittar på samma anteckningsbok:

Slutsats

I det här inlägget visade vi dig hur delade utrymmen i SageMaker Studio lägger till en samarbetande IDE-upplevelse i realtid till Amazon SageMaker Studio. Automatiserad taggning hjälper användare att omfånga och filtrera sina Amazon SageMaker-resurser, vilket inkluderar: experiment, pipelines och modellregisterposter för att maximera användarens produktivitet. Dessutom kan administratörer använda dessa applicerade taggar för att övervaka kostnaderna för ett givet utrymme och ställa in lämpliga budgetar med hjälp av AWS Cost Explorer och AWS Budgets.

Påskynda ditt teams samarbete idag genom att skapa delade utrymmen i Amazon SageMaker Studio för dina specifika maskininlärningssträvanden!

Om författarna

Sean Morgan är AI/ML Solutions Architect på AWS. Han har erfarenhet inom halvledarforskning och akademisk forskning och använder sin erfarenhet för att hjälpa kunder att nå sina mål på AWS. På sin fritid är Sean en aktiv bidragsgivare/underhållare med öppen källkod och är specialintressegruppledare för TensorFlow-tillägg.

Han Zhang är senior mjukvaruingenjör på Amazon Web Services. Hon är en del av lanseringsteamet för Amazon SageMaker Notebooks och Amazon SageMaker Studio, och har fokuserat på att bygga säkra maskininlärningsmiljöer för kunder. På fritiden tycker hon om att vandra och åka skidor i Pacific Northwest.

Arkaprava De är senior mjukvaruingenjör på AWS. Han har varit på Amazon i över 7 år och arbetar för närvarande med att förbättra Amazon SageMaker Studio IDE-upplevelsen. Du kan hitta honom på LinkedIn.

Kunal Jha är Senior Product Manager på AWS. Han är fokuserad på att bygga Amazon SageMaker Studio som IDE-valet för alla ML-utvecklingssteg. På fritiden tycker Kunal om att åka skidor och utforska Stilla havets nordvästra. Du kan hitta honom på LinkedIn.