Organiseer de ontwikkeling van machine learning met behulp van gedeelde ruimtes in SageMaker Studio voor realtime samenwerking

Heruitgegeven door Plato

volgers: 0

Amazon SageMaker Studio is de eerste volledig geïntegreerde ontwikkelomgeving (IDE) voor machine learning (ML). Het biedt een enkele, webgebaseerde visuele interface waar u alle ML-ontwikkelingsstappen kunt uitvoeren, inclusief het voorbereiden van gegevens en het bouwen, trainen en implementeren van modellen.

Binnen een Amazon SageMaker-domein, kunnen gebruikers een persoonlijke Amazon SageMaker Studio IDE-applicatie inrichten, die een gratis JupyterServer draait met ingebouwde integraties om Amazon te onderzoeken SageMaker-experimenten, orkestreren Amazon SageMaker-pijpleidingen, en veel meer. Gebruikers betalen alleen voor de flexibele rekenkracht op hun notebook-kernels. Deze persoonlijke applicaties koppelen automatisch de privé van een respectieve gebruiker Amazon elastisch bestandssysteem (Amazon EFS) thuismap zodat ze code, gegevens en andere bestanden geïsoleerd kunnen houden van andere gebruikers. Amazon SageMaker Studio ondersteunt al het delen van notebooks tussen privétoepassingen, maar het asynchrone mechanisme kan het iteratieproces vertragen.

nu met gedeelde ruimtes in Amazon SageMaker Studio, kunnen gebruikers gezamenlijke ML-inspanningen en -initiatieven organiseren door een gedeelde IDE-toepassing te maken die gebruikers gebruiken met hun eigen Amazon SageMaker-gebruikersprofiel. Gegevenswerkers die samenwerken in een gedeelde ruimte krijgen toegang tot een Amazon SageMaker Studio-omgeving waar ze hun notitieboekjes in realtime kunnen openen, lezen, bewerken en delen, waardoor ze het snelste pad hebben om samen met hun collega's aan nieuwe ideeën te werken. Datawerkers kunnen zelfs tegelijkertijd op dezelfde notebook samenwerken met behulp van realtime samenwerkingsmogelijkheden. De notebook geeft elke gebruiker die meewerkt aan met een andere cursor die hun respectieve gebruikersprofielnaam toont.

Gedeelde ruimtes in SageMaker Studio taggen automatisch bronnen, zoals trainingstaken, verwerkingstaken, experimenten, pijplijnen en modelregistervermeldingen die zijn gemaakt binnen het bereik van een werkruimte met hun respectieve sagemaker:space-arn. De ruimte filtert die bronnen binnen de gebruikersinterface (UI) van Amazon SageMaker Studio, zodat gebruikers alleen SageMaker-experimenten, pijplijnen en andere bronnen te zien krijgen die relevant zijn voor hun ML-inspanningen.

Overzicht oplossingen

Aangezien gedeelde ruimtes automatisch bronnen taggen, kunnen beheerders eenvoudig de kosten bewaken die gepaard gaan met een ML-inspanning en budgetten plannen met behulp van tools zoals AWS-budgetten en AWS-kostenverkenner. Als beheerder hoeft u alleen een label voor kostentoewijzing For sagemaker:space-arn.

Zodra dat is voltooid, kunt u AWS Cost Explorer gebruiken om te bepalen hoeveel individuele ML-projecten uw organisatie kosten.

Ga aan de slag met gedeelde ruimtes in Amazon SageMaker Studio

In dit gedeelte analyseren we de typische workflow voor het maken en gebruiken van gedeelde ruimtes in Amazon SageMaker Studio.

Creëer een gedeelde ruimte in Amazon SageMaker Studio

U kunt de Amazon SageMaker-console of de AWS-opdrachtregelinterface (AWS CLI) om ondersteuning voor ruimtes toe te voegen aan een bestaand domein. Kijk voor de meest actuele informatie op Creëer een gedeelde ruimte. Gedeelde ruimtes werken alleen met een JupyterLab 3 SageMaker Studio-image en voor SageMaker-domeinen met behulp van AWS Identity and Access Management (AWS IAM)-authenticatie.

Console-creatie

Om een ruimte te creëren binnen een aangewezen Amazon SageMaker-domein, moet u eerst een aangewezen standaarduitvoeringsrol voor de ruimte instellen. Van de Domeingegevens pagina, selecteert u de Domeininstellingen Tab en selecteer Edit. Vervolgens kunt u een standaarduitvoeringsrol voor de ruimte instellen, die slechts één keer per domein hoeft te worden voltooid, zoals weergegeven in het volgende diagram:

Vervolgens kunt u naar de Ruimtebeheer tabblad binnen uw domein en selecteer het creëren knop, zoals weergegeven in het volgende diagram:

AWS CLI-creatie

U kunt ook een standaard uitvoeringsrol voor domeinruimte instellen vanuit de AWS CLI. Om de ARN van de JupyterLab3-afbeelding in uw regio te bepalen, vinkt u aan Een standaard JupyterLab-versie instellen.

aws --region  
sagemaker update-domain 
--domain-id  
--default-space-settings "ExecutionRole="

Zodra dat is voltooid voor uw domein, kunt u een gedeelde ruimte maken vanuit de CLI.

aws --region  
sagemaker create-space 
--domain-id  
--space-name

Start een gedeelde ruimte in Amazon SageMaker Studio

Gebruikers kunnen een gedeelde ruimte starten door de Lancering naast hun gebruikersprofiel in de AWS-console voor hun Amazon SageMaker-domein.

Na het selecteren Ruimtes onder het gedeelte Collaborative en selecteer vervolgens welke Space je wilt starten:

Als alternatief kunnen gebruikers een vooraf ondertekende URL genereren om een space te starten via de AWS CLI:

aws sagemaker create-presigned-domain-url 
--region  
--domain-id  
--space-name  
--user-profile-name

Realtime samenwerking

Zodra de gedeelde ruimte-IDE van Amazon SageMaker Studio is geladen, kunnen gebruikers de Medewerkers tab in het linkerdeelvenster om te zien welke gebruikers actief in uw ruimte werken en op welk notebook. Als meer dan één persoon aan hetzelfde notitieblok werkt, ziet u een cursor met de profielnaam van de andere gebruiker waar ze aan het bewerken zijn:

In de volgende schermafbeelding ziet u de verschillende gebruikerservaringen voor iemand die hetzelfde notitieblok bewerkt en bekijkt:

Conclusie

In dit bericht hebben we je laten zien hoe gedeelde ruimtes in SageMaker Studio een real-time collaboratieve IDE-ervaring toevoegen aan Amazon SageMaker Studio. Geautomatiseerde tagging helpt gebruikers hun Amazon SageMaker-bronnen te bereiken en te filteren, waaronder: experimenten, pijplijnen en modelregistervermeldingen om de gebruikersproductiviteit te maximaliseren. Bovendien kunnen beheerders deze toegepaste tags gebruiken om de kosten van een bepaalde ruimte te bewaken en passende budgetten in te stellen met behulp van AWS Cost Explorer en AWS Budgets.

Versnel de samenwerking van uw team vandaag door gedeelde ruimtes in Amazon SageMaker Studio in te stellen voor uw specifieke machine learning-inspanningen!

Over de auteurs

Sean Morgan is een AI/ML Solutions Architect bij AWS. Hij heeft ervaring op het gebied van halfgeleiders en academisch onderzoek en gebruikt zijn ervaring om klanten te helpen hun doelen op AWS te bereiken. In zijn vrije tijd is Sean een actieve open-source bijdrager/onderhouder en is hij de leider van de speciale belangengroep voor TensorFlow Add-ons.

Han Zhang is Senior Software Engineer bij Amazon Web Services. Ze maakt deel uit van het lanceringsteam voor Amazon SageMaker Notebooks en Amazon SageMaker Studio en richt zich op het bouwen van veilige machine learning-omgevingen voor klanten. In haar vrije tijd houdt ze van wandelen en skiën in de Pacific Northwest.

Arkaprava De is Senior Software Engineer bij AWS. Hij werkt al meer dan 7 jaar bij Amazon en werkt momenteel aan het verbeteren van de Amazon SageMaker Studio IDE-ervaring. Je vindt hem op LinkedIn.

Kunal Jha is Senior Productmanager bij AWS. Hij is gefocust op het bouwen van Amazon SageMaker Studio als de IDE bij uitstek voor alle ML-ontwikkelingsstappen. In zijn vrije tijd geniet Kunal van skiën en het verkennen van de Pacific Northwest. Je vindt hem op LinkedIn.