Szervezze meg a gépi tanulás fejlesztését a SageMaker Studio megosztott tereinek használatával a valós idejű együttműködés érdekében

Amazon SageMaker Studio az első teljesen integrált fejlesztői környezet (IDE) a gépi tanuláshoz (ML). Egyetlen, webalapú vizuális felületet biztosít, ahol elvégezheti az összes ML fejlesztési lépést, beleértve az adatok előkészítését és a modellek építését, betanítását és telepítését.

Egy Amazon SageMaker domain, a felhasználók létrehozhatnak egy személyes Amazon SageMaker Studio IDE alkalmazást, amely egy ingyenes JupyterServert futtat beépített integrációkkal az Amazon vizsgálatához. SageMaker kísérletek, hangszerel Amazon SageMaker csővezetékek, és még sok más. A felhasználók csak a notebook kerneleken végzett rugalmas számításokért fizetnek. Ezek a személyes alkalmazások automatikusan csatolják az adott felhasználó privát adatait Amazon elasztikus fájlrendszer (Amazon EFS) főkönyvtárában, így a kódot, az adatokat és az egyéb fájlokat elszigetelhetik a többi felhasználótól. Amazon SageMaker Studio már támogatja a notebookok privát alkalmazások közötti megosztását, de az aszinkron mechanizmus lelassíthatja az iterációs folyamatot.

Most a megosztott terek az Amazon SageMaker Studio-ban, a felhasználók megszervezhetik az együttműködésen alapuló ML-törekvéseket és kezdeményezéseket egy megosztott IDE-alkalmazás létrehozásával, amelyet a felhasználók saját Amazon SageMaker felhasználói profiljukkal használnak. A megosztott térben együttműködő adatmunkások hozzáférést kapnak egy Amazon SageMaker Studio környezethez, ahol valós időben érhetik el, olvashatják, szerkeszthetik és megoszthatják jegyzetfüzeteiket, így a leggyorsabban elkezdhetik az iterációt társaikkal az új ötleteken. Az adatkezelők akár egyidejűleg is együttműködhetnek ugyanazon a notebookon a valós idejű együttműködési lehetőségek segítségével. A jegyzetfüzet minden társszerkesztő felhasználót más-más kurzorral jelez, amely a megfelelő felhasználói profil nevét mutatja.

A SageMaker Studio megosztott terei automatikusan megcímkézik az erőforrásokat, például a képzési feladatokat, a feldolgozási feladatokat, a kísérleteket, a folyamatokat és a munkaterületen belül létrehozott modellnyilvántartási bejegyzéseket a megfelelőjükkel. sagemaker:space-arn. A tér szűri ezeket az erőforrásokat az Amazon SageMaker Studio felhasználói felületén (UI), így a felhasználók csak a SageMaker kísérleteket, folyamatokat és egyéb erőforrásokat láthatják, amelyek relevánsak az ML törekvéseikhez.

Megoldás áttekintése

Mivel a megosztott helyek automatikusan címkézik az erőforrásokat, a rendszergazdák könnyen nyomon követhetik az ML-törekvésekkel kapcsolatos költségeket, és megtervezhetik a költségvetést olyan eszközök segítségével, mint pl. AWS költségvetések és a AWS Cost Explorer. Rendszergazdaként csak csatolnia kell a költségelosztási címke mert sagemaker:space-arn.

Ha ez megtörtént, az AWS Cost Explorer segítségével megállapíthatja, hogy az egyes ML-projektek mennyibe kerülnek a szervezetnek.

Kezdje el a megosztott tereket az Amazon SageMaker Studio-ban

Ebben a részben az Amazon SageMaker Studio megosztott tereinek létrehozásának és használatának tipikus munkafolyamatait elemezzük.

Hozzon létre egy megosztott helyet az Amazon SageMaker Studio alkalmazásban

Használhatja az Amazon SageMaker konzolt vagy a AWS parancssori interfész (AWS CLI) a terek támogatásához egy meglévő tartományhoz. A legfrissebb információkért kérjük, ellenőrizze Hozzon létre egy megosztott teret. A megosztott terek csak a JupyterLab 3 SageMaker Studio lemezképével és az AWS Identity and Access Management (AWS IAM) hitelesítést használó SageMaker tartományokkal működnek.

Konzol létrehozása

Ha egy kijelölt Amazon SageMaker tartományon belül szeretne teret létrehozni, először be kell állítania egy kijelölt terület alapértelmezett végrehajtási szerepkörét. Tól Domain részletei lapon válassza ki a Domain beállítások Lapot és válassza ki szerkesztése. Ezután beállíthat egy térbeli alapértelmezett végrehajtási szerepet, amelyet csak egyszer kell végrehajtani tartományonként, amint azt az alábbi diagram mutatja:

Ezután léphet a Térgazdálkodás fület a domainben, és válassza ki a Teremt gombot, ahogy az alábbi ábrán látható:

AWS CLI létrehozása

Beállíthat egy alapértelmezett tartományterület-végrehajtási szerepet is az AWS parancssori felületén. A régióban található JupyterLab3 kép ARN meghatározásához ellenőrizze A JupyterLab alapértelmezett verziójának beállítása.

aws --region  
sagemaker update-domain 
--domain-id  
--default-space-settings "ExecutionRole="

Miután ez megtörtént a domainjére vonatkozóan, létrehozhat egy megosztott teret a CLI-ből.

aws --region  
sagemaker create-space 
--domain-id  
--space-name  

Indítson el egy megosztott teret az Amazon SageMaker Studio-ban

A felhasználók a megosztott teret a lehetőség kiválasztásával indíthatják el Indít gombot a felhasználói profiljuk mellett az AWS-konzolon belül az Amazon SageMaker domainhez.

A kiválasztás után Spaces az Együttműködés részben, majd válassza ki, hogy melyik teret szeretné elindítani:

Alternatív megoldásként a felhasználók létrehozhatnak egy előre aláírt URL-t, hogy teret indíthassanak az AWS CLI-n keresztül:

aws sagemaker create-presigned-domain-url 
--region  
--domain-id  
--space-name  
--user-profile-name  

Valós idejű együttműködés

Az Amazon SageMaker Studio megosztott tér IDE betöltése után a felhasználók kiválaszthatják a Az együttműködők lapon a bal oldali panelen, hogy megtekinthesse, mely felhasználók dolgoznak aktívan az Ön terében, és melyik notebookon. Ha egynél több személy dolgozik ugyanazon a jegyzetfüzeten, akkor megjelenik egy kurzor a másik felhasználó profilnevével, ahol szerkesztik:

A következő képernyőképen láthatja a különböző felhasználói élményeket, ha valaki ugyanazt a jegyzetfüzetet szerkeszti és nézi:

Következtetés

Ebben a bejegyzésben bemutattuk, hogy a SageMaker Studio megosztott terei miként adnak hozzá valós idejű együttműködési IDE-élményt az Amazon SageMaker Studio-hoz. Az automatikus címkézés segít a felhasználóknak az Amazon SageMaker-erőforrások hatókörében és szűrésében, amelyek a következőket tartalmazzák: kísérletek, folyamatok és modell-nyilvántartási bejegyzések a felhasználói termelékenység maximalizálása érdekében. Ezenkívül az adminisztrátorok ezeket az alkalmazott címkéket használhatják egy adott területhez kapcsolódó költségek figyelésére, és megfelelő költségkereteket állíthatnak be az AWS Cost Explorer és AWS Budgets segítségével.

Gyorsítsa fel csapata együttműködését még ma azáltal, hogy megosztott tereket hoz létre az Amazon SageMaker Studio-ban konkrét gépi tanulási törekvéseihez!

A szerzőkről

Sean Morgan az AWS AI/ML megoldások építésze. Tapasztalattal rendelkezik a félvezetők és az akadémiai kutatás területén, és tapasztalatait arra használja fel, hogy segítse ügyfeleit céljaik elérésében az AWS-ben. Szabadidejében Sean aktív nyílt forráskódú közreműködő/karbantartó, és a TensorFlow-kiegészítők speciális érdeklődési csoportjának vezetője.

Han Zhang az Amazon Web Services vezető szoftvermérnöke. Az Amazon SageMaker Notebooks és az Amazon SageMaker Studio indítócsapatának tagja, és arra összpontosít, hogy biztonságos gépi tanulási környezetet építsen az ügyfelek számára. Szabadidejében szeret túrázni és síelni a Csendes-óceán északnyugati részén.

Arkaprava De az AWS vezető szoftvermérnöke. Több mint 7 éve dolgozik az Amazonnál, és jelenleg az Amazon SageMaker Studio IDE tapasztalatának javításán dolgozik. Megtalálhatod rajta LinkedIn.

Kunal Jha az AWS vezető termékmenedzsere. Arra összpontosít, hogy az Amazon SageMaker Studio-t az ML fejlesztési lépéseihez választott IDE-ként építse fel. Szabadidejében Kunal szeret síelni és felfedezni a Csendes-óceán északnyugati részét. Megtalálhatod rajta LinkedIn.