จัดระเบียบการพัฒนาแมชชีนเลิร์นนิงโดยใช้พื้นที่ที่ใช้ร่วมกันใน SageMaker Studio เพื่อการทำงานร่วมกันแบบเรียลไทม์

สตูดิโอ Amazon SageMaker เป็นสภาพแวดล้อมการพัฒนาแบบบูรณาการอย่างสมบูรณ์ (IDE) แห่งแรกสำหรับการเรียนรู้ของเครื่อง (ML) มีอินเทอร์เฟซแบบภาพบนเว็บเดียวที่คุณสามารถดำเนินการตามขั้นตอนการพัฒนา ML ทั้งหมด รวมถึงการจัดเตรียมข้อมูลและการสร้าง การฝึกอบรม และการปรับใช้โมเดล

ภายในไฟล์ โดเมน Amazon SageMakerผู้ใช้สามารถจัดเตรียมแอปพลิเคชัน Amazon SageMaker Studio IDE ส่วนบุคคล ซึ่งเรียกใช้ JupyterServer ฟรีพร้อมการผสานรวมในตัวเพื่อตรวจสอบ Amazon การทดลอง SageMaker,ออร์เคสตร้า ท่อส่ง Amazon SageMakerและอื่น ๆ อีกมากมาย ผู้ใช้จ่ายเฉพาะการประมวลผลที่ยืดหยุ่นบนเคอร์เนลโน้ตบุ๊กเท่านั้น แอปพลิเคชันส่วนตัวเหล่านี้ติดตั้งส่วนตัวของผู้ใช้ที่เกี่ยวข้องโดยอัตโนมัติ ระบบไฟล์ Amazon Elastic โฮมไดเร็กทอรี (Amazon EFS) เพื่อให้สามารถแยกรหัส ข้อมูล และไฟล์อื่นๆ จากผู้ใช้รายอื่นได้ สตูดิโอ Amazon SageMaker รองรับการแชร์โน้ตบุ๊กระหว่างแอปพลิเคชันส่วนตัวแล้วแต่กลไกแบบอะซิงโครนัสสามารถทำให้กระบวนการวนซ้ำช้าลงได้

ตอนนี้ด้วย พื้นที่ที่ใช้ร่วมกันใน Amazon SageMaker Studioผู้ใช้สามารถจัดระเบียบความพยายามและการริเริ่ม ML ร่วมกันได้โดยการสร้างแอปพลิเคชัน IDE ที่ใช้ร่วมกันที่ผู้ใช้ใช้กับโปรไฟล์ผู้ใช้ Amazon SageMaker ของตนเอง พนักงานด้านข้อมูลที่ทำงานร่วมกันในพื้นที่ที่ใช้ร่วมกันจะสามารถเข้าถึงสภาพแวดล้อม Amazon SageMaker Studio ที่พวกเขาสามารถเข้าถึง อ่าน แก้ไข และแชร์สมุดบันทึกได้แบบเรียลไทม์ ซึ่งทำให้พวกเขาสามารถเริ่มทำซ้ำกับเพื่อนร่วมงานเกี่ยวกับแนวคิดใหม่ๆ ได้เร็วที่สุด พนักงานด้านข้อมูลสามารถทำงานร่วมกันบนสมุดบันทึกเครื่องเดียวกันได้พร้อมกันโดยใช้ความสามารถในการทำงานร่วมกันแบบเรียลไทม์ สมุดบันทึกระบุผู้ใช้ที่แก้ไขร่วมแต่ละคนด้วยเคอร์เซอร์ที่แตกต่างกันซึ่งแสดงชื่อโปรไฟล์ผู้ใช้ที่เกี่ยวข้อง

พื้นที่ที่ใช้ร่วมกันใน SageMaker Studio จะแท็กทรัพยากรโดยอัตโนมัติ เช่น งานฝึกอบรม งานประมวลผล การทดลอง ไปป์ไลน์ และรายการรีจิสทรีแบบจำลองที่สร้างขึ้นภายในขอบเขตของพื้นที่ทำงานตามลำดับ sagemaker:space-arn. พื้นที่จะกรองทรัพยากรเหล่านั้นภายในอินเทอร์เฟซผู้ใช้ (UI) ของ Amazon SageMaker Studio เพื่อให้ผู้ใช้เห็นเฉพาะ SageMaker Experiments ไปป์ไลน์ และทรัพยากรอื่นๆ ที่เกี่ยวข้องกับความพยายาม ML ของตน

ภาพรวมโซลูชัน

เนื่องจากพื้นที่ที่ใช้ร่วมกันจะแท็กทรัพยากรโดยอัตโนมัติ ผู้ดูแลระบบจึงสามารถตรวจสอบค่าใช้จ่ายที่เกี่ยวข้องกับความพยายามของ ML และวางแผนงบประมาณได้อย่างง่ายดายโดยใช้เครื่องมือต่างๆ เช่น งบประมาณ AWS และ AWS Cost Explorer. ในฐานะผู้ดูแลระบบ คุณจะต้องแนบไฟล์ แท็กการปันส่วนต้นทุน for sagemaker:space-arn.

เมื่อดำเนินการเสร็จแล้ว คุณสามารถใช้ AWS Cost Explorer เพื่อระบุว่าโครงการ ML แต่ละโครงการมีต้นทุนองค์กรของคุณเท่าใด

เริ่มต้นใช้งานพื้นที่ที่ใช้ร่วมกันใน Amazon SageMaker Studio

ในส่วนนี้ เราจะวิเคราะห์เวิร์กโฟลว์ทั่วไปสำหรับการสร้างและการใช้พื้นที่ที่ใช้ร่วมกันใน Amazon SageMaker Studio

สร้างพื้นที่ที่ใช้ร่วมกันใน Amazon SageMaker Studio

คุณสามารถใช้ Amazon SageMaker Console หรือ อินเทอร์เฟซบรรทัดคำสั่ง AWS AWS (AWS CLI) เพื่อเพิ่มการรองรับพื้นที่ให้กับโดเมนที่มีอยู่ สำหรับข้อมูลล่าสุดโปรดตรวจสอบ สร้างพื้นที่ที่ใช้ร่วมกัน. พื้นที่ที่ใช้ร่วมกันใช้งานได้เฉพาะกับอิมเมจ JupyterLab 3 SageMaker Studio และสำหรับโดเมน SageMaker ที่ใช้การตรวจสอบสิทธิ์ AWS Identity and Access Management (AWS IAM)

การสร้างคอนโซล

หากต้องการสร้างพื้นที่ภายในโดเมน Amazon SageMaker ที่กำหนด ก่อนอื่นคุณต้องตั้งค่าบทบาทการดำเนินการเริ่มต้นของพื้นที่ที่กำหนด จาก รายละเอียดโดเมน หน้าให้เลือก การตั้งค่าโดเมน และเลือก Edit. จากนั้น คุณสามารถตั้งค่าบทบาทการดำเนินการเริ่มต้นของ Space ซึ่งจำเป็นต้องดำเนินการเพียงครั้งเดียวต่อโดเมน ดังแสดงในแผนภาพต่อไปนี้:

ถัดไปคุณสามารถไปที่ การจัดการพื้นที่ แท็บภายในโดเมนของคุณและเลือก สร้างบัญชีตัวแทน ปุ่ม ดังแสดงในแผนภาพต่อไปนี้:

การสร้าง AWS CLI

คุณยังสามารถตั้งค่าบทบาทการดำเนินการพื้นที่โดเมนเริ่มต้นจาก AWS CLI ในการระบุ ARN อิมเมจ JupyterLab3 ในภูมิภาคของคุณ ให้เลือก การตั้งค่าเวอร์ชันเริ่มต้นของ JupyterLab.

aws --region  
sagemaker update-domain 
--domain-id  
--default-space-settings "ExecutionRole="

เมื่อดำเนินการกับโดเมนของคุณเสร็จเรียบร้อยแล้ว คุณสามารถสร้างพื้นที่ที่ใช้ร่วมกันจาก CLI

aws --region  
sagemaker create-space 
--domain-id  
--space-name  

เปิดใช้พื้นที่ที่ใช้ร่วมกันใน Amazon SageMaker Studio

ผู้ใช้สามารถเปิดใช้พื้นที่ที่ใช้ร่วมกันโดยเลือก ยิง ปุ่มถัดจากโปรไฟล์ผู้ใช้ภายใน AWS Console สำหรับโดเมน Amazon SageMaker

หลังจากเลือกแล้ว Spaces ภายใต้ส่วนการทำงานร่วมกัน จากนั้นเลือก Space ที่จะเปิดใช้งาน:

อีกทางหนึ่ง ผู้ใช้สามารถสร้าง URL ที่ลงนามล่วงหน้าเพื่อเปิดใช้งานพื้นที่ผ่าน AWS CLI:

aws sagemaker create-presigned-domain-url 
--region  
--domain-id  
--space-name  
--user-profile-name  

ทำงานร่วมกันแบบเรียลไทม์

เมื่อโหลด IDE พื้นที่ที่ใช้ร่วมกันของ Amazon SageMaker Studio แล้ว ผู้ใช้สามารถเลือก ผู้ร่วมมือ แท็บบนแผงด้านซ้ายเพื่อดูว่าผู้ใช้คนใดกำลังทำงานในพื้นที่ของคุณและบนสมุดบันทึกใด ถ้ามีคนมากกว่าหนึ่งคนทำงานบนสมุดบันทึกเดียวกัน คุณจะเห็นเคอร์เซอร์ที่มีชื่อโปรไฟล์ของผู้ใช้รายอื่นที่พวกเขากำลังแก้ไข:

ในภาพหน้าจอต่อไปนี้ คุณจะเห็นประสบการณ์การใช้งานที่แตกต่างกันสำหรับบางคนที่แก้ไขและดูสมุดบันทึกเดียวกัน:

สรุป

ในโพสต์นี้ เราได้แสดงให้คุณเห็นว่าพื้นที่ที่ใช้ร่วมกันใน SageMaker Studio เพิ่มประสบการณ์ IDE การทำงานร่วมกันแบบเรียลไทม์ให้กับ Amazon SageMaker Studio ได้อย่างไร การติดแท็กอัตโนมัติช่วยให้ผู้ใช้กำหนดขอบเขตและกรองทรัพยากร Amazon SageMaker ของตน ซึ่งรวมถึง: การทดลอง ไปป์ไลน์ และรายการรีจีสทรีแบบจำลองเพื่อเพิ่มผลผลิตของผู้ใช้ นอกจากนี้ ผู้ดูแลระบบสามารถใช้แท็กที่ใช้เหล่านี้เพื่อตรวจสอบค่าใช้จ่ายที่เกี่ยวข้องกับพื้นที่ที่กำหนดและตั้งงบประมาณที่เหมาะสมโดยใช้ AWS Cost Explorer และ AWS Budgets

เร่งการทำงานร่วมกันของทีมของคุณในวันนี้ด้วยการตั้งค่าพื้นที่ที่ใช้ร่วมกันใน Amazon SageMaker Studio สำหรับความพยายามในการเรียนรู้ของเครื่องของคุณโดยเฉพาะ!

เกี่ยวกับผู้แต่ง

ฌอน มอร์แกน เป็นสถาปนิกโซลูชัน AI/ML ที่ AWS เขามีประสบการณ์ในสาขาเซมิคอนดักเตอร์และการวิจัยเชิงวิชาการ และใช้ประสบการณ์ของเขาเพื่อช่วยให้ลูกค้าบรรลุเป้าหมายบน AWS ในเวลาว่าง Sean เป็นผู้สนับสนุน/ผู้ดูแลโอเพนซอร์สที่ทำงานอยู่ และเป็นผู้นำกลุ่มความสนใจพิเศษสำหรับโปรแกรมเสริม TensorFlow

ฮัน จาง เป็นวิศวกรซอฟต์แวร์อาวุโสที่ Amazon Web Services เธอเป็นส่วนหนึ่งของทีมเปิดตัวสำหรับ Amazon SageMaker Notebooks และ Amazon SageMaker Studio และได้มุ่งเน้นไปที่การสร้างสภาพแวดล้อมแมชชีนเลิร์นนิงที่ปลอดภัยสำหรับลูกค้า ในเวลาว่าง เธอชอบปีนเขาและเล่นสกีในแปซิฟิกตะวันตกเฉียงเหนือ

อัครปราวา เดช เป็นวิศวกรซอฟต์แวร์อาวุโสที่ AWS เขาอยู่ที่ Amazon มานานกว่า 7 ปี และกำลังดำเนินการปรับปรุงประสบการณ์การใช้งาน Amazon SageMaker Studio IDE คุณสามารถพบเขาได้ที่ LinkedIn.

กุลชาญ เป็นผู้จัดการผลิตภัณฑ์อาวุโสที่ AWS เขามุ่งเน้นที่การสร้าง Amazon SageMaker Studio เป็น IDE ทางเลือกสำหรับขั้นตอนการพัฒนา ML ทั้งหมด ในเวลาว่าง Kunal สนุกกับการเล่นสกีและสำรวจแปซิฟิกตะวันตกเฉียงเหนือ พบกับเขาได้ที่ LinkedIn.