จัดเตรียมและจัดการสภาพแวดล้อม ML ด้วย Amazon SageMaker Canvas โดยใช้ AWS CDK และ AWS Service Catalog

การแพร่กระจายของแมชชีนเลิร์นนิง (ML) ในกรณีการใช้งานที่หลากหลายกำลังเป็นที่แพร่หลายในทุกอุตสาหกรรม อย่างไรก็ตาม สิ่งนี้แซงหน้าจำนวนผู้ปฏิบัติงาน ML ที่เพิ่มขึ้นซึ่งตามธรรมเนียมแล้วต้องรับผิดชอบในการใช้โซลูชันทางเทคนิคเหล่านี้เพื่อให้เกิดผลลัพธ์ทางธุรกิจ

ในองค์กรปัจจุบัน มีความจำเป็นที่จะต้องใช้แมชชีนเลิร์นนิงโดยผู้ปฏิบัติงานที่ไม่ใช่ ML ซึ่งมีความเชี่ยวชาญด้านข้อมูล ซึ่งเป็นรากฐานของ ML เพื่อให้สิ่งนี้เป็นจริง คุณค่าของ ML จะถูกรับรู้ทั่วทั้งองค์กรผ่านแพลตฟอร์ม ML ที่ไม่มีโค้ด แพลตฟอร์มเหล่านี้ช่วยให้บุคคลต่างๆ เช่น นักวิเคราะห์ธุรกิจ สามารถใช้ ML ได้โดยไม่ต้องเขียนโค้ดแม้แต่บรรทัดเดียว และนำเสนอวิธีแก้ไขปัญหาทางธุรกิจได้อย่างรวดเร็ว ง่ายดาย และเป็นธรรมชาติ ผืนผ้าใบ Amazon SageMaker เป็นบริการชี้และคลิกแบบเห็นภาพที่ช่วยให้นักวิเคราะห์ธุรกิจใช้ ML เพื่อแก้ปัญหาทางธุรกิจโดยสร้างการคาดการณ์ที่แม่นยำด้วยตนเอง โดยไม่ต้องมีประสบการณ์ ML หรือต้องเขียนโค้ดแม้แต่บรรทัดเดียว Canvas ได้ขยายการใช้ ML ในองค์กรด้วยอินเทอร์เฟซที่ใช้งานง่ายที่ช่วยให้ธุรกิจนำโซลูชันไปใช้ได้อย่างรวดเร็ว

แม้ว่า Canvas จะเปิดใช้งานการทำให้ ML เป็นประชาธิปไตย แต่ความท้าทายในการจัดเตรียมและปรับใช้สภาพแวดล้อม ML ในลักษณะที่ปลอดภัยยังคงอยู่ โดยทั่วไปแล้ว นี่เป็นความรับผิดชอบของทีมไอทีส่วนกลางในองค์กรขนาดใหญ่ส่วนใหญ่ ในโพสต์นี้ เราจะพูดถึงวิธีที่ทีมไอทีสามารถจัดการ จัดเตรียม และจัดการสภาพแวดล้อม ML ที่ปลอดภัยโดยใช้ ผืนผ้าใบ Amazon SageMaker, ชุดพัฒนา AWS Cloud (AWS CDK) และ แคตตาล็อกบริการของ AWS. โพสต์นี้นำเสนอคำแนะนำทีละขั้นตอนสำหรับผู้ดูแลระบบไอทีเพื่อให้บรรลุเป้าหมายอย่างรวดเร็วและในวงกว้าง

ภาพรวมของ AWS CDK และ AWS Service Catalog

AWS CDK เป็นเฟรมเวิร์กการพัฒนาซอฟต์แวร์โอเพนซอร์สเพื่อกำหนดทรัพยากรแอปพลิเคชันระบบคลาวด์ของคุณ ใช้ความคุ้นเคยและพลังการแสดงออกของภาษาการเขียนโปรแกรมสำหรับการสร้างแบบจำลองแอปพลิเคชันของคุณ ในขณะที่จัดเตรียมทรัพยากรในลักษณะที่ปลอดภัยและทำซ้ำได้

AWS Service Catalog ช่วยให้คุณจัดการบริการด้านไอที แอปพลิเคชัน ทรัพยากร และข้อมูลเมตาที่ปรับใช้จากส่วนกลาง ด้วย AWS Service Catalog คุณสามารถสร้าง แชร์ จัดระเบียบ และควบคุมทรัพยากรระบบคลาวด์ด้วยโครงสร้างพื้นฐานเป็นเทมเพลตโค้ด (IaC) และเปิดใช้งานการจัดเตรียมที่รวดเร็วและตรงไปตรงมา

ภาพรวมโซลูชัน

เราเปิดใช้งานการจัดเตรียมสภาพแวดล้อม ML โดยใช้ Canvas ในสามขั้นตอน:

1. อันดับแรก เราจะแบ่งปันวิธีที่คุณสามารถจัดการพอร์ตโฟลิโอของทรัพยากรที่จำเป็นสำหรับการใช้งาน Canvas ที่ได้รับอนุมัติโดยใช้ AWS Service Catalog
2. จากนั้น เราปรับใช้ตัวอย่างพอร์ตโฟลิโอ AWS Service Catalog สำหรับ Canvas โดยใช้ AWS CDK
3. สุดท้าย เราสาธิตวิธีจัดเตรียมสภาพแวดล้อม Canvas ตามความต้องการภายในไม่กี่นาที

เบื้องต้น

ในการเตรียมใช้งานสภาพแวดล้อม ML ด้วย Canvas, AWS CDK และ AWS Service Catalog คุณต้องดำเนินการดังต่อไปนี้:

1. มีสิทธิ์เข้าถึงบัญชี AWS ที่จะปรับใช้พอร์ตโฟลิโอ Service Catalog ตรวจสอบให้แน่ใจว่าคุณมีข้อมูลประจำตัวและสิทธิ์ในการปรับใช้กอง AWS CDK ในบัญชีของคุณ ดิ เวิร์กชอป AWS CDK เป็นแหล่งข้อมูลที่เป็นประโยชน์ คุณสามารถอ้างอิงได้หากต้องการการสนับสนุน
2. เราแนะนำให้ทำตามแนวทางปฏิบัติที่ดีที่สุดที่เน้นผ่านแนวคิดที่มีรายละเอียดในแหล่งข้อมูลต่อไปนี้:
3. โคลน ที่เก็บ GitHub นี้ สู่สิ่งแวดล้อมของคุณ

จัดเตรียมสภาพแวดล้อม ML ที่ได้รับอนุมัติด้วย Amazon SageMaker Canvas โดยใช้ AWS Service Catalog

ในอุตสาหกรรมที่มีการควบคุมและองค์กรขนาดใหญ่ส่วนใหญ่ คุณต้องปฏิบัติตามข้อกำหนดที่กำหนดโดยทีมไอทีเพื่อจัดเตรียมและจัดการสภาพแวดล้อม ML สิ่งเหล่านี้อาจรวมถึงเครือข่ายที่ปลอดภัยและเป็นส่วนตัว การเข้ารหัสข้อมูล การควบคุมเพื่ออนุญาตเฉพาะผู้ใช้ที่ได้รับอนุญาตและรับรองความถูกต้อง เช่น AWS Identity และการจัดการการเข้าถึง (IAM) สำหรับการเข้าถึงโซลูชัน เช่น Canvas และการบันทึกและการตรวจสอบอย่างเข้มงวดเพื่อวัตถุประสงค์ในการตรวจสอบ

ในฐานะผู้ดูแลระบบไอที คุณสามารถใช้ AWS Service Catalog เพื่อสร้างและจัดระเบียบสภาพแวดล้อม ML ที่ปลอดภัยและทำซ้ำได้โดยใช้ SageMaker Canvas ในกลุ่มผลิตภัณฑ์ สิ่งนี้ได้รับการจัดการโดยใช้การควบคุม IaC ที่ฝังไว้เพื่อให้ตรงตามข้อกำหนดที่กล่าวถึงก่อนหน้านี้ และสามารถจัดเตรียมได้ตามต้องการภายในไม่กี่นาที คุณยังสามารถควบคุมได้ว่าใครสามารถเข้าถึงพอร์ตโฟลิโอนี้เพื่อเปิดตัวผลิตภัณฑ์ได้

ไดอะแกรมต่อไปนี้แสดงสถาปัตยกรรมนี้

ตัวอย่างการไหล

ในส่วนนี้ เราสาธิตตัวอย่างพอร์ตโฟลิโอ AWS Service Catalog ด้วย SageMaker Canvas พอร์ตโฟลิโอประกอบด้วยแง่มุมต่างๆ ของสภาพแวดล้อม Canvas ซึ่งเป็นส่วนหนึ่งของพอร์ตโฟลิโอ Service Catalog:

• โดเมนสตูดิโอ – Canvas เป็นแอปพลิเคชั่นที่ทำงานภายใน โดเมนสตูดิโอ. โดเมนประกอบด้วย an ระบบไฟล์ Amazon Elastic ปริมาณ (Amazon EFS) รายชื่อผู้ใช้ที่ได้รับอนุญาต และการรักษาความปลอดภัย แอปพลิเคชัน นโยบาย และ คลาวด์ส่วนตัวเสมือนของ Amazon (VPC) การกำหนดค่า บัญชี AWS เชื่อมโยงกับหนึ่งโดเมนต่อภูมิภาค
• ถัง Amazon S3 – หลังจากสร้างโดเมน Studio แล้ว an บริการจัดเก็บข้อมูลอย่างง่ายของ Amazon บัคเก็ต (Amazon S3) ได้รับการจัดเตรียมสำหรับ Canvas เพื่ออนุญาตให้นำเข้าชุดข้อมูลจากไฟล์ในเครื่อง หรือที่เรียกว่าการอัปโหลดไฟล์ในเครื่อง ที่เก็บข้อมูลนี้อยู่ในบัญชีของลูกค้าและได้รับการจัดสรรครั้งเดียว
• ผู้ใช้ผ้าใบ – SageMaker Canvas เป็นแอปพลิเคชันที่คุณสามารถเพิ่มโปรไฟล์ผู้ใช้ภายในโดเมน Studio สำหรับผู้ใช้ Canvas แต่ละคน ซึ่งสามารถดำเนินการนำเข้าชุดข้อมูล สร้างและฝึกอบรมโมเดล ML โดยไม่ต้องเขียนโค้ด และเรียกใช้การคาดการณ์บนโมเดล
• กำหนดเวลาปิดเซสชัน Canvas – ผู้ใช้ Canvas สามารถออกจากระบบอินเทอร์เฟซ Canvas เมื่อทำงานเสร็จ อีกทางหนึ่ง ผู้ดูแลระบบสามารถปิดเซสชัน Canvas ได้ จาก คอนโซลการจัดการ AWS เป็นส่วนหนึ่งของการจัดการเซสชัน Canvas ในส่วนนี้ของพอร์ตโฟลิโอ AWS Service Catalog และ AWS แลมบ์ดา ฟังก์ชัน ถูกสร้างและจัดเตรียมเพื่อปิดเซสชัน Canvas โดยอัตโนมัติตามช่วงเวลาที่กำหนดไว้ ซึ่งจะช่วยจัดการเซสชันที่เปิดอยู่และปิดเมื่อไม่ได้ใช้งาน

โฟลว์ตัวอย่างนี้สามารถพบได้ใน พื้นที่เก็บข้อมูล GitHub เพื่อการอ้างอิงอย่างรวดเร็ว

ปรับใช้โฟลว์ด้วย AWS CDK

ในส่วนนี้ เราปรับใช้โฟลว์ที่อธิบายไว้ก่อนหน้านี้โดยใช้ AWS CDK หลังจากปรับใช้แล้ว คุณยังสามารถติดตามเวอร์ชันและจัดการพอร์ตโฟลิโอได้อีกด้วย

สามารถดูพอร์ตสแตกได้ที่ app.py และกองผลิตภัณฑ์ภายใต้ products/ โฟลเดอร์ คุณสามารถทำซ้ำในบทบาท IAM บริการจัดการคีย์ AWS (AWS KMS) และการตั้งค่า VPC ใน studio_constructs/ โฟลเดอร์ ก่อนปรับใช้สแต็กในบัญชีของคุณ คุณสามารถแก้ไขบรรทัดต่อไปนี้ใน app.py และให้สิทธิ์เข้าถึงบทบาท IAM ที่คุณเลือก

คุณสามารถจัดการการเข้าถึงพอร์ตโฟลิโอสำหรับผู้ใช้ IAM กลุ่มและบทบาทที่เกี่ยวข้อง ดู การให้สิทธิ์การเข้าถึงแก่ผู้ใช้ .

ปรับใช้พอร์ตโฟลิโอในบัญชีของคุณ

ตอนนี้คุณสามารถเรียกใช้คำสั่งต่อไปนี้เพื่อติดตั้ง AWS CDK และตรวจสอบให้แน่ใจว่าคุณมีการอ้างอิงที่ถูกต้องในการปรับใช้พอร์ตโฟลิโอ:

npm install -g aws-cdk@2.27.0
python3 -m venv .venv
source .venv/bin/activate
pip3 install -r requirements.txt

เรียกใช้คำสั่งต่อไปนี้เพื่อปรับใช้พอร์ตโฟลิโอในบัญชีของคุณ:

ACCOUNT_ID=$(aws sts get-caller-identity --query Account | tr -d '"')
AWS_REGION=$(aws configure get region)
cdk bootstrap aws://${ACCOUNT_ID}/${AWS_REGION}
cdk deploy --require-approval never

สองคำสั่งแรกรับ ID บัญชีของคุณและภูมิภาคปัจจุบันโดยใช้ อินเทอร์เฟซบรรทัดคำสั่ง AWS AWS (AWS CLI) บนคอมพิวเตอร์ของคุณ ตามนี้ cdk bootstrap และ cdk deploy สร้างทรัพย์สินในเครื่อง และปรับใช้กองภายในไม่กี่นาที

ตอนนี้พอร์ตโฟลิโอมีอยู่ใน AWS Service Catalog ดังที่แสดงในภาพหน้าจอต่อไปนี้

การจัดสรรตามความต้องการ

ผลิตภัณฑ์ภายในพอร์ตสามารถเปิดตัวได้อย่างรวดเร็วและง่ายดายตามความต้องการจาก การจัดเตรียม เมนูบนคอนโซล AWS Service Catalog ขั้นตอนทั่วไปคือการเปิดใช้โดเมน Studio และการปิดระบบอัตโนมัติของ Canvas ก่อน เนื่องจากเป็นการดำเนินการเพียงครั้งเดียว จากนั้นคุณสามารถเพิ่มผู้ใช้ Canvas ลงในโดเมนได้ ID โดเมนและบทบาท IAM ของผู้ใช้ ARN ถูกบันทึกไว้ใน ผู้จัดการระบบ AWS และจะถูกเติมโดยอัตโนมัติด้วยพารามิเตอร์ผู้ใช้ตามที่แสดงในภาพหน้าจอต่อไปนี้

คุณยังสามารถใช้แท็กการปันส่วนต้นทุนที่แนบกับผู้ใช้แต่ละราย ตัวอย่างเช่น, UserCostCenter เป็นแท็กตัวอย่างที่คุณสามารถเพิ่มชื่อของผู้ใช้แต่ละคนได้

ข้อควรพิจารณาที่สำคัญสำหรับการควบคุมสภาพแวดล้อม ML โดยใช้ Canvas

ตอนนี้เราได้จัดเตรียมและปรับใช้พอร์ตโฟลิโอ AWS Service Catalog ซึ่งเน้นที่ Canvas แล้ว เราขอเน้นข้อควรพิจารณาบางประการเพื่อควบคุมสภาพแวดล้อม ML แบบ Canvas ที่เน้นที่โดเมนและโปรไฟล์ผู้ใช้

ข้อควรพิจารณาเกี่ยวกับโดเมน Studio มีดังนี้

• เครือข่ายสำหรับ Canvas ได้รับการจัดการที่ระดับโดเมน Studio ซึ่งโดเมนจะถูกปรับใช้บนเครือข่ายย่อย VPC ส่วนตัวสำหรับการเชื่อมต่อที่ปลอดภัย ดู การรักษาความปลอดภัยการเชื่อมต่อ Amazon SageMaker Studio โดยใช้ VPC . ส่วนตัว เพื่อเรียนรู้เพิ่มเติม
• บทบาทการดำเนินการ IAM เริ่มต้นถูกกำหนดไว้ที่ระดับโดเมน บทบาทเริ่มต้นนี้ถูกกำหนดให้กับผู้ใช้ Canvas ทุกคนในโดเมน
• การเข้ารหัสทำได้โดยใช้ AWS KMS โดยเข้ารหัสโวลุ่ม EFS ในโดเมน สำหรับการควบคุมเพิ่มเติม คุณสามารถระบุคีย์ที่มีการจัดการของคุณเอง หรือที่เรียกว่าคีย์ที่จัดการโดยลูกค้า (CMK) ดู ปกป้องข้อมูลที่อยู่นิ่งโดยใช้การเข้ารหัส เพื่อเรียนรู้เพิ่มเติม
• ความสามารถในการอัปโหลดไฟล์จากดิสก์ในเครื่องทำได้โดยแนบนโยบายการแชร์ทรัพยากรข้ามต้นทาง (CORS) กับบัคเก็ต S3 ที่ Canvas ใช้ ดู ให้สิทธิ์ผู้ใช้ในการอัปโหลดไฟล์ในเครื่อง เพื่อเรียนรู้เพิ่มเติม

ต่อไปนี้เป็นข้อควรพิจารณาเกี่ยวกับโปรไฟล์ผู้ใช้:

• การตรวจสอบสิทธิ์ใน Studio สามารถทำได้ทั้งผ่านการลงชื่อเพียงครั้งเดียว (SSO) และ IAM หากคุณมีผู้ให้บริการข้อมูลประจำตัวเพื่อรวมผู้ใช้เพื่อเข้าถึงคอนโซล คุณจะกำหนดโปรไฟล์ผู้ใช้ Studio ให้กับข้อมูลประจำตัวที่ติดต่อกับภายนอกแต่ละรายการได้โดยใช้ IAM ดูส่วน การกำหนดนโยบายให้กับผู้ใช้ Studio in การกำหนดค่า Amazon SageMaker Studio สำหรับทีมและกลุ่มด้วยการแยกทรัพยากรโดยสมบูรณ์ เพื่อเรียนรู้เพิ่มเติม
• คุณสามารถกำหนดบทบาทการดำเนินการ IAM ให้กับแต่ละโปรไฟล์ผู้ใช้ ขณะใช้ Studio ผู้ใช้จะถือว่าบทบาทที่แมปกับโปรไฟล์ผู้ใช้ของตนจะแทนที่บทบาทการดำเนินการเริ่มต้น คุณสามารถใช้สิ่งนี้สำหรับการควบคุมการเข้าถึงแบบละเอียดภายในทีม
• คุณสามารถแยกออกได้โดยใช้การควบคุมการเข้าถึงตามแอตทริบิวต์ (ABAC) เพื่อให้แน่ใจว่าผู้ใช้สามารถเข้าถึงทรัพยากรสำหรับทีมของพวกเขาเท่านั้น ดู การกำหนดค่า Amazon SageMaker Studio สำหรับทีมและกลุ่มด้วยการแยกทรัพยากรโดยสมบูรณ์ เพื่อเรียนรู้เพิ่มเติม
• คุณสามารถดำเนินการติดตามต้นทุนอย่างละเอียดได้โดยใช้แท็กการปันส่วนต้นทุนกับโปรไฟล์ผู้ใช้

ทำความสะอาด

ในการล้างทรัพยากรที่สร้างโดยกอง AWS CDK ด้านบน ให้ไปที่หน้ากอง AWS CloudFormation และลบกอง Canvas คุณยังสามารถวิ่ง cdk destroy จากภายในโฟลเดอร์ repository ให้ทำเช่นเดียวกัน

สรุป

ในโพสต์นี้ เราได้แชร์วิธีที่คุณสามารถจัดเตรียมสภาพแวดล้อม ML ด้วย Canvas ได้อย่างรวดเร็วและง่ายดายโดยใช้ AWS Service Catalog และ AWS CDK เราได้พูดคุยถึงวิธีที่คุณสามารถสร้างพอร์ตโฟลิโอบน AWS Service Catalog จัดเตรียมพอร์ตโฟลิโอ และปรับใช้ในบัญชีของคุณ ผู้ดูแลระบบไอทีสามารถใช้วิธีนี้เพื่อปรับใช้และจัดการผู้ใช้ เซสชัน และค่าใช้จ่ายที่เกี่ยวข้องขณะเตรียมใช้งาน Canvas

เรียนรู้เพิ่มเติมเกี่ยวกับ Canvas บน หน้าสินค้า และ คู่มือสำหรับนักพัฒนา. สำหรับการอ่านเพิ่มเติม คุณสามารถเรียนรู้วิธีการ ช่วยให้นักวิเคราะห์ธุรกิจเข้าถึง SageMaker Canvas โดยใช้ AWS SSO โดยไม่ต้องใช้คอนโซล. นอกจากนี้คุณยังสามารถเรียนรู้วิธีการ นักวิเคราะห์ธุรกิจและนักวิทยาศาสตร์ข้อมูลสามารถทำงานร่วมกันได้เร็วขึ้นโดยใช้ Canvas และ Studio.

เกี่ยวกับผู้เขียน

ดาวิเด้ กัลลิเตลลี่ เป็น Specialist Solutions Architect สำหรับ AI/ML ในภูมิภาค EMEA เขาอยู่ในบรัสเซลส์และทำงานอย่างใกล้ชิดกับลูกค้าทั่วเบเนลักซ์ เขาเป็นนักพัฒนาตั้งแต่ยังเด็ก เริ่มเขียนโค้ดเมื่ออายุ 7 ขวบ เขาเริ่มเรียน AI/ML ที่มหาวิทยาลัย และตกหลุมรักมันตั้งแต่นั้นเป็นต้นมา

โซเฟียน ฮามิตี เป็นสถาปนิกโซลูชันผู้เชี่ยวชาญด้าน AI/ML ที่ AWS เขาช่วยลูกค้าในอุตสาหกรรมต่างๆ เร่งความเร็วเส้นทาง AI/ML โดยช่วยให้พวกเขาสร้างและดำเนินการโซลูชันการเรียนรู้ของเครื่องแบบ end-to-end

สยาม ศรีนิวาสัน เป็นผู้จัดการผลิตภัณฑ์หลักในทีม AWS AI/ML ซึ่งเป็นผู้นำด้านการจัดการผลิตภัณฑ์สำหรับ Amazon SageMaker Canvas Shyam ใส่ใจในการทำให้โลกนี้เป็นสถานที่ที่ดีกว่าผ่านเทคโนโลยี และหลงใหลในการที่ AI และ ML สามารถเป็นตัวเร่งปฏิกิริยาในการเดินทางครั้งนี้

เอวี พาเทล ทำงานเป็นวิศวกรซอฟต์แวร์ในทีม Amazon SageMaker Canvas พื้นหลังของเขาประกอบด้วยการทำงานแบบฟูลสแต็กโดยเน้นที่ส่วนหน้า ในเวลาว่าง เขาชอบมีส่วนร่วมในโครงการโอเพ่นซอร์สในพื้นที่เข้ารหัสลับ และเรียนรู้เกี่ยวกับโปรโตคอล DeFi ใหม่

จาเร็ด เฮย์วูด เป็นผู้จัดการอาวุโสฝ่ายพัฒนาธุรกิจที่ AWS เขาเป็นผู้เชี่ยวชาญ AI/ML ระดับโลกที่ช่วยลูกค้าด้วยการเรียนรู้ของเครื่องที่ไม่ต้องใช้โค้ด เขาทำงานในพื้นที่ AutoML มาตลอด 5 ปีที่ผ่านมาและเปิดตัวผลิตภัณฑ์ที่ Amazon เช่น Amazon SageMaker JumpStart และ Amazon SageMaker Canvas