ใช้งานโน้ตบุ๊ก Amazon SageMaker Studio ของคุณเป็นงานโน้ตบุ๊กตามกำหนดเวลา

สตูดิโอ Amazon SageMaker ให้โซลูชันที่มีการจัดการเต็มรูปแบบสำหรับนักวิทยาศาสตร์ข้อมูลเพื่อสร้าง ฝึกอบรม และปรับใช้โมเดลแมชชีนเลิร์นนิง (ML) แบบโต้ตอบ นอกเหนือจากประสบการณ์ ML แบบอินเทอร์แอกทีฟแล้ว พนักงานด้านข้อมูลยังค้นหาโซลูชันเพื่อเรียกใช้โน้ตบุ๊กเป็นงานชั่วคราวโดยไม่จำเป็นต้องรีแฟคเตอร์โค้ดเป็นโมดูล Python หรือเรียนรู้เครื่องมือ DevOps และแนวทางปฏิบัติที่ดีที่สุดเพื่อทำให้โครงสร้างพื้นฐานการปรับใช้เป็นแบบอัตโนมัติ กรณีการใช้งานทั่วไปสำหรับการทำเช่นนี้ ได้แก่ :

• เรียกใช้การอนุมานแบบจำลองเป็นประจำเพื่อสร้างรายงาน
• ปรับขนาดขั้นตอนวิศวกรรมฟีเจอร์หลังจากทดสอบใน Studio กับชุดย่อยของข้อมูลในอินสแตนซ์ขนาดเล็ก
• การฝึกอบรมใหม่และการปรับใช้โมเดลในบางจังหวะ
• วิเคราะห์ทีมของคุณ อเมซอน SageMaker การใช้งานในจังหวะปกติ

ก่อนหน้านี้ เมื่อนักวิทยาศาสตร์ข้อมูลต้องการใช้โค้ดที่สร้างแบบโต้ตอบบนโน้ตบุ๊กและเรียกใช้งานเป็นชุด พวกเขาต้องเผชิญกับช่วงการเรียนรู้ที่สูงชันโดยใช้ ท่อส่ง Amazon SageMaker, AWS แลมบ์ดา, อเมซอน EventBridge,หรือ โซลูชั่นอื่นๆ ที่ตั้งค่า ใช้งาน และจัดการได้ยาก

กับ งานสมุดบันทึก SageMakerตอนนี้ คุณสามารถเรียกใช้สมุดบันทึกของคุณตามที่เป็นอยู่หรือในลักษณะที่กำหนดพารามิเตอร์ได้ด้วยการคลิกง่ายๆ เพียงไม่กี่ครั้งจาก SageMaker Studio หรือ SageMaker สตูดิโอแล็บ อินเตอร์เฟซ. คุณสามารถเรียกใช้สมุดบันทึกเหล่านี้ตามกำหนดเวลาหรือทันที ผู้ใช้ปลายทางไม่จำเป็นต้องแก้ไขรหัสโน้ตบุ๊กที่มีอยู่ เมื่องานเสร็จสมบูรณ์ คุณสามารถดูเซลล์สมุดบันทึกที่มีข้อมูล รวมถึงการแสดงภาพใดๆ ได้!

ในโพสต์นี้ เราจะแชร์วิธีการดำเนินการโน้ตบุ๊ก SageMaker Studio ของคุณเป็นงานโน้ตบุ๊กตามกำหนดเวลา

ภาพรวมโซลูชัน

ไดอะแกรมต่อไปนี้แสดงสถาปัตยกรรมโซลูชันของเรา เราใช้ส่วนขยาย SageMaker ที่ติดตั้งไว้ล่วงหน้าเพื่อใช้งานโน้ตบุ๊กเป็นงานทันทีหรือตามกำหนดเวลา

ในส่วนต่อไปนี้ เราจะอธิบายขั้นตอนต่างๆ เพื่อสร้างสมุดบันทึก กำหนดพารามิเตอร์เซลล์ ปรับแต่งตัวเลือกเพิ่มเติม และจัดกำหนดการงานของคุณ เรายังรวมกรณีการใช้งานตัวอย่าง

เบื้องต้น

หากต้องการใช้งานโน้ตบุ๊ก SageMaker คุณต้องใช้งานแอป JupyterLab 3 JupyterServer ภายใน Studio สำหรับข้อมูลเพิ่มเติมเกี่ยวกับวิธีอัปเกรดเป็น JupyterLab 3 โปรดดูที่ ดูและอัปเดตแอปเวอร์ชัน JupyterLab จากคอนโซล. อย่าลืม ปิดและอัปเดต SageMaker Studio เพื่อรับข่าวสารล่าสุด

หากต้องการกำหนดข้อกำหนดของงานที่เรียกใช้สมุดบันทึกตามกำหนดเวลา คุณอาจต้องเพิ่มสิทธิ์เพิ่มเติมให้กับบทบาทการดำเนินการของ SageMaker

ขั้นแรก เพิ่มความสัมพันธ์ที่ไว้วางใจให้กับบทบาทการดำเนินการของ SageMaker ที่อนุญาต events.amazonaws.com เพื่อรับบทบาทของคุณ:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "sagemaker.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        },
        {
            "Effect": "Allow",
            "Principal": {
                "Service": "events.amazonaws.com"
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

นอกจากนี้ คุณอาจต้องสร้างและแนบนโยบายแบบอินไลน์กับบทบาทการดำเนินการของคุณ นโยบายด้านล่างเป็นส่วนเสริมของนโยบายที่อนุญาต AmazonSageMakerFullAccess นโยบาย. ดูชุดสิทธิ์ที่สมบูรณ์และน้อยที่สุด ติดตั้งนโยบายและสิทธิ์.

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": [
                "events:TagResource",
                "events:DeleteRule",
                "events:PutTargets",
                "events:DescribeRule",
                "events:PutRule",
                "events:RemoveTargets",
                "events:DisableRule",
                "events:EnableRule"
            ],
            "Resource": "*",
            "Condition": {
              "StringEquals": {
                "aws:ResourceTag/sagemaker:is-scheduling-notebook-job": "true"
              }
            }
        },
        {
            "Sid": "VisualEditor1",
            "Effect": "Allow",
            "Action": "iam:PassRole",
            "Resource": "arn:aws:iam::*:role/*",
            "Condition": {
                "StringLike": {
                    "iam:PassedToService": "events.amazonaws.com"
                }
            }
        },
        {
            "Sid": "VisualEditor2",
            "Effect": "Allow",
            "Action": "sagemaker:ListTags",
            "Resource": "arn:aws:sagemaker:*:*:user-profile/*/*"
        }
    ]
}

สร้างงานสมุดบันทึก

หากต้องการใช้งานโน้ตบุ๊กของคุณเป็นงานโน้ตบุ๊ก SageMaker ให้เลือก สร้างงานสมุดบันทึก ไอคอน

หรือคุณสามารถเลือก (คลิกขวา) สมุดบันทึกของคุณบนระบบไฟล์แล้วเลือก สร้างงานโน๊ตบุ๊ค.

ตัว Vortex Indicator ได้ถูกนำเสนอลงในนิตยสาร สร้างงาน เพียงเลือกประเภทอินสแตนซ์ที่เหมาะสมสำหรับงานตามกำหนดการของคุณตามปริมาณงานของคุณ: อินสแตนซ์มาตรฐาน อินสแตนซ์ที่เพิ่มประสิทธิภาพการประมวลผล หรืออินสแตนซ์การประมวลผลแบบเร่งที่มี GPU คุณสามารถเลือกอินสแตนซ์ใดก็ได้ที่มีให้สำหรับงานฝึกอบรมของ SageMaker สำหรับรายการอินสแตนซ์ทั้งหมดที่มี โปรดดูที่ ราคา Amazon SageMaker.

เมื่องานเสร็จสมบูรณ์ คุณสามารถดูไฟล์โน้ตบุ๊กเอาต์พุตที่มีเซลล์ที่เติมข้อมูล รวมทั้งบันทึกพื้นฐานจากการรันงาน

ปรับพารามิเตอร์เซลล์

เมื่อย้ายโน้ตบุ๊กไปยังเวิร์กโฟลว์การผลิต สิ่งสำคัญคือต้องใช้โน้ตบุ๊กเดิมซ้ำด้วยชุดพารามิเตอร์ที่แตกต่างกันสำหรับโมดูลาร์ ตัวอย่างเช่น คุณอาจต้องการกำหนดพารามิเตอร์ของตำแหน่งชุดข้อมูลหรือไฮเปอร์พารามิเตอร์ของโมเดลของคุณ เพื่อให้คุณสามารถนำโน้ตบุ๊กเดียวกันกลับมาใช้ใหม่สำหรับการฝึกโมเดลที่แตกต่างกันหลายๆ แบบ งานสมุดบันทึก SageMaker รองรับสิ่งนี้ผ่านแท็กเซลล์ เพียงเลือกไอคอนรูปเฟืองคู่ในบานหน้าต่างด้านขวาแล้วเลือก เพิ่มแท็ก. จากนั้นติดป้ายกำกับแท็กเป็นพารามิเตอร์

ตามค่าเริ่มต้น การรันงานโน้ตบุ๊กจะใช้ค่าพารามิเตอร์ที่ระบุในโน้ตบุ๊ก แต่อีกทางหนึ่ง คุณสามารถแก้ไขค่าเหล่านี้เป็นการกำหนดค่าสำหรับงานโน้ตบุ๊กของคุณได้

กำหนดค่าตัวเลือกเพิ่มเติม

เมื่อสร้างงานสมุดบันทึก คุณสามารถขยาย ตัวเลือกเพิ่มเติม เพื่อปรับแต่งคำจำกัดความของงานของคุณ Studio จะตรวจหาอิมเมจหรือเคอร์เนลที่คุณใช้ในโน้ตบุ๊กโดยอัตโนมัติ และเลือกไว้ล่วงหน้าให้คุณ ตรวจสอบให้แน่ใจว่าคุณได้ตรวจสอบการเลือกนี้แล้ว

คุณยังสามารถระบุตัวแปรสภาพแวดล้อมหรือสคริปต์เริ่มต้นเพื่อปรับแต่งสภาพแวดล้อมการเรียกใช้โน้ตบุ๊กของคุณ สำหรับรายการการกำหนดค่าทั้งหมด โปรดดูที่ ตัวเลือกเพิ่มเติม.

กำหนดเวลางานของคุณ

หากต้องการกำหนดเวลางานของคุณ ให้เลือก วิ่งตามกำหนด และกำหนดช่วงเวลาและเวลาที่เหมาะสม จากนั้นคุณสามารถเลือก งานโน๊ตบุ๊ค แท็บที่มองเห็นได้หลังจากเลือกไอคอนหน้าแรก หลังจากโหลดสมุดบันทึกแล้ว ให้เลือก คำจำกัดความของงานโน้ตบุ๊ก แท็บเพื่อหยุดชั่วคราวหรือลบกำหนดการของคุณ

ตัวอย่างการใช้งาน

สำหรับตัวอย่างของเรา เราแสดงเวิร์กโฟลว์ ML แบบ end-to-end ที่เตรียมข้อมูลจากแหล่งความจริงพื้นฐาน ฝึกโมเดลที่รีเฟรชจากช่วงเวลานั้น จากนั้นเรียกใช้การอนุมานข้อมูลล่าสุดเพื่อสร้างข้อมูลเชิงลึกที่นำไปปฏิบัติได้ ในทางปฏิบัติ คุณอาจเรียกใช้เวิร์กโฟลว์แบบ end-to-end ที่สมบูรณ์ หรือเพียงดำเนินการหนึ่งขั้นตอนของเวิร์กโฟลว์ของคุณ คุณสามารถกำหนดเวลา AWS กาว เซสชันแบบโต้ตอบ สำหรับการเตรียมข้อมูลรายวัน หรือเรียกใช้งานการอนุมานเป็นชุดที่สร้างผลลัพธ์กราฟิกโดยตรงในสมุดบันทึกผลลัพธ์ของคุณ

สมุดบันทึกแบบเต็มสำหรับตัวอย่างนี้มีอยู่ในของเรา SageMaker ตัวอย่างที่เก็บ GitHub กรณีการใช้งานถือว่าเราเป็นบริษัทโทรคมนาคมที่ต้องการจัดกำหนดการโน้ตบุ๊กที่คาดการณ์ว่าลูกค้าน่าจะเลิกใช้ตามแบบจำลองที่ได้รับการฝึกอบรมด้วยข้อมูลล่าสุดที่เรามี

ในการเริ่มต้น เรารวบรวมข้อมูลลูกค้าล่าสุดที่มีอยู่และดำเนินการประมวลผลล่วงหน้าบางอย่างกับข้อมูลนั้น:

import pandas as pd
from synthetic_data import generate_data

previous_two_weeks_data = generate_data(5000, label_known=True)
todays_data = generate_data(300, label_known=False)

processed_prior_data = process_data(previous_two_weeks_data, label_known=True)
processed_todays_data = process_data(todays_data, label_known=False)

เราฝึกโมเดลที่รีเฟรชกับข้อมูลการฝึกที่อัปเดตนี้เพื่อให้คาดการณ์ได้อย่างแม่นยำ todays_data:

import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import f1_score, confusion_matrix, ConfusionMatrixDisplay

y = np.ravel(processed_prior_data[["Churn"]])
x = processed_prior_data.drop(["Churn"], axis=1)

x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25)

clf = RandomForestClassifier(n_estimators=int(number_rf_estimators), criterion="gini")
clf.fit(x_train, y_train)

เนื่องจากเราจะกำหนดเวลาสมุดบันทึกนี้เป็นรายงานรายวัน เราจึงต้องการบันทึกว่าโมเดลที่รีเฟรชของเราทำงานได้ดีเพียงใดในชุดการตรวจสอบของเรา เพื่อให้เรามั่นใจในการคาดการณ์ในอนาคต ผลลัพธ์ในภาพหน้าจอต่อไปนี้มาจากรายงานการอนุมานตามกำหนดเวลาของเรา

สุดท้าย คุณต้องการบันทึกผลลัพธ์ที่คาดการณ์ไว้ของข้อมูลวันนี้ลงในฐานข้อมูล เพื่อให้สามารถดำเนินการตามผลลัพธ์ของโมเดลนี้ได้

หลังจากเข้าใจสมุดบันทึกแล้ว คุณสามารถเรียกใช้สิ่งนี้เป็นงานชั่วคราวโดยใช้ วิ่งเลย ตัวเลือกที่อธิบายไว้ก่อนหน้าหรือทดสอบฟังก์ชันการตั้งเวลา

ทำความสะอาด

หากคุณทำตามตัวอย่างของเรา อย่าลืมหยุดชั่วคราวหรือลบกำหนดการงานโน้ตบุ๊กของคุณเพื่อหลีกเลี่ยงการเรียกเก็บเงินที่ต่อเนื่อง

สรุป

การนำโน้ตบุ๊กไปสู่การผลิตด้วยงานโน้ตบุ๊ก SageMaker ช่วยลดความยุ่งยากอย่างมากในการยกของหนักที่ไม่แตกต่างซึ่งต้องการโดยพนักงานข้อมูล ไม่ว่าคุณจะจัดตารางเวลาเวิร์กโฟลว์ ML แบบ end-to-end หรือชิ้นส่วนของจิ๊กซอว์ เราขอแนะนำให้คุณสร้างโน้ตบุ๊กในการผลิตโดยใช้ SageMaker Studio หรือ SageMaker Studio Lab! หากต้องการเรียนรู้เพิ่มเติมโปรดดู เวิร์กโฟลว์ที่ใช้โน้ตบุ๊ก.

เกี่ยวกับผู้แต่ง

ฌอน มอร์แกน เป็นสถาปนิกอาวุโส ML Solutions ที่ AWS เขามีประสบการณ์ในด้านเซมิคอนดักเตอร์และการวิจัยเชิงวิชาการ และใช้ประสบการณ์ของเขาเพื่อช่วยให้ลูกค้าบรรลุเป้าหมายใน AWS ในเวลาว่าง Sean เป็นผู้สนับสนุน/ผู้ดูแลโอเพ่นซอร์สที่เปิดใช้งานและเป็นหัวหน้ากลุ่มผลประโยชน์พิเศษสำหรับ TensorFlow Addons

สุเมธา สวามี เป็นผู้จัดการผลิตภัณฑ์หลักที่ Amazon Web Services เขานำทีม SageMaker Studio มาสร้างเป็น IDE ทางเลือกสำหรับวิทยาศาสตร์ข้อมูลเชิงโต้ตอบและเวิร์กโฟลว์วิศวกรรมข้อมูล เขาใช้เวลา 15 ปีที่ผ่านมาในการสร้างผลิตภัณฑ์สำหรับองค์กรและผู้บริโภคที่ยึดลูกค้าเป็นหลักโดยใช้การเรียนรู้ของเครื่อง ในเวลาว่างเขาชอบถ่ายภาพธรณีวิทยาที่น่าทึ่งของภาคตะวันตกเฉียงใต้ของอเมริกา

เอ็ดเวิร์ด ซัน เป็น SDE อาวุโสที่ทำงานให้กับ SageMaker Studio ที่ Amazon Web Services เขามุ่งเน้นไปที่การสร้างโซลูชัน ML แบบโต้ตอบและทำให้ประสบการณ์ของลูกค้าง่ายขึ้นเพื่อรวม SageMaker Studio เข้ากับเทคโนโลยียอดนิยมในวิศวกรรมข้อมูลและระบบนิเวศ ML ในเวลาว่าง เอ็ดเวิร์ดชื่นชอบการตั้งแคมป์ เดินป่า และตกปลา และชอบใช้เวลาอยู่กับครอบครัว