บรรลุการตรวจสอบระดับองค์กรสำหรับโมเดล Amazon SageMaker ของคุณโดยใช้ Fiddler

นี่คือบล็อกโพสต์รับเชิญโดย Danny Brock, Rajeev Govindan และ Krishnaram Kenthapadi ที่ Fiddler AI

ของคุณ อเมซอน SageMaker โมเดลมีชีวิต พวกเขากำลังจัดการการอนุมานนับล้านในแต่ละวันและขับเคลื่อนผลลัพธ์ทางธุรกิจที่ดีขึ้นสำหรับบริษัทของคุณ พวกเขากำลังดำเนินการเช่นเดียวกับวันที่พวกเขาเปิดตัว

เอ่อรอ ที่พวกเขา? อาจจะ. อาจจะไม่.

ไม่มีระดับองค์กร การตรวจสอบแบบจำลองแบบจำลองของคุณอาจทรุดโทรมในความเงียบ ทีมแมชชีนเลิร์นนิง (ML) ของคุณอาจไม่เคยรู้เลยว่าโมเดลเหล่านี้เปลี่ยนจากความอัศจรรย์ของการสร้างรายได้เป็นความรับผิดชอบในการตัดสินใจที่ไม่ถูกต้องซึ่งทำให้บริษัทของคุณเสียเวลาและเงิน

ไม่ต้องกังวล ทางออกอยู่ใกล้กว่าที่คิด

พู้ทำเล่นซึ่งเป็นโซลูชัน Model Performance Management ระดับองค์กรที่มีอยู่ใน AWS Marketplaceเสนอการตรวจสอบแบบจำลองและ AI ที่อธิบายได้ เพื่อช่วยให้ทีม ML ตรวจสอบและแก้ไขปัญหาแบบจำลองที่ครอบคลุม ผ่านการตรวจสอบแบบจำลอง การอธิบายแบบจำลอง การวิเคราะห์ และการตรวจจับอคติ Fiddler มอบบานหน้าต่างกระจกเดียวที่ใช้งานง่ายให้กับบริษัทของคุณ เพื่อให้แน่ใจว่าแบบจำลองของคุณจะทำงานตามที่ควรจะเป็น และหากไม่เป็นเช่นนั้น Fiddler ยังมีคุณสมบัติที่ช่วยให้คุณตรวจสอบแบบจำลองของคุณเพื่อค้นหาสาเหตุที่แท้จริงของการลดประสิทธิภาพการทำงาน

โพสต์นี้แสดงให้เห็นว่า .ของคุณเป็นอย่างไร ม.ป.ป ทีมงานสามารถปรับปรุงประสิทธิภาพการทำงานของนักวิทยาศาสตร์ข้อมูล และลดเวลาในการตรวจหาปัญหาสำหรับโมเดลของคุณที่ใช้งานใน SageMaker โดยการผสานรวมกับ Fiddler Model Performance Management Platform ในไม่กี่ขั้นตอนง่ายๆ

ภาพรวมโซลูชัน

สถาปัตยกรรมอ้างอิงต่อไปนี้เน้นประเด็นหลักของการรวม Fiddler มีอยู่ในฐานะ "ไซด์คาร์" ของเวิร์กโฟลว์ SageMaker ML ที่มีอยู่ของคุณ

ส่วนที่เหลือของโพสต์นี้จะแนะนำคุณตลอดขั้นตอนในการผสานรวมโมเดล SageMaker ของคุณกับ Fiddler's แพลตฟอร์มการจัดการประสิทธิภาพของแบบจำลอง:

1. ตรวจสอบให้แน่ใจว่าโมเดลของคุณเปิดใช้งานการดักจับข้อมูล
2. สร้างสภาพแวดล้อมการทดลองใช้ Fiddler
3. ลงทะเบียนข้อมูลเกี่ยวกับแบบจำลองของคุณในสภาพแวดล้อม Fiddler ของคุณ
4. สร้าง AWS แลมบ์ดา ฟังก์ชันเพื่อเผยแพร่การอนุมาน SageMaker ไปยัง Fiddler
5. สำรวจความสามารถในการตรวจสอบของ Fiddler ในสภาพแวดล้อมการทดลองใช้ Fiddler ของคุณ

เบื้องต้น

โพสต์นี้ถือว่าคุณได้ตั้งค่า SageMaker และปรับใช้ปลายทางของโมเดลแล้ว หากต้องการเรียนรู้วิธีกำหนดค่า SageMaker สำหรับการให้บริการโมเดล โปรดดูที่ ปรับใช้แบบจำลองสำหรับการอนุมาน. ตัวอย่างบางส่วนยังมีอยู่ใน repo GitHub.

ตรวจสอบให้แน่ใจว่าโมเดลของคุณเปิดใช้งานการดักจับข้อมูล

บนคอนโซล SageMaker ให้นำทางไปยังจุดสิ้นสุดการให้บริการของโมเดลของคุณ และตรวจดูให้แน่ใจว่าคุณได้เปิดใช้งานแล้ว การจับข้อมูล เป็น บริการจัดเก็บข้อมูลอย่างง่ายของ Amazon (Amazon S3) ถัง สิ่งนี้จะเก็บการอนุมาน (คำขอและการตอบสนอง) ที่โมเดลของคุณทำให้ในแต่ละวันเป็น ไฟล์บรรทัด JSON (.jsonl) ใน Amazon S3

สร้างสภาพแวดล้อมการทดลองใช้ Fiddler

จาก fiddler.ai เว็บไซต์ คุณสามารถขอทดลองใช้ฟรี หลังจากกรอกแบบฟอร์มด่วน Fiddler จะติดต่อคุณเพื่อทำความเข้าใจความต้องการเฉพาะของการจัดการประสิทธิภาพแบบจำลองของคุณและจะมีสภาพแวดล้อมทดลองใช้งานพร้อมสำหรับคุณภายในเวลาไม่กี่ชั่วโมง คุณสามารถคาดหวังสภาพแวดล้อมเฉพาะเช่น https://yourcompany.try.fiddler.ai.

ลงทะเบียนข้อมูลเกี่ยวกับโมเดลของคุณในสภาพแวดล้อม Fiddler ของคุณ

ก่อนที่คุณจะสามารถเริ่มเผยแพร่กิจกรรมจากโมเดลที่โฮสต์ SageMaker ของคุณไปยัง Fiddler คุณต้องสร้างโปรเจ็กต์ภายในสภาพแวดล้อมการทดลองใช้ Fiddler ของคุณและให้รายละเอียด Fiddler เกี่ยวกับโมเดลของคุณผ่านขั้นตอนที่เรียกว่า การลงทะเบียนรุ่น. หากคุณต้องการใช้โน้ตบุ๊กที่กำหนดค่าไว้ล่วงหน้าจากภายใน สตูดิโอ Amazon SageMaker แทนที่จะคัดลอกและวางข้อมูลโค้ดต่อไปนี้ คุณสามารถอ้างอิงสมุดบันทึกการเริ่มต้นอย่างรวดเร็วของ Fiddler บน GitHub. Studio มีอินเทอร์เฟซแบบภาพบนเว็บเดียว ซึ่งคุณสามารถดำเนินการตามขั้นตอนการพัฒนา ML ทั้งหมดได้

ก่อนอื่น คุณต้องติดตั้ง ไคลเอนต์ Fiddler Python ในโน้ตบุ๊ก SageMaker ของคุณ และจำลองไคลเอ็นต์ Fiddler คุณสามารถรับ AUTH_TOKEN จาก การตั้งค่า ในสภาพแวดล้อมการทดลองใช้ Fiddler ของคุณ

# Install the fiddler client
!pip install fiddler-client

# Connect to the Fiddler Trial Environment
import fiddler as fdl
import pandas as pd

fdl.__version__

URL = 'https://yourcompany.try.fiddler.ai'
ORG_ID = 'yourcompany'
AUTH_TOKEN = 'UUID-Token-Here-Found-In-Your-Fiddler-Env-Settings-Page'

client = fdl.FiddlerApi(URL, ORG_ID, AUTH_TOKEN)

ถัดไป สร้างโครงการภายในสภาพแวดล้อมการทดลองใช้ Fiddler:

# Create Project
PROJECT_ID = 'credit_default'  # update this with your project name
DATASET_ID = f'{PROJECT_ID}_dataset'
MODEL_ID = f'{PROJECT_ID}_model'

client.create_project(PROJECT_ID)

ตอนนี้อัปโหลดชุดข้อมูลการฝึกอบรมของคุณ สมุดบันทึกยังมีชุดข้อมูลตัวอย่างเพื่อเรียกใช้ Fiddler's อธิบายได้ อัลกอริธึมและเป็นพื้นฐานสำหรับการตรวจสอบเมตริก ชุดข้อมูลยังใช้เพื่อสร้างสคีมาสำหรับโมเดลนี้ใน Fiddler

# Upload Baseline Dataset
df_baseline = pd.read_csv(‘<your-training-file.csv>')

dataset_info = fdl.DatasetInfo.from_dataframe(df_baseline, max_inferred_cardinality=1000)

upload_result = client.upload_dataset(PROJECT_ID,
                                      dataset={'baseline': df_baseline},
                                      dataset_id=DATASET_ID,
                                      info=dataset_info)

สุดท้ายนี้ ก่อนที่คุณจะสามารถเริ่มเผยแพร่การอนุมานไปยัง Fiddler เพื่อตรวจสอบ วิเคราะห์สาเหตุ และคำอธิบาย คุณต้องลงทะเบียนโมเดลของคุณเสียก่อน มาสร้าง a . กันก่อน model_info อ็อบเจ็กต์ที่มีข้อมูลเมตาเกี่ยวกับโมเดลของคุณ:

# Update task from the list below if your model task is not binary classification
model_task = 'binary' 

if model_task == 'regression':
    model_task_fdl = fdl.ModelTask.REGRESSION
    
elif model_task == 'binary':
    model_task_fdl = fdl.ModelTask.BINARY_CLASSIFICATION

elif model_task == 'multiclass':
    model_task_fdl = fdl.ModelTask.MULTICLASS_CLASSIFICATION

elif model_task == 'ranking':
    model_task_fdl = fdl.ModelTask.RANKING

    
# Specify column types|
target = 'TARGET'
outputs = ['prediction']  # change this to your target variable
features = [‘<add your feature list here>’]
     
# Generate ModelInfo
model_info = fdl.ModelInfo.from_dataset_info(
    dataset_info=dataset_info,
    dataset_id=DATASET_ID,
    model_task=model_task_fdl,
    target=target,
    outputs=outputs,
    features=features,
    binary_classification_threshold=.125,  # update this if your task is not a binary classification
    description='<model-description>',
    display_name='<model-display-name>'
)
model_info

จากนั้นคุณสามารถลงทะเบียนโมเดลโดยใช้ new . ของคุณ model_info วัตถุ:

# Register Info about your model with Fiddler
client.register_model(
    project_id=PROJECT_ID,
    dataset_id=DATASET_ID,
    model_id=MODEL_ID,
    model_info=model_info
)

ยอดเยี่ยม! ตอนนี้คุณสามารถเผยแพร่เหตุการณ์บางอย่างไปยัง Fiddler เพื่อสังเกตประสิทธิภาพของแบบจำลองได้

สร้างฟังก์ชัน Lambda เพื่อเผยแพร่การอนุมาน SageMaker ไปยัง Fiddler

ด้วยสถาปัตยกรรมแบบไร้เซิร์ฟเวอร์ที่ปรับใช้ได้ง่ายของ Lambda คุณสามารถสร้างกลไกที่จำเป็นในการย้ายการอนุมานจากบัคเก็ต S3 ที่คุณตั้งค่าไว้ก่อนหน้านี้ในสภาพแวดล้อมการทดลองใช้ Fiddler ที่จัดเตรียมใหม่ได้อย่างรวดเร็ว ฟังก์ชัน Lambda นี้มีหน้าที่ในการเปิดไฟล์บันทึกเหตุการณ์ JSONL ใหม่ในบัคเก็ต S3 ของโมเดลของคุณ แยกวิเคราะห์และจัดรูปแบบเนื้อหา JSONL ลงใน dataframe แล้วเผยแพร่ dataframe ของเหตุการณ์นั้นไปยังสภาพแวดล้อมการทดลองใช้ Fiddler ของคุณ ภาพหน้าจอต่อไปนี้แสดงรายละเอียดโค้ดของฟังก์ชันของเรา

ต้องกำหนดค่าฟังก์ชัน Lambda เพื่อเรียกใช้ไฟล์ที่สร้างขึ้นใหม่ในบัคเก็ต S3 ของคุณ ต่อไปนี้ เกี่ยวกับการสอน แนะนำคุณผ่านการสร้าง an อเมซอน EventBridge ทริกเกอร์ที่เรียกใช้ฟังก์ชัน Lambda ทุกครั้งที่อัปโหลดไฟล์ไปยัง Amazon S3 ภาพหน้าจอต่อไปนี้แสดงการกำหนดค่าทริกเกอร์ของฟังก์ชันของเรา ซึ่งช่วยให้มั่นใจได้ว่าทุกครั้งที่โมเดลของคุณทำการอนุมานใหม่ เหตุการณ์เหล่านั้นที่จัดเก็บไว้ใน Amazon S3 จะถูกโหลดลงใน Fiddler เพื่อขับเคลื่อนความสามารถในการสังเกตโมเดลที่บริษัทของคุณต้องการ

เพื่อทำให้สิ่งนี้ง่ายขึ้น โค้ดสำหรับฟังก์ชัน Lambda นี้มีให้แบบสาธารณะตั้งแต่ เว็บไซต์เอกสารของฟิดเลอร์. ตัวอย่างโค้ดนี้ใช้ได้กับโมเดลการจำแนกประเภทไบนารีที่มีอินพุตแบบมีโครงสร้าง หากคุณมีประเภทโมเดลที่มีคุณสมบัติหรืองานที่แตกต่างกัน โปรดติดต่อ Fiddler เพื่อขอความช่วยเหลือเกี่ยวกับการเปลี่ยนแปลงเล็กน้อยในโค้ด

ฟังก์ชัน Lambda จำเป็นต้องอ้างอิงถึงไคลเอนต์ Fiddler Python Fiddler ได้สร้างเลเยอร์ Lambda ที่เปิดเผยต่อสาธารณะซึ่งคุณสามารถอ้างอิงได้เพื่อให้แน่ใจว่า import fiddler as fdl ขั้นตอนทำงานได้อย่างราบรื่น คุณสามารถอ้างอิงเลเยอร์นี้ผ่าน ARN ในภูมิภาค us-west-2: arn:aws:lambda:us-west-2:079310353266:layer:fiddler-client-0814:1ดังแสดงในภาพหน้าจอต่อไปนี้

คุณต้องระบุตัวแปรสภาพแวดล้อมของแลมบ์ดาด้วย เพื่อให้ฟังก์ชันแลมบ์ดารู้วิธีเชื่อมต่อกับสภาพแวดล้อมการทดลองใช้ Fiddler และสิ่งที่อินพุตและเอาต์พุตอยู่ภายในไฟล์ .jsonl ที่โมเดลของคุณจับ ภาพหน้าจอต่อไปนี้แสดงรายการตัวแปรสภาพแวดล้อมที่จำเป็น ซึ่งอยู่ใน เว็บไซต์เอกสารของฟิดเลอร์. อัพเดตค่าสำหรับตัวแปรสภาพแวดล้อมเพื่อให้ตรงกับโมเดลและชุดข้อมูลของคุณ

สำรวจความสามารถในการตรวจสอบของ Fiddler ในสภาพแวดล้อมการทดลองใช้ Fiddler ของคุณ

คุณทำได้แล้ว! ด้วยข้อมูลพื้นฐาน โมเดล และทราฟฟิกที่เชื่อมต่อ ตอนนี้คุณอธิบายได้แล้ว ข้อมูลดริฟท์, ค่าผิดปกติ, โมเดลอคติ, ปัญหาด้านข้อมูล และประสิทธิภาพการทำงานผิดพลาด และแชร์แดชบอร์ดกับผู้อื่น จบการเดินทางของคุณโดย กำลังดูเดโม เกี่ยวกับความสามารถในการจัดการประสิทธิภาพของแบบจำลองที่คุณได้แนะนำให้รู้จักกับบริษัทของคุณ

ภาพหน้าจอตัวอย่างด้านล่างแสดงภาพรวมของข้อมูลเชิงลึกของโมเดล เช่น การเลื่อน การตรวจหาค่าผิดปกติ คำอธิบายจุดในเครื่อง และการวิเคราะห์แบบจำลองที่จะพบได้ในสภาพแวดล้อมการทดลองใช้ Fiddler ของคุณ

สรุป

โพสต์นี้เน้นย้ำถึงความต้องการระดับองค์กร การตรวจสอบแบบจำลอง และแสดงให้เห็นว่าคุณสามารถผสานรวมโมเดลของคุณที่ปรับใช้ใน SageMaker กับ แพลตฟอร์มการจัดการประสิทธิภาพแบบจำลอง Fiddler เพียงไม่กี่ขั้นตอน Fiddler มีฟังก์ชันสำหรับการตรวจสอบโมเดล, AI ที่อธิบายได้, การตรวจจับอคติ และการวิเคราะห์สาเหตุ และมีอยู่ใน AWS Marketplace. โดยให้ .ของคุณ ม.ป.ป ทีมที่มีบานหน้าต่างกระจกเดียวที่ใช้งานง่ายเพื่อให้แน่ใจว่าแบบจำลองของคุณทำงานตามที่คาดไว้และเพื่อระบุสาเหตุที่แท้จริงของการลดประสิทธิภาพ Fiddler สามารถช่วยปรับปรุงประสิทธิภาพการทำงานของนักวิทยาศาสตร์ข้อมูล และลดเวลาในการตรวจหาและแก้ไขปัญหา

หากคุณต้องการเรียนรู้เพิ่มเติมเกี่ยวกับ Fiddler โปรดไปที่ fiddler.ai หรือหากคุณต้องการตั้งค่าการสาธิตส่วนบุคคลและอีเมลสนทนาทางเทคนิค sales@fiddler.ai.

เกี่ยวกับผู้เขียน

แดนนี่ บร็อค เป็น Sr Solutions Engineer ที่ Fiddler AI Danny ทำงานด้านการวิเคราะห์และ ML มาอย่างยาวนาน โดยดูแลทีมขายล่วงหน้าและหลังการขายสำหรับสตาร์ทอัพอย่าง Endeca และ Incorta เขาก่อตั้งบริษัทที่ปรึกษาด้านการวิเคราะห์บิ๊กดาต้าของตัวเองที่ชื่อ Branchbird ในปี 2012

ราจีฟ โกวินดัน เป็น Sr Solutions Engineer ที่ Fiddler AI Rajeev มีประสบการณ์มากมายในด้านวิศวกรรมการขายและการพัฒนาซอฟต์แวร์ในบริษัทระดับองค์กรหลายแห่ง รวมถึง AppDynamics

กฤษณาราม เกนทาปที เป็นหัวหน้านักวิทยาศาสตร์ของ Fiddler AI ก่อนหน้านี้ เขาเป็นหัวหน้านักวิทยาศาสตร์ที่ Amazon AWS AI ซึ่งเขาเป็นผู้นำโครงการริเริ่มด้านความเป็นธรรม การอธิบาย ความเป็นส่วนตัว และการทำความเข้าใจโมเดลในแพลตฟอร์ม Amazon AI และก่อนหน้านั้น เขาเคยดำรงตำแหน่งที่ LinkedIn AI และ Microsoft Research Krishnaram ได้รับปริญญาเอกด้านวิทยาการคอมพิวเตอร์จากมหาวิทยาลัยสแตนฟอร์ดในปี 2006