Đạt được khả năng giám sát cấp doanh nghiệp cho các mô hình Amazon SageMaker của bạn bằng Fiddler

Đây là bài đăng trên blog của khách của Danny Brock, Rajeev Govindan và Krishnaram Kenthapadi tại Fiddler AI.

trên màn hình Amazon SageMaker các mô hình đang hoạt động. Họ đang xử lý hàng triệu suy luận mỗi ngày và mang lại kết quả kinh doanh tốt hơn cho công ty của bạn. Chúng đang hoạt động tốt như ngày chúng được ra mắt.

Ờ, chờ đã. Có phải họ không? Có lẽ. Có thể không.

Không có cấp doanh nghiệp giám sát mô hình, mô hình của bạn có thể đang phân hủy trong im lặng. Các nhóm học máy (ML) của bạn có thể không bao giờ biết rằng những mô hình này thực sự đã biến đổi từ những điều kỳ diệu trong việc tạo ra doanh thu thành những trách nhiệm pháp lý khi đưa ra những quyết định sai lầm khiến công ty của bạn tốn thời gian và tiền bạc.

Đừng lo lắng. Giải pháp ở gần hơn bạn nghĩ.

Tay đấm, một giải pháp Quản lý Hiệu suất Mô hình cấp doanh nghiệp có sẵn trên Thị trường AWS, cung cấp khả năng giám sát mô hình và AI có thể giải thích để giúp các nhóm ML kiểm tra và giải quyết một loạt các vấn đề về mô hình. Thông qua giám sát mô hình, khả năng giải thích mô hình, phân tích và phát hiện sai lệch, Fiddler cung cấp cho công ty của bạn một khung kính duy nhất dễ sử dụng để đảm bảo các mô hình của bạn hoạt động như bình thường. Và nếu không, Fiddler cũng cung cấp các tính năng cho phép bạn kiểm tra mô hình của mình để tìm ra nguyên nhân sâu xa dẫn đến suy giảm hiệu suất.

Bài đăng này cho thấy cách bạn MLOps nhóm có thể cải thiện năng suất của nhà khoa học dữ liệu và giảm thời gian phát hiện sự cố cho các mô hình của bạn được triển khai trong SageMaker bằng cách tích hợp với Nền tảng quản lý hiệu suất mô hình Fiddler trong một vài bước đơn giản.

Tổng quan về giải pháp

Kiến trúc tham khảo sau đây nêu bật những điểm chính của tích hợp. Fiddler tồn tại dưới dạng “phụ trợ” cho quy trình làm việc SageMaker ML hiện có của bạn.

Phần còn lại của bài đăng này sẽ hướng dẫn bạn các bước để tích hợp mô hình SageMaker của bạn với Fiddler's Nền tảng quản lý hiệu suất mô hình:

1. Đảm bảo mô hình của bạn đã bật tính năng thu thập dữ liệu.
2. Tạo môi trường dùng thử Fiddler.
3. Đăng ký thông tin về mô hình của bạn trong môi trường Fiddler.
4. tạo một AWS Lambda chức năng xuất bản các suy luận của SageMaker tới Fiddler.
5. Khám phá khả năng giám sát của Fiddler trong môi trường dùng thử Fiddler của bạn.

Điều kiện tiên quyết

Bài đăng này giả định rằng bạn đã thiết lập SageMaker và triển khai điểm cuối mô hình. Để tìm hiểu cách định cấu hình SageMaker để phân phát mô hình, hãy tham khảo Triển khai các mô hình để suy luận. Một số ví dụ cũng có sẵn trên Repo GitHub.

Đảm bảo mô hình của bạn đã bật tính năng thu thập dữ liệu

Trên bảng điều khiển SageMaker, hãy điều hướng đến điểm cuối phân phối của mô hình của bạn và đảm bảo bạn đã bật thu thập dữ liệu vào một Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3). Điều này lưu trữ các suy luận (yêu cầu và phản hồi) mà mô hình của bạn thực hiện mỗi ngày dưới dạng Tệp dòng JSON (.jsonl) trong Amazon S3.

Tạo môi trường dùng thử Fiddler

Từ fiddler.ai trang web, bạn có thể yêu cầu dùng thử miễn phí. Sau khi điền vào biểu mẫu nhanh, Fiddler sẽ liên hệ với bạn để hiểu chi tiết cụ thể về nhu cầu quản lý hiệu suất mô hình của bạn và sẽ có môi trường dùng thử sẵn sàng cho bạn sau vài giờ. Bạn có thể mong đợi một môi trường chuyên dụng như https://yourcompany.try.fiddler.ai.

Đăng ký thông tin về mô hình của bạn trong môi trường Fiddler

Trước khi có thể bắt đầu xuất bản các sự kiện từ mô hình được lưu trữ trên SageMaker của mình vào Fiddler, bạn cần tạo một dự án trong môi trường dùng thử Fiddler và cung cấp thông tin chi tiết về Fiddler về mô hình của bạn thông qua một bước có tên đăng ký người mẫu. Nếu bạn muốn sử dụng sổ ghi chép được cấu hình sẵn từ bên trong Xưởng sản xuất Amazon SageMaker thay vì sao chép và dán các đoạn mã sau, bạn có thể tham khảo sổ tay khởi động nhanh Fiddler trên GitHub. Studio cung cấp một giao diện trực quan dựa trên web duy nhất nơi bạn có thể thực hiện tất cả các bước phát triển ML.

Trước tiên, bạn phải cài đặt Máy khách Fiddler Python trong sổ ghi chép SageMaker của bạn và khởi tạo ứng dụng khách Fiddler. Bạn có thể nhận được AUTH_TOKEN từ Cài đặt trang trong môi trường dùng thử Fiddler của bạn.

# Install the fiddler client
!pip install fiddler-client

# Connect to the Fiddler Trial Environment
import fiddler as fdl
import pandas as pd

fdl.__version__

URL = 'https://yourcompany.try.fiddler.ai'
ORG_ID = 'yourcompany'
AUTH_TOKEN = 'UUID-Token-Here-Found-In-Your-Fiddler-Env-Settings-Page'

client = fdl.FiddlerApi(URL, ORG_ID, AUTH_TOKEN)

Tiếp theo, tạo một dự án trong môi trường dùng thử Fiddler của bạn:

# Create Project
PROJECT_ID = 'credit_default'  # update this with your project name
DATASET_ID = f'{PROJECT_ID}_dataset'
MODEL_ID = f'{PROJECT_ID}_model'

client.create_project(PROJECT_ID)

Bây giờ hãy tải lên tập dữ liệu đào tạo của bạn. Sổ ghi chép cũng cung cấp một tập dữ liệu mẫu để chạy Fiddler's khả năng giải thích các thuật toán và làm cơ sở để theo dõi các số liệu. Tập dữ liệu cũng được sử dụng để tạo lược đồ cho mô hình này trong Fiddler.

# Upload Baseline Dataset
df_baseline = pd.read_csv(‘<your-training-file.csv>')

dataset_info = fdl.DatasetInfo.from_dataframe(df_baseline, max_inferred_cardinality=1000)

upload_result = client.upload_dataset(PROJECT_ID,
                                      dataset={'baseline': df_baseline},
                                      dataset_id=DATASET_ID,
                                      info=dataset_info)

Cuối cùng, trước khi bạn có thể bắt đầu xuất bản các suy luận lên Fiddler để theo dõi, phân tích nguyên nhân gốc rễ và giải thích, bạn cần đăng ký mô hình của mình. Đầu tiên chúng ta hãy tạo một model_info đối tượng chứa siêu dữ liệu về mô hình của bạn:

# Update task from the list below if your model task is not binary classification
model_task = 'binary' 

if model_task == 'regression':
    model_task_fdl = fdl.ModelTask.REGRESSION
    
elif model_task == 'binary':
    model_task_fdl = fdl.ModelTask.BINARY_CLASSIFICATION

elif model_task == 'multiclass':
    model_task_fdl = fdl.ModelTask.MULTICLASS_CLASSIFICATION

elif model_task == 'ranking':
    model_task_fdl = fdl.ModelTask.RANKING

    
# Specify column types|
target = 'TARGET'
outputs = ['prediction']  # change this to your target variable
features = [‘<add your feature list here>’]
     
# Generate ModelInfo
model_info = fdl.ModelInfo.from_dataset_info(
    dataset_info=dataset_info,
    dataset_id=DATASET_ID,
    model_task=model_task_fdl,
    target=target,
    outputs=outputs,
    features=features,
    binary_classification_threshold=.125,  # update this if your task is not a binary classification
    description='<model-description>',
    display_name='<model-display-name>'
)
model_info

Sau đó, bạn có thể đăng ký mô hình bằng cách sử dụng model_info vật:

# Register Info about your model with Fiddler
client.register_model(
    project_id=PROJECT_ID,
    dataset_id=DATASET_ID,
    model_id=MODEL_ID,
    model_info=model_info
)

Tuyệt vời! Bây giờ bạn có thể xuất bản một số sự kiện lên Fiddler để quan sát hiệu suất của mô hình.

Tạo hàm Lambda để xuất bản các suy luận của SageMaker lên Fiddler

Với kiến ​​trúc không có máy chủ dễ triển khai của Lambda, bạn có thể nhanh chóng xây dựng cơ chế cần thiết để di chuyển các suy luận từ bộ chứa S3 mà bạn đã thiết lập trước đó sang môi trường dùng thử Fiddler mới được cung cấp. Hàm Lambda này chịu trách nhiệm mở mọi tệp nhật ký sự kiện JSONL mới trong bộ chứa S3 của mô hình, phân tích cú pháp và định dạng nội dung JSONL thành một khung dữ liệu, sau đó xuất bản khung dữ liệu sự kiện đó lên môi trường dùng thử Fiddler của bạn. Ảnh chụp màn hình sau đây hiển thị chi tiết mã của hàm của chúng tôi.

Hàm Lambda cần được định cấu hình để kích hoạt các tệp mới được tạo trong bộ chứa S3 của bạn. Sau đây hướng dẫn hướng dẫn bạn cách tạo một Sự kiện Amazon trigger gọi hàm Lambda bất cứ khi nào có tệp được tải lên Amazon S3. Ảnh chụp màn hình sau đây hiển thị cấu hình trình kích hoạt chức năng của chúng tôi. Điều này giúp đơn giản hóa việc đảm bảo rằng bất cứ khi nào mô hình của bạn đưa ra suy luận mới, những sự kiện được lưu trữ trong Amazon S3 sẽ được tải vào Fiddler để thúc đẩy khả năng quan sát mô hình mà công ty bạn cần.

Để đơn giản hóa vấn đề này hơn nữa, mã cho hàm Lambda này được cung cấp công khai từ Trang web tài liệu của Fiddler. Ví dụ mã này hiện hoạt động cho các mô hình phân loại nhị phân với đầu vào có cấu trúc. Nếu bạn có các loại mô hình với các tính năng hoặc nhiệm vụ khác nhau, vui lòng liên hệ với Fiddler để được hỗ trợ về những thay đổi nhỏ đối với mã.

Hàm Lambda cần tham chiếu đến máy khách Fiddler Python. Fiddler đã tạo một lớp Lambda có sẵn công khai mà bạn có thể tham khảo để đảm bảo rằng import fiddler as fdl bước hoạt động liền mạch. Bạn có thể tham chiếu lớp này thông qua ARN ở Vùng us-west-2: arn:aws:lambda:us-west-2:079310353266:layer:fiddler-client-0814:1, như thể hiện trong ảnh chụp màn hình sau đây.

Bạn cũng cần chỉ định các biến môi trường Lambda để hàm Lambda biết cách kết nối với môi trường dùng thử Fiddler cũng như các đầu vào và đầu ra trong tệp .jsonl đang được mô hình của bạn ghi lại. Ảnh chụp màn hình sau đây hiển thị danh sách các biến môi trường được yêu cầu, cũng có trên Trang web tài liệu của Fiddler. Cập nhật giá trị cho các biến môi trường để khớp với mô hình và tập dữ liệu của bạn.

Khám phá khả năng giám sát của Fiddler trong môi trường dùng thử Fiddler của bạn

Bạn đã làm được điều đó! Với dữ liệu cơ sở, mô hình và lưu lượng truy cập được kết nối, giờ đây bạn có thể giải thích trôi dữ liệu, ngoại lệ, thiên vị người mẫu, sự cố dữ liệu và lỗi hiệu suất cũng như chia sẻ trang tổng quan với người khác. Hoàn thành cuộc hành trình của bạn bằng cách xem bản demo về khả năng quản lý hiệu suất mô hình mà bạn đã giới thiệu cho công ty của mình.

Ảnh chụp màn hình ví dụ bên dưới cung cấp cái nhìn tổng quan về thông tin chi tiết về mô hình như độ lệch, phát hiện ngoại lệ, giải thích điểm cục bộ và phân tích mô hình sẽ có trong môi trường dùng thử Fiddler của bạn.

Kết luận

Bài đăng này nhấn mạnh sự cần thiết của cấp doanh nghiệp giám sát mô hình và chỉ ra cách bạn có thể tích hợp các mô hình được triển khai trong SageMaker với Nền tảng quản lý hiệu suất mô hình Fiddler chỉ trong vài bước. Fiddler cung cấp chức năng giám sát mô hình, AI có thể giải thích, phát hiện sai lệch và phân tích nguyên nhân gốc rễ và có sẵn trên Thị trường AWS. Bằng cách cung cấp của bạn MLOps nhóm với một ô kính duy nhất dễ sử dụng để đảm bảo mô hình của bạn hoạt động như mong đợi và để xác định nguyên nhân sâu xa dẫn đến suy giảm hiệu suất, Fiddler có thể giúp cải thiện năng suất của nhà khoa học dữ liệu cũng như giảm thời gian phát hiện và giải quyết vấn đề.

Nếu bạn muốn tìm hiểu thêm về Fiddler vui lòng truy cập fiddler.ai hoặc nếu bạn muốn thiết lập một email thảo luận kỹ thuật và demo được cá nhân hóa sales@fiddler.ai.

Về các tác giả

Danny Brock là Kỹ sư Giải pháp cấp cao tại Fiddler AI. Danny đã làm việc lâu dài trong lĩnh vực phân tích và ML, điều hành các nhóm bán hàng trước và sau bán hàng cho các công ty khởi nghiệp như Endeca và Incorta. Ông thành lập công ty tư vấn phân tích dữ liệu lớn của riêng mình, Branchbird, vào năm 2012.

Rajeev Govindan là Kỹ sư Giải pháp cấp cao tại Fiddler AI. Rajeev có nhiều kinh nghiệm về kỹ thuật bán hàng và phát triển phần mềm tại một số công ty doanh nghiệp, bao gồm cả AppDynamics.

Krishnaram Kenthapadi là Nhà khoa học trưởng của Fiddler AI. Trước đây, ông là Nhà khoa học chính tại Amazon AWS AI, nơi ông lãnh đạo các sáng kiến ​​về tính công bằng, khả năng giải thích, quyền riêng tư và hiểu biết mô hình trong nền tảng AI của Amazon. Trước đó, ông giữ các vai trò tại LinkedIn AI và Microsoft Research. Krishnaram nhận bằng Tiến sĩ Khoa học Máy tính tại Đại học Stanford năm 2006.