Giảm thiểu tác động sản xuất của các bản cập nhật mô hình ML với thử nghiệm bóng Amazon SageMaker

Amazon SageMaker giờ đây cho phép bạn so sánh hiệu suất của phiên bản mới của ngăn xếp phân phối mô hình với phiên bản hiện được triển khai trước khi triển khai sản xuất đầy đủ bằng cách sử dụng biện pháp an toàn triển khai được gọi là kiểm tra bóng. Kiểm tra bóng có thể giúp bạn xác định các lỗi cấu hình tiềm ẩn và các vấn đề về hiệu suất trước khi chúng ảnh hưởng đến người dùng cuối. Với SageMaker, bạn không cần đầu tư xây dựng cơ sở hạ tầng thử nghiệm bóng, cho phép bạn tập trung vào phát triển mô hình. SageMaker đảm nhiệm việc triển khai phiên bản mới cùng với phiên bản hiện tại phục vụ các yêu cầu sản xuất, định tuyến một phần yêu cầu tới phiên bản bóng tối. Sau đó, bạn có thể so sánh hiệu suất của hai phiên bản bằng cách sử dụng các số liệu như độ trễ và tỷ lệ lỗi. Điều này giúp bạn tự tin hơn rằng việc triển khai sản xuất cho các điểm cuối suy luận của SageMaker sẽ không gây ra hiện tượng hồi quy hiệu suất và giúp bạn tránh được tình trạng ngừng hoạt động do vô tình cấu hình sai.

Trong bài đăng này, chúng tôi trình diễn khả năng SageMaker mới này. Sổ ghi chép mẫu tương ứng có sẵn trong GitHub này kho.

Tổng quan về giải pháp

Cơ sở hạ tầng phân phát mô hình của bạn bao gồm mô hình máy học (ML), vùng chứa phân phát hoặc phiên bản điện toán. Hãy xem xét các tình huống sau:

• Bạn đang cân nhắc việc đưa một mô hình mới đã được xác thực ngoại tuyến vào sản xuất nhưng muốn đánh giá các chỉ số hiệu suất hoạt động, chẳng hạn như độ trễ, tỷ lệ lỗi, v.v., trước khi đưa ra quyết định này.
• Bạn đang xem xét các thay đổi đối với vùng chứa cơ sở hạ tầng phân phát của mình, chẳng hạn như vá các lỗ hổng hoặc nâng cấp lên phiên bản mới hơn, đồng thời muốn đánh giá tác động của những thay đổi này trước khi đưa vào sản xuất.
• Bạn đang cân nhắc việc thay đổi phiên bản ML của mình và muốn đánh giá xem phiên bản mới sẽ hoạt động như thế nào với các yêu cầu suy luận trực tiếp.

Sơ đồ sau minh họa kiến ​​trúc giải pháp của chúng tôi.

Đối với mỗi trường hợp này, hãy chọn một biến thể sản xuất mà bạn muốn thử nghiệm và SageMaker sẽ tự động triển khai biến thể mới ở chế độ tối và định tuyến bản sao của các yêu cầu suy luận tới biến thể đó trong thời gian thực trong cùng một điểm cuối. Chỉ những phản hồi của biến thể sản xuất mới được trả về ứng dụng gọi điện. Bạn có thể chọn loại bỏ hoặc ghi lại phản hồi của biến thể bóng để so sánh ngoại tuyến. Theo tùy chọn, bạn có thể theo dõi các biến thể thông qua bảng điều khiển tích hợp sẵn với sự so sánh song song của các chỉ số hiệu suất. Bạn có thể sử dụng khả năng này thông qua API điểm cuối cập nhật suy luận SageMaker hoặc thông qua bảng điều khiển SageMaker.

Các biến thể bóng được xây dựng dựa trên khả năng của biến thể sản xuất trong các điểm cuối suy luận của SageMaker. Xin nhắc lại, một biến thể sản xuất bao gồm mô hình ML, vùng chứa phục vụ và phiên bản ML. Vì mỗi biến thể độc lập với các biến thể khác nên bạn có thể có các mô hình, vùng chứa hoặc loại phiên bản khác nhau trên các biến thể. SageMaker cho phép bạn chỉ định các chính sách tự động thay đổi quy mô trên cơ sở từng biến thể để chúng có thể thay đổi quy mô độc lập dựa trên tải đến. SageMaker hỗ trợ tối đa 10 biến thể sản xuất cho mỗi điểm cuối. Bạn có thể định cấu hình một biến thể để nhận một phần lưu lượng truy cập đến bằng cách đặt trọng số biến thể hoặc chỉ định biến thể mục tiêu trong yêu cầu đến. Phản hồi từ biến thể sản xuất được chuyển tiếp trở lại người gọi.

A biến thể bóng (mới) có các thành phần tương tự như một biến thể sản xuất. Một phần yêu cầu do người dùng chỉ định, được gọi là tỷ lệ lấy mẫu lưu lượng truy cập, được chuyển tiếp đến biến thể bóng. Bạn có thể chọn ghi lại phản hồi của biến thể bóng trong Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3) hoặc loại bỏ nó.

Lưu ý rằng SageMaker hỗ trợ tối đa một biến thể bóng cho mỗi điểm cuối. Đối với điểm cuối có biến thể bóng, có thể có tối đa một biến thể sản xuất.

Sau khi thiết lập các biến thể sản xuất và bóng tối, bạn có thể theo dõi số liệu lời gọi cho cả biến thể sản xuất và biến thể bóng tối trong amazoncloudwatch theo AWS/SageMaker không gian tên. Tất cả các bản cập nhật cho điểm cuối SageMaker đều được sắp xếp bằng cách sử dụng triển khai xanh dương/xanh lá cây và xảy ra mà không có bất kỳ tổn thất nào về tính sẵn có. Điểm cuối của bạn sẽ tiếp tục đáp ứng các yêu cầu sản xuất khi bạn thêm, sửa đổi hoặc xóa các biến thể bóng.

Bạn có thể sử dụng khả năng này theo một trong hai cách:

• Kiểm tra bóng được quản lý bằng Bảng điều khiển SageMaker – Bạn có thể tận dụng bảng điều khiển để có trải nghiệm được hướng dẫn nhằm quản lý hành trình thử nghiệm bóng từ đầu đến cuối. Điều này cho phép bạn thiết lập các bài kiểm tra bóng trong một khoảng thời gian xác định trước, theo dõi tiến trình thông qua trang tổng quan trực tiếp, dọn dẹp sau khi hoàn thành và hành động dựa trên kết quả.
• Kiểm tra bóng tự phục vụ bằng API suy luận SageMaker – Nếu quy trình triển khai của bạn đã sử dụng API tạo/cập nhật/xóa điểm cuối, bạn có thể tiếp tục sử dụng chúng để quản lý Biến thể bóng.

Trong các phần sau, chúng ta sẽ xem xét từng kịch bản này.

Tình huống 1 – Kiểm thử bóng được quản lý bằng Bảng điều khiển SageMaker

Nếu bạn muốn chọn SageMaker để quản lý quy trình làm việc từ đầu đến cuối gồm tạo, quản lý và hành động dựa trên kết quả của kiểm tra bóng, hãy cân nhắc sử dụng khả năng của kiểm tra bóng trong phần Suy luận của Bảng điều khiển SageMaker. Như đã nêu trước đó, điều này cho phép bạn thiết lập các thử nghiệm bóng trong một khoảng thời gian xác định trước, theo dõi tiến trình thông qua trang tổng quan trực tiếp, hiển thị các tùy chọn dọn dẹp sau khi hoàn thành và hành động dựa trên kết quả. Để tìm hiểu thêm, vui lòng truy cập các bài kiểm tra bóng phần tài liệu của chúng tôi để biết hướng dẫn từng bước về khả năng này.

Điều kiện tiên quyết

Các mô hình sản xuất và mô hình bóng cần được tạo trên SageMaker. Vui lòng tham khảo CreateModel API tại đây.

Bước 1 – Tạo bài kiểm tra bóng

Điều hướng đến Sự suy luận phần điều hướng bên trái của bảng điều khiển SageMaker rồi chọn Kiểm tra bóng. Thao tác này sẽ đưa bạn đến trang tổng quan có tất cả các bài kiểm tra bóng đã lên lịch, đang chạy và đã hoàn thành. Nhấp chuột 'tạo một bài kiểm tra bóng'. Nhập tên cho bài kiểm tra và chọn tiếp theo.

Thao tác này sẽ đưa bạn đến trang cài đặt kiểm tra bóng. Bạn có thể chọn vai trò IAM hiện có hoặc tạo vai trò có AmazonSageMakerFullAccess Chính sách IAM được đính kèm. Tiếp theo, chọn 'Tạo điểm cuối mới' và nhập tên (xgb-prod-shadow-1). Bạn có thể thêm một biến thể sản xuất và một biến thể bóng được liên kết với điểm cuối này bằng cách nhấp vào 'Thêm vào' trong phần Biến thể. Bạn có thể chọn các mô hình bạn đã tạo trong 'Thêm mô hình' hộp thoại. Điều này tạo ra một sản phẩm hoặc biến thể. Bạn có thể tùy ý thay đổi loại phiên bản và số lượng phiên bản liên quan đến từng biến thể.

Tất cả lưu lượng truy cập đều đi đến biến thể sản xuất và nó đáp ứng các yêu cầu gọi. Bạn có thể kiểm soát một phần yêu cầu được chuyển đến biến thể bóng bằng cách thay đổi thuộc tính Traffic Sampling Percentage.

Bạn có thể kiểm soát thời gian thử nghiệm từ một giờ đến 30 ngày. Nếu không xác định thì mặc định là 7 ngày. Sau khoảng thời gian này, bài kiểm tra được đánh dấu là hoàn thành. Nếu bạn đang chạy thử nghiệm trên điểm cuối hiện có, điểm cuối đó sẽ được khôi phục về trạng thái trước khi bắt đầu thử nghiệm sau khi hoàn thành.

Bạn có thể tùy ý nắm bắt các yêu cầu và phản hồi của biến thể Shadow bằng cách sử dụng Thu thập dữ liệu tùy chọn. Nếu không được chỉ định, phản hồi của biến thể bóng sẽ bị loại bỏ.

Bước 2 – Theo dõi bài kiểm tra bóng

Bạn có thể xem danh sách kiểm tra bóng bằng cách điều hướng đến Shadow Tests phần dưới Suy luận. Nhấp vào kiểm tra bóng đã tạo ở bước trước để xem chi tiết về kiểm tra bóng và theo dõi nó trong khi quá trình này đang diễn ra hoặc sau khi hoàn thành.

Phần Số liệu cung cấp sự so sánh các số liệu chính và cung cấp các biểu đồ xếp chồng giữa các biến thể sản xuất và biến thể bóng, cùng với số liệu thống kê mô tả. Bạn có thể so sánh các số liệu gọi như ModelLatency và Invocation4xxErrors cũng như các số liệu ví dụ như CPUUtilization và DiskUtilization.

Bước 3 – Quảng bá biến thể Shadow lên biến thể sản xuất mới

Khi so sánh, bạn có thể chọn quảng bá biến thể bóng thành biến thể sản xuất mới hoặc loại bỏ biến thể bóng. Đối với cả hai tùy chọn này, hãy chọn 'Đánh dấu hoàn tất' trên đầu trang. Điều này cung cấp cho bạn tùy chọn để quảng cáo hoặc loại bỏ biến thể bóng.

Nếu chọn quảng bá, bạn sẽ được đưa đến trang triển khai, nơi bạn có thể xác nhận cài đặt biến thể trước khi triển khai. Trước khi triển khai, chúng tôi khuyên bạn nên định cỡ các biến thể bóng của mình để có thể xử lý 100% lưu lượng lệnh gọi. Nếu bạn không sử dụng kiểm tra bóng để đánh giá các loại hoặc kích thước phiên bản thay thế, bạn có thể sử dụng tùy chọn 'giữ lại cài đặt biến thể sản xuất. Nếu không, bạn có thể chọn 'giữ lại cài đặt biến thể bóng. Nếu bạn chọn tùy chọn này, vui lòng đảm bảo rằng việc lấy mẫu lưu lượng truy cập của bạn được đặt ở mức 100%. Ngoài ra, bạn có thể chỉ định loại và số lượng phiên bản nếu bạn muốn ghi đè các cài đặt này.

Sau khi bạn xác nhận việc triển khai, SageMaker sẽ bắt đầu cập nhật điểm cuối của bạn để nâng cấp biến thể bóng lên biến thể sản xuất mới. Giống như tất cả các bản cập nhật của SageMaker, điểm cuối của bạn sẽ vẫn hoạt động trong quá trình cập nhật.

Tình huống 2: Kiểm tra bóng bằng API suy luận SageMaker

Phần này trình bày cách sử dụng các API tạo/cập nhật/xóa điểm cuối hiện có của SageMaker để triển khai các biến thể bóng.

Trong ví dụ này, chúng tôi có hai mô hình XGBoost đại diện cho hai phiên bản khác nhau của các mô hình đã được đào tạo trước. model.tar.gz là mô hình hiện đang được triển khai sản xuất. model2 là mô hình mới hơn và chúng tôi muốn kiểm tra hiệu suất của nó theo các chỉ số hoạt động như độ trễ trước khi quyết định sử dụng nó trong sản xuất. Chúng tôi triển khai model2 như một biến thể bóng tối của model.tar.gz. Cả hai mô hình được đào tạo trước đều được lưu trữ trong nhóm S3 công khai s3://sagemaker-sample-files. Trước tiên, chúng tôi tải xuống phiên bản điện toán cục bộ của mô hình rồi tải lên S3.

Các mô hình trong ví dụ này được sử dụng để dự đoán xác suất khách hàng di động rời bỏ nhà cung cấp dịch vụ di động hiện tại của họ. Tập dữ liệu chúng tôi sử dụng được cung cấp công khai và đã được đề cập trong cuốn sách Khám phá kiến ​​thức trong dữ liệu của Daniel T. Larose. Các mô hình này được huấn luyện bằng cách sử dụng Sổ tay dự đoán tỷ lệ rời bỏ XGB trong SageMaker. Bạn cũng có thể sử dụng các mô hình được đào tạo trước của riêng mình, trong trường hợp đó bạn có thể bỏ qua việc tải xuống từ s3://sagemaker-sample-files và sao chép trực tiếp các mô hình của bạn vào mô hình/thư mục.

!aws s3 cp s3://sagemaker-sample-files/models/xgb-churn/xgb-churn-prediction-model.tar.gz model/
!aws s3 cp s3://sagemaker-sample-files/models/xgb-churn/xgb-churn-prediction-model2.tar.gz model/

Bước 1 – Tạo mô hình

Chúng tôi tải các tệp mô hình lên bộ chứa S3 của riêng mình và tạo hai mô hình SageMaker. Xem đoạn mã sau:

model_url = S3Uploader.upload(
    local_path="model/xgb-churn-prediction-model.tar.gz",
    desired_s3_uri=f"s3://{bucket}/{prefix}",
)
model_url2 = S3Uploader.upload(
    local_path="model/xgb-churn-prediction-model2.tar.gz",
    desired_s3_uri=f"s3://{bucket}/{prefix}",
from sagemaker import image_uris
image_uri = image_uris.retrieve("xgboost", boto3.Session().region_name, "0.90-1")
image_uri2 = image_uris.retrieve("xgboost", boto3.Session().region_name, "0.90-2")

model_name = f"DEMO-xgb-churn-pred-{datetime.now():%Y-%m-%d-%H-%M-%S}"
model_name2 = f"DEMO-xgb-churn-pred2-{datetime.now():%Y-%m-%d-%H-%M-%S}"

resp = sm.create_model(
    ModelName=model_name,
    ExecutionRoleArn=role,
    Containers=[{"Image": image_uri, "ModelDataUrl": model_url}],
)

resp = sm.create_model(
    ModelName=model_name2,
    ExecutionRoleArn=role,
    Containers=[{"Image": image_uri2, "ModelDataUrl": model_url2}],
)

Bước 2 – Triển khai hai mô hình dưới dạng biến thể sản xuất và biến thể bóng cho điểm cuối suy luận thời gian thực

Chúng tôi tạo cấu hình điểm cuối với các biến thể sản xuất và bóng tối. Các ProductionVariants và ShadowProductionVariants đang được quan tâm đặc biệt. Cả hai biến thể này đều có phiên bản ml.m5.xlarge với 4 vCPU và 16 GiB bộ nhớ, đồng thời số lượng phiên bản ban đầu được đặt thành 1. Xem mã sau:

ep_config_name = f"Shadow-EpConfig-{datetime.now():%Y-%m-%d-%H-%M-%S}"
production_variant_name = "production"
shadow_variant_name = "shadow"
create_endpoint_config_response = sm.create_endpoint_config(
    EndpointConfigName=ep_config_name,
    ProductionVariants=[
    # Type: Array of ProductionVariant (https://docs.aws.amazon.com/sagemaker/latest/APIReference/API_ProductionVariant.html) objects
      { 
         "VariantName": shadow_variant_name,
        {
            "VariantName": production_variant_name,
            "ModelName": model_name,
            "InstanceType": "ml.m5.xlarge",
            "InitialInstanceCount": 2,
            "InitialVariantWeight": 1,
        }
    ],
     # Type: Array of ShadowProductionVariants 
    ShadowProductionVariants = [
         "ModelName": model_name2,
         "InitialInstanceCount": 1,
         "InitialVariantWeight": 0.5,
         "InstanceType": "ml.m5.xlarge" 
      }
   ]
)

Cuối cùng, chúng tôi tạo biến thể sản xuất và bóng tối:

endpoint_name = f"xgb-prod-shadow-{datetime.now():%Y-%m-%d-%H-%M-%S}"
create_endpoint_api_response = sm.create_endpoint(
                                    EndpointName=endpoint_name,
                                    EndpointConfigName=ep_config_name,
                                )

Bước 3 – Gọi điểm cuối để kiểm tra

Sau khi điểm cuối được tạo thành công, bạn có thể bắt đầu gọi nó. Chúng tôi gửi khoảng 3,000 yêu cầu theo cách tuần tự:

def invoke_endpoint(endpoint_name, wait_interval_sec=0.01, should_raise_exp=False):
    with open("test_data/test-dataset-input-cols.csv", "r") as f:
        for row in f:
            payload = row.rstrip("n")
            try:
                for i in range(10): #send the same payload 10 times for testing purpose
                    response = sm_runtime.invoke_endpoint(
                        EndpointName=endpoint_name, ContentType="text/csv", Body=payload
                    )
            except Exception as e:
                print("E", end="", flush=True)
                if should_raise_exp:
                    raise e

invoke_endpoint(endpoint_name)

Bước 4 – So sánh số liệu

Bây giờ chúng ta đã triển khai cả mô hình sản xuất và mô hình bóng, hãy so sánh các chỉ số lệnh gọi. Để biết danh sách các số liệu lệnh gọi có sẵn để so sánh, hãy tham khảo Giám sát Amazon SageMaker với Amazon CloudWatch. Hãy bắt đầu bằng cách so sánh các lệnh gọi giữa các biến thể sản xuất và biến thể bóng tối.

Sản phẩm InvocationsPerInstance số liệu đề cập đến số lượng lệnh gọi được gửi đến biến thể sản xuất. Một phần của các lệnh gọi này, được chỉ định trong trọng số biến thể, được gửi đến biến thể bóng tối. Lệnh gọi trên mỗi phiên bản được tính bằng cách chia tổng số lệnh gọi cho số phiên bản trong một biến thể. Như được hiển thị trong các biểu đồ sau, chúng tôi có thể xác nhận rằng cả biến thể sản xuất và biến thể bóng đều đang nhận được yêu cầu gọi theo trọng số được chỉ định trong cấu hình điểm cuối.

Tiếp theo, hãy so sánh độ trễ của mô hình (ModelLatency số liệu) giữa các biến thể sản xuất và bóng tối. Độ trễ của mô hình là thời gian mà mô hình cần để phản hồi khi được xem từ SageMaker. Chúng ta có thể quan sát độ trễ mô hình của biến thể bóng so sánh với biến thể sản xuất mà không khiến người dùng cuối gặp biến thể bóng.

Chúng tôi dự đoán độ trễ trên không (OverheadLatency số liệu) để có thể so sánh giữa các biến thể sản xuất và bóng tối. Độ trễ tổng quát là khoảng thời gian được đo từ thời điểm SageMaker nhận được yêu cầu cho đến khi nó trả về phản hồi cho máy khách, trừ đi độ trễ của mô hình.

Bước 5- Quảng cáo biến thể bóng của bạn

Để đưa mô hình bóng vào sản xuất, hãy tạo cấu hình điểm cuối mới với hiện tại ShadowProductionVariant như mới ProductionVariant và loại bỏ ShadowProductionVariant. Điều này sẽ loại bỏ hiện tại ProductionVariant và thúc đẩy biến thể bóng tối trở thành biến thể sản xuất mới. Như mọi khi, tất cả các bản cập nhật SageMaker đều được sắp xếp dưới dạng triển khai xanh lam/xanh lục và không bị mất tính khả dụng khi thực hiện cập nhật.

Tùy chọn, bạn có thể tận dụng Lan can triển khai nếu bạn muốn sử dụng tính năng chuyển lưu lượng truy cập và tự động khôi phục cùng một lúc trong quá trình cập nhật của mình.

promote_ep_config_name = f"PromoteShadow-EpConfig-{datetime.now():%Y-%m-%d-%H-%M-%S}"

create_endpoint_config_response = sm.create_endpoint_config(
    EndpointConfigName=promote_ep_config_name,
    ProductionVariants=[
        {
            "VariantName": shadow_variant_name,
            "ModelName": model_name2,
            "InstanceType": "ml.m5.xlarge",
            "InitialInstanceCount": 2,
            "InitialVariantWeight": 1.0,
        }
    ],
)
print(f"Created EndpointConfig: {create_endpoint_config_response['EndpointConfigArn']}")

update_endpoint_api_response = sm.update_endpoint(
    EndpointName=endpoint_name,
    EndpointConfigName=promote_ep_config_name,
)

wait_for_endpoint_in_service(endpoint_name)

sm.describe_endpoint(EndpointName=endpoint_name)

Bước 6 – Dọn dẹp

Nếu không có ý định sử dụng điểm cuối này nữa, bạn nên xóa điểm cuối này để tránh phát sinh thêm phí và dọn sạch các tài nguyên khác được tạo trong blog này.

dsm.delete_endpoint(EndpointName=endpoint_name)
sm.delete_endpoint_config(EndpointConfigName=ep_config_name)
sm.delete_endpoint_config(EndpointConfigName=promote_ep_config_name)
sm.delete_model(ModelName=model_name)
sm.delete_model(ModelName=model_name2)

Kết luận

Trong bài đăng này, chúng tôi đã giới thiệu một khả năng suy luận mới của SageMaker để so sánh hiệu suất của phiên bản mới của ngăn xếp phân phối mô hình với phiên bản hiện được triển khai trước khi triển khai sản xuất đầy đủ bằng cách sử dụng phương pháp an toàn triển khai được gọi là thử nghiệm bóng. Chúng tôi đã hướng dẫn bạn những lợi ích của việc sử dụng các biến thể bóng và các phương pháp để định cấu hình các biến thể bằng một ví dụ từ đầu đến cuối. Để tìm hiểu thêm về các biến thể bóng, hãy tham khảo kiểm tra bóng tài liệu hướng dẫn.

Về các tác giả

Raghu Ramesha là Kiến trúc sư giải pháp máy học của nhóm Dịch vụ Amazon SageMaker. Anh tập trung vào việc giúp khách hàng xây dựng, triển khai và di chuyển khối lượng công việc sản xuất ML sang SageMaker trên quy mô lớn. Anh ấy chuyên về lĩnh vực học máy, AI và thị giác máy tính, đồng thời có bằng thạc sĩ về Khoa học Máy tính của UT Dallas. Trong thời gian rảnh rỗi, anh thích đi du lịch và chụp ảnh.

Thanh Vĩ là Chuyên gia Máy học tại Amazon Web Services. Ông nhận bằng Tiến sĩ. trong Nghiên cứu Hoạt động sau khi ông phá vỡ tài khoản tài trợ nghiên cứu của cố vấn và không thực hiện được giải Nobel mà ông đã hứa. Hiện anh đang giúp khách hàng trong ngành dịch vụ tài chính và bảo hiểm xây dựng các giải pháp máy học trên AWS. Khi rảnh rỗi, anh ấy thích đọc sách và dạy học.

Thu Vân Triệu là Kỹ sư phát triển phần mềm cấp cao của nhóm Nền tảng suy luận Amazon SageMaker. Anh ấy là nhà phát triển chính của Guardrails triển khai và Shadow Deployments, đồng thời anh ấy tập trung vào việc giúp khách hàng quản lý khối lượng công việc và triển khai ML trên quy mô lớn với tính sẵn sàng cao. Anh ấy cũng nghiên cứu về các phát triển kiến ​​trúc nền tảng để triển khai công việc ML nhanh chóng và an toàn cũng như chạy các thử nghiệm trực tuyến ML một cách dễ dàng. Trong thời gian rảnh rỗi, anh thích đọc sách, chơi game và đi du lịch.

Tarun Sairam là Giám đốc sản phẩm cấp cao của Amazon SageMaker Inference. Anh ấy quan tâm đến việc tìm hiểu về các xu hướng mới nhất trong lĩnh vực học máy và giúp khách hàng tận dụng chúng. Trong thời gian rảnh rỗi, anh thích đạp xe, trượt tuyết và chơi quần vợt.