Các mô hình lưu trữ mô hình trong SageMaker: Các phương pháp hay nhất trong việc thử nghiệm và cập nhật mô hình trên SageMaker

Amazon SageMaker là một dịch vụ được quản lý hoàn toàn, cung cấp cho các nhà phát triển và nhà khoa học dữ liệu khả năng xây dựng, đào tạo và triển khai nhanh chóng các mô hình học máy (ML). Với SageMaker, bạn có thể triển khai các mô hình ML của mình trên các điểm cuối được lưu trữ và nhận kết quả suy luận trong thời gian thực. Bạn có thể dễ dàng xem số liệu hiệu suất cho điểm cuối của mình trong amazoncloudwatch, tự động quy mô điểm cuối dựa trên lưu lượng truy cập và cập nhật mô hình của bạn trong quá trình sản xuất mà không làm mất đi bất kỳ tính khả dụng nào. SageMaker cung cấp nhiều tùy chọn khác nhau để triển khai mô hình ML để suy luận theo bất kỳ cách nào sau đây, tùy thuộc vào trường hợp sử dụng của bạn:

• Đối với các dự đoán đồng bộ cần được cung cấp theo thứ tự mili giây, hãy sử dụng SageMaker suy luận thời gian thực
• Đối với khối lượng công việc có thời gian rảnh giữa các lần tăng lưu lượng truy cập và có thể chịu được khởi động nguội, hãy sử dụng Suy luận không máy chủ
• Đối với các yêu cầu có kích thước tải trọng lớn lên tới 1 GB, thời gian xử lý dài (tối đa 15 phút) và yêu cầu độ trễ gần như thời gian thực (giây đến phút), hãy sử dụng SageMaker Suy luận không đồng bộ
• Để nhận dự đoán cho toàn bộ tập dữ liệu, hãy sử dụng SageMaker biến đổi hàng loạt

Suy luận thời gian thực lý tưởng cho khối lượng công việc suy luận mà bạn có yêu cầu về thời gian thực, tính tương tác và độ trễ thấp. Bạn triển khai mô hình của mình lên các dịch vụ lưu trữ của SageMaker và nhận được điểm cuối có thể dùng để suy luận. Các điểm cuối này được hỗ trợ bởi cơ sở hạ tầng được quản lý đầy đủ và hỗ trợ tự động mở rộng. Bạn có thể cải thiện hiệu quả và chi phí bằng cách kết hợp nhiều mô hình vào một điểm cuối duy nhất bằng cách sử dụng điểm cuối đa mô hình or điểm cuối đa vùng chứa.

Có một số trường hợp sử dụng nhất định mà bạn muốn triển khai nhiều biến thể của cùng một mô hình vào sản xuất để đánh giá hiệu suất của chúng, đo lường mức độ cải thiện hoặc chạy thử nghiệm A/B. Trong những trường hợp như vậy, điểm cuối nhiều biến thể của SageMaker rất hữu ích vì chúng cho phép bạn triển khai nhiều biến thể sản xuất của một mô hình cho cùng một điểm cuối SageMaker.

Trong bài đăng này, chúng tôi thảo luận về các điểm cuối đa biến thể của SageMaker và các phương pháp hay nhất để tối ưu hóa.

So sánh các tùy chọn suy luận thời gian thực của SageMaker

Sơ đồ sau đây cung cấp thông tin tổng quan nhanh về các tùy chọn suy luận theo thời gian thực với SageMaker.

Điểm cuối mô hình đơn cho phép bạn triển khai một mô hình trên vùng chứa được lưu trữ trên các phiên bản chuyên dụng hoặc serverless để có độ trễ thấp và thông lượng cao. Bạn có thể tạo một mô hình và lấy lại a Hình ảnh được SageMaker hỗ trợ dành cho các khung phổ biến như TensorFlow, PyTorch, Scikit-learn, v.v. Nếu bạn đang làm việc với một khung tùy chỉnh cho mô hình của mình, bạn cũng có thể mang theo container của riêng bạn cài đặt các phụ thuộc của bạn.

SageMaker cũng hỗ trợ các tùy chọn nâng cao hơn như điểm cuối nhiều mô hình (MME) và điểm cuối nhiều vùng chứa (MCE). MME rất hữu ích khi bạn xử lý hàng trăm đến hàng chục nghìn mô hình và khi bạn không cần triển khai từng mô hình làm điểm cuối riêng lẻ. MME cho phép bạn lưu trữ nhiều mô hình theo cách tiết kiệm chi phí, có thể mở rộng trong cùng một điểm cuối bằng cách sử dụng vùng chứa phân phát dùng chung được lưu trữ trên một phiên bản. Cơ sở hạ tầng cơ bản (vùng chứa và phiên bản) vẫn giữ nguyên nhưng các mô hình được tải và dỡ tải một cách linh hoạt từ một vị trí S3 chung, tùy theo mức sử dụng và dung lượng bộ nhớ có sẵn trên điểm cuối. Ứng dụng của bạn chỉ cần bao gồm lệnh gọi API với mô hình mục tiêu tới điểm cuối này để đạt được suy luận có độ trễ thấp, thông lượng cao. Thay vì trả tiền cho một điểm cuối riêng biệt cho từng mô hình, bạn có thể lưu trữ nhiều mô hình với mức giá của một điểm cuối duy nhất.

MCE cho phép bạn chạy tối đa 15 bộ chứa ML khác nhau trên một điểm cuối duy nhất và gọi chúng một cách độc lập. Bạn có thể xây dựng các bộ chứa ML này trên các ngăn xếp phân phát khác nhau (chẳng hạn như khung ML, máy chủ mô hình và thuật toán), để chạy trên cùng một điểm cuối nhằm tiết kiệm chi phí. Bạn có thể khâu các thùng chứa lại với nhau theo kiểu đường ống suy luận nối tiếp hoặc gọi vùng chứa một cách độc lập. Điều này có thể lý tưởng khi bạn có một số mô hình ML khác nhau có các kiểu lưu lượng truy cập khác nhau và nhu cầu tài nguyên tương tự. Ví dụ về thời điểm sử dụng MCE bao gồm nhưng không giới hạn ở những điều sau:

• Các mô hình lưu trữ trên các khung khác nhau (chẳng hạn như TensorFlow, PyTorch và Scikit-learn) không có đủ lưu lượng truy cập để bão hòa toàn bộ công suất của phiên bản
• Lưu trữ các mô hình từ cùng một khung với các thuật toán ML khác nhau (chẳng hạn như đề xuất, dự báo hoặc phân loại) và các chức năng xử lý
• So sánh các kiến ​​trúc tương tự chạy trên các phiên bản khung khác nhau (chẳng hạn như TensorFlow 1.x so với TensorFlow 2.x) cho các tình huống như thử nghiệm A/B

Điểm cuối đa biến thể (MVE) của SageMaker cho phép bạn thử nghiệm nhiều mô hình hoặc phiên bản mô hình đằng sau cùng một điểm cuối bằng cách sử dụng các biến thể sản xuất. Mỗi biến thể sản xuất xác định một mô hình ML và các tài nguyên được triển khai để lưu trữ mô hình đó, chẳng hạn như vùng chứa và phiên bản phân phát.

Tổng quan về điểm cuối đa biến thể của SageMaker

Trong quy trình ML sản xuất, các nhà khoa học dữ liệu và kỹ sư ML tinh chỉnh các mô hình thông qua nhiều phương pháp khác nhau, chẳng hạn như đào tạo lại dựa trên độ lệch dữ liệu/mô hình/khái niệm, điều chỉnh siêu tham số, chọn tính năng, chọn khung, v.v. Thực hiện thử nghiệm A/B giữa mô hình mới và mô hình cũ với lưu lượng truy cập sản xuất có thể là bước cuối cùng hiệu quả trong quy trình xác thực cho mô hình mới. Trong thử nghiệm A/B, bạn thử nghiệm các biến thể khác nhau của mô hình và so sánh cách mỗi biến thể hoạt động so với nhau. Sau đó, bạn chọn mô hình hoạt động tốt nhất để thay thế mô hình trước đó bằng phiên bản mới mang lại hiệu suất tốt hơn phiên bản trước. Bằng cách sử dụng các biến thể sản xuất, bạn có thể kiểm tra các mô hình ML này và các phiên bản mô hình khác nhau với cùng một điểm cuối. Bạn có thể huấn luyện các mô hình ML này bằng cách sử dụng các bộ dữ liệu khác nhau, các thuật toán khác nhau và khung ML; triển khai chúng cho các loại phiên bản khác nhau; hoặc bất kỳ sự kết hợp nào của các tùy chọn này. Bộ cân bằng tải được kết nối với điểm cuối SageMaker cung cấp khả năng phân phối các yêu cầu gọi trên nhiều biến thể sản xuất. Ví dụ: bạn có thể phân phối lưu lượng truy cập giữa các biến thể sản xuất bằng cách chỉ định phân bổ lưu lượng truy cập cho từng biến thể hoặc bạn có thể gọi trực tiếp một biến thể cụ thể cho từng yêu cầu.

Bạn cũng có thể định cấu hình chính sách tự động chia tỷ lệ để tự động chia tỷ lệ các biến thể của mình vào hoặc ra dựa trên các số liệu như số yêu cầu mỗi giây.

Sơ đồ sau đây minh họa cách MVE hoạt động chi tiết hơn.

Việc triển khai MVE cũng rất đơn giản. Tất cả những gì bạn cần làm là xác định đối tượng mô hình bằng hình ảnh và dữ liệu mô hình bằng cách sử dụng create_model được xây dựng từ SDK Python của SageMaker và xác định cấu hình điểm cuối bằng cách sử dụng production_variant các cấu trúc để tạo ra các biến thể sản xuất, mỗi biến thể có các yêu cầu về tài nguyên và mô hình khác nhau (loại và số lượng phiên bản). Điều này cho phép bạn cũng có thể thử nghiệm các mô hình trên các loại phiên bản khác nhau. Để triển khai, hãy sử dụng endpoint_from_production_variant xây dựng để tạo điểm cuối.

Trong quá trình tạo điểm cuối, SageMaker cung cấp phiên bản lưu trữ được chỉ định trong cài đặt điểm cuối và tải mô hình cũng như vùng chứa suy luận do biến thể sản xuất chỉ định xuống phiên bản lưu trữ. Nếu phản hồi thành công được trả về sau khi khởi động vùng chứa và thực hiện kiểm tra tình trạng bằng ping, thì một thông báo cho biết quá trình tạo điểm cuối đã hoàn tất sẽ được gửi tới người dùng. Xem đoạn mã sau:

sm_session.create_model(
	name=model_name,
	role=role,
	container_defs={'Image':  image_uri, 'ModelDataUrl': model_url}
	)

sm_session.create_model(
	name=model_name2,
	role=role,
	container_defs={'Image':  image_uri, 'ModelDataUrl': model_url2 }
	)

variant1 = production_variant(
	model_name=model_name,
	instance_type="ml.c5.4xlarge",
	initial_instance_count=1,
	variant_name="Variant1",
	initial_weight=1
	)

variant2 = production_variant(
	model_name=model_name2,
	instance_type="ml.m5.4xlarge",
	initial_instance_count=1,
	variant_name="Variant2",
	initial_weight=1
	)

sm_session.endpoint_from_production_variants(
	name=endpoint_name,
	production_variants=[variant1,  variant2]
	)

Trong ví dụ trước, chúng tôi đã tạo hai biến thể, mỗi biến thể có mô hình khác nhau (các biến thể này cũng có thể có số lượng và loại phiên bản khác nhau). Chúng tôi thiết lập một initial_weight là 1 cho cả hai biến thể: điều này có nghĩa là 50% yêu cầu của chúng tôi chuyển đến Variant1, và 50% còn lại Variant2. Tổng trọng số trên cả hai biến thể là 2 và mỗi biến thể được gán trọng số là 1. Điều này ngụ ý rằng mỗi biến thể nhận được 50% tổng lưu lượng truy cập.

Việc gọi điểm cuối tương tự như cấu trúc SageMaker thông thường invoke_endpoint; bạn có thể gọi trực tiếp điểm cuối với dữ liệu dưới dạng tải trọng:

sm_runtime.invoke_endpoint(
	EndpointName=endpoint_name,
	ContentType="text/csv",
	Body=payload
	)

SageMaker đưa ra các số liệu như Latency và Invocations cho từng biến thể trong CloudWatch. Để biết danh sách đầy đủ các số liệu mà SageMaker phát ra, hãy xem Giám sát Amazon SageMaker với Amazon CloudWatch. Bạn có thể truy vấn CloudWatch để lấy số lượng lệnh gọi trên mỗi biến thể, để xem cách phân chia lệnh gọi giữa các biến thể theo mặc định.

Để gọi một phiên bản cụ thể của mô hình, hãy chỉ định một biến thể làm TargetVariant trong cuộc gọi đến invoke_endpoint:

sm_runtime.invoke_endpoint(
	EndpointName=endpoint_name,
	ContentType="text/csv",
	Body=payload,
	TargetVariant="Variant1"
	)

Bạn có thể đánh giá hiệu suất của từng biến thể sản xuất bằng cách xem xét các số liệu như độ chính xác, độ chính xác, khả năng thu hồi, điểm F1 và đặc tính/khu vực vận hành máy thu dưới đường cong cho từng biến thể bằng cách sử dụng Giám sát mô hình Amazon SageMaker. Sau đó, bạn có thể quyết định tăng lưu lượng truy cập lên mô hình tốt nhất bằng cách cập nhật trọng số được chỉ định cho từng biến thể bằng cách gọi Cập nhậtĐiểm cuốiWeightsAndCapacities. Điều này thay đổi việc phân bổ lưu lượng truy cập cho các biến thể sản xuất của bạn mà không yêu cầu cập nhật điểm cuối của bạn. Vì vậy, thay vì 50% lưu lượng truy cập từ thiết lập ban đầu, chúng tôi chuyển 75% lưu lượng truy cập sang Variant2 bằng cách gán trọng số mới cho từng biến thể bằng cách sử dụng UpdateEndpointWeightsAndCapacities. Xem mã sau đây:

sm.update_endpoint_weights_and_capacities(
	EndpointName=endpoint_name,
	DesiredWeightsAndCapacities=[
	{
		"DesiredWeight": 25,
		"VariantName": variant1["VariantName"]
	},
	{
		"DesiredWeight": 75,
		"VariantName": variant2["VariantName"]
	}
] )

Khi hài lòng với hiệu suất của một biến thể, bạn có thể định tuyến 100% lưu lượng truy cập đến biến thể đó. Ví dụ: bạn có thể đặt trọng lượng cho Variant1 về 0 và trọng lượng cho Variant2 tới 1. SageMaker sau đó gửi 100% tất cả các yêu cầu suy luận tới Variant2. Sau đó, bạn có thể cập nhật điểm cuối của mình một cách an toàn và xóa Variant1 từ điểm cuối của bạn. Bạn cũng có thể tiếp tục thử nghiệm các mô hình mới trong quá trình sản xuất bằng cách thêm các biến thể mới vào điểm cuối của mình. Bạn cũng có thể định cấu hình các điểm cuối này để tự động mở rộng quy mô dựa trên lưu lượng truy cập mà điểm cuối nhận được.

Ưu điểm của điểm cuối nhiều biến thể

MVE của SageMaker cho phép bạn thực hiện những việc sau:

• Triển khai và thử nghiệm nhiều biến thể của một mô hình bằng cách sử dụng cùng điểm cuối SageMaker. Điều này rất hữu ích cho việc thử nghiệm các biến thể của một mô hình trong sản xuất. Ví dụ: giả sử bạn đã triển khai một mô hình vào sản xuất. Bạn có thể thử nghiệm một biến thể của mô hình bằng cách hướng một lượng nhỏ lưu lượng truy cập, chẳng hạn như 5%, sang mô hình mới.
• Đánh giá hiệu suất của mô hình trong quá trình sản xuất mà không làm gián đoạn lưu lượng bằng cách giám sát các số liệu vận hành cho từng biến thể trong CloudWatch.
• Cập nhật các mô hình trong sản xuất mà không làm mất đi tính khả dụng. Bạn có thể sửa đổi điểm cuối mà không cần đưa các mô hình đã được triển khai vào sản xuất ra khỏi dịch vụ. Ví dụ: bạn có thể thêm các biến thể mô hình mới, cập nhật cấu hình phiên bản điện toán ML của các biến thể mô hình hiện có hoặc thay đổi cách phân bổ lưu lượng giữa các biến thể mô hình. Để biết thêm thông tin, xem Cập nhậtEndpoint và Cập nhậtĐiểm cuốiWeightsAndCapacities.

Những thách thức khi sử dụng điểm cuối nhiều biến thể

MVE của SageMaker có những thách thức sau:

• Nỗ lực kiểm tra tải – Bạn cần đầu tư nhiều công sức và nguồn lực để thử nghiệm và so sánh ma trận mô hình cho từng biến thể. Để thử nghiệm A/B được coi là thành công, bạn cần thực hiện phân tích thống kê các số liệu được thu thập từ thử nghiệm để xác định xem có kết quả có ý nghĩa thống kê hay không. Việc giảm thiểu việc khám phá các biến thể hoạt động kém có thể trở nên khó khăn. Bạn có khả năng có thể sử dụng tên cướp nhiều tay kỹ thuật tối ưu hóa để tránh gửi lưu lượng truy cập đến các thử nghiệm không hoạt động và tối ưu hóa hiệu suất khi bạn thử nghiệm. Để kiểm tra tải, bạn cũng có thể khám phá Người đề xuất suy luận của Amazon SageMaker để tiến hành các điểm chuẩn mở rộng dựa trên các yêu cầu sản xuất về độ trễ và thông lượng, mẫu lưu lượng truy cập tùy chỉnh và các phiên bản (tối đa 10) mà bạn chọn.
• Khớp nối chặt chẽ giữa biến thể mô hình và điểm cuối – Việc này có thể trở nên phức tạp tùy thuộc vào tần suất triển khai mô hình vì điểm cuối có thể kết thúc ở updating trạng thái cho từng biến thể sản xuất đang được cập nhật. SageMaker cũng hỗ trợ lan can triển khai, bạn có thể sử dụng để dễ dàng chuyển từ mô hình hiện tại đang được sản xuất sang mô hình mới một cách có kiểm soát. Tùy chọn này giới thiệu hoàng yến và tuyến tính chế độ chuyển đổi lưu lượng để bạn có thể kiểm soát chi tiết việc chuyển lưu lượng truy cập từ mô hình hiện tại sang mô hình mới trong quá trình cập nhật. Với các biện pháp bảo vệ tích hợp sẵn như tự động khôi phục, bạn có thể phát hiện sớm sự cố và tự động thực hiện hành động khắc phục trước khi chúng gây ra tác động đáng kể đến hoạt động sản xuất.

Các phương pháp hay nhất cho điểm cuối nhiều biến thể

Khi lưu trữ các mô hình sử dụng MVE của SageMaker, hãy cân nhắc những điều sau:

• SageMaker rất phù hợp để thử nghiệm các mô hình mới vì bạn có thể dễ dàng triển khai chúng vào môi trường thử nghiệm A/B và bạn chỉ trả tiền cho những gì bạn sử dụng. Bạn bị tính phí theo số giờ sử dụng phiên bản cho mỗi phiên bản trong khi điểm cuối đang chạy. Khi bạn đã hoàn tất các thử nghiệm của mình và không sử dụng rộng rãi điểm cuối hoặc các biến thể nữa, bạn nên xóa nó để tiết kiệm chi phí. Bạn luôn có thể tạo lại nó khi bạn cần lại vì mô hình được lưu trữ trong Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3).
• Bạn nên sử dụng loại phiên bản và kích thước tối ưu nhất để triển khai các mô hình. SageMaker hiện cung cấp Phiên bản tính toán ML trên các họ phiên bản khác nhau. Một phiên bản điểm cuối luôn chạy (trong khi phiên bản đó đang hoạt động). Do đó, việc chọn đúng loại phiên bản có thể có tác động đáng kể đến tổng chi phí và hiệu suất của các mô hình ML. Kiểm tra tải là cách tốt nhất để xác định loại phiên bản và quy mô nhóm thích hợp, có hoặc không có tính năng tự động thay đổi quy mô cho điểm cuối trực tiếp của bạn để tránh cung cấp quá mức và phải trả thêm tiền cho dung lượng bạn không cần.
• Bạn có thể theo dõi hiệu suất mô hình và mức sử dụng tài nguyên trong CloudWatch. Bạn có thể cấu hình một ProductionVariant sử dụng Tự động mở rộng ứng dụng. Để chỉ định số liệu và giá trị mục tiêu cho chính sách chia tỷ lệ, bạn định cấu hình chính sách chia tỷ lệ theo dõi mục tiêu. Bạn có thể sử dụng số liệu được xác định trước hoặc số liệu tùy chỉnh. Để biết thêm thông tin về cú pháp cấu hình chính sách, hãy xem TargetTrackingScalingPolicyCấu hình. Để biết thông tin về cách định cấu hình tự động chia tỷ lệ, hãy xem Tự động mở rộng mô hình Amazon SageMaker. Để nhanh chóng xác định chính sách mở rộng theo dõi mục tiêu cho một biến thể, bạn có thể chọn chỉ số CloudWatch cụ thể và đặt các giá trị ngưỡng. Ví dụ: sử dụng số liệu SageMakerVariantInvocationsPerInstance để theo dõi số lần trung bình mỗi phút mà mỗi phiên bản của một biến thể được gọi hoặc sử dụng số liệu CPUUtilization để giám sát tổng công việc được xử lý bởi CPU. Ví dụ sau đây sử dụng SageMakerVariantInvocationsPerInstance số liệu được xác định trước để điều chỉnh số lượng phiên bản biến thể sao cho mỗi phiên bản có một InvocationsPerInstance số liệu 70:

{
	"TargetValue": 70.0,
	"PredefinedMetricSpecification":
	{
		"PredefinedMetricType": "SageMakerVariantInvocationsPerInstance"
	}
}

• Việc thay đổi hoặc xóa các tạo phẩm của mô hình hoặc thay đổi mã suy luận sau khi triển khai mô hình sẽ tạo ra những kết quả không thể đoán trước. Trước khi triển khai mô hình vào sản xuất, bạn nên kiểm tra xem việc lưu trữ mô hình ở chế độ cục bộ có thành công hay không sau khi gỡ lỗi đầy đủ các đoạn mã suy luận (như model_fn, input_fn, predict_fnvà output_fn) trong môi trường phát triển cục bộ như phiên bản sổ ghi chép SageMaker hoặc máy chủ cục bộ. Nếu bạn cần thay đổi hoặc xóa các thành phần lạ của mô hình hoặc thay đổi mã suy luận, hãy sửa đổi điểm cuối bằng cách cung cấp cấu hình điểm cuối mới. Sau khi cung cấp cấu hình điểm cuối mới, bạn có thể thay đổi hoặc xóa các tạo phẩm mô hình tương ứng với cấu hình điểm cuối cũ.
• Bạn có thể sử dụng SageMaker biến đổi hàng loạt để thử nghiệm các biến thể sản xuất. Biến đổi hàng loạt là giải pháp lý tưởng để thu được kết luận từ các tập dữ liệu lớn. Bạn có thể tạo một công việc chuyển đổi riêng cho từng biến thể mô hình mới và sử dụng tập dữ liệu xác thực để kiểm tra. Đối với mỗi tác vụ chuyển đổi, hãy chỉ định tên và vị trí mô hình duy nhất trong Amazon S3 cho tệp đầu ra. Để phân tích kết quả, hãy sử dụng nhật ký và số liệu của đường dẫn suy luận.

Kết luận

SageMaker cho phép bạn dễ dàng thử nghiệm A/B các mô hình ML trong quá trình sản xuất bằng cách chạy nhiều biến thể sản xuất trên một điểm cuối. Bạn có thể sử dụng các khả năng của SageMaker để kiểm tra các mô hình đã được đào tạo bằng cách sử dụng các tập dữ liệu đào tạo, siêu tham số, thuật toán hoặc khung ML khác nhau; cách chúng hoạt động trên các loại phiên bản khác nhau; hoặc sự kết hợp của tất cả những điều trên. Bạn có thể cung cấp phân bổ lưu lượng truy cập giữa các biến thể trên điểm cuối và SageMaker phân chia lưu lượng suy luận thành các biến thể dựa trên phân bổ đã chỉ định. Ngoài ra, nếu bạn muốn thử nghiệm mô hình cho các phân khúc khách hàng cụ thể, bạn có thể chỉ định biến thể sẽ xử lý yêu cầu suy luận bằng cách cung cấp TargetVariant tiêu đề và SageMaker sẽ định tuyến yêu cầu tới biến thể mà bạn đã chỉ định. Để biết thêm thông tin về thử nghiệm A/B, hãy xem Cập nhật mô hình một cách an toàn trong sản xuất.

dự án

Giới thiệu về tác giả

Deepali Rajale là Chuyên gia quản lý tài khoản kỹ thuật AI/ML tại Amazon Web Services. Cô làm việc với các khách hàng doanh nghiệp để cung cấp hướng dẫn kỹ thuật về cách triển khai các giải pháp máy học với các phương pháp hay nhất. Khi rảnh rỗi, cô thích đi bộ đường dài, xem phim và đi chơi với gia đình và bạn bè.

Dhawal Patel là một Kiến trúc sư chính về Học máy tại AWS. Ông đã làm việc với các tổ chức khác nhau, từ các doanh nghiệp lớn đến các công ty khởi nghiệp quy mô trung bình về các vấn đề liên quan đến máy tính phân tán và Trí tuệ nhân tạo. Ông tập trung vào Học sâu bao gồm các lĩnh vực NLP và Thị giác máy tính. Anh ấy giúp khách hàng đạt được khả năng suy luận mô hình hiệu suất cao trên SageMaker.

Saurabh Trikande là Giám đốc Sản phẩm Cấp cao của Amazon SageMaker Inference. Anh ấy đam mê làm việc với khách hàng và được thúc đẩy bởi mục tiêu dân chủ hóa việc học máy. Ông tập trung vào những thách thức cốt lõi liên quan đến việc triển khai các ứng dụng ML phức tạp, mô hình ML nhiều người thuê, tối ưu hóa chi phí và làm cho việc triển khai các mô hình học sâu dễ tiếp cận hơn. Khi rảnh rỗi, Saurabh thích đi bộ đường dài, tìm hiểu về các công nghệ tiên tiến, theo dõi TechCrunch và dành thời gian cho gia đình.