Amazon SageMaker Autopilot nhanh hơn tới tám lần với chế độ đào tạo theo nhóm mới được cung cấp bởi AutoGluon

Amazon SageMaker Tự động lái đã thêm một chế độ đào tạo mới hỗ trợ tập hợp mô hình được cung cấp bởi AutoGluon. Chế độ huấn luyện tập hợp trong Autopilot huấn luyện một số mô hình cơ sở và kết hợp các dự đoán của chúng bằng cách sử dụng tính năng xếp chồng mô hình. Đối với các tập dữ liệu dưới 100 MB, chế độ đào tạo tổng hợp sẽ nhanh chóng xây dựng các mô hình máy học (ML) với độ chính xác cao—nhanh hơn tới 250 lần so với chế độ đào tạo tối ưu hóa siêu tham số (HPO) với 5.8 lần thử và nhanh hơn tới 100 lần so với chế độ đào tạo HPO với XNUMX lần thử. Nó hỗ trợ nhiều thuật toán, bao gồm LightGBM, CatBoost, XGBoost, Rừng ngẫu nhiên, Cây bổ sung, mô hình tuyến tính và mạng lưới thần kinh dựa trên PyTorch và FastAI.

Cách AutoGluon xây dựng các mô hình tập hợp

AutoGluon-Bảng (AGT) là một khung AutoML mã nguồn mở phổ biến giúp đào tạo các mô hình ML có độ chính xác cao trên các tập dữ liệu dạng bảng. Không giống như các khung AutoML hiện có, chủ yếu tập trung vào lựa chọn mô hình và siêu tham số, AGT thành công bằng cách tập hợp nhiều mô hình và xếp chúng thành nhiều lớp. Hành vi mặc định của AGT có thể được tóm tắt như sau: Với một tập dữ liệu, AGT đào tạo các mô hình cơ sở khác nhau, từ các cây được tăng cường sẵn có đến các mạng thần kinh tùy chỉnh trên tập dữ liệu. Các dự đoán từ các mô hình cơ sở được sử dụng làm tính năng để xây dựng mô hình xếp chồng, mô hình này tìm hiểu trọng số phù hợp của từng mô hình cơ sở. Với các trọng số đã học này, mô hình xếp chồng sau đó sẽ kết hợp các dự đoán của mô hình cơ sở và trả về các dự đoán kết hợp đó làm tập hợp dự đoán cuối cùng.

Chế độ luyện tập tổng hợp của Autopilot hoạt động như thế nào

Các bộ dữ liệu khác nhau có các đặc điểm phù hợp với các thuật toán khác nhau. Với một tập dữ liệu có các đặc điểm không xác định, thật khó để biết trước thuật toán nào sẽ hoạt động tốt nhất trên tập dữ liệu. Với suy nghĩ này, các nhà khoa học dữ liệu sử dụng AGT thường tạo nhiều cấu hình tùy chỉnh với một tập hợp con các thuật toán và tham số. Họ chạy các cấu hình này trên một tập dữ liệu nhất định để tìm ra cấu hình tốt nhất về hiệu suất và độ trễ suy luận.

Autopilot là sản phẩm ML mã thấp tự động xây dựng các mô hình ML tốt nhất cho dữ liệu của bạn. Trong chế độ huấn luyện tổng hợp mới, Autopilot chọn một bộ cấu hình AGT tối ưu và chạy nhiều thử nghiệm để trả về mô hình tốt nhất. Các thử nghiệm này được tiến hành song song để đánh giá xem liệu hiệu suất của AGT có thể được cải thiện hơn nữa hay không, xét về mặt số liệu khách quan hoặc độ trễ suy luận.

Kết quả được quan sát bằng cách sử dụng điểm chuẩn OpenML

Để đánh giá mức độ cải thiện hiệu suất, chúng tôi đã sử dụng bộ dữ liệu điểm chuẩn OpenML với kích thước khác nhau từ 0.5–100 MB và chạy 10 thử nghiệm AGT với các kết hợp thuật toán và cấu hình siêu tham số khác nhau. Các bài kiểm tra đã so sánh chế độ huấn luyện tổng hợp với chế độ HPO với 250 lần thử và chế độ HPO với 100 lần thử. Bảng sau đây so sánh thời gian chạy thử nghiệm Autopilot tổng thể (tính bằng phút) giữa hai chế độ đào tạo cho các kích cỡ tập dữ liệu khác nhau.

Kích thước tập dữ liệu	Chế độ HPO (250 thử nghiệm)	Chế độ HPO (100 thử nghiệm)	Chế độ tập hợp (10 lần thử)	Cải thiện thời gian chạy với HPO 250	Cải thiện thời gian chạy với HPO 100
< 1MB	121.5 phút	88.0 phút	15.0 phút	8.1x	5.9x
1-10 MB	136.1 phút	76.5 phút	25.8 phút	5.3x	3.0x
10-100 MB	152.7 phút	103.1 phút	60.9 phút	2.5x	1.7x

Để so sánh hiệu suất của các vấn đề phân loại nhiều lớp, chúng tôi sử dụng độ chính xác, đối với các vấn đề phân loại nhị phân, chúng tôi sử dụng điểm F1 và đối với các vấn đề hồi quy, chúng tôi sử dụng R2. Mức tăng về số liệu khách quan được thể hiện trong các bảng sau. Chúng tôi quan sát thấy rằng chế độ huấn luyện tập thể hoạt động tốt hơn chế độ huấn luyện HPO (cả 100 và 250 lần thử).

Lưu ý rằng chế độ tập hợp cho thấy sự cải thiện nhất quán so với chế độ HPO với 250 thử nghiệm bất kể kích thước tập dữ liệu và loại vấn đề.

Bảng sau so sánh độ chính xác của các bài toán phân loại nhiều lớp (càng cao càng tốt).

Kích thước tập dữ liệu	Chế độ HPO (250 thử nghiệm)	Chế độ HPO (100 thử nghiệm)	Chế độ tập hợp (10 lần thử)	Phần trăm cải thiện so với HPO 250
< 1MB	0.759	0.761	0.771	1.46%
1-5 MB	0.941	0.935	0.957	1.64%
5-10 MB	0.639	0.633	0.671	4.92%
10-50 MB	0.998	0.999	0.999	0.11%
51-100 MB	0.853	0.852	0.875	2.56%

Bảng sau so sánh điểm F1 cho các bài toán phân loại nhị phân (càng cao càng tốt).

Kích thước tập dữ liệu	Chế độ HPO (250 thử nghiệm)	Chế độ HPO (100 thử nghiệm)	Chế độ tập hợp (10 lần thử)	Phần trăm cải thiện so với HPO 250
< 1MB	0.801	0.807	0.826	3.14%
1-5 MB	0.59	0.587	0.629	6.60%
5-10 MB	0.886	0.889	0.898	1.32%
10-50 MB	0.731	0.736	0.754	3.12%
51-100 MB	0.503	0.493	0.541	7.58%

Bảng sau so sánh R2 cho các bài toán hồi quy (càng cao càng tốt).

Kích thước tập dữ liệu	Chế độ HPO (250 thử nghiệm)	Chế độ HPO (100 thử nghiệm)	Chế độ tập hợp (10 lần thử)	Phần trăm cải thiện so với HPO 250
< 1MB	0.717	0.718	0.716	0%
1-5 MB	0.803	0.803	0.817	2%
5-10 MB	0.590	0.586	0.614	4%
10-50 MB	0.686	0.688	0.684	0%
51-100 MB	0.623	0.626	0.631	1%

Trong các phần tiếp theo, chúng tôi sẽ trình bày cách sử dụng chế độ đào tạo tổng hợp mới trong Autopilot để phân tích tập dữ liệu và dễ dàng xây dựng các mô hình ML chất lượng cao.

Tổng quan về tập dữ liệu

Chúng tôi sử dụng Bộ dữ liệu Titanic để dự đoán liệu một hành khách nhất định có sống sót hay không. Đây là một vấn đề phân loại nhị phân. Chúng tôi tập trung vào việc tạo thử nghiệm Autopilot bằng chế độ đào tạo tổng hợp mới và so sánh kết quả của điểm F1 và thời gian chạy tổng thể với thử nghiệm Autopilot sử dụng chế độ đào tạo HPO (100 lần thử).

Tên cột dọc	Mô tả
hành khách	mã số
Sống sót	Survival
lớp học	Hạng vé
Họ tên	Tên của hành khách
tình dục	tình dục
Độ tuổi	Tuổi trong năm
xì xụp	Số anh chị em hoặc vợ / chồng trên tàu Titanic
Phơi	Số lượng cha mẹ hoặc con cái trên tàu Titanic
vé	Vé số
Giá vé	Giá vé hành khách
lều	Số cabin
Bắt tay vào	Cảng lên tàu

Tập dữ liệu có 890 hàng và 12 cột. Nó chứa thông tin nhân khẩu học về hành khách (tuổi, giới tính, hạng vé, v.v.) và cột mục tiêu Sống sót (có/không).

Điều kiện tiên quyết

Hoàn thành các bước điều kiện tiên quyết sau:

1. Đảm bảo rằng bạn có tài khoản AWS, quyền truy cập an toàn để đăng nhập vào tài khoản thông qua Bảng điều khiển quản lý AWSvà Quản lý truy cập và nhận dạng AWS (IAM) quyền sử dụng Amazon SageMaker và Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3) tài nguyên.
2. Tải về Bộ dữ liệu Titanic và tải nó lên một thùng S3 vào tài khoản.
3. Tham gia vào miền SageMaker và truy cập Xưởng sản xuất Amazon SageMaker để sử dụng chế độ lái tự động. Để biết hướng dẫn, hãy tham khảo Tích hợp vào Miền Amazon SageMaker. Nếu bạn đang sử dụng Studio hiện có, hãy nâng cấp lên phiên bản mới nhất của Studio để sử dụng chế độ luyện tập hòa tấu mới.

Tạo thử nghiệm Autopilot với chế độ đào tạo tập thể

Khi tập dữ liệu đã sẵn sàng, bạn có thể khởi chạy thử nghiệm Autopilot trong Studio. Để biết hướng dẫn đầy đủ, hãy tham khảo Tạo thử nghiệm Tự động lái của Amazon SageMaker. Tạo thử nghiệm Autopilot bằng cách cung cấp tên thử nghiệm, dữ liệu đầu vào và chỉ định dữ liệu mục tiêu để dự đoán trong Chi tiết thí nghiệm và dữ liệu phần. Theo tùy chọn, bạn có thể chỉ định tỷ lệ tràn dữ liệu và tự động tạo vị trí đầu ra của Amazon S3.

Đối với trường hợp sử dụng của chúng tôi, chúng tôi cung cấp tên thử nghiệm, nhập vị trí Amazon S3 và chọn Sống sót như mục tiêu. Chúng tôi luôn bật tính năng phân chia tự động và ghi đè vị trí đầu ra mặc định của Amazon S3.

Tiếp theo, chúng tôi chỉ định phương pháp đào tạo trong Phương pháp đào tạo phần. Bạn có thể để Autopilot tự động chọn chế độ luyện tập bằng cách sử dụng Tự động dựa trên kích thước tập dữ liệu hoặc chọn chế độ đào tạo theo cách thủ công cho tập hợp hoặc HPO. Chi tiết về từng lựa chọn như sau:

• Tự động – Autopilot tự động chọn chế độ tập hợp hoặc HPO dựa trên kích thước tập dữ liệu của bạn. Nếu tập dữ liệu của bạn lớn hơn 100 MB, Autopilot sẽ chọn HPO, nếu không, nó sẽ chọn tập hợp.
• Lắp ráp – Sử dụng chế độ lái tự động AutoGluonkỹ thuật tập hợp của để huấn luyện một số mô hình cơ sở và kết hợp các dự đoán của chúng bằng cách sử dụng mô hình xếp chồng thành mô hình dự đoán tối ưu.
• Tối ưu hóa siêu tham số – Autopilot tìm phiên bản tốt nhất của mô hình bằng cách điều chỉnh siêu tham số bằng kỹ thuật Tối ưu hóa Bayes và chạy các công việc đào tạo trên tập dữ liệu của bạn. HPO chọn các thuật toán phù hợp nhất với tập dữ liệu của bạn và chọn phạm vi siêu tham số tốt nhất để điều chỉnh các mô hình.

Đối với trường hợp sử dụng của chúng tôi, chúng tôi chọn Lắp ráp như chế độ đào tạo của chúng tôi.

Sau đó, chúng ta tiến hành Triển khai và cài đặt nâng cao phần. Ở đây chúng ta bỏ chọn Triển khai tự động Tùy chọn. Dưới Cài đặt nâng cao, bạn có thể chỉ định loại vấn đề ML mà bạn muốn giải quyết. Nếu không có gì được cung cấp, Autopilot sẽ tự động xác định mô hình dựa trên dữ liệu bạn cung cấp. Vì bài toán của chúng tôi là bài toán phân loại nhị phân nên chúng tôi chọn Phân loại nhị phân như loại vấn đề của chúng tôi và F1 làm thước đo mục tiêu của chúng tôi.

Cuối cùng, chúng tôi xem xét các lựa chọn của mình và chọn Tạo thử nghiệm.

Tại thời điểm này, bạn có thể an toàn rời khỏi Studio và quay lại sau để kiểm tra kết quả mà bạn có thể tìm thấy trên Thí nghiệm đơn.

Ảnh chụp màn hình sau đây hiển thị kết quả cuối cùng của công việc Autopilot trong chế độ huấn luyện tập thể titanic-ens của chúng tôi.

Bạn có thể xem nhiều thử nghiệm đã được Autopilot thử ở chế độ luyện tập tổng hợp. Mỗi lần thử trả về mô hình tốt nhất từ ​​nhóm các lần chạy mô hình riêng lẻ và xếp chồng các lần chạy mô hình tổng hợp.

Để giải thích điều này thêm một chút, giả sử Thử nghiệm 1 đã xem xét tất cả tám thuật toán được hỗ trợ và sử dụng xếp chồng cấp 2. Nó sẽ tạo nội bộ các mô hình riêng lẻ cho từng thuật toán cũng như các mô hình tập hợp có trọng số với ngăn xếp Cấp 0, Cấp 1 và Cấp 2 Tuy nhiên, đầu ra của Thử nghiệm 1 sẽ là mô hình tốt nhất trong nhóm mô hình được tạo.

Tương tự, hãy xem Thử nghiệm 2 chỉ chọn các thuật toán tăng cường dựa trên cây. Trong trường hợp này, Bản dùng thử 2 sẽ tạo nội bộ ba mô hình riêng lẻ cho từng thuật toán trong số ba thuật toán cũng như các mô hình tập hợp có trọng số và trả về mô hình tốt nhất từ ​​quá trình chạy.

Mô hình cuối cùng được một phép thử trả về có thể có hoặc không phải là mô hình tập hợp có trọng số, nhưng phần lớn các thử nghiệm rất có thể sẽ trả về mô hình tập hợp có trọng số tốt nhất của chúng. Cuối cùng, dựa trên số liệu khách quan đã chọn, mô hình tốt nhất trong số 10 thử nghiệm sẽ được xác định.

Trong ví dụ trước, mô hình tốt nhất của chúng tôi là mô hình có điểm F1 cao nhất (chỉ số khách quan của chúng tôi). Một số số liệu hữu ích khác, bao gồm độ chính xác, độ chính xác cân bằng, độ chính xác và khả năng thu hồi cũng được hiển thị. Trong môi trường của chúng tôi, thời gian chạy từ đầu đến cuối cho thử nghiệm Autopilot này là 10 phút.

Tạo thử nghiệm Autopilot với chế độ đào tạo HPO

Bây giờ, hãy thực hiện tất cả các bước đã nói ở trên để tạo thử nghiệm Autopilot thứ hai với phương pháp đào tạo HPO (100 lần thử mặc định). Ngoài việc lựa chọn phương pháp đào tạo hiện nay Tối ưu hóa siêu tham số, mọi thứ khác vẫn giữ nguyên. Trong chế độ HPO, bạn có thể chỉ định số lần thử bằng cách cài đặt Ứng cử viên tối đa Dưới Cài đặt nâng cao cho Runtime, nhưng chúng tôi khuyên bạn nên để mặc định. Không cung cấp bất kỳ giá trị nào trong Ứng cử viên tối đa sẽ chạy 100 thử nghiệm HPO. Trong môi trường của chúng tôi, thời gian chạy từ đầu đến cuối cho thử nghiệm Autopilot này là 2 giờ.

So sánh số liệu thời gian chạy và hiệu suất

Chúng tôi thấy rằng đối với tập dữ liệu của chúng tôi (dưới 1 MB), chế độ đào tạo tổng hợp không chỉ chạy nhanh hơn 12 lần so với chế độ đào tạo HPO (120 phút đến 10 phút) mà còn tạo ra điểm F1 được cải thiện và các chỉ số hiệu suất khác.

Chế độ đào tạo	Điểm F1	tính chính xác	Độ chính xác cân bằng	AUC	Độ chính xác	Nhớ lại	Mất nhật ký	Runtime
Chế độ hòa tấu – Tập hợp có trọng số	0.844	0.878	0.865	0.89	0.912	0.785	0.394	10 phút
Chế độ HPO – XGBoost	0.784	0.843	0.824	0.867	0.831	0.743	0.428	120 phút

Sự suy luận

Bây giờ chúng ta đã có mô hình người chiến thắng, chúng ta có thể triển khai nó đến một điểm cuối cho hội nghị thời gian thực or sử dụng các phép biến đổi hàng loạt để đưa ra dự đoán trên tập dữ liệu chưa được gắn nhãn mà chúng tôi đã tải xuống trước đó.

Tổng kết

Bạn có thể chạy thử nghiệm Autopilot nhanh hơn mà không ảnh hưởng đến hiệu suất nhờ chế độ đào tạo tổng hợp mới cho các tập dữ liệu dưới 100 MB. Để bắt đầu, tạo thử nghiệm SageMaker Autopilot trên bảng điều khiển Studio và chọn Lắp ráp làm chế độ đào tạo của bạn hoặc để Autopilot tự động suy ra chế độ đào tạo dựa trên kích thước tập dữ liệu. Bạn có thể tham khảo các Hướng dẫn tham khảo API CreateAutoMLJob để cập nhật API và nâng cấp lên phiên bản mới nhất của Studio để sử dụng chế độ luyện tập hòa tấu mới. Để biết thêm thông tin về tính năng này, hãy xem Hỗ trợ mô hình, số liệu và xác thực bằng Amazon SageMaker Autopilot và để tìm hiểu thêm về Autopilot, hãy truy cập trang sản phẩm.

---

Giới thiệu về tác giả

Janisha Anand là Giám đốc Sản phẩm Cấp cao trong nhóm SageMaker Low / No Code ML, bao gồm cả SageMaker Autopilot. Cô ấy thích uống cà phê, duy trì sự năng động và dành thời gian cho gia đình.

Saket Sathe là Nhà khoa học ứng dụng cấp cao trong nhóm Autopilot của SageMaker. Anh ấy đam mê xây dựng thế hệ tiếp theo của các thuật toán và hệ thống học máy. Ngoài công việc, anh ấy thích đọc sách, nấu ăn, húp mì ramen và chơi cầu lông.

Abhishek singh là Kỹ sư phần mềm của nhóm Autopilot trong AWS. Anh ấy có hơn 8 năm kinh nghiệm làm nhà phát triển phần mềm và đam mê xây dựng các giải pháp phần mềm có thể mở rộng để giải quyết các vấn đề của khách hàng. Khi rảnh rỗi, Abhishek thích vận động bằng cách đi bộ đường dài hoặc tham gia các trận bóng đá.

Vadim Omeltchenko là Sr. Kiến trúc sư giải pháp AI / ML, người có đam mê giúp khách hàng AWS đổi mới trên đám mây. Kinh nghiệm công nghệ thông tin trước đây của anh ấy chủ yếu là ở cơ sở.