Amazon SageMaker có công bố sự hỗ trợ của ba tiêu chí hoàn thành mới cho Amazon SageMaker điều chỉnh mô hình tự động, cung cấp cho bạn một bộ đòn bẩy bổ sung để kiểm soát tiêu chí dừng của công việc điều chỉnh khi tìm cấu hình siêu tham số tốt nhất cho kiểu máy của bạn.
Trong bài đăng này, chúng tôi thảo luận về các tiêu chí hoàn thành mới này, thời điểm sử dụng chúng và một số lợi ích mà chúng mang lại.
SageMaker điều chỉnh mô hình tự động
Điều chỉnh mô hình tự động, còn được gọi là điều chỉnh siêu tham số, tìm phiên bản tốt nhất của mô hình được đo bằng chỉ số chúng tôi chọn. Nó tạo ra nhiều công việc đào tạo trên tập dữ liệu được cung cấp, sử dụng thuật toán đã chọn và phạm vi siêu tham số được chỉ định. Mỗi công việc đào tạo có thể được hoàn thành sớm khi chỉ số khách quan không cải thiện đáng kể, được gọi là dừng sớm.
Cho đến nay, có rất nhiều cách hạn chế để kiểm soát công việc điều chỉnh tổng thể, chẳng hạn như chỉ định số lượng công việc đào tạo tối đa. Tuy nhiên, việc lựa chọn giá trị tham số này tốt nhất là theo kinh nghiệm. Giá trị lớn hơn làm tăng chi phí điều chỉnh và giá trị nhỏ hơn có thể không mang lại phiên bản tốt nhất của mô hình tại mọi thời điểm.
Điều chỉnh mô hình tự động của SageMaker giải quyết những thách thức này bằng cách cung cấp cho bạn nhiều tiêu chí hoàn thành cho công việc điều chỉnh. Nó được áp dụng ở cấp độ điều chỉnh chứ không phải ở từng cấp độ công việc đào tạo riêng lẻ, có nghĩa là nó hoạt động ở lớp trừu tượng cao hơn.
Lợi ích của việc điều chỉnh tiêu chí hoàn thành công việc
Với khả năng kiểm soát tốt hơn khi nào công việc điều chỉnh sẽ dừng, bạn sẽ nhận được lợi ích từ việc tiết kiệm chi phí do không phải chạy công việc trong thời gian dài và tốn kém về mặt tính toán. Điều đó cũng có nghĩa là bạn có thể đảm bảo rằng công việc không bị dừng lại quá sớm và bạn có được một mô hình chất lượng đủ tốt đáp ứng các mục tiêu của mình. Bạn có thể chọn dừng công việc điều chỉnh khi các mô hình không còn cải thiện sau một loạt các lần lặp lại hoặc khi mức cải thiện còn lại ước tính không phù hợp với tài nguyên và thời gian tính toán.
Ngoài số lượng tiêu chí hoàn thành công việc đào tạo tối đa hiện có MaxNumberOfTrainingCông việc, điều chỉnh mô hình tự động giới thiệu tùy chọn dừng điều chỉnh dựa trên thời gian điều chỉnh tối đa, giám sát cải tiến và phát hiện hội tụ.
Hãy cùng khám phá từng tiêu chí này.
Thời gian điều chỉnh tối đa
Trước đây, bạn có tùy chọn xác định số lượng công việc đào tạo tối đa dưới dạng cài đặt giới hạn tài nguyên để kiểm soát ngân sách điều chỉnh về mặt tài nguyên điện toán. Tuy nhiên, điều này có thể dẫn đến thời gian đào tạo dài hơn hoặc ngắn hơn không cần thiết hoặc mong muốn.
Với việc bổ sung tiêu chí thời gian điều chỉnh tối đa, giờ đây bạn có thể phân bổ ngân sách đào tạo của mình theo lượng thời gian để chạy công việc điều chỉnh và tự động kết thúc công việc sau một khoảng thời gian xác định tính bằng giây.
Như đã thấy ở trên, chúng tôi sử dụng MaxRuntimeInSeconds
để xác định thời gian điều chỉnh tính bằng giây. Đặt giới hạn thời gian điều chỉnh giúp bạn giới hạn thời lượng của công việc điều chỉnh cũng như chi phí dự kiến của thử nghiệm.
Tổng chi phí trước khi giảm giá theo hợp đồng có thể được ước tính theo công thức sau:EstimatedComputeSeconds= MaxRuntimeInSeconds * MaxParallelTrainingJobs * InstanceCost
Thời gian chạy tối đa tính bằng giây có thể được sử dụng để giới hạn chi phí và thời gian chạy. Nói cách khác, đó là tiêu chí hoàn thành kiểm soát ngân sách.
Tính năng này là một phần của tiêu chí kiểm soát tài nguyên và không tính đến sự hội tụ của các mô hình. Như chúng ta thấy ở phần sau của bài đăng này, tiêu chí này có thể được sử dụng kết hợp với các tiêu chí dừng khác để kiểm soát chi phí mà không làm giảm độ chính xác.
Chỉ số mục tiêu mong muốn
Một tiêu chí khác đã được giới thiệu trước đây là xác định trước mục tiêu mục tiêu. Tiêu chí giám sát hiệu suất của mô hình tốt nhất dựa trên chỉ số khách quan cụ thể và dừng điều chỉnh khi mô hình đạt đến ngưỡng xác định liên quan đến chỉ số mục tiêu cụ thể.
Với TargetObjectiveMetricValue
tiêu chí, chúng tôi có thể hướng dẫn SageMaker ngừng điều chỉnh mô hình sau khi số liệu khách quan của mô hình tốt nhất đạt đến giá trị được chỉ định:
Trong ví dụ này, chúng tôi được hướng dẫn SageMaker ngừng điều chỉnh mô hình khi chỉ số khách quan của mô hình tốt nhất đạt 0.95.
Phương pháp này hữu ích khi bạn có một mục tiêu cụ thể mà bạn muốn mô hình của mình đạt được, chẳng hạn như mức độ chính xác, độ chính xác, khả năng thu hồi, điểm F1, AUC, log-loss nhất định, v.v.
Trường hợp sử dụng điển hình cho tiêu chí này sẽ dành cho người dùng đã quen thuộc với hiệu suất của mô hình ở các ngưỡng nhất định. Trước tiên, người dùng trong giai đoạn khám phá có thể điều chỉnh mô hình bằng một tập hợp con nhỏ của tập dữ liệu lớn hơn để xác định ngưỡng chỉ số đánh giá thỏa đáng để nhắm mục tiêu khi đào tạo với tập dữ liệu đầy đủ.
giám sát cải tiến
Tiêu chí này giám sát sự hội tụ của các mô hình sau mỗi lần lặp lại và dừng điều chỉnh nếu các mô hình không cải thiện sau một số lượng công việc đào tạo xác định. Xem cấu hình sau:
Trong trường hợp này, chúng tôi đặt MaxNumberOfTrainingJobsNotImproving
đến 10, có nghĩa là nếu chỉ số khách quan ngừng cải thiện sau 10 công việc đào tạo, quá trình điều chỉnh sẽ dừng lại và mô hình và chỉ số tốt nhất được báo cáo.
Giám sát cải tiến nên được sử dụng để điều chỉnh sự cân bằng giữa chất lượng mô hình và thời lượng quy trình công việc tổng thể theo cách có khả năng chuyển đổi giữa các vấn đề tối ưu hóa khác nhau.
phát hiện hội tụ
Phát hiện hội tụ là một tiêu chí hoàn thành cho phép điều chỉnh mô hình tự động quyết định thời điểm dừng điều chỉnh. Nói chung, điều chỉnh mô hình tự động sẽ ngừng điều chỉnh khi ước tính rằng không thể đạt được cải thiện đáng kể nào. Xem cấu hình sau:
Tiêu chí phù hợp nhất khi ban đầu bạn không biết nên chọn cài đặt dừng nào.
Nó cũng hữu ích nếu bạn không biết chỉ số mục tiêu mục tiêu nào là hợp lý để đưa ra dự đoán tốt cho vấn đề và tập dữ liệu trong tay, đồng thời muốn hoàn thành công việc điều chỉnh khi nó không còn được cải thiện.
Thử nghiệm so sánh các tiêu chí hoàn thành
Trong thử nghiệm này, với một nhiệm vụ hồi quy, chúng tôi chạy 3 thử nghiệm điều chỉnh để tìm mô hình tối ưu trong không gian tìm kiếm gồm 2 siêu tham số có tổng cộng 200 cấu hình siêu tham số bằng cách sử dụng tập dữ liệu tiếp thị trực tiếp.
Với mọi thứ khác đều bình đẳng, mô hình đầu tiên được điều chỉnh bằng BestObjectiveNotImproving
tiêu chí hoàn thành, mô hình thứ hai đã được điều chỉnh với CompleteOnConvergence
và mô hình thứ ba đã được điều chỉnh mà không có tiêu chí hoàn thành nào được xác định.
Khi mô tả từng công việc, chúng ta có thể quan sát thấy rằng cài đặt BestObjectiveNotImproving
tiêu chí đã dẫn đến nguồn lực và thời gian tối ưu nhất so với số liệu khách quan với số lượng công việc được thực hiện ít hơn đáng kể.
Sản phẩm CompleteOnConvergence
tiêu chí cũng có thể dừng điều chỉnh giữa chừng trong quá trình thử nghiệm dẫn đến ít công việc đào tạo hơn và thời gian đào tạo ngắn hơn so với việc không đặt tiêu chí.
Mặc dù không đặt tiêu chí hoàn thành dẫn đến một thử nghiệm tốn kém, nhưng việc xác định MaxRuntimeInSeconds
như một phần của giới hạn tài nguyên sẽ là một cách để giảm thiểu chi phí.
Kết quả ở trên cho thấy rằng khi xác định tiêu chí hoàn thành, Amazon SageMaker có thể dừng quá trình điều chỉnh một cách thông minh khi phát hiện thấy mô hình ít có khả năng cải thiện hơn so với kết quả hiện tại.
Lưu ý rằng tiêu chí hoàn thành được hỗ trợ trong điều chỉnh mô hình tự động của SageMaker không loại trừ lẫn nhau và có thể được sử dụng đồng thời khi điều chỉnh mô hình.
Khi có nhiều hơn một tiêu chí hoàn thành được xác định, công việc điều chỉnh sẽ hoàn thành khi bất kỳ tiêu chí nào được đáp ứng.
Ví dụ: sự kết hợp của tiêu chí giới hạn tài nguyên như thời gian điều chỉnh tối đa với tiêu chí hội tụ, chẳng hạn như giám sát cải tiến hoặc phát hiện hội tụ, có thể tạo ra kiểm soát chi phí tối ưu và số liệu mục tiêu tối ưu.
Kết luận
Trong bài đăng này, chúng tôi đã thảo luận về cách giờ đây bạn có thể dừng công việc điều chỉnh của mình một cách thông minh bằng cách chọn một bộ tiêu chí hoàn thành mới được giới thiệu trong SageMaker, chẳng hạn như thời gian điều chỉnh tối đa, giám sát cải tiến hoặc phát hiện hội tụ.
Chúng tôi đã chứng minh bằng một thử nghiệm rằng việc dừng thông minh dựa trên quan sát cải tiến trong quá trình lặp lại có thể dẫn đến việc quản lý thời gian và ngân sách được tối ưu hóa đáng kể so với việc không xác định tiêu chí hoàn thành.
Chúng tôi cũng chỉ ra rằng các tiêu chí này không loại trừ lẫn nhau và có thể được sử dụng đồng thời khi điều chỉnh mô hình, để tận dụng lợi thế của cả hai, kiểm soát ngân sách và hội tụ tối ưu.
Để biết thêm chi tiết về cách định cấu hình và chạy điều chỉnh mô hình tự động, hãy tham khảo Chỉ định cài đặt công việc điều chỉnh siêu tham số.
Về các tác giả
Doug Mbaya là một kiến trúc sư Giải pháp Đối tác Cấp cao tập trung vào dữ liệu và phân tích. Doug hợp tác chặt chẽ với các đối tác AWS, giúp họ tích hợp các giải pháp phân tích và dữ liệu trên đám mây.
Chaitra Mathur là Kiến trúc sư giải pháp chính tại AWS. Cô hướng dẫn khách hàng và đối tác xây dựng các giải pháp có khả năng mở rộng cao, đáng tin cậy, an toàn và hiệu quả về chi phí trên AWS. Cô ấy đam mê Học máy và giúp khách hàng chuyển các nhu cầu ML của họ thành các giải pháp bằng cách sử dụng các dịch vụ AWS AI / ML. Cô có 5 chứng chỉ bao gồm chứng chỉ ML Specialty. Khi rảnh rỗi, cô thích đọc sách, tập yoga và dành thời gian cho con gái.
Iaroslav Shcherbatyi là Kỹ sư máy học tại AWS. Anh chủ yếu làm việc về cải tiến nền tảng Amazon SageMaker và giúp khách hàng sử dụng hiệu quả nhất các tính năng của nền tảng. Khi rảnh rỗi, anh ấy thích đến phòng tập thể dục, chơi các môn thể thao ngoài trời như trượt băng hoặc đi bộ đường dài và bắt kịp nghiên cứu AI mới.
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- Platoblockchain. Web3 Metaverse Intelligence. Khuếch đại kiến thức. Truy cập Tại đây.
- nguồn: https://aws.amazon.com/blogs/machine-learning/amazon-sagemaker-automatic-model-tuning-now-supports-three-new-completion-criteria-for-hyperparameter-optimization/
- 10
- 100
- 11
- 7
- 9
- a
- Có khả năng
- Giới thiệu
- ở trên
- Tài khoản
- chính xác
- Đạt được
- đạt được
- ngang qua
- Ngoài ra
- thêm vào
- Lợi thế
- Sau
- AI
- ai nghiên cứu
- AI / ML
- thuật toán
- Tất cả
- Đã
- đàn bà gan dạ
- Amazon SageMaker
- số lượng
- phân tích
- và
- áp dụng
- Tự động
- tự động
- AWS
- dựa
- trước
- được
- hưởng lợi
- Lợi ích
- BEST
- Hơn
- giữa
- Ngoài
- Giới hạn
- mang lại
- ngân sách
- Xây dựng
- gọi là
- trường hợp
- Catch
- nhất định
- Chứng nhận
- chứng chỉ
- thách thức
- Chọn
- lựa chọn
- chặt chẽ
- đám mây
- kết hợp
- so
- sự so sánh
- hoàn thành
- Hoàn thành
- Hoàn thành
- hoàn thành
- Tính
- Cấu hình
- điều khiển
- Hội tụ
- Phí Tổn
- tiết kiệm chi phí
- chi phí-hiệu quả
- Chi phí
- có thể
- tiêu chuẩn
- Current
- khách hàng
- dữ liệu
- xác định
- xác định
- chứng minh
- mong muốn
- chi tiết
- Phát hiện
- khác nhau
- Giảm giá
- thảo luận
- thảo luận
- Không
- dont
- mỗi
- Đầu
- kích hoạt
- ky sư
- đảm bảo
- ước tính
- dự toán
- đánh giá
- tất cả mọi thứ
- ví dụ
- Dành riêng
- hiện tại
- đắt tiền
- thử nghiệm
- thăm dò
- khám phá
- quen
- Đặc tính
- Tính năng
- Tìm kiếm
- tìm kiếm
- tìm thấy
- Tên
- Tập trung
- tiếp theo
- công thức
- Full
- nói chung
- được
- được
- Cho
- Go
- mục tiêu
- tốt
- Hướng dẫn
- Phòng Gym
- có
- giúp đỡ
- giúp
- cao hơn
- cao
- giữ
- Độ đáng tin của
- Hướng dẫn
- Tuy nhiên
- HTML
- HTTPS
- Tối ưu hóa siêu tham số
- Điều chỉnh siêu tham số
- ICE
- xác định
- nâng cao
- cải thiện
- cải tiến
- cải thiện
- in
- Mặt khác
- Bao gồm
- Tăng
- hệ thống riêng biệt,
- ban đầu
- tích hợp
- Thông minh
- giới thiệu
- Giới thiệu
- IT
- sự lặp lại
- sự lặp lại
- Việc làm
- việc làm
- Biết
- nổi tiếng
- lớn hơn
- lớp
- dẫn
- học tập
- Led
- cho phép
- Cấp
- Có khả năng
- LIMIT
- Hạn chế
- còn
- máy
- học máy
- quản lý
- nhiều
- Marketing
- tối đa
- Tối đa hóa
- tối đa
- có nghĩa
- Đạt
- phương pháp
- số liệu
- Metrics
- giảm thiểu
- ML
- kiểu mẫu
- mô hình
- giám sát
- màn hình
- chi tiết
- hầu hết
- nhiều
- hỗ trợ
- nhu cầu
- Mới
- con số
- Mục tiêu
- mục tiêu
- tuân theo
- ONE
- hoạt động
- tối ưu
- tối ưu hóa
- tối ưu hóa
- Tùy chọn
- Nền tảng khác
- tổng thể
- tham số
- một phần
- đối tác
- Đối tác
- đam mê
- hiệu suất
- kinh nguyệt
- giai đoạn
- nền tảng
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- Bài đăng
- Độ chính xác
- dự đoán
- trước đây
- Hiệu trưởng
- Vấn đề
- vấn đề
- quá trình
- sản xuất
- dự
- cung cấp
- cung cấp
- chất lượng
- đạt
- đạt
- Reading
- hợp lý
- mối quan hệ
- đáng tin cậy
- Báo cáo
- nghiên cứu
- tài nguyên
- Thông tin
- kết quả
- kết quả
- Kết quả
- chạy
- hy sinh
- nhà làm hiền triết
- Điều chỉnh mô hình tự động SageMaker
- Tiết kiệm
- khả năng mở rộng
- Tìm kiếm
- Thứ hai
- giây
- an toàn
- lựa chọn
- lựa chọn
- cao cấp
- DỊCH VỤ
- định
- thiết lập
- thiết lập
- nên
- hiển thị
- có ý nghĩa
- đáng kể
- nhỏ
- nhỏ hơn
- So
- giải pháp
- Giải pháp
- Giải quyết
- một số
- Không gian
- Đặc biệt
- riêng
- quy định
- Chi
- quay
- Thể thao
- Dừng
- dừng lại
- dừng lại
- Dừng
- như vậy
- hỗ trợ
- Hỗ trợ
- Hỗ trợ
- Hãy
- Mục tiêu
- Nhiệm vụ
- về
- Sản phẩm
- cung cấp their dịch
- Thứ ba
- số ba
- ngưỡng
- Thông qua
- thời gian
- thời gian
- đến
- quá
- Tổng số:
- Hội thảo
- dịch
- điển hình
- sử dụng
- ca sử dụng
- người sử dang
- xác nhận
- giá trị
- phiên bản
- cách
- Điều gì
- cái nào
- CHÚNG TÔI LÀ
- sẽ
- ở trong
- không có
- từ
- công trinh
- sẽ
- Năng suất
- Yoga
- Bạn
- trên màn hình
- zephyrnet