Sổ tay minh họa trong Amazon SageMaker JumpStart

Khởi động Amazon SageMaker là trung tâm Machine Learning (ML) của SageMaker cung cấp các mô hình được đào tạo trước, có sẵn công khai cho nhiều loại vấn đề để giúp bạn bắt đầu với machine learning.

JumpStart cũng cung cấp sổ ghi chép ví dụ sử dụng Amazon SageMaker các tính năng như đào tạo phiên bản tại chỗ và thử nghiệm trên nhiều loại mô hình và trường hợp sử dụng. Các sổ ghi chép ví dụ này chứa mã hiển thị cách áp dụng các giải pháp ML bằng cách sử dụng SageMaker và JumpStart. Chúng có thể được điều chỉnh để phù hợp với nhu cầu của riêng bạn và do đó có thể tăng tốc độ phát triển ứng dụng.

Gần đây, chúng tôi đã thêm 10 sổ ghi chép mới vào JumpStart trong Xưởng sản xuất Amazon SageMaker. Bài đăng này tập trung vào những sổ ghi chép mới này. Khi viết bài này, JumpStart cung cấp 56 sổ ghi chép, từ việc sử dụng các mô hình xử lý ngôn ngữ tự nhiên (NLP) tiên tiến nhất đến sửa lỗi sai lệch trong bộ dữ liệu khi đào tạo các mô hình.

10 sổ ghi chép mới có thể giúp bạn theo những cách sau:

• Họ cung cấp mã ví dụ để bạn chạy từ giao diện người dùng JumpStart trong Studio và xem mã hoạt động như thế nào
• Chúng hiển thị cách sử dụng các API SageMaker và JumpStart khác nhau
• Họ cung cấp giải pháp kỹ thuật mà bạn có thể tùy chỉnh thêm dựa trên nhu cầu của riêng mình

Số lượng sổ ghi chép được cung cấp thông qua JumpStart tăng lên một cách thường xuyên khi có thêm nhiều sổ ghi chép. Những sổ ghi chép này cũng có sẵn trên github.

Tổng quan về sổ ghi chép

10 cuốn sổ mới như sau:

• Học theo ngữ cảnh với AlexaTM 20B – Trình bày cách sử dụng AlexaTM 20B để học theo ngữ cảnh với phương pháp học từng bước và từng bước trong năm tác vụ ví dụ: tóm tắt văn bản, tạo ngôn ngữ tự nhiên, dịch máy, trả lời câu hỏi khai thác cũng như suy luận và phân loại ngôn ngữ tự nhiên.
• Người học tuyến tính công bằng trong SageMaker – Gần đây đã có những lo ngại về sự thiên vị trong các thuật toán ML do bắt chước những định kiến ​​hiện có của con người. Sổ tay này áp dụng các khái niệm công bằng để điều chỉnh dự đoán mô hình một cách thích hợp.
• Quản lý thử nghiệm ML bằng Tìm kiếm SageMaker – Amazon SageMaker Search cho phép bạn nhanh chóng tìm và đánh giá các hoạt động đào tạo mô hình phù hợp nhất từ ​​hàng trăm và hàng nghìn công việc đào tạo mô hình tiềm năng của SageMaker.
• Mô hình chủ đề thần kinh SageMaker – Mô hình chủ đề thần kinh SageMaker (NTM) là một thuật toán học tập không giám sát cố gắng mô tả một tập hợp các quan sát dưới dạng hỗn hợp các danh mục riêng biệt.
• Dự đoán vi phạm tốc độ lái xe – Thuật toán SageMaker DeepAR có thể được sử dụng để huấn luyện đồng thời một mô hình cho nhiều đường phố và dự đoán vi phạm cho nhiều camera đường phố.
• Chẩn đoán ung thư vú - Sổ ghi chép này sử dụng bộ dữ liệu chẩn đoán ung thư vú của UCI để xây dựng một mô hình dự đoán xem hình ảnh khối u ở vú cho thấy khối u lành tính hay ác tính.
• Tập hợp các dự đoán từ nhiều mô hình – Bằng cách kết hợp hoặc lấy trung bình các dự đoán từ nhiều nguồn và mô hình, chúng tôi thường nhận được dự báo được cải thiện. Sổ tay này minh họa khái niệm này.
• SageMaker suy luận không đồng bộ – Suy luận không đồng bộ là một tùy chọn suy luận mới cho nhu cầu suy luận gần thời gian thực. Yêu cầu có thể mất tới 15 phút để xử lý và có kích thước tải trọng lên tới 1 GB.
• TensorFlow mang theo mô hình của riêng bạn – Tìm hiểu cách đào tạo mô hình TensorFlow cục bộ và triển khai trên SageMaker bằng sổ ghi chép này.
• Scikit-learning mang theo mô hình của riêng bạn – Sổ ghi chép này cho biết cách sử dụng mô hình Scikit-learning được đào tạo trước với bộ chứa SageMaker Scikit-learning để nhanh chóng tạo điểm cuối được lưu trữ cho mô hình đó.

Điều kiện tiên quyết

Để sử dụng những sổ ghi chép này, hãy đảm bảo rằng bạn có quyền truy cập vào Studio với vai trò thực thi cho phép bạn chạy chức năng SageMaker. Đoạn video ngắn dưới đây sẽ giúp bạn điều hướng đến sổ ghi chép JumpStart.

Trong các phần sau, chúng ta sẽ xem xét từng giải pháp trong số 10 giải pháp mới và thảo luận về một số chi tiết thú vị của chúng.

Học theo ngữ cảnh với AlexaTM 20B

AlexaTM 20B là mô hình trình tự theo trình tự (seq2seq) đa nhiệm, đa ngôn ngữ, quy mô lớn, được đào tạo trên sự kết hợp giữa Dữ liệu thu thập thông thường (mC4) và dữ liệu Wikipedia trên 12 ngôn ngữ, sử dụng các tác vụ khử nhiễu và Mô hình hóa ngôn ngữ nhân quả (CLM). Nó đạt được hiệu suất cao nhất đối với các tác vụ ngôn ngữ trong ngữ cảnh phổ biến như tóm tắt một lần và dịch máy một lần, vượt trội so với các mô hình chỉ dành cho bộ giải mã như GPT3 của Open AI và PaLM của Google, lớn hơn tám lần.

Học tập trong bối cảnh, còn được gọi là nhắc nhở, đề cập đến một phương pháp mà bạn sử dụng mô hình NLP cho một nhiệm vụ mới mà không cần phải tinh chỉnh nó. Một vài ví dụ nhiệm vụ chỉ được cung cấp cho mô hình như một phần của đầu vào suy luận, một mô hình được gọi là học vài lần trong ngữ cảnh. Trong một số trường hợp, mô hình có thể hoạt động tốt mà không cần bất kỳ dữ liệu huấn luyện nào, chỉ đưa ra lời giải thích về những gì nên dự đoán. cái này gọi là học theo ngữ cảnh zero-shot.

Sổ ghi chép này trình bày cách triển khai AlexaTM 20B thông qua API JumpStart và chạy suy luận. Nó cũng minh họa cách AlexaTM 20B có thể được sử dụng để học theo ngữ cảnh với năm tác vụ ví dụ: tóm tắt văn bản, tạo ngôn ngữ tự nhiên, dịch máy, trả lời câu hỏi khai thác cũng như suy luận và phân loại ngôn ngữ tự nhiên.

Cuốn sổ tay thể hiện như sau:

• Tóm tắt văn bản một lần, tạo ngôn ngữ tự nhiên và dịch máy bằng một ví dụ đào tạo duy nhất cho từng tác vụ này
• Trả lời câu hỏi trực tiếp và suy luận ngôn ngữ tự nhiên cộng với phân loại bằng cách sử dụng mô hình nguyên trạng mà không cần cung cấp bất kỳ ví dụ đào tạo nào.

Hãy thử chạy văn bản của riêng bạn dựa trên mô hình này và xem cách nó tóm tắt văn bản, trích xuất phần Hỏi & Đáp hoặc dịch từ ngôn ngữ này sang ngôn ngữ khác.

Người học tuyến tính công bằng trong SageMaker

Gần đây đã có những lo ngại về sự thiên vị trong các thuật toán ML do bắt chước những định kiến ​​hiện có của con người. Ngày nay, một số phương pháp ML có ý nghĩa xã hội mạnh mẽ, chẳng hạn như chúng được sử dụng để dự đoán các khoản vay ngân hàng, tỷ lệ bảo hiểm hoặc quảng cáo. Thật không may, một thuật toán học hỏi từ dữ liệu lịch sử sẽ tự nhiên kế thừa những sai lệch trong quá khứ. Sổ ghi chép này trình bày cách khắc phục vấn đề này bằng cách sử dụng SageMaker và các thuật toán công bằng trong ngữ cảnh của người học tuyến tính.

Nó bắt đầu bằng cách giới thiệu một số khái niệm và toán học đằng sau sự công bằng, sau đó nó tải xuống dữ liệu, đào tạo một mô hình và cuối cùng áp dụng các khái niệm về sự công bằng để điều chỉnh các dự đoán của mô hình một cách thích hợp.

Cuốn sổ tay thể hiện như sau:

• Chạy mô hình tuyến tính tiêu chuẩn trên tập dữ liệu Người lớn của UCI.
• Thể hiện sự không công bằng trong dự đoán mô hình
• Sửa dữ liệu để loại bỏ sai lệch
• Đào tạo lại mô hình

Hãy thử chạy dữ liệu của riêng bạn bằng mã ví dụ này và phát hiện xem có sai lệch hay không. Sau đó, hãy thử loại bỏ sai lệch, nếu có, trong tập dữ liệu của bạn bằng cách sử dụng các hàm được cung cấp trong sổ ghi chép ví dụ này.

Quản lý thử nghiệm ML bằng Tìm kiếm SageMaker

Tìm kiếm SageMaker cho phép bạn nhanh chóng tìm và đánh giá các hoạt động đào tạo mô hình phù hợp nhất từ ​​hàng trăm và hàng nghìn công việc đào tạo mô hình tiềm năng của SageMaker. Việc phát triển một mô hình ML yêu cầu thử nghiệm liên tục, thử các thuật toán học mới và điều chỉnh siêu tham số, đồng thời quan sát tác động của những thay đổi đó đối với hiệu suất và độ chính xác của mô hình. Bài tập lặp đi lặp lại này thường dẫn đến sự bùng nổ của hàng trăm thử nghiệm đào tạo mô hình và các phiên bản mô hình, làm chậm quá trình hội tụ và khám phá ra mô hình chiến thắng. Ngoài ra, sự bùng nổ thông tin khiến việc truy ngược dòng dõi của một phiên bản mô hình trở nên rất khó khăn—sự kết hợp độc đáo giữa các tập dữ liệu, thuật toán và tham số đã tạo nên mô hình đó ngay từ đầu.

Sổ ghi chép này cho biết cách sử dụng Tìm kiếm SageMaker để tổ chức, theo dõi và đánh giá các công việc đào tạo mô hình của bạn trên SageMaker một cách nhanh chóng và dễ dàng. Bạn có thể tìm kiếm trên tất cả các thuộc tính xác định từ thuật toán học được sử dụng, cài đặt siêu tham số, bộ dữ liệu đào tạo được sử dụng và thậm chí cả các thẻ bạn đã thêm vào các công việc đào tạo mô hình. Bạn cũng có thể nhanh chóng so sánh và xếp hạng các lần chạy đào tạo của mình dựa trên các chỉ số hiệu suất của chúng, chẳng hạn như tổn thất đào tạo và độ chính xác của xác thực, từ đó tạo bảng xếp hạng để xác định các mô hình chiến thắng có thể được triển khai trong môi trường sản xuất. SageMaker Search có thể nhanh chóng truy ngược dòng hoàn chỉnh của phiên bản mô hình được triển khai trong môi trường trực tiếp, cho đến khi bộ dữ liệu được sử dụng trong đào tạo và xác thực mô hình.

Cuốn sổ tay thể hiện như sau:

• Đào tạo một mô hình tuyến tính ba lần
• Sử dụng Tìm kiếm SageMaker để tổ chức và đánh giá các thử nghiệm này
• Trực quan hóa kết quả trong bảng thành tích
• Triển khai một mô hình đến một điểm cuối
• Theo dõi dòng dõi của mô hình bắt đầu từ điểm cuối

Trong quá trình phát triển các mô hình dự đoán của riêng bạn, bạn có thể đang chạy một số thử nghiệm. Hãy thử sử dụng Tìm kiếm SageMaker trong các thử nghiệm như vậy và trải nghiệm cách nó có thể giúp bạn theo nhiều cách.

Mô hình chủ đề thần kinh SageMaker

Mô hình chủ đề thần kinh SageMaker (NTM) là một thuật toán học tập không giám sát cố gắng mô tả một tập hợp các quan sát dưới dạng hỗn hợp các danh mục riêng biệt. NTM được sử dụng phổ biến nhất để khám phá số lượng chủ đề do người dùng chỉ định được chia sẻ bởi các tài liệu trong một kho văn bản. Ở đây, mỗi quan sát là một tài liệu, các tính năng là sự hiện diện (hoặc số lần xuất hiện) của mỗi từ và các danh mục là các chủ đề. Vì phương pháp này không được giám sát nên các chủ đề không được chỉ định trước và không được đảm bảo phù hợp với cách con người có thể phân loại tài liệu một cách tự nhiên. Các chủ đề được học dưới dạng phân phối xác suất trên các từ xuất hiện trong mỗi tài liệu. Đến lượt mình, mỗi tài liệu được mô tả dưới dạng hỗn hợp các chủ đề.

Sổ ghi chép này sử dụng thuật toán SageMaker NTM để đào tạo một mô hình trên bộ dữ liệu 20NewsGroups. Bộ dữ liệu này đã được sử dụng rộng rãi như một tiêu chuẩn mô hình hóa chủ đề.

Cuốn sổ tay thể hiện như sau:

• Tạo công việc đào tạo SageMaker trên tập dữ liệu để tạo mô hình NTM
• Sử dụng mô hình để thực hiện suy luận với điểm cuối SageMaker
• Khám phá mô hình được đào tạo và trực quan hóa các chủ đề đã học

Bạn có thể dễ dàng sửa đổi sổ ghi chép này để chạy trên các tài liệu văn bản của mình và chia chúng thành nhiều chủ đề khác nhau.

Dự đoán vi phạm tốc độ lái xe

Sổ ghi chép này thể hiện khả năng dự báo theo chuỗi thời gian bằng cách sử dụng thuật toán SageMaker DeepAR bằng cách phân tích bộ dữ liệu về Vi phạm do camera bắn tốc độ của thành phố Chicago. Bộ dữ liệu được lưu trữ bởi Data.gov và được quản lý bởi Cơ quan quản lý dịch vụ tổng hợp Hoa Kỳ, Dịch vụ chuyển đổi công nghệ.

Những vi phạm này được hệ thống camera ghi lại và có sẵn để cải thiện cuộc sống của công chúng thông qua cổng dữ liệu của thành phố Chicago. Bộ dữ liệu Vi phạm do Camera bắn tốc độ có thể được sử dụng để phân biệt các mẫu trong dữ liệu và thu được thông tin chi tiết có ý nghĩa.

Bộ dữ liệu chứa nhiều vị trí camera và số lượng vi phạm hàng ngày. Mỗi lần vi phạm hàng ngày đối với một camera có thể được coi là một chuỗi thời gian riêng biệt. Bạn có thể sử dụng thuật toán SageMaker DeepAR để huấn luyện đồng thời một mô hình cho nhiều đường phố và dự đoán vi phạm cho nhiều camera đường phố.

Cuốn sổ tay thể hiện như sau:

• Đào tạo thuật toán SageMaker DeepAR trên tập dữ liệu chuỗi thời gian bằng cách sử dụng các phiên bản spot
• Suy luận trên mô hình được đào tạo để đưa ra dự đoán vi phạm giao thông

Với sổ ghi chép này, bạn có thể tìm hiểu cách giải quyết các vấn đề về chuỗi thời gian bằng cách sử dụng thuật toán DeepAR trong SageMaker và thử áp dụng nó trên bộ dữ liệu chuỗi thời gian của riêng bạn.

Dự đoán ung thư vú

Sổ tay này lấy một ví dụ về dự đoán ung thư vú bằng bộ dữ liệu chẩn đoán ung thư vú của UCI. Nó sử dụng bộ dữ liệu này để xây dựng một mô hình dự đoán xem hình ảnh khối vú cho thấy khối u lành tính hay ác tính.

Cuốn sổ tay thể hiện như sau:

• Thiết lập cơ bản để sử dụng SageMaker
• Chuyển đổi bộ dữ liệu sang định dạng Protobuf được thuật toán SageMaker sử dụng và tải lên Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3)
• Đào tạo mô hình người học tuyến tính SageMaker trên tập dữ liệu
• Lưu trữ mô hình được đào tạo
• Chấm điểm bằng cách sử dụng mô hình được đào tạo

Bạn có thể xem qua sổ ghi chép này để tìm hiểu cách giải quyết vấn đề kinh doanh bằng SageMaker và hiểu các bước liên quan để đào tạo và lưu trữ mô hình.

Tập hợp các dự đoán từ nhiều mô hình

Trong các ứng dụng thực tế của ML đối với các tác vụ dự đoán, một mô hình thường không đủ. Hầu hết các cuộc thi dự đoán thường yêu cầu kết hợp các dự báo từ nhiều nguồn để có được dự báo được cải thiện. Bằng cách kết hợp hoặc lấy trung bình các dự đoán từ nhiều nguồn hoặc mô hình, chúng tôi thường nhận được dự báo được cải thiện. Điều này xảy ra bởi vì có sự không chắc chắn đáng kể trong việc lựa chọn mô hình và không có một mô hình đúng nào trong nhiều ứng dụng thực tế. Do đó, sẽ rất hữu ích khi kết hợp các dự đoán từ các mô hình khác nhau. Trong tài liệu về Bayesian, ý tưởng này được gọi là tính trung bình của mô hình Bayesian và đã được chứng minh là hoạt động tốt hơn nhiều so với việc chỉ chọn một mô hình.

Sổ ghi chép này trình bày một ví dụ minh họa để dự đoán liệu một người có kiếm được hơn 50,000 đô la một năm hay không dựa trên thông tin về trình độ học vấn, kinh nghiệm làm việc, giới tính, v.v.

Cuốn sổ tay thể hiện như sau:

• Chuẩn bị sổ ghi chép SageMaker của bạn
• Đang tải tập dữ liệu từ Amazon S3 bằng SageMaker
• Điều tra và chuyển đổi dữ liệu để có thể cung cấp dữ liệu cho thuật toán SageMaker
• Ước tính một mô hình bằng thuật toán SageMaker XGBoost (Extreme Gradient Boosting)
• Lưu trữ mô hình trên SageMaker để đưa ra dự đoán liên tục
• Ước tính mô hình thứ hai bằng phương pháp học tuyến tính SageMaker
• Kết hợp các dự đoán từ cả hai mô hình và đánh giá dự đoán kết hợp
• Tạo dự đoán cuối cùng trên tập dữ liệu thử nghiệm

Hãy thử chạy sổ ghi chép này trên tập dữ liệu của bạn và sử dụng nhiều thuật toán. Hãy thử thử nghiệm với các tổ hợp mô hình khác nhau do SageMaker và JumpStart cung cấp và xem tổ hợp mô hình tập hợp nào mang lại kết quả tốt nhất trên dữ liệu của riêng bạn.

Suy luận không đồng bộ SageMaker

SageMaker suy luận không đồng bộ là một khả năng mới trong SageMaker xếp hàng đợi các yêu cầu đến và xử lý chúng một cách không đồng bộ. SageMaker hiện cung cấp hai tùy chọn suy luận để khách hàng triển khai các mô hình ML: tùy chọn thời gian thực cho khối lượng công việc có độ trễ thấp và chuyển đổi hàng loạt, tùy chọn ngoại tuyến để xử lý các yêu cầu suy luận trên các lô dữ liệu có sẵn từ trước. Suy luận thời gian thực phù hợp với khối lượng công việc có kích thước tải trọng dưới 6 MB và yêu cầu xử lý các yêu cầu suy luận trong vòng 60 giây. Biến đổi hàng loạt phù hợp để suy luận ngoại tuyến trên các lô dữ liệu.

Suy luận không đồng bộ là một tùy chọn suy luận mới cho nhu cầu suy luận gần thời gian thực. Yêu cầu có thể mất tới 15 phút để xử lý và có kích thước tải trọng lên tới 1 GB. Suy luận không đồng bộ phù hợp với khối lượng công việc không có yêu cầu về độ trễ dưới giây và có yêu cầu về độ trễ thoải mái. Ví dụ: bạn có thể cần xử lý suy luận trên một hình ảnh lớn vài MB trong vòng 5 phút. Ngoài ra, các điểm cuối suy luận không đồng bộ cho phép bạn kiểm soát chi phí bằng cách giảm số lượng phiên bản điểm cuối xuống XNUMX khi chúng không hoạt động, vì vậy, bạn chỉ phải trả tiền khi các điểm cuối của mình đang xử lý yêu cầu.

Cuốn sổ tay thể hiện như sau:

• Tạo mô hình SageMaker
• Tạo điểm cuối bằng mô hình này và cấu hình suy luận không đồng bộ
• Đưa ra dự đoán đối với điểm cuối không đồng bộ này

Sổ ghi chép này hiển thị cho bạn một ví dụ hoạt động về cách kết hợp điểm cuối không đồng bộ cho mô hình SageMaker.

TensorFlow mang theo mô hình của riêng bạn

Mô hình TensorFlow được đào tạo cục bộ về nhiệm vụ phân loại nơi sổ ghi chép này đang được chạy. Sau đó, nó được triển khai trên điểm cuối SageMaker.

Cuốn sổ tay thể hiện như sau:

• Đào tạo cục bộ mô hình TensorFlow trên bộ dữ liệu IRIS
• Nhập mô hình đó vào SageMaker
• Lưu trữ nó trên một điểm cuối

Nếu bạn có các mô hình TensorFlow do chính bạn phát triển, thì sổ ghi chép ví dụ này có thể giúp bạn lưu trữ mô hình của mình trên một điểm cuối do SageMaker quản lý.

Scikit-learning mang theo mô hình của riêng bạn

SageMaker bao gồm chức năng hỗ trợ môi trường sổ ghi chép được lưu trữ, đào tạo phân tán, không có máy chủ và lưu trữ thời gian thực. Nó hoạt động tốt nhất khi cả ba dịch vụ này được sử dụng cùng nhau, nhưng chúng cũng có thể được sử dụng độc lập. Một số trường hợp sử dụng có thể chỉ yêu cầu lưu trữ. Có thể mô hình đã được đào tạo trước khi SageMaker tồn tại, trong một dịch vụ khác.

Cuốn sổ tay thể hiện như sau:

• Sử dụng mô hình Scikit-learning được đào tạo trước với bộ chứa SageMaker Scikit-learning để nhanh chóng tạo điểm cuối được lưu trữ cho mô hình đó

Nếu bạn có các mô hình Scikit-learning do chính bạn phát triển, thì sổ ghi chép ví dụ này có thể giúp bạn lưu trữ mô hình của mình trên một điểm cuối do SageMaker quản lý.

Làm sạch tài nguyên

Sau khi bạn chạy xong một sổ ghi chép trong JumpStart, hãy đảm bảo Xóa tất cả tài nguyên để tất cả các tài nguyên mà bạn đã tạo trong quy trình sẽ bị xóa và thanh toán của bạn bị dừng. Ô cuối cùng trong những sổ ghi chép này thường xóa các điểm cuối được tạo.

Tổng kết

Bài đăng này hướng dẫn bạn qua 10 sổ ghi chép ví dụ mới được thêm vào JumpStart gần đây. Mặc dù bài đăng này tập trung vào 10 sổ ghi chép mới này, nhưng tính đến thời điểm viết bài này, có tổng cộng 56 sổ ghi chép khả dụng. Chúng tôi khuyến khích bạn đăng nhập vào Studio và tự mình khám phá các sổ ghi chép JumpStart và bắt đầu nhận được giá trị ngay lập tức từ chúng. Để biết thêm thông tin, hãy tham khảo Xưởng sản xuất Amazon SageMaker và Khởi động SageMaker.

---

Lưu ý

Tiến sĩ Raju Penmatcha là Chuyên gia kiến ​​trúc giải pháp AI/ML trong Nền tảng AI tại AWS. Ông nhận bằng Tiến sĩ tại Đại học Stanford. Anh ấy hợp tác chặt chẽ với các dịch vụ bộ mã thấp/không cần mã trong SageMaker để giúp khách hàng dễ dàng xây dựng và triển khai các giải pháp và mô hình máy học.