Tăng năng suất của nhà phát triển: Cách Deloitte sử dụng Amazon SageMaker Canvas cho machine learning không cần mã/ít mã | Dịch vụ web của Amazon

Khả năng xây dựng và triển khai nhanh chóng các mô hình học máy (ML) ngày càng trở nên quan trọng trong thế giới dựa trên dữ liệu ngày nay. Tuy nhiên, việc xây dựng các mô hình ML đòi hỏi thời gian, công sức và chuyên môn đáng kể. Từ thu thập và làm sạch dữ liệu đến kỹ thuật tính năng, xây dựng mô hình, điều chỉnh và triển khai, các dự án ML thường mất hàng tháng để các nhà phát triển hoàn thành. Và các nhà khoa học dữ liệu có kinh nghiệm có thể khó tìm được.

Đây là lúc bộ dịch vụ ML mã ngắn và không mã của AWS trở thành một công cụ thiết yếu. Chỉ với vài cú nhấp chuột sử dụng Canvas SageMaker của Amazon, bạn có thể tận dụng sức mạnh của ML mà không cần phải viết bất kỳ mã nào.

Là nhà tích hợp hệ thống chiến lược có kinh nghiệm ML chuyên sâu, Deloitte sử dụng các công cụ ML không mã và mã thấp từ AWS để xây dựng và triển khai hiệu quả các mô hình ML cho khách hàng của Deloitte và cho tài sản nội bộ. Những công cụ này cho phép Deloitte phát triển các giải pháp ML mà không cần phải viết mã thủ công cho các mô hình và quy trình. Điều này có thể giúp đẩy nhanh tiến độ phân phối dự án và cho phép Deloitte đảm nhận nhiều công việc hơn cho khách hàng.

Sau đây là một số lý do cụ thể khiến Deloitte sử dụng những công cụ này:

• Khả năng truy cập cho người không lập trình – Các công cụ không có mã mở ra khả năng xây dựng mô hình ML cho những người không phải lập trình viên. Các thành viên trong nhóm chỉ có kiến ​​thức chuyên môn về miền và rất ít kỹ năng viết mã có thể phát triển các mô hình ML.
• Áp dụng nhanh chóng công nghệ mới – Tính sẵn có và cải tiến liên tục trên các mô hình sẵn sàng sử dụng và AutoML giúp đảm bảo rằng người dùng liên tục được sử dụng công nghệ hàng đầu.
• Phát triển hiệu quả về chi phí – Các công cụ không có mã giúp giảm chi phí và thời gian cần thiết cho việc phát triển mô hình ML, giúp khách hàng dễ tiếp cận hơn, điều này có thể giúp họ đạt được lợi tức đầu tư cao hơn.

Ngoài ra, những công cụ này còn cung cấp giải pháp toàn diện cho quy trình làm việc nhanh hơn, cho phép thực hiện những điều sau:

• Chuẩn bị dữ liệu nhanh hơn – SageMaker Canvas có hơn 300 phép biến đổi tích hợp và khả năng sử dụng ngôn ngữ tự nhiên có thể đẩy nhanh quá trình chuẩn bị dữ liệu và chuẩn bị dữ liệu sẵn sàng cho việc xây dựng mô hình.
• Xây dựng mô hình nhanh hơn – SageMaker Canvas cung cấp các mô hình hoặc Amazon AutoML công nghệ cho phép bạn xây dựng các mô hình tùy chỉnh trên dữ liệu doanh nghiệp chỉ bằng vài cú nhấp chuột. Điều này giúp tăng tốc quá trình so với các mô hình mã hóa ngay từ đầu.
• Triển khai dễ dàng hơn – SageMaker Canvas cung cấp khả năng triển khai các mô hình sẵn sàng sản xuất cho Nhà sản xuất Amazon Sagmaker điểm cuối trong một vài cú nhấp chuột đồng thời đăng ký nó vào Cơ quan đăng ký mô hình Amazon SageMaker.

Vishveshwara Vasa, CTO đám mây cho Deloitte, nói:

“Thông qua các dịch vụ ML không cần mã của AWS như SageMaker Canvas và SageMaker Data Wrangler, tại Deloitte Consulting, chúng tôi đã khai thác được những hiệu quả mới, nâng cao tốc độ phát triển và năng suất triển khai lên 30–40% trên các dự án nội bộ và đối mặt với khách hàng của chúng tôi.”

Trong bài đăng này, chúng tôi chứng minh sức mạnh của việc xây dựng mô hình ML toàn diện không cần mã bằng SageMaker Canvas bằng cách chỉ cho bạn cách xây dựng mô hình phân loại để dự đoán xem khách hàng có vỡ nợ hay không. Bằng cách dự đoán các khoản nợ không trả được chính xác hơn, mô hình này có thể giúp một công ty dịch vụ tài chính quản lý rủi ro, định giá các khoản vay một cách hợp lý, cải thiện hoạt động, cung cấp các dịch vụ bổ sung và đạt được lợi thế cạnh tranh. Chúng tôi chứng minh cách SageMaker Canvas có thể giúp bạn nhanh chóng chuyển từ dữ liệu thô sang mô hình phân loại nhị phân được triển khai để dự đoán vỡ nợ.

SageMaker Canvas cung cấp khả năng chuẩn bị dữ liệu toàn diện được hỗ trợ bởi Trình sắp xếp dữ liệu Amazon SageMaker trong không gian làm việc SageMaker Canvas. Điều này cho phép bạn thực hiện tất cả các giai đoạn của quy trình làm việc ML tiêu chuẩn, từ chuẩn bị dữ liệu đến xây dựng và triển khai mô hình trên một nền tảng duy nhất.

Chuẩn bị dữ liệu thường là giai đoạn tốn nhiều thời gian nhất của quy trình ML. Để giảm thời gian dành cho việc chuẩn bị dữ liệu, SageMaker Canvas cho phép bạn chuẩn bị dữ liệu bằng cách sử dụng hơn 300 phép biến đổi tích hợp sẵn. Ngoài ra, bạn có thể viết lời nhắc bằng ngôn ngữ tự nhiên, chẳng hạn như “bỏ các hàng cho cột c là các giá trị ngoại lệ” và được trình bày đoạn mã cần thiết cho bước chuẩn bị dữ liệu này. Sau đó, bạn có thể thêm phần này vào quy trình chuẩn bị dữ liệu của mình chỉ bằng vài cú nhấp chuột. Chúng tôi cũng chỉ cho bạn cách sử dụng nó trong bài viết này.

Tổng quan về giải pháp

Sơ đồ sau đây mô tả kiến ​​trúc của mô hình phân loại nợ xấu bằng cách sử dụng các công cụ mã thấp và không mã của SageMaker.

Bắt đầu với một tập dữ liệu có thông tin chi tiết về dữ liệu vỡ nợ trong Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3), chúng tôi sử dụng SageMaker Canvas để hiểu rõ hơn về dữ liệu. Sau đó, chúng tôi thực hiện kỹ thuật tính năng để áp dụng các chuyển đổi như mã hóa các tính năng được phân loại, loại bỏ các tính năng không cần thiết, v.v. Tiếp theo, chúng tôi lưu trữ dữ liệu đã được xóa trở lại Amazon S3. Chúng tôi sử dụng tập dữ liệu đã được làm sạch để tạo mô hình phân loại nhằm dự đoán các khoản nợ không trả được nợ. Sau đó, chúng tôi có một mô hình sẵn sàng sản xuất để suy luận.

Điều kiện tiên quyết

Hãy chắc chắn rằng những điều sau đây điều kiện tiên quyết đã hoàn tất và bạn đã kích hoạt Canvas Các mô hình sẵn sàng sử dụng tùy chọn khi thiết lập miền SageMaker. Nếu bạn đã thiết lập tên miền của mình, chỉnh sửa cài đặt tên miền của bạn và đi đến Cài đặt canvas để cho phép Kích hoạt các mô hình sẵn sàng sử dụng Canvas lựa chọn. Ngoài ra, thiết lập và tạo ứng dụng SageMaker Canvas, sau đó yêu cầu và kích hoạt Truy cập mô hình Claude nhân loại on nền tảng Amazon.

Bộ dữ liệu

Chúng tôi sử dụng tập dữ liệu công khai từ đi lang thang có chứa thông tin về các khoản vay tài chính. Mỗi hàng trong tập dữ liệu đại diện cho một khoản vay và các cột cung cấp thông tin chi tiết về từng giao dịch. Tải xuống tập dữ liệu này và lưu trữ tập dữ liệu này trong nhóm S3 mà bạn chọn. Bảng sau liệt kê các trường trong tập dữ liệu.

Tên cột dọc	Loại dữ liệu	Mô tả
Person_age	Số nguyên	Tuổi của người vay
Person_income	Số nguyên	Thu nhập của người đi vay
Person_home_ownership	Chuỗi	Tình trạng sở hữu nhà (sở hữu hoặc thuê)
Person_emp_length	Số Thập Phân	Số năm họ làm việc
Loan_intent	Chuỗi	Lý do cho vay (cá nhân, y tế, giáo dục, v.v.)
Loan_grade	Chuỗi	Mức cho vay (A–E)
Loan_int_rate	Số Thập Phân	Lãi suất
Loan_amnt	Số nguyên	Tổng số tiền vay
Loan_status	Số nguyên	Mục tiêu (cho dù họ có mặc định hay không)
Loan_percent_income	Số Thập Phân	Số tiền cho vay so với tỷ lệ phần trăm của thu nhập
Cb_person_default_on_file	Số nguyên	Giá trị mặc định trước đó (nếu có)
Cb_person_credit_history_length	Chuỗi	Độ dài lịch sử tín dụng của họ

Đơn giản hóa việc chuẩn bị dữ liệu với SageMaker Canvas

Việc chuẩn bị dữ liệu có thể chiếm tới 80% công sức trong các dự án ML. Việc chuẩn bị dữ liệu phù hợp sẽ mang lại hiệu suất mô hình tốt hơn và dự đoán chính xác hơn. SageMaker Canvas cho phép khám phá, chuyển đổi và chuẩn bị dữ liệu tương tác mà không cần viết bất kỳ mã SQL hoặc Python nào.

Hoàn thành các bước sau để chuẩn bị dữ liệu của bạn:

1. Trên bảng điều khiển Canvas SageMaker, hãy chọn Chuẩn bị dữ liệu trong khung điều hướng.
2. trên Tạo menu, chọn Tài liệu.
3. Trong Tên tập dữ liệu, hãy nhập tên cho tập dữ liệu của bạn.
4. Chọn Tạo.
   
5. Chọn Amazon S3 làm nguồn dữ liệu và kết nối nó với tập dữ liệu.
6. Sau khi tải tập dữ liệu, hãy tạo luồng dữ liệu bằng tập dữ liệu đó.
   
7. Chuyển sang tab phân tích và tạo một Báo cáo chất lượng dữ liệu và thông tin chi tiết.

Đây là bước được khuyến nghị để phân tích chất lượng của tập dữ liệu đầu vào. Đầu ra của báo cáo này tạo ra những hiểu biết tức thời được hỗ trợ bởi ML chẳng hạn như độ lệch dữ liệu, dữ liệu trùng lặp, giá trị bị thiếu, v.v. Ảnh chụp màn hình sau đây hiển thị mẫu báo cáo được tạo cho tập dữ liệu khoản vay.

Bằng cách thay mặt bạn tạo những thông tin chi tiết này, SageMaker Canvas cung cấp cho bạn một loạt vấn đề trong dữ liệu cần khắc phục trong giai đoạn chuẩn bị dữ liệu. Để chọn hai vấn đề hàng đầu được SageMaker Canvas xác định, bạn cần mã hóa các tính năng phân loại và xóa các hàng trùng lặp để chất lượng mô hình của bạn cao. Bạn có thể thực hiện cả hai điều này và hơn thế nữa trong quy trình làm việc trực quan với SageMaker Canvas.

1. Đầu tiên, mã hóa một lần loan_intent, loan_gradevà person_home_ownership
2. Bạn có thể thả cb_person_cred_history_length vì cột đó có khả năng dự đoán kém nhất, như được hiển thị trong Báo cáo thông tin chuyên sâu và chất lượng dữ liệu.
   
   SageMaker Canvas gần đây đã thêm một Trò chuyện với dữ liệu lựa chọn. Tính năng này sử dụng sức mạnh của các mô hình nền tảng để diễn giải các truy vấn ngôn ngữ tự nhiên và tạo mã dựa trên Python để áp dụng các chuyển đổi kỹ thuật tính năng. Tính năng này được cung cấp bởi Amazon Bedrock và có thể được cấu hình để chạy hoàn toàn trong VPC của bạn để dữ liệu không bao giờ rời khỏi môi trường của bạn.
3. Để sử dụng tính năng này nhằm loại bỏ các hàng trùng lặp, hãy chọn dấu cộng bên cạnh Thả cột biến đổi, sau đó chọn Trò chuyện với dữ liệu.
   
4. Nhập truy vấn của bạn bằng ngôn ngữ tự nhiên (ví dụ: “Xóa các hàng trùng lặp khỏi tập dữ liệu”).
5. Xem lại phép biến đổi được tạo và chọn Thêm vào các bước để thêm sự chuyển đổi vào dòng chảy.
   
6. Cuối cùng, xuất kết quả của các chuyển đổi này sang Amazon S3 hoặc tùy chọn Cửa hàng tính năng Amazon SageMaker để sử dụng các tính năng này trên nhiều dự án.

Bạn cũng có thể thêm một bước khác để tạo đích Amazon S3 cho tập dữ liệu nhằm mở rộng quy trình làm việc cho tập dữ liệu lớn. Sơ đồ sau đây hiển thị luồng dữ liệu SageMaker Canvas sau khi thêm các phép biến đổi trực quan.

Bạn đã hoàn thành toàn bộ bước xử lý dữ liệu và kỹ thuật tính năng bằng cách sử dụng quy trình công việc trực quan trong SageMaker Canvas. Điều này giúp giảm thời gian kỹ sư dữ liệu dành cho việc dọn dẹp và chuẩn bị dữ liệu sẵn sàng để phát triển mô hình từ vài tuần xuống còn vài ngày. Bước tiếp theo là xây dựng mô hình ML.

Xây dựng mô hình với SageMaker Canvas

Amazon SageMaker Canvas cung cấp quy trình làm việc toàn diện không cần mã để xây dựng, phân tích, thử nghiệm và triển khai mô hình phân loại nhị phân này. Hoàn thành các bước sau:

1. Tạo tập dữ liệu trong SageMaker Canvas.
2. Chỉ định vị trí S3 được sử dụng để xuất dữ liệu hoặc vị trí S3 ở đích của công việc SageMaker Canvas.
   
   Bây giờ bạn đã sẵn sàng để xây dựng mô hình.
3. Chọn mô hình trong ngăn điều hướng và chọn Mô hình mới.
4. Đặt tên cho mô hình và chọn Phân tích tiên đoán như kiểu mô hình.
5. Chọn tập dữ liệu được tạo ở bước trước.
   
   Bước tiếp theo là cấu hình loại mô hình.
6. Chọn cột mục tiêu và loại mô hình sẽ tự động được đặt thành dự đoán 2 danh mục.
7. Chọn loại xây dựng của bạn, Xây dựng tiêu chuẩn or Xây dựng nhanh chóng.
   
   SageMaker Canvas hiển thị thời gian xây dựng dự kiến ​​ngay khi bạn bắt đầu xây dựng mô hình. Quá trình xây dựng tiêu chuẩn thường mất từ ​​2–4 giờ; bạn có thể sử dụng tùy chọn Xây dựng nhanh cho các tập dữ liệu nhỏ hơn, chỉ mất 2–15 phút. Đối với tập dữ liệu cụ thể này, sẽ mất khoảng 45 phút để hoàn thành việc xây dựng mô hình. SageMaker Canvas thông báo cho bạn về tiến trình của quá trình xây dựng.
8. Sau khi mô hình được xây dựng, bạn có thể xem hiệu suất của mô hình.
   
   SageMaker Canvas cung cấp nhiều số liệu khác nhau như độ chính xác, độ chính xác và điểm F1 tùy thuộc vào loại mô hình. Ảnh chụp màn hình sau đây cho thấy độ chính xác và một số số liệu nâng cao khác cho mô hình phân loại nhị phân này.
9. Bước tiếp theo là đưa ra dự đoán thử nghiệm.
   SageMaker Canvas cho phép bạn đưa ra dự đoán hàng loạt trên nhiều đầu vào hoặc một dự đoán duy nhất để nhanh chóng xác minh chất lượng mô hình. Ảnh chụp màn hình sau đây hiển thị một suy luận mẫu.
   
10. Bước cuối cùng là triển khai mô hình đã được đào tạo.
    SageMaker Canvas triển khai mô hình trên các điểm cuối SageMaker và bây giờ bạn đã có mô hình sản xuất sẵn sàng để suy luận. Ảnh chụp màn hình sau đây hiển thị điểm cuối được triển khai.
    

Sau khi triển khai mô hình, bạn có thể gọi nó thông qua AWS SDK hoặc Giao diện dòng lệnh AWS (AWS CLI) hoặc thực hiện lệnh gọi API tới bất kỳ ứng dụng nào bạn chọn để tự tin dự đoán rủi ro của người vay tiềm năng. Để biết thêm thông tin về việc thử nghiệm mô hình của bạn, hãy tham khảo Gọi các điểm cuối thời gian thực.

Làm sạch

Để tránh phát sinh thêm phí, đăng xuất khỏi SageMaker Canvas or xóa miền SageMaker cái đó đã được tạo ra. Ngoài ra, xóa điểm cuối của mô hình SageMaker và xóa tập dữ liệu đã được tải lên Amazon S3.

Kết luận

ML không mã giúp tăng tốc độ phát triển, đơn giản hóa việc triển khai, không yêu cầu kỹ năng lập trình, tăng tiêu chuẩn hóa và giảm chi phí. Những lợi ích này khiến ML không có mã trở nên hấp dẫn đối với Deloitte để cải thiện các dịch vụ ML của mình và họ đã rút ngắn thời gian xây dựng mô hình ML của mình từ 30–40%.

Deloitte là nhà tích hợp hệ thống toàn cầu mang tính chiến lược với hơn 17,000 học viên AWS được chứng nhận trên toàn cầu. Nó tiếp tục nâng cao tiêu chuẩn thông qua việc tham gia Chương trình năng lực AWS với 25 năng lực, bao gồm Machine Learning. Kết nối với Deloitte để bắt đầu sử dụng các giải pháp không cần mã và ít mã của AWS cho doanh nghiệp của bạn.

---

Giới thiệu về tác giả

Chida Sadayappan dẫn dắt hoạt động thực hành Cloud AI/Machine Learning của Deloitte. Anh ấy mang kinh nghiệm lãnh đạo tư tưởng mạnh mẽ vào các hoạt động tham gia và phát triển mạnh mẽ trong việc hỗ trợ các bên liên quan điều hành đạt được các mục tiêu hiện đại hóa và cải thiện hiệu suất trong các ngành sử dụng AI/ML. Chida là một doanh nhân công nghệ nối tiếp và là người xây dựng cộng đồng nhiệt thành trong hệ sinh thái khởi nghiệp và nhà phát triển.

Kuldeep Singh, Nhà lãnh đạo AI/ML toàn cầu chính tại AWS với hơn 20 năm kinh nghiệm trong lĩnh vực công nghệ, đã kết hợp khéo léo kiến ​​thức chuyên môn về bán hàng và khởi nghiệp của mình với hiểu biết sâu sắc về AI, ML và an ninh mạng. Ông xuất sắc trong việc xây dựng các mối quan hệ đối tác chiến lược toàn cầu, thúc đẩy các giải pháp và chiến lược mang tính chuyển đổi trong nhiều ngành khác nhau, tập trung vào AI và GSI mang tính sáng tạo.

Kasi Muthu là kiến ​​trúc sư giải pháp đối tác cấp cao tập trung vào dữ liệu và AI/ML tại AWS có trụ sở tại Houston, TX. Anh ấy rất nhiệt tình giúp đỡ các đối tác và khách hàng đẩy nhanh hành trình dữ liệu đám mây của họ. Ông là cố vấn đáng tin cậy trong lĩnh vực này và có nhiều kinh nghiệm trong việc kiến ​​trúc cũng như xây dựng khối lượng công việc có khả năng mở rộng, linh hoạt và hiệu suất trên đám mây. Ngoài công việc, anh thích dành thời gian cho gia đình.

• Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
• PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
• PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
• Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
• PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
• nguồn: https://aws.amazon.com/blogs/machine-learning/boosting-developer-productivity-how-deloitte-uses-amazon-sagemaker-canvas-for-no-code-low-code-machine-learning/