Chuẩn bị dữ liệu từ Databricks để học máy bằng Amazon SageMaker Data Wrangler

Các nhóm khoa học dữ liệu và kỹ thuật dữ liệu dành phần lớn thời gian của họ trong giai đoạn chuẩn bị dữ liệu của vòng đời máy học (ML) để thực hiện các bước chọn, làm sạch và chuyển đổi dữ liệu. Đây là bước cần thiết và quan trọng của bất kỳ quy trình ML nào nhằm tạo ra thông tin chi tiết và dự đoán có ý nghĩa, vì dữ liệu kém hoặc chất lượng thấp làm giảm đáng kể mức độ liên quan của thông tin chi tiết thu được.

Theo truyền thống, các nhóm kỹ thuật dữ liệu chịu trách nhiệm về việc nhập, hợp nhất và chuyển đổi dữ liệu thô để sử dụng ở hạ nguồn. Các nhà khoa học dữ liệu thường cần xử lý bổ sung dữ liệu cho các trường hợp sử dụng ML theo miền cụ thể như ngôn ngữ tự nhiên và chuỗi thời gian. Ví dụ: một số thuật toán ML nhất định có thể nhạy cảm với các giá trị bị thiếu, các tính năng thưa thớt hoặc các giá trị ngoại lệ và cần được xem xét đặc biệt. Ngay cả trong trường hợp tập dữ liệu ở trạng thái tốt, các nhà khoa học dữ liệu có thể muốn chuyển đổi cách phân phối tính năng hoặc tạo các tính năng mới để tối đa hóa thông tin chi tiết thu được từ các mô hình. Để đạt được những mục tiêu này, các nhà khoa học dữ liệu phải dựa vào các nhóm kỹ thuật dữ liệu để đáp ứng những thay đổi được yêu cầu, dẫn đến sự phụ thuộc và chậm trễ trong quá trình phát triển mô hình. Ngoài ra, các nhóm khoa học dữ liệu có thể chọn thực hiện việc chuẩn bị dữ liệu và kỹ thuật tính năng trong nội bộ bằng cách sử dụng các mô hình lập trình khác nhau. Tuy nhiên, nó đòi hỏi sự đầu tư về thời gian và công sức vào việc cài đặt cũng như cấu hình các thư viện và khung, điều này không lý tưởng vì thời gian đó có thể được sử dụng tốt hơn để tối ưu hóa hiệu suất mô hình.

Trình sắp xếp dữ liệu Amazon SageMaker đơn giản hóa quá trình chuẩn bị dữ liệu và quy trình kỹ thuật tính năng, giảm thời gian tổng hợp và chuẩn bị dữ liệu cho ML từ vài tuần xuống còn vài phút bằng cách cung cấp một giao diện trực quan duy nhất để các nhà khoa học dữ liệu chọn, làm sạch và khám phá bộ dữ liệu của họ. Data Wrangler cung cấp hơn 300 phép biến đổi dữ liệu tích hợp để giúp chuẩn hóa, chuyển đổi và kết hợp các tính năng mà không cần viết bất kỳ mã nào. Bạn có thể nhập dữ liệu từ nhiều nguồn dữ liệu, chẳng hạn như Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3), amazon Athena, Amazon RedShiftvà Snowflake. Bây giờ bạn cũng có thể sử dụng Bảng dữ liệu làm nguồn dữ liệu trong Data Wrangler để dễ dàng chuẩn bị dữ liệu cho ML.

Nền tảng Databricks Lakehouse kết hợp các yếu tố tốt nhất của hồ dữ liệu và kho dữ liệu để mang lại độ tin cậy, khả năng quản trị và hiệu suất mạnh mẽ của kho dữ liệu với tính mở, tính linh hoạt và hỗ trợ học máy của hồ dữ liệu. Với Databricks làm nguồn dữ liệu cho Data Wrangler, giờ đây bạn có thể kết nối nhanh chóng và dễ dàng với Databricks, truy vấn tương tác dữ liệu được lưu trữ trong Databricks bằng SQL và xem trước dữ liệu trước khi nhập. Ngoài ra, bạn có thể kết hợp dữ liệu của mình trong Databricks với dữ liệu được lưu trữ trong Amazon S3 và dữ liệu được truy vấn thông qua Amazon Athena, Amazon Redshift và Snowflake để tạo tập dữ liệu phù hợp cho trường hợp sử dụng ML của bạn.

Trong bài đăng này, chúng tôi chuyển đổi tập dữ liệu Lending Club Loan bằng cách sử dụng Amazon SageMaker Data Wrangler để sử dụng trong đào tạo mô hình ML.

Tổng quan về giải pháp

Sơ đồ sau minh họa kiến ​​trúc giải pháp của chúng tôi.

Bộ dữ liệu Khoản vay Câu lạc bộ Cho vay chứa dữ liệu khoản vay hoàn chỉnh cho tất cả các khoản vay được phát hành trong năm 2007–2011, bao gồm trạng thái khoản vay hiện tại và thông tin thanh toán mới nhất. Nó có 39,717 hàng, 22 cột tính năng và 3 nhãn mục tiêu.

Để chuyển đổi dữ liệu của chúng tôi bằng Data Wrangler, chúng tôi hoàn thành các bước cấp cao sau:

1. Tải xuống và chia tập dữ liệu.
2. Tạo luồng Data Wrangler.
3. Nhập dữ liệu từ Databricks vào Data Wrangler.
4. Nhập dữ liệu từ Amazon S3 vào Data Wrangler.
5. Tham gia dữ liệu.
6. Áp dụng các phép biến đổi
7. Xuất tập dữ liệu.

Điều kiện tiên quyết

Bài đăng giả định rằng bạn có cụm Databricks đang chạy. Nếu cụm của bạn đang chạy trên AWS, hãy xác minh rằng bạn đã cấu hình như sau:

Thiết lập dữ liệu

• An hồ sơ cá thể với các quyền cần thiết để truy cập nhóm S3
• A chính sách xô với các quyền cần thiết cho nhóm S3 mục tiêu

Theo Truy cập an toàn vào nhóm S3 bằng hồ sơ phiên bản cho yêu cầu Quản lý truy cập và nhận dạng AWS (IAM), chính sách bộ chứa S3 và cấu hình cụm Databricks. Đảm bảo cụm Databricks được cấu hình với đúng Instance Profile, được chọn trong các tùy chọn nâng cao, để truy cập vào nhóm S3 mong muốn.

Sau khi cụm Databricks thiết lập và chạy với quyền truy cập cần thiết vào Amazon S3, bạn có thể tìm nạp JDBC URL từ cụm Databricks của bạn để Data Wrangler sử dụng để kết nối với nó.

Tìm nạp URL JDBC

Để tìm nạp URL JDBC, hãy hoàn thành các bước sau:

1. Trong Databricks, điều hướng đến giao diện người dùng của cụm.
2. Chọn cụm của bạn.
3. trên Cấu hình tab, chọn Tùy chọn cấp cao.
4. Theo Tùy chọn cấp cao, chọn JDBC/ODBC tab.
5. Sao chép URL JDBC.
   

Đảm bảo thay thế quyền truy cập cá nhân của bạn mã thông báo trong URL.

Thiết lập Data Wrangler

Bước này giả sử bạn có quyền truy cập vào Amazon SageMaker, một phiên bản của Xưởng sản xuất Amazon SageMakervà một người dùng Studio.

Để cho phép truy cập vào kết nối Databricks JDBC từ Data Wrangler, người dùng Studio cần có quyền sau:

• secretsmanager:PutResourcePolicy

Hãy làm theo các bước bên dưới để cập nhật vai trò thực thi IAM được chỉ định cho người dùng Studio có quyền ở trên, với tư cách là người dùng quản trị IAM.

1. Trên bảng điều khiển IAM, chọn Vai trò trong khung điều hướng.
2. Chọn vai trò được chỉ định cho người dùng Studio của bạn.
3. Chọn Thêm quyền.
4. Chọn Tạo chính sách nội tuyến.
5. Đối với Dịch vụ, chọn Người quản lý bí mật.
6. On Hoạt động, chọn Cấp độ truy cập.
7. Chọn Quản lý quyền.
8. Chọn Chính sách tài nguyên.
9. Trong Thông tin, chọn Riêng và chọn Bất kỳ trong tài khoản này.
   

Tải xuống và chia tập dữ liệu

Bạn có thể bắt đầu bằng tải xuống tập dữ liệu. Với mục đích trình diễn, chúng tôi chia tập dữ liệu bằng cách sao chép các cột tính năng id, emp_title, emp_length, home_ownervà annual_inc để tạo ra một giây loan_2.csv tài liệu. Chúng tôi xóa các cột nói trên khỏi tệp khoản vay ban đầu ngoại trừ id cột và đổi tên tệp gốc thành loan_1.csv. Tải lên loan_1.csv tập tin để Bảng dữ liệu để tạo một bảng loans_1 và loan_2.csv trong thùng S3.

Tạo luồng Data Wrangler

Để biết thông tin về các điều kiện tiên quyết của Data Wrangler, hãy xem Bắt đầu với Data Wrangler.

Hãy bắt đầu bằng cách tạo một luồng dữ liệu mới.

1. Trên bảng điều khiển Studio, trên Tập tin menu, chọn Mới.
2. Chọn Luồng Data Wrangler.
3. Đổi tên luồng như mong muốn.
   

Ngoài ra, bạn có thể tạo luồng dữ liệu mới từ Trình khởi chạy.

• Trên bảng điều khiển Studio, hãy chọn Xưởng sản xuất Amazon SageMaker trong khung điều hướng.
• Chọn Luồng dữ liệu mới.
  

Việc tạo một luồng mới có thể mất vài phút để hoàn thành. Sau khi luồng đã được tạo, bạn sẽ thấy Nhập dữ liệu .

Nhập dữ liệu từ Databricks vào Data Wrangler

Tiếp theo, chúng tôi thiết lập Databricks (JDBC) làm nguồn dữ liệu trong Data Wrangler. Để nhập dữ liệu từ Databricks, trước tiên chúng ta cần thêm Databricks làm nguồn dữ liệu.

1. trên Nhập dữ liệu tab của luồng Data Wrangler của bạn, hãy chọn Thêm nguồn dữ liệu.
2. Trên menu thả xuống, hãy chọn Cơ sở dữ liệu (JDBC).
   

trên Nhập dữ liệu từ Databricks trang, bạn nhập chi tiết cụm của bạn.

3. Trong Tên tập dữ liệu, hãy nhập tên bạn muốn sử dụng trong tệp luồng.
4. Trong Người lái xe, chọn trình điều khiển com.simba.spark.jdbc.Driver.
5. Trong URL JDBC, hãy nhập URL của cụm Databricks thu được trước đó.

URL phải giống định dạng sau jdbc:spark://<serve- hostname>:443/default;transportMode=http;ssl=1;httpPath=<http- path>;AuthMech=3;UID=token;PWD=<personal-access-token>.

4. Trong trình soạn thảo truy vấn SQL, hãy chỉ định câu lệnh SQL SELECT sau:

   select * from loans_1

Nếu bạn chọn tên bảng khác trong khi tải dữ liệu lên Databricks, hãy thay thế loan_1 trong truy vấn SQL ở trên cho phù hợp.

Trong tạp chí Truy vấn SQL trong Data Wrangler, bạn có thể truy vấn bất kỳ bảng nào được kết nối với cơ sở dữ liệu JDBC Databricks. Đã chọn trước Cho phép lấy mẫu cài đặt truy xuất 50,000 hàng đầu tiên của tập dữ liệu của bạn theo mặc định. Tùy thuộc vào kích thước của tập dữ liệu, việc bỏ chọn Cho phép lấy mẫu có thể dẫn đến thời gian nhập khẩu lâu hơn.

5. Chọn chạy.

Việc chạy truy vấn sẽ cung cấp bản xem trước tập dữ liệu Databricks của bạn trực tiếp trong Data Wrangler.

6. Chọn Nhập khẩu.
   

Data Wrangler cung cấp tính linh hoạt để thiết lập nhiều kết nối đồng thời với một cụm Databricks hoặc nhiều cụm nếu được yêu cầu, cho phép phân tích và chuẩn bị trên các bộ dữ liệu kết hợp.

Nhập dữ liệu từ Amazon S3 vào Data Wrangler

Tiếp theo, hãy nhập loan_2.csv tập tin từ Amazon S3.

1. Trên tab Nhập, chọn Amazon S3 làm nguồn dữ liệu.
   
2. Điều hướng đến nhóm S3 cho loan_2.csv tập tin.

Khi chọn tệp CSV, bạn có thể xem trước dữ liệu.

3. Trong tạp chí Chi tiết ngăn, chọn Cấu hình nâng cao để chắc chắn Cho phép lấy mẫu được chọn và ĐOẠN VĂN được chọn cho Dấu phân cách.
4. Chọn Nhập khẩu.
   

Sau loans_2.csv tập dữ liệu được nhập thành công, giao diện luồng dữ liệu sẽ hiển thị cả nguồn dữ liệu Databricks JDBC và Amazon S3.

Tham gia dữ liệu

Bây giờ chúng ta đã nhập dữ liệu từ Databricks và Amazon S3, hãy tham gia các tập dữ liệu bằng cách sử dụng cột mã định danh duy nhất chung.

1. trên Dòng dữ liệu tab, cho Loại dữ liệu, chọn dấu cộng cho loans_1.
2. Chọn Tham gia.
   
3. Chọn loans_2.csv tập tin như Đúng tập dữ liệu.
4. Chọn Thiết lập để thiết lập các tiêu chí tham gia.
   
5. Trong Họ tên, nhập tên cho tham gia.
6. Trong Tham gia loại, chọn Bên trong cho bài đăng này.
7. Chọn id cột để tham gia vào.
8. Chọn Đăng Nhập để xem trước tập dữ liệu đã tham gia.
9. Chọn Thêm để thêm nó vào luồng dữ liệu.
   

Áp dụng các phép biến đổi

Data Wrangler đi kèm với hơn 300 phép biến đổi tích hợp, không cần mã hóa. Hãy sử dụng các phép biến đổi tích hợp để chuẩn bị tập dữ liệu.

Thả cột

Đầu tiên chúng ta bỏ cột ID dư thừa.

1. Trên nút đã nối, chọn dấu cộng.
2. Chọn Thêm biến đổi.
   
3. Theo Biến đổi, chọn + Thêm bước.
4. Chọn Quản lý các cột.
5. Trong Chuyển đổi, chọn Thả cột.
6. Trong Các cột để thả, chọn cột id_0.
7. Chọn Xem trước.
   
8. Chọn Thêm.

Định dạng chuỗi

Hãy áp dụng định dạng chuỗi để loại bỏ ký hiệu phần trăm khỏi int_rate và revol_util cột.

1. trên Ngày tab, dưới Biến đổi, chọn + Thêm bước.
   
2. Chọn Định dạng chuỗi.
3. Trong Chuyển đổi, chọn Tách ký tự từ bên phải.

Data Wrangler cho phép bạn áp dụng chuyển đổi đã chọn trên nhiều cột cùng một lúc.

4. Trong Các cột đầu vào, chọn int_rate và revol_util.
5. Trong Ký tự cần loại bỏ, đi vào %.
6. Chọn Xem trước.
   
7. Chọn Thêm.

Làm nổi bật văn bản

Bây giờ chúng ta hãy vector hóa verification_status, một cột tính năng văn bản. Chúng tôi chuyển đổi cột văn bản thành các vectơ tần số nghịch đảo tần số tài liệu (TF-IDF) bằng cách áp dụng vectơ đếm và mã thông báo tiêu chuẩn như được mô tả bên dưới. Data Wrangler cũng cung cấp tùy chọn mang theo mã thông báo của riêng bạn nếu muốn.

1. Theo Máy biến áp, chọn + Thêm bước.
2. Chọn Làm nổi bật văn bản.
3. Trong Chuyển đổi, chọn vectơ hóa.
4. Trong Các cột đầu vào, chọn verification_status.
5. Chọn Xem trước.
   
6. Chọn Thêm.

Xuất tập dữ liệu

Sau khi áp dụng nhiều phép biến đổi trên các loại cột khác nhau, bao gồm văn bản, phân loại và số, chúng tôi sẵn sàng sử dụng tập dữ liệu đã chuyển đổi để đào tạo mô hình ML. Bước cuối cùng là xuất tập dữ liệu đã chuyển đổi sang Amazon S3. Trong Data Wrangler, bạn có nhiều tùy chọn để lựa chọn cho việc sử dụng các phép biến đổi ở cuối dòng:

• Chọn Bước xuất để tự động tạo sổ ghi chép Jupyter với mã Xử lý SageMaker để xử lý và xuất tập dữ liệu đã chuyển đổi sang bộ chứa S3. Để biết thêm thông tin, xem Khởi chạy các công việc xử lý với một vài cú nhấp chuột bằng Amazon SageMaker Data Wrangler.
• Xuất sổ ghi chép Studio tạo ra một Đường dẫn SageMaker với luồng dữ liệu của bạn hoặc sổ ghi chép tạo ra Cửa hàng tính năng Amazon SageMaker nhóm tính năng và thêm các tính năng vào cửa hàng tính năng ngoại tuyến hoặc trực tuyến.
• Chọn Xuất dữ liệu để xuất trực tiếp sang Amazon S3.

Trong bài đăng này, chúng tôi tận dụng lợi thế của Xuất dữ liệu tùy chọn trong Chuyển đổi view để xuất trực tiếp tập dữ liệu đã chuyển đổi sang Amazon S3.

1. Chọn Xuất dữ liệu.
   
2. Trong Vị trí S3, chọn Xem và chọn nhóm S3 của bạn.
3. Chọn Xuất dữ liệu.
   

Làm sạch

Nếu công việc của bạn với Data Wrangler đã hoàn tất, tắt phiên bản Data Wrangler của bạn để tránh phát sinh thêm phí.

Kết luận

Trong bài đăng này, chúng tôi đã đề cập đến cách bạn có thể nhanh chóng và dễ dàng thiết lập và kết nối Databricks dưới dạng nguồn dữ liệu trong Data Wrangler, truy vấn tương tác dữ liệu được lưu trữ trong Databricks bằng SQL và xem trước dữ liệu trước khi nhập. Ngoài ra, chúng tôi đã xem xét cách bạn có thể kết hợp dữ liệu của mình trong Databricks với dữ liệu được lưu trữ trong Amazon S3. Sau đó, chúng tôi áp dụng các phép biến đổi dữ liệu trên tập dữ liệu kết hợp để tạo quy trình chuẩn bị dữ liệu. Để khám phá thêm các khả năng phân tích của Data Wrangler, bao gồm rò rỉ mục tiêu và tạo báo cáo sai lệch, hãy tham khảo bài đăng blog sau Tăng tốc chuẩn bị dữ liệu bằng cách sử dụng Amazon SageMaker Data Wrangler để dự đoán tỷ lệ đọc của bệnh nhân tiểu đường.

Để bắt đầu với Data Wrangler, hãy xem Chuẩn bị dữ liệu ML với Amazon SageMaker Data Wranglervà xem thông tin mới nhất về Data Wrangler trang sản phẩm.

---

Về các tác giả

Bains Roop là Kiến trúc sư giải pháp tại AWS tập trung vào AI / ML. Anh ấy đam mê giúp khách hàng đổi mới và đạt được các mục tiêu kinh doanh của họ bằng cách sử dụng Trí tuệ nhân tạo và Máy học. Khi rảnh rỗi, Roop thích đọc sách và đi bộ đường dài.

Igor Alekseev là Kiến trúc sư giải pháp đối tác tại AWS về Dữ liệu và Phân tích. Igor làm việc với các đối tác chiến lược để giúp họ xây dựng các kiến ​​trúc phức tạp, được tối ưu hóa AWS. Trước khi gia nhập AWS, với tư cách là Kiến trúc sư Giải pháp / Dữ liệu, anh đã thực hiện nhiều dự án về Dữ liệu lớn, bao gồm một số hồ dữ liệu trong hệ sinh thái Hadoop. Là một Kỹ sư dữ liệu, anh ấy đã tham gia vào việc áp dụng AI / ML để phát hiện gian lận và tự động hóa văn phòng. Các dự án của Igor thuộc nhiều lĩnh vực khác nhau bao gồm truyền thông, tài chính, an toàn công cộng, sản xuất và chăm sóc sức khỏe. Trước đó, Igor đã từng làm việc với tư cách là kỹ sư / trưởng nhóm công nghệ đầy đủ về ngăn xếp.

Hương Nguyễn là Giám đốc Sản phẩm của Sr. tại AWS. Cô ấy đang dẫn đầu trải nghiệm người dùng cho SageMaker Studio. Cô đã có 13 năm kinh nghiệm tạo ra các sản phẩm hướng đến khách hàng và dựa trên dữ liệu cho cả không gian doanh nghiệp và người tiêu dùng. Khi rảnh rỗi, cô thích đọc sách, hòa mình vào thiên nhiên và dành thời gian cho gia đình.

Henry Vương là kỹ sư phát triển phần mềm tại AWS. Gần đây anh ấy đã gia nhập nhóm Data Wrangler sau khi tốt nghiệp UC Davis. Anh ấy quan tâm đến khoa học dữ liệu và học máy và in 3D như một sở thích.

• Coinsmart. Sàn giao dịch Bitcoin và tiền điện tử tốt nhất Châu Âu.
• Platoblockchain. Web3 Metaverse Intelligence. Khuếch đại kiến ​​thức. TRUY CẬP MIỄN PHÍ.
• CryptoHawk. Radar Altcoin. Dùng thử miễn phí.
• Nguồn: https://aws.amazon.com/blogs/machine-learning/prepare-data-from-databricks-for-machine-learning-USE-amazon-sagemaker-data-wrangler/