Trong bài đăng này, chúng tôi chỉ cho bạn cách triển khai một trong những mô hình được đào tạo trước về Khuôn mặt ôm được tải xuống nhiều nhất được sử dụng để tóm tắt văn bản, chưng cấtBART-CNN-12-6, trong một sổ ghi chép Jupyter bằng cách sử dụng Amazon SageMaker và Bộ công cụ suy luận khuôn mặt ôm SageMaker. Dựa trên các bước được hiển thị trong bài đăng này, bạn có thể thử tóm tắt văn bản từ WikiText-2 tập dữ liệu được quản lý bởi fast.ai, có sẵn tại Đăng ký dữ liệu mở trên AWS.
Khối lượng dữ liệu toàn cầu đang tăng lên ở quy mô zettabyte khi các công ty và người tiêu dùng mở rộng việc sử dụng các sản phẩm kỹ thuật số và dịch vụ trực tuyến. Để hiểu rõ hơn về dữ liệu ngày càng tăng này, các kỹ thuật xử lý ngôn ngữ tự nhiên (NLP) học máy (ML) để phân tích văn bản đã phát triển để giải quyết các trường hợp sử dụng liên quan đến tóm tắt văn bản, nhận dạng thực thể, phân loại, dịch thuật, v.v. AWS cung cấp đào tạo trước Dịch vụ AI của AWS có thể được tích hợp vào các ứng dụng sử dụng lệnh gọi API và không yêu cầu kinh nghiệm ML. Ví dụ, Amazon hiểu có thể thực hiện các tác vụ NLP như nhận dạng thực thể tùy chỉnh, phân tích tình cảm, trích xuất cụm từ khóa, lập mô hình chủ đề và hơn thế nữa để thu thập thông tin chi tiết từ văn bản. Nó có thể thực hiện phân tích văn bản trên nhiều ngôn ngữ khác nhau cho các tính năng khác nhau của nó.
Tóm tắt văn bản là một kỹ thuật hữu ích trong việc hiểu một lượng lớn dữ liệu văn bản vì nó tạo ra một tập hợp con thông tin có ý nghĩa theo ngữ cảnh từ các tài liệu nguồn. Bạn có thể áp dụng kỹ thuật NLP này cho các tài liệu và bài báo dạng văn bản dài hơn, cho phép tiêu thụ nhanh hơn và lập chỉ mục tài liệu hiệu quả hơn, chẳng hạn như để tóm tắt các ghi chú cuộc gọi từ các cuộc họp.
Ôm mặt là một thư viện nguồn mở phổ biến cho NLP, với hơn 49,000 mô hình được đào tạo trước bằng hơn 185 ngôn ngữ với sự hỗ trợ cho các khuôn khổ khác nhau. AWS và Khuôn mặt ôm có một quan hệ đối tác điều đó cho phép tích hợp liền mạch thông qua SageMaker với một bộ Bộ chứa AWS Deep Learning (DLC) để đào tạo và suy luận trong PyTorch hoặc TensorFlow, cũng như các công cụ dự đoán và ước tính khuôn mặt ôm cho SageMaker Python SDK. Những khả năng này trong SageMaker giúp các nhà phát triển và nhà khoa học dữ liệu bắt đầu với NLP trên AWS dễ dàng hơn. Xử lý văn bản bằng máy biến áp trong các khuôn khổ học tập sâu như PyTorch thường là một nhiệm vụ phức tạp và tốn thời gian đối với các nhà khoa học dữ liệu, thường dẫn đến sự thất vọng và thiếu hiệu quả khi phát triển các dự án NLP. Sự gia tăng của các cộng đồng AI như Hugging Face, kết hợp với sức mạnh của các dịch vụ ML trên đám mây như SageMaker, đẩy nhanh và đơn giản hóa sự phát triển của các tác vụ xử lý văn bản này. SageMaker giúp bạn xây dựng, đào tạo, triển khai và vận hành các mô hình Khuôn mặt ôm.
Tổng quan về tóm tắt văn bản
Bạn có thể áp dụng tóm tắt văn bản để xác định các câu chính trong một tài liệu hoặc xác định các câu chính trên nhiều tài liệu. Tóm tắt văn bản có thể tạo ra hai loại tóm tắt: chiết xuất và trừu tượng. Tóm tắt trích xuất không chứa bất kỳ văn bản nào do máy tạo ra và là tập hợp các câu quan trọng được chọn từ tài liệu đầu vào. Tóm tắt trừu tượng chứa các cụm từ và câu mới mà con người có thể đọc được do mô hình tóm tắt văn bản tạo ra. Hầu hết các hệ thống tóm tắt văn bản đều dựa trên tóm tắt chiết tách vì khó đạt được việc tóm tắt văn bản trừu tượng chính xác.
Hugging Face có hơn 400 công nghệ tiên tiến được đào tạo trước mô hình tóm tắt văn bản có sẵn, thực hiện các kết hợp khác nhau của các kỹ thuật NLP. Các mô hình này được đào tạo trên các bộ dữ liệu khác nhau, được tải lên và duy trì bởi các công ty công nghệ và các thành viên của cộng đồng Khuôn mặt ôm. Bạn có thể lọc các mô hình theo lượt tải xuống nhiều nhất hoặc thích nhất và tải trực tiếp chúng khi sử dụng đường ống tóm tắt API Máy biến áp mặt ôm. Máy biến áp Mặt ôm đơn giản hóa quy trình triển khai NLP để các mô hình NLP hiệu suất cao có thể được tinh chỉnh để cung cấp tóm tắt văn bản mà không yêu cầu kiến thức vận hành ML sâu rộng.
Các mô hình tóm tắt văn bản bằng Khuôn mặt ôm trên AWS
SageMaker cung cấp cho các nhà phân tích kinh doanh, nhà khoa học dữ liệu và kỹ sư MLOps lựa chọn các công cụ để thiết kế và vận hành khối lượng công việc ML trên AWS. Những công cụ này cung cấp cho bạn việc triển khai và thử nghiệm các mô hình ML nhanh hơn để đạt được kết quả tối ưu của bạn.
Từ Bộ công cụ suy luận khuôn mặt ôm SageMaker, một thư viện mã nguồn mở, chúng tôi phác thảo ba cách khác nhau để triển khai và lưu trữ các mô hình tóm tắt văn bản Hugging Face bằng cách sử dụng sổ tay Jupyter:
- Quy trình tóm tắt khuôn mặt ôm - Tạo một Quy trình tóm tắt khuôn mặt ôm sử dụng "
summarization
”Định danh nhiệm vụ để sử dụng mô hình tóm tắt văn bản mặc định để suy luận trong sổ ghi chép Jupyter của bạn. Các đường ống này trừu tượng hóa mã phức tạp, cung cấp cho những người mới làm quen với ML một API đơn giản để nhanh chóng triển khai tóm tắt văn bản mà không cần định cấu hình điểm cuối suy luận. Quy trình này cũng cho phép người thực hành ML chọn một mô hình cụ thể được đào tạo trước và trình mã hóa liên quan của nó. Tokenizers chuẩn bị văn bản để sẵn sàng làm đầu vào cho mô hình bằng cách tách văn bản thành các từ hoặc từ phụ, sau đó được chuyển đổi thành ID thông qua bảng tra cứu. Để đơn giản, đoạn mã sau cung cấp trường hợp mặc định khi sử dụng đường ống. Các chưng cấtBART-CNN-12-6 mô hình là một trong những mô hình tóm tắt được tải xuống nhiều nhất trên Khuôn mặt ôm và là mô hình mặc định cho quy trình tóm tắt. Dòng cuối cùng gọi mô hình được đào tạo trước để lấy tóm tắt cho văn bản đã truyền với hai đối số được cung cấp. - Điểm cuối SageMaker với mô hình được đào tạo trước - Tạo điểm cuối SageMaker với mô hình được đào tạo trước từ Trung tâm mô hình khuôn mặt ôm và triển khai nó trên một điểm cuối suy luận, chẳng hạn như phiên bản ml.m5.xlarge trong đoạn mã sau. Phương pháp này cho phép những người thực hành ML có kinh nghiệm nhanh chóng chọn các mô hình mã nguồn mở cụ thể, tinh chỉnh chúng và triển khai các mô hình trên các trường hợp suy luận hiệu suất cao.
- Điểm cuối của SageMaker với một mô hình được đào tạo - Tạo điểm cuối mô hình SageMaker với mô hình đã đào tạo được lưu trữ trong Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3) và triển khai nó trên một điểm cuối suy luận. Phương pháp này cho phép những người thực hành ML có kinh nghiệm nhanh chóng triển khai các mô hình của riêng họ được lưu trữ trên Amazon S3 vào các trường hợp suy luận hiệu suất cao. Bản thân mô hình được tải xuống từ Hugging Face và nén, sau đó có thể tải lên Amazon S3. Bước này được minh họa trong đoạn mã sau:
AWS có sẵn một số tài nguyên để hỗ trợ bạn triển khai khối lượng công việc ML của mình. Các Ống kính học máy của Khung kiến trúc AWS tốt đề xuất các phương pháp hay nhất về khối lượng công việc ML, bao gồm tối ưu hóa tài nguyên và giảm chi phí. Các nguyên tắc thiết kế được đề xuất này đảm bảo rằng các khối lượng công việc ML được kiến trúc tốt trên AWS sẽ được triển khai cho quá trình sản xuất. Người đề xuất suy luận của Amazon SageMaker giúp bạn chọn phiên bản phù hợp để triển khai các mô hình ML của mình với hiệu suất và chi phí suy luận tối ưu. Inference Recommender tăng tốc độ triển khai mô hình và giảm thời gian đưa ra thị trường bằng cách tự động kiểm tra tải và tối ưu hóa hiệu suất mô hình trên các phiên bản ML.
Trong các phần tiếp theo, chúng tôi trình bày cách tải một mô hình được đào tạo từ một nhóm S3 và triển khai nó vào một phiên bản suy luận phù hợp.
Điều kiện tiên quyết
Đối với hướng dẫn này, bạn nên có các điều kiện tiên quyết sau:
- An Tài khoản AWS.
- Một máy tính xách tay Jupyter bên trong Xưởng sản xuất Amazon SageMaker hoặc phiên bản sổ ghi chép SageMaker. Trong bài đăng này, chúng tôi sử dụng hình ảnh “Python 3 (PyTorch 1.4 Python 3.6 CPU Optimized)” với các đoạn mã được cung cấp, nhưng bạn có thể sử dụng bất kỳ hình ảnh PyTorch phiên bản cao hơn nào khác từ hạt nhân SageMaker có sẵn.
- Tập dữ liệu trong bộ chứa S3 của bạn, chẳng hạn như WikiText-2 tập dữ liệu từ Đăng ký dữ liệu mở trên AWS.
Tải mô hình Khuôn mặt ôm vào SageMaker để có suy luận tóm tắt văn bản
Sử dụng mã sau để tải xuống mô hình tóm tắt văn bản được đào tạo trước bằng Khuôn mặt ôm chưng cấtBART-CNN-12-6 và tokenizer của nó, và lưu chúng cục bộ trong SageMaker vào thư mục sổ ghi chép Jupyter của bạn:
Nén mô hình tóm tắt văn bản đã lưu và trình mã hóa của nó thành định dạng tar.gz và tải cấu phần mô hình đã nén lên nhóm S3:
Chọn một hình ảnh vùng chứa suy luận Docker để thực hiện suy luận tóm tắt văn bản. Xác định hệ điều hành Linux, khuôn khổ PyTorch và phiên bản Máy biến áp khuôn mặt ôm và chỉ định Đám mây điện toán đàn hồi Amazon (Amazon EC2) loại phiên bản để chạy vùng chứa.
Hình ảnh Docker có sẵn trong Đăng ký container đàn hồi Amazon (Amazon ECR) của cùng một tài khoản AWS và liên kết cho hình ảnh vùng chứa đó được trả về dưới dạng URI.
Xác định mô hình tóm tắt văn bản sẽ được triển khai bởi hình ảnh vùng chứa đã chọn thực hiện suy luận. Trong đoạn mã sau, mô hình nén được tải lên Amazon S3 được triển khai:
Kiểm tra mô hình tóm tắt văn bản đã triển khai trên một đầu vào mẫu:
Sử dụng Đề xuất suy luận để đánh giá phiên bản EC2 tối ưu cho nhiệm vụ suy luận
Tiếp theo, tạo nhiều mẫu trọng tải của văn bản đầu vào ở định dạng JSON và nén chúng thành một tệp trọng tải duy nhất. Các mẫu tải trọng này được Đề xuất suy luận sử dụng để so sánh hiệu suất suy luận giữa các loại cá thể EC2 khác nhau. Mỗi trọng tải mẫu phải khớp với định dạng JSON được hiển thị trước đó. Bạn có thể lấy các ví dụ từ WikiText-2 tập dữ liệu được quản lý bởi fast.ai, có sẵn tại Đăng ký dữ liệu mở trên AWS.
Tải lên cấu phần mô hình tóm tắt văn bản đã nén và tệp trọng tải mẫu đã nén vào nhóm S3. Chúng tôi đã tải lên mô hình ở một bước trước đó, nhưng để rõ ràng, chúng tôi bao gồm mã để tải lên lại:
Xem lại danh sách các mô hình ML tiêu chuẩn có sẵn trên SageMaker qua vườn thú mô hình chung, chẳng hạn như NLP và thị giác máy tính. Chọn một mô hình NLP để thực hiện suy luận tóm tắt văn bản:
Ví dụ sau sử dụng bert-base-cased
Mô hình NLP. Đăng ký mô hình tóm tắt văn bản vào Đăng ký mô hình SageMaker với miền, khung và nhiệm vụ được xác định chính xác từ bước trước. Các thông số cho ví dụ này được hiển thị ở đầu đoạn mã sau.
Lưu ý phạm vi của các loại phiên bản EC2 sẽ được đánh giá bởi Inference Recommender trong SupportedRealtimeInferenceInstanceTypes
trong đoạn mã sau. Đảm bảo rằng giới hạn dịch vụ cho tài khoản AWS cho phép triển khai các loại nút suy luận này.
Tạo một công việc mặc định của Inference Recommender bằng cách sử dụng ModelPackageVersion
kết quả từ bước trước. Các uuid
Thư viện Python được sử dụng để tạo một tên duy nhất cho công việc.
Bạn có thể nhận được trạng thái của công việc Người đề xuất suy luận bằng cách chạy mã sau:
Khi trạng thái công việc là COMPLETED
, so sánh độ trễ suy luận, thời gian chạy và các chỉ số khác của các loại phiên bản EC2 được đánh giá bởi công việc mặc định của Bộ đề xuất suy luận. Chọn loại nút phù hợp dựa trên yêu cầu trường hợp sử dụng của bạn.
Kết luận
SageMaker cung cấp nhiều cách để sử dụng các mô hình Khuôn mặt ôm; để biết thêm ví dụ, hãy xem AWS Mẫu GitHub. Tùy thuộc vào mức độ phức tạp của trường hợp sử dụng và nhu cầu tinh chỉnh mô hình, bạn có thể chọn cách tối ưu để sử dụng các mô hình này. Đường ống Mặt ôm có thể là một điểm khởi đầu tốt để nhanh chóng thử nghiệm và lựa chọn các mô hình phù hợp. Khi bạn cần tùy chỉnh và tham số hóa các mô hình đã chọn, bạn có thể tải xuống các mô hình và triển khai chúng tới các điểm cuối suy luận tùy chỉnh. Để tinh chỉnh mô hình nhiều hơn cho một trường hợp sử dụng cụ thể, bạn sẽ cần đào tạo mô hình sau khi tải xuống.
Các mô hình NLP nói chung, bao gồm cả các mô hình tóm tắt văn bản, hoạt động tốt hơn sau khi được đào tạo về tập dữ liệu cụ thể cho trường hợp sử dụng. Các MLOP và các tính năng giám sát mô hình của SageMaker đảm bảo rằng mô hình đã triển khai tiếp tục hoạt động như mong đợi. Trong bài đăng này, chúng tôi đã sử dụng Inference Recommender để đánh giá loại phiên bản phù hợp nhất để triển khai mô hình tóm tắt văn bản. Những đề xuất này có thể tối ưu hóa hiệu suất và chi phí cho trường hợp sử dụng ML của bạn.
Về các tác giả
Tiến sĩ Nidal AlBeiruti là Kiến trúc sư giải pháp cao cấp tại Amazon Web Services, có niềm đam mê với các giải pháp máy học. Nidal có hơn 25 năm kinh nghiệm làm việc trong nhiều vai trò CNTT toàn cầu ở các cấp và ngành dọc khác nhau. Nidal đóng vai trò là cố vấn đáng tin cậy cho nhiều khách hàng AWS để hỗ trợ và đẩy nhanh hành trình áp dụng đám mây của họ.
Darren Ko là một Kiến trúc sư Giải pháp có trụ sở tại Luân Đôn. Ông tư vấn cho các khách hàng SMB của Vương quốc Anh và Ireland về cách sắp xếp lại và đổi mới trên đám mây. Darren quan tâm đến các ứng dụng được xây dựng bằng kiến trúc không máy chủ và anh ấy đam mê giải quyết các thách thức về tính bền vững bằng học máy.
- Coinsmart. Sàn giao dịch Bitcoin và tiền điện tử tốt nhất Châu Âu.
- Platoblockchain. Web3 Metaverse Intelligence. Khuếch đại kiến thức. TRUY CẬP MIỄN PHÍ.
- CryptoHawk. Radar Altcoin. Dùng thử miễn phí.
- Nguồn: https://aws.amazon.com/blogs/machine-learning/text-summarization-with-amazon-sagemaker-and-hugging-face/
- '
- "
- 000
- 10
- 100
- 28
- a
- Giới thiệu
- TÓM TẮT
- đẩy nhanh tiến độ
- Tài khoản
- chính xác
- Đạt được
- ngang qua
- địa chỉ
- Nhận con nuôi
- cố vấn
- AI
- cho phép
- đàn bà gan dạ
- Amazon Web Services
- số lượng
- phân tích
- api
- Apple
- các ứng dụng
- Đăng Nhập
- đối số
- bài viết
- liên kết
- tự động hóa
- có sẵn
- trao
- AWS
- bởi vì
- Bắt đầu
- được
- BEST
- thực hành tốt nhất
- giữa
- xây dựng
- kinh doanh
- cuộc gọi
- Có thể có được
- khả năng
- trường hợp
- trường hợp
- thách thức
- sự lựa chọn
- tốt nghiệp lớp XNUMX
- phân loại
- đám mây
- mã
- bộ sưu tập
- kết hợp
- kết hợp
- Cộng đồng
- cộng đồng
- Các công ty
- phức tạp
- Tính
- máy tính
- Cấu hình
- Người tiêu dùng
- tiêu thụ
- Container
- Container
- liên tiếp
- tạo
- tạo ra
- khách hàng
- khách hàng
- tùy chỉnh
- dữ liệu
- ngày
- sâu
- giao hàng
- chứng minh
- chứng minh
- Tùy
- triển khai
- triển khai
- triển khai
- triển khai
- Thiết kế
- phát triển
- phát triển
- Phát triển
- khác nhau
- khó khăn
- kỹ thuật số
- trực tiếp
- Giao diện
- phu bến tàu
- Bác sĩ
- tài liệu
- miền
- lĩnh vực
- tải về
- mỗi
- dễ dàng
- Hiệu quả
- hiệu quả
- cho phép
- Điểm cuối
- Kỹ sư
- thực thể
- Môi trường
- đánh giá
- ví dụ
- ví dụ
- Mở rộng
- mong đợi
- kinh nghiệm
- kinh nghiệm
- thử nghiệm
- mở rộng
- Đối mặt
- NHANH
- nhanh hơn
- Tính năng
- tiếp theo
- định dạng
- Khung
- khung
- từ
- Tổng Quát
- tạo ra
- tạo ra
- Toàn cầu
- tốt
- Phát triển
- giúp đỡ
- hữu ích
- giúp
- cao hơn
- Độ đáng tin của
- Hướng dẫn
- HTTPS
- Hub
- người có thể đọc được
- xác định
- hình ảnh
- thực hiện
- thực hiện
- thực hiện
- quan trọng
- bao gồm
- Bao gồm
- thông tin
- đổi mới
- đầu vào
- những hiểu biết
- ví dụ
- tích hợp
- hội nhập
- quan tâm
- ireland
- IT
- chính nó
- Việc làm
- cuộc hành trình
- Key
- kiến thức
- Ngôn ngữ
- Ngôn ngữ
- lớn
- hàng đầu
- học tập
- niveaux
- Thư viện
- giới hạn
- Dòng
- LINK
- linux
- Danh sách
- tải
- tại địa phương
- London
- tra cứu
- máy
- học máy
- làm cho
- thị trường
- Trận đấu
- có ý nghĩa
- các cuộc họp
- Các thành viên
- Metrics
- ML
- kiểu mẫu
- mô hình
- giám sát
- chi tiết
- hầu hết
- nhiều
- Tự nhiên
- tiếp theo
- các nút
- máy tính xách tay
- Chú ý
- cung cấp
- Cung cấp
- Trực tuyến
- mở
- hoạt động
- hoạt động
- Tối ưu hóa
- tối ưu hóa
- tối ưu hóa
- Nền tảng khác
- riêng
- niềm đam mê
- đam mê
- hiệu suất
- biểu diễn
- cụm từ
- Điểm
- Phổ biến
- quyền lực
- Chuẩn bị
- trước
- quá trình
- xử lý
- sản xuất
- Sản lượng
- Sản phẩm
- dự án
- cho
- cung cấp
- cung cấp
- Mau
- phạm vi
- đề nghị
- giảm
- khu
- ghi danh
- yêu cầu
- yêu cầu
- Yêu cầu
- Thông tin
- kết quả
- Vai trò
- chạy
- chạy
- tương tự
- Quy mô
- các nhà khoa học
- sdk
- liền mạch
- chọn
- tình cảm
- Không có máy chủ
- DỊCH VỤ
- định
- một số
- thể hiện
- Đơn giản
- duy nhất
- So
- Giải pháp
- riêng
- tốc độ
- Tiêu chuẩn
- bắt đầu
- nhà nước-of-the-art
- Trạng thái
- là gắn
- hỗ trợ
- Tính bền vững
- hệ thống
- nhiệm vụ
- kỹ thuật
- Công nghệ
- Kiểm tra
- Sản phẩm
- số ba
- Thông qua
- thời gian
- mất thời gian
- công cụ
- chủ đề
- Hội thảo
- Dịch
- đáng tin cậy
- loại
- thường
- Uk
- Dưới
- hiểu
- sự hiểu biết
- độc đáo
- sử dụng
- nhiều
- khác nhau
- phiên bản
- ngành dọc
- tầm nhìn
- khối lượng
- cách
- web
- các dịch vụ web
- ở trong
- không có
- từ
- đang làm việc
- X
- năm
- trên màn hình