Xu hướng công nghệ và tiến bộ trong phương tiện truyền thông kỹ thuật số trong khoảng một thập kỷ qua đã dẫn đến sự gia tăng nhanh chóng của dữ liệu dựa trên văn bản. Lợi ích tiềm tàng của việc khai thác văn bản này để rút ra những hiểu biết sâu sắc, cả về chiến thuật và chiến lược, là rất lớn. Điều này được gọi là xử lý ngôn ngữ tự nhiên (NLP). Ví dụ: bạn có thể sử dụng NLP để phân tích đánh giá sản phẩm của mình theo cảm tính của khách hàng, đào tạo mô hình nhận dạng thực thể tùy chỉnh để xác định loại sản phẩm được quan tâm dựa trên nhận xét của khách hàng hoặc đào tạo mô hình phân loại văn bản tùy chỉnh để xác định các danh mục sản phẩm phổ biến nhất.
Amazon hiểu là một dịch vụ NLP với trí thông minh được tạo sẵn để rút ra những hiểu biết sâu sắc về nội dung của tài liệu. Nó phát triển những hiểu biết sâu sắc bằng cách nhận dạng các thực thể, cụm từ khóa, ngôn ngữ, tình cảm và các yếu tố phổ biến khác trong tài liệu. Amazon Comprehend Custom sử dụng máy học tự động (Auto ML) để thay mặt bạn xây dựng mô hình NLP bằng dữ liệu của riêng bạn. Điều này cho phép bạn phát hiện các thực thể duy nhất cho doanh nghiệp của bạn hoặc phân loại văn bản hoặc tài liệu theo yêu cầu của bạn. Ngoài ra, bạn có thể tự động hóa toàn bộ quy trình làm việc NLP của mình bằng các API dễ sử dụng.
Hôm nay, chúng tôi vui mừng thông báo ra mắt tính năng sao chép mô hình tùy chỉnh Amazon Comprehend, cho phép bạn tự động sao chép các mô hình tùy chỉnh Amazon Comprehend từ tài khoản nguồn sang các tài khoản mục tiêu được chỉ định trong cùng Khu vực mà không yêu cầu quyền truy cập vào tập dữ liệu mà mô hình đó đã được đào tạo và đánh giá. Bắt đầu từ hôm nay, bạn có thể sử dụng Bảng điều khiển quản lý AWS, Giao diện dòng lệnh AWS (AWS CLI) hoặc API boto3 (Python SDK dành cho AWS) để sao chép các mô hình tùy chỉnh đã được đào tạo từ tài khoản nguồn sang tài khoản đích được chỉ định. Tính năng mới này có sẵn cho cả mô hình phân loại tùy chỉnh và nhận dạng thực thể tùy chỉnh của Amazon Comprehend.
Lợi ích của tính năng sao chép mô hình
Tính năng mới này có những lợi ích sau:
- Chiến lược MLOps nhiều tài khoản – Đào tạo mô hình một lần và đảm bảo triển khai có thể dự đoán được trong nhiều môi trường ở các tài khoản khác nhau.
- Triển khai nhanh hơn – Bạn có thể nhanh chóng sao chép mô hình đã đào tạo giữa các tài khoản, tránh mất thời gian đào tạo lại ở mọi tài khoản.
- Bảo vệ tập dữ liệu nhạy cảm – Bây giờ bạn không cần phải chia sẻ tập dữ liệu giữa các tài khoản hoặc người dùng khác nhau nữa. Dữ liệu đào tạo chỉ cần có sẵn trên tài khoản nơi đào tạo được thực hiện. Điều này rất quan trọng đối với một số ngành như dịch vụ tài chính, nơi việc cách ly dữ liệu và hộp cát là cần thiết để đáp ứng các yêu cầu quy định.
- Cộng tác dễ dàng – Giờ đây, các đối tác hoặc nhà cung cấp có thể dễ dàng đào tạo về Amazon Comprehend Custom và chia sẻ mô hình với khách hàng của họ.
Cách sao chép mô hình hoạt động
Với tính năng sao chép mô hình mới, bạn có thể sao chép các mô hình tùy chỉnh giữa các tài khoản AWS trong cùng Khu vực theo quy trình hai giai đoạn. Đầu tiên, người dùng trong một tài khoản AWS (tài khoản A), chia sẻ mô hình tùy chỉnh có trong tài khoản của họ. Sau đó, người dùng trong tài khoản AWS khác (tài khoản B) sẽ nhập mô hình vào tài khoản của họ.
Chia sẻ một mô hình
Để chia sẻ mô hình tùy chỉnh trong tài khoản A, người dùng đính kèm một Quản lý truy cập và nhận dạng AWS (IAM) sang phiên bản mô hình. Chính sách này ủy quyền cho một thực thể trong tài khoản B, chẳng hạn như người dùng hoặc vai trò IAM, nhập phiên bản mô hình vào Amazon Comprehend trong tài khoản AWS của họ. Bạn có thể định cấu hình chính sách dựa trên tài nguyên thông qua bảng điều khiển hoặc bằng tùy chỉnh Amazon Comprehend PutResourcePolicy
API.
Nhập mô hình
Để nhập mô hình vào tài khoản B, người dùng tài khoản này cung cấp cho Amazon Comprehend các thông tin chi tiết cần thiết, chẳng hạn như Tên tài nguyên Amazon (ARN) của mô hình. Khi họ nhập mô hình, người dùng này sẽ tạo một mô hình tùy chỉnh mới trong tài khoản AWS của họ để sao chép mô hình mà họ đã nhập. Mô hình này đã được đào tạo đầy đủ và sẵn sàng cho các công việc suy luận, chẳng hạn như phân loại tài liệu hoặc nhận dạng thực thể được đặt tên. Nếu mô hình được mã hóa bằng Dịch vụ quản lý khóa AWS (AWS KMS) trong nguồn thì vai trò dịch vụ được chỉ định trong khi nhập mô hình cần có quyền truy cập vào khóa KMS để giải mã mô hình trong quá trình nhập. Tài khoản mục tiêu cũng có thể chỉ định khóa KMS để mã hóa mô hình trong quá trình nhập. Việc nhập mô hình chia sẻ cũng có sẵn trên bảng điều khiển và dưới dạng API.
Tổng quan về giải pháp
Để minh họa chức năng của tính năng sao chép mô hình, chúng tôi sẽ hướng dẫn bạn cách đào tạo, chia sẻ và nhập mô hình nhận dạng thực thể tùy chỉnh Amazon Comprehend bằng cả bảng điều khiển Amazon Comprehend và AWS CLI. Đối với phần trình diễn này, chúng tôi sử dụng hai tài khoản khác nhau. Các bước này cũng có thể áp dụng cho phân loại tùy chỉnh của Amazon Comprehend. Các bước cần thiết như sau:
- Huấn luyện mô hình nhận dạng thực thể tùy chỉnh Amazon Comprehend trong tài khoản nguồn.
- Xác định chính sách tài nguyên IAM cho mô hình được đào tạo để cho phép truy cập nhiều tài khoản.
- Sao chép mô hình được đào tạo từ tài khoản nguồn sang tài khoản đích.
- Kiểm tra mô hình được sao chép thông qua một công việc hàng loạt.
Huấn luyện mô hình nhận dạng thực thể tùy chỉnh Amazon Comprehend trong tài khoản nguồn
Bước đầu tiên là đào tạo mô hình nhận dạng thực thể tùy chỉnh Amazon Comprehend trong tài khoản nguồn. Là tập dữ liệu đầu vào cho quá trình đào tạo, chúng tôi sử dụng CSV danh sách thực thể và tài liệu đào tạo để nhận biết các dịch vụ AWS cung cấp trong một tài liệu nhất định. Đảm bảo rằng danh sách thực thể và tài liệu đào tạo ở dạng Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3) trong tài khoản nguồn. Để biết hướng dẫn, xem Thêm tài liệu vào Amazon S3.
Tạo vai trò IAM cho Amazon Comprehend và cung cấp quyền truy cập cần thiết vào bộ chứa S3 cùng với dữ liệu đào tạo. Lưu ý vai trò của đường dẫn nhóm ARN và S3 để sử dụng trong các bước sau.
Huấn luyện mô hình bằng AWS CLI
Tạo trình nhận dạng thực thể bằng lệnh AWS CLI sau. Thay thế các tham số của bạn cho đường dẫn S3, vai trò IAM và Khu vực. Phản hồi trả về EntityRecognizerArn
.
Trạng thái của công việc đào tạo có thể được theo dõi bằng cách gọi trình nhận dạng thực thể mô tả và kiểm tra Trạng thái trong phản hồi.
Huấn luyện mô hình thông qua bảng điều khiển
Để huấn luyện một mô hình thông qua bảng điều khiển, hãy hoàn thành các bước sau:
- Trên bảng điều khiển Toàn diện Amazon, dưới Tùy biến, tạo một mô hình nhận dạng thực thể tùy chỉnh mới.
- Cung cấp tên model và phiên bản.
- Trong Ngôn ngữ, chọn tiếng anh.
- Trong Loại thực thể tùy chỉnh, thêm vào
AWS_OFFERING
.
Để huấn luyện mô hình nhận dạng thực thể tùy chỉnh, bạn có thể chọn một trong hai cách cung cấp dữ liệu cho Amazon Comprehend: chú thích or danh sách thực thể. Để đơn giản, hãy sử dụng phương pháp danh sách thực thể.
- Trong Định dạng dữ liệu, lựa chọn Tệp CSV.
- Trong Loại hình đào tạo, lựa chọn Sử dụng danh sách thực thể và tài liệu đào tạo.
- Cung cấp đường dẫn vị trí S3 cho CSV danh sách thực thể và dữ liệu đào tạo.
- Để cấp quyền cho Amazon Comprehend truy cập bộ chứa S3 của bạn, hãy tạo vai trò liên kết dịch vụ IAM.
Trong tạp chí Chính sách dựa trên tài nguyên phần này, bạn có thể cấp quyền truy cập cho phiên bản mô hình. Các tài khoản bạn cấp quyền truy cập có thể nhập mô hình này vào tài khoản của họ. Hiện tại, chúng tôi bỏ qua bước này và thêm chính sách sau khi mô hình được đào tạo và chúng tôi hài lòng với hiệu suất của mô hình.
- Chọn Tạo.
Điều này sẽ gửi trình nhận dạng thực thể tùy chỉnh của bạn, trải qua một số mô hình, điều chỉnh siêu tham số của bạn và kiểm tra xác thực chéo để đảm bảo rằng mô hình của bạn mạnh mẽ. Đây đều là những hoạt động giống nhau mà các nhà khoa học dữ liệu thực hiện.
Xác định chính sách tài nguyên IAM cho mô hình được đào tạo để cho phép truy cập nhiều tài khoản
Khi hài lòng với hiệu suất đào tạo, chúng tôi có thể tiếp tục và chia sẻ phiên bản mô hình cụ thể bằng cách thêm chính sách tài nguyên.
Thêm chính sách dựa trên tài nguyên từ AWS CLI
Cho phép nhập mô hình từ tài khoản đích bằng cách thêm chính sách tài nguyên trên mô hình, như minh họa trong đoạn mã sau. Chính sách có thể được xác định phạm vi chặt chẽ đối với một phiên bản mô hình cụ thể và mục tiêu chính. Thay thế ARN nhận dạng thực thể đã được đào tạo và tài khoản mục tiêu của bạn để cấp quyền truy cập.
Thêm chính sách dựa trên tài nguyên thông qua bảng điều khiển
Khi quá trình đào tạo hoàn tất, một phiên bản mô hình nhận dạng thực thể tùy chỉnh sẽ được tạo. Chúng ta có thể chọn mô hình và phiên bản được đào tạo để xem chi tiết đào tạo, bao gồm cả hiệu suất của mô hình được đào tạo.
Để cập nhật chính sách, hãy hoàn thành các bước sau:
- trên Thẻ, VPC & Chính sách tab, chỉnh sửa chính sách dựa trên tài nguyên.
- Cung cấp tên chính sách, dịch vụ chính của Amazon Comprehend (
comprehend.amazonaws.com
), ID tài khoản đích và người dùng IAM trong tài khoản đích được ủy quyền nhập phiên bản mô hình.
Chúng tôi chỉ định root
với tư cách là thực thể IAM ủy quyền cho tất cả người dùng trong tài khoản đích.
Sao chép mô hình được đào tạo từ tài khoản nguồn sang tài khoản đích
Bây giờ mô hình đã được đào tạo và chia sẻ từ tài khoản nguồn. Người dùng tài khoản mục tiêu được ủy quyền có thể nhập mô hình và tạo bản sao của mô hình trong tài khoản của chính họ.
Để nhập mô hình, bạn cần chỉ định ARN của mô hình nguồn và vai trò dịch vụ để Amazon Comprehend thực hiện hành động sao chép trên tài khoản của mình. Bạn có thể chỉ định ID AWS KMS tùy chọn để mã hóa mô hình trong tài khoản đích của mình.
Nhập mô hình thông qua AWS CLI
Để nhập mô hình của bạn bằng AWS CLI, hãy nhập mã sau:
Nhập mô hình qua bảng điều khiển
Để nhập mô hình qua bảng điều khiển, hãy hoàn thành các bước sau:
- Trên bảng điều khiển Toàn diện Amazon, dưới Nhận dạng thực thể tùy chỉnh, chọn Phiên bản nhập khẩu.
- Trong Phiên bản mẫu ARN, hãy nhập ARN cho mô hình được đào tạo trong tài khoản nguồn.
- Nhập tên model và phiên bản cho mục tiêu.
- Cung cấp vai trò tài khoản dịch vụ và chọn Xác nhận để bắt đầu quá trình nhập mô hình.
Sau khi trạng thái mô hình thay đổi thành Imported
, chúng ta có thể xem chi tiết mô hình, bao gồm chi tiết hiệu suất của mô hình được đào tạo.
Kiểm tra mô hình được sao chép thông qua một công việc hàng loạt
Chúng tôi kiểm tra mô hình đã sao chép trong tài khoản đích bằng cách phát hiện các thực thể tùy chỉnh bằng tác vụ hàng loạt. Để kiểm tra mô hình, hãy tải xuống tập tin kiểm tra và đặt nó vào vùng lưu trữ S3 trong tài khoản mục tiêu của bạn. Tạo vai trò IAM cho Amazon Comprehend và cung cấp quyền truy cập cần thiết vào bộ chứa S3 cùng với dữ liệu thử nghiệm. Bạn sử dụng vai trò đường dẫn nhóm ARN và S3 mà bạn đã lưu ý trước đó.
Khi công việc hoàn tất, bạn có thể xác minh dữ liệu suy luận trong nhóm S3 đầu ra được chỉ định.
Kiểm tra mô hình bằng AWS CLI
Để kiểm tra mô hình bằng AWS CLI, hãy nhập mã sau:
Kiểm tra mô hình thông qua bảng điều khiển
Để kiểm tra mô hình thông qua bảng điều khiển, hãy hoàn thành các bước sau:
- Trên bảng điều khiển Hiểu toàn diện của Amazon, chọn Công việc phân tích Và chọn Tạo việc làm.
- Trong Họ tên, nhập tên cho công việc.
- Trong Loại phân tíchchọn Nhận dạng thực thể tùy chỉnh.
- Chọn tên model và phiên bản của model đã nhập.
- Cung cấp đường dẫn S3 cho tệp kiểm tra cho công việc và vị trí đầu ra nơi Amazon Comprehend lưu trữ kết quả.
- Chọn hoặc tạo vai trò IAM với quyền truy cập vào nhóm S3.
- Chọn Tạo việc làm.
Khi công việc phân tích của bạn hoàn tất, bạn có các tệp JSON trong đường dẫn bộ chứa S3 đầu ra. Bạn có thể tải xuống tệp này để xác minh kết quả nhận dạng thực thể từ mô hình đã nhập.
Kết luận
Trong bài đăng này, chúng tôi đã trình diễn tính năng sao chép mô hình thực thể tùy chỉnh của Amazon Comprehend. Tính năng này cung cấp cho bạn khả năng huấn luyện mô hình phân loại hoặc nhận dạng thực thể tùy chỉnh Amazon Comprehend trong một tài khoản, sau đó chia sẻ mô hình đó với một tài khoản khác trong cùng Khu vực. Điều này giúp đơn giản hóa chiến lược nhiều tài khoản trong đó mô hình có thể được đào tạo một lần và chia sẻ giữa các tài khoản trong cùng Khu vực mà không cần phải đào tạo lại hoặc chia sẻ tập dữ liệu đào tạo. Điều này cho phép triển khai có thể dự đoán được trong mọi tài khoản như một phần của quy trình làm việc MLOps của bạn. Để biết thêm thông tin, hãy xem tài liệu của chúng tôi về Hiểu bản sao tùy chỉnhhoặc thử xem hướng dẫn trong bài đăng này thông qua bảng điều khiển hoặc sử dụng cloud shell với AWS CLI.
Tính đến thời điểm viết bài này, tính năng sao chép mô hình trong Amazon Comprehend khả dụng ở các Khu vực sau:
- Đông Mỹ (Ohio)
- Đông Mỹ (N. Virginia)
- Tây Mỹ (Oregon)
- Châu Á Thái Bình Dương (Mumbai)
- Châu Á Thái Bình Dương (Seoul)
- Châu Á Thái Bình Dương (Singapore)
- Châu Á Thái Bình Dương (Sydney)
- Châu Á Thái Bình Dương (Tokyo)
- EU (Frankfurt)
- EU (Ailen)
- EU (Luân Đôn)
- AWS GovCloud (Miền Tây Hoa Kỳ)
Hãy dùng thử tính năng này và vui lòng gửi phản hồi cho chúng tôi qua Diễn đàn AWS cho Amazon Computing hoặc thông qua các liên hệ hỗ trợ AWS thông thường của bạn.
Về các tác giả
Premkumar Rangarajan là kiến trúc sư giải pháp chuyên môn về AI/ML tại Amazon Web Services và trước đây là tác giả của cuốn sách Xử lý ngôn ngữ tự nhiên với các dịch vụ AI của AWS. Ông có 26 năm kinh nghiệm trong ngành CNTT với nhiều vai trò khác nhau, bao gồm trưởng nhóm phân phối, chuyên gia tích hợp và kiến trúc sư doanh nghiệp. Anh ấy giúp các doanh nghiệp thuộc mọi quy mô áp dụng AI và ML để giải quyết những thách thức trong thế giới thực của họ.
Chethan Krishna là Kiến trúc sư giải pháp đối tác cấp cao ở Ấn Độ. Anh làm việc với các Đối tác chiến lược của AWS để thiết lập năng lực đám mây mạnh mẽ, áp dụng các biện pháp thực hành tốt nhất của AWS và giải quyết các thách thức của khách hàng. Anh ấy là một người xây dựng và thích thử nghiệm AI/ML, IoT và phân tích.
Sriharsha MS là kiến trúc sư giải pháp chuyên gia AI/ML trong nhóm Chuyên gia chiến lược tại Amazon Web Services. Anh làm việc với các khách hàng chiến lược của AWS, những người đang tận dụng AI/ML để giải quyết các vấn đề kinh doanh phức tạp. Ông cung cấp hướng dẫn kỹ thuật và tư vấn thiết kế để triển khai các ứng dụng AI/ML trên quy mô lớn. Chuyên môn của ông bao gồm kiến trúc ứng dụng, dữ liệu lớn, phân tích và học máy.
- Coinsmart. Sàn giao dịch Bitcoin và tiền điện tử tốt nhất Châu Âu.
- Platoblockchain. Web3 Metaverse Intelligence. Khuếch đại kiến thức. TRUY CẬP MIỄN PHÍ.
- CryptoHawk. Radar Altcoin. Dùng thử miễn phí.
- Nguồn: https://aws.amazon.com/blogs/machine-learning/announce-the-launch-of-the-model-copy-feature-for-amazon-comprehend-custom-models/
- "
- &
- 100
- 9
- Giới thiệu
- truy cập
- Tài khoản
- Hoạt động
- hoạt động
- tiến bộ
- Lợi thế
- tư vấn
- AI
- Dịch vụ AI
- Tất cả
- đàn bà gan dạ
- Amazon Web Services
- phân tích
- phân tích
- Thông báo
- Thông báo
- Một
- api
- API
- áp dụng
- Các Ứng Dụng
- các ứng dụng
- kiến trúc
- tự động
- có sẵn
- AWS
- Lợi ích
- BEST
- thực hành tốt nhất
- biên giới
- xây dựng
- xây dựng
- kinh doanh
- thách thức
- kiểm tra
- Séc
- phân loại
- đám mây
- mã
- Bình luận
- Chung
- phức tạp
- An ủi
- nội dung
- khách hàng
- dữ liệu
- thập kỷ
- giao hàng
- triển khai
- Thiết kế
- khác nhau
- kỹ thuật số
- tài liệu
- dễ dàng
- hiệu lực
- to lớn
- Doanh nghiệp
- thiết yếu
- ví dụ
- kinh nghiệm
- chuyên môn
- Đặc tính
- thông tin phản hồi
- tài chính
- dịch vụ tài chính
- Tên
- tiếp theo
- chức năng
- vui mừng
- có
- giúp
- Độ đáng tin của
- Hướng dẫn
- HTTPS
- xác định
- Bản sắc
- thực hiện
- quan trọng
- nhập khẩu
- Bao gồm
- Ấn Độ
- các ngành công nghiệp
- ngành công nghiệp
- thông tin
- những hiểu biết
- hội nhập
- Sự thông minh
- quan tâm
- iốt
- ireland
- cô lập
- IT
- Việc làm
- việc làm
- Key
- Ngôn ngữ
- phóng
- dẫn
- học tập
- Dòng
- Danh sách
- địa điểm thư viện nào
- London
- máy
- học máy
- quản lý
- Phương tiện truyền thông
- Khai thác mỏ
- ML
- kiểu mẫu
- mô hình
- hầu hết
- Phổ biến nhất
- Mumbai
- Tự nhiên
- Cung cấp
- Ohio
- gọi món
- Oregon
- Nền tảng khác
- Hòa bình
- đối tác
- Đối tác
- hiệu suất
- cụm từ
- điều luật
- Phổ biến
- Hiệu trưởng
- vấn đề
- quá trình
- Sản phẩm
- cho
- cung cấp
- Mau
- nhà quản lý
- cần phải
- Yêu cầu
- tài nguyên
- phản ứng
- Kết quả
- Trả về
- Đánh giá
- Quy mô
- các nhà khoa học
- sdk
- Seoul
- dịch vụ
- DỊCH VỤ
- Chia sẻ
- chia sẻ
- cổ phiếu
- Shell
- Đơn giản
- Singapore
- So
- Giải pháp
- động SOLVE
- Bắt đầu
- Tuyên bố
- Trạng thái
- là gắn
- cửa hàng
- Chiến lược
- Chiến lược
- hỗ trợ
- sydney
- Mục tiêu
- nhóm
- Kỹ thuật
- thử nghiệm
- Nguồn
- Thông qua
- thời gian
- bây giờ
- tokyo
- Hội thảo
- Xu hướng
- độc đáo
- Cập nhật
- us
- sử dụng
- Người sử dụng
- nhà cung cấp
- Xem
- virginia
- web
- các dịch vụ web
- hướng Tây
- CHÚNG TÔI LÀ
- ở trong
- không có
- công trinh
- viết
- năm