Đơn giản hóa việc truy cập thông tin nội bộ bằng cách sử dụng Đại lý LangChain và Thế hệ tăng cường truy xuất | Dịch vụ web của Amazon

Bài đăng này sẽ giúp bạn vượt qua những thách thức phổ biến nhất mà khách hàng gặp phải khi tìm kiếm tài liệu nội bộ và cung cấp cho bạn hướng dẫn cụ thể về cách sử dụng dịch vụ AWS để tạo bot đàm thoại AI tổng hợp giúp thông tin nội bộ trở nên hữu ích hơn.

Dữ liệu phi cấu trúc chiếm 80% tổng số dữ liệu được tìm thấy trong các tổ chức, bao gồm các kho hướng dẫn sử dụng, tệp PDF, Câu hỏi thường gặp, email và các tài liệu khác phát triển hàng ngày. Các doanh nghiệp ngày nay dựa vào kho thông tin nội bộ ngày càng tăng và các vấn đề phát sinh khi lượng dữ liệu phi cấu trúc trở nên không thể quản lý được. Thông thường, người dùng sẽ đọc và kiểm tra nhiều nguồn nội bộ khác nhau để tìm ra câu trả lời mình cần.

Diễn đàn hỏi đáp nội bộ có thể giúp người dùng nhận được câu trả lời rất cụ thể nhưng cũng yêu cầu thời gian chờ đợi lâu hơn. Trong trường hợp Câu hỏi thường gặp nội bộ dành riêng cho công ty, thời gian chờ đợi lâu sẽ dẫn đến năng suất của nhân viên thấp hơn. Diễn đàn hỏi đáp rất khó mở rộng quy mô vì chúng dựa vào các câu trả lời được viết thủ công. Với AI tổng quát, hiện đang có sự thay đổi mô hình trong cách người dùng tìm kiếm thông tin. Bước hợp lý tiếp theo là sử dụng AI tổng hợp để thu gọn các tài liệu lớn thành thông tin có kích thước nhỏ hơn để người dùng dễ dàng sử dụng hơn. Thay vì mất nhiều thời gian để đọc văn bản hoặc chờ câu trả lời, người dùng có thể tạo bản tóm tắt theo thời gian thực dựa trên nhiều kho thông tin nội bộ hiện có.

Tổng quan về giải pháp

Giải pháp này cho phép khách hàng truy xuất các câu trả lời được tuyển chọn cho các câu hỏi về tài liệu nội bộ bằng cách sử dụng mô hình máy biến áp để tạo ra câu trả lời cho các câu hỏi về dữ liệu chưa được đào tạo, một kỹ thuật được gọi là nhắc nhở không bắn. Khi áp dụng giải pháp này, khách hàng có thể đạt được những lợi ích sau:

• Tìm câu trả lời chính xác cho câu hỏi dựa trên nguồn tài liệu nội bộ hiện có
• Giảm thời gian người dùng tìm kiếm câu trả lời bằng cách sử dụng Mô hình ngôn ngữ lớn (LLM) để cung cấp câu trả lời gần như ngay lập tức cho các truy vấn phức tạp bằng cách sử dụng tài liệu có thông tin cập nhật nhất
• Tìm kiếm các câu hỏi đã được trả lời trước đó thông qua bảng điều khiển tập trung
• Giảm căng thẳng do dành thời gian đọc thông tin thủ công để tìm kiếm câu trả lời

Truy xuất thế hệ tăng cường (RAG)

Tạo tăng cường truy xuất (RAG) giảm thiểu một số thiếu sót của truy vấn dựa trên LLM bằng cách tìm câu trả lời từ cơ sở kiến ​​thức của bạn và sử dụng LLM để tóm tắt tài liệu thành phản hồi ngắn gọn. Xin vui lòng đọc cái này gửi để tìm hiểu cách triển khai phương pháp RAG với Amazon Kendra. Các rủi ro và hạn chế sau đây liên quan đến các truy vấn dựa trên LLM mà cách tiếp cận RAG với Amazon Kendra giải quyết:

• Ảo giác và truy xuất nguồn gốc – LLMS được đào tạo trên các tập dữ liệu lớn và tạo ra phản hồi về xác suất. Điều này có thể dẫn đến những câu trả lời không chính xác, được gọi là ảo giác.
• Nhiều kho dữ liệu – Để tham chiếu dữ liệu từ nhiều nguồn trong phản hồi của bạn, người ta cần thiết lập hệ sinh thái kết nối để tổng hợp dữ liệu. Việc truy cập nhiều kho lưu trữ là thủ công và tốn thời gian.
• Bảo mật – Bảo mật và quyền riêng tư là những cân nhắc quan trọng khi triển khai các bot đàm thoại được hỗ trợ bởi RAG và LLM. Mặc dù sử dụng Amazon hiểu để lọc ra dữ liệu cá nhân có thể được cung cấp thông qua truy vấn của người dùng, vẫn có khả năng vô tình hiển thị thông tin cá nhân hoặc thông tin nhạy cảm, tùy thuộc vào dữ liệu được nhập. Điều này có nghĩa là việc kiểm soát quyền truy cập vào chatbot là rất quan trọng để ngăn chặn việc truy cập ngoài ý muốn vào thông tin nhạy cảm.
• Mức độ liên quan của dữ liệu – LLMS được đào tạo về dữ liệu theo thời gian nhất định, điều đó có nghĩa là thông tin thường không cập nhật. Chi phí liên quan đến các mô hình đào tạo trên dữ liệu gần đây là cao. Để đảm bảo phản hồi chính xác và cập nhật, các tổ chức có trách nhiệm thường xuyên cập nhật và làm phong phú nội dung của các tài liệu được lập chỉ mục.
• Chi phí – Chi phí liên quan đến việc triển khai giải pháp này nên được các doanh nghiệp cân nhắc. Doanh nghiệp cần đánh giá cẩn thận các yêu cầu về ngân sách và hiệu suất của mình khi triển khai giải pháp này. Việc chạy LLM có thể yêu cầu nguồn lực tính toán đáng kể, điều này có thể làm tăng chi phí vận hành. Những chi phí này có thể trở thành hạn chế đối với các ứng dụng cần hoạt động ở quy mô lớn. Tuy nhiên, một trong những lợi ích của AWS Cloud là sự linh hoạt để chỉ trả tiền cho những gì bạn sử dụng. AWS cung cấp mô hình định giá đơn giản, nhất quán, thanh toán theo mức sử dụng, do đó bạn chỉ bị tính phí cho những tài nguyên bạn sử dụng.

Cách sử dụng Amazon SageMaker JumpStart

Đối với các mô hình ngôn ngữ dựa trên máy biến áp, các tổ chức có thể hưởng lợi từ việc sử dụng Amazon SageMaker JumpStart, nơi cung cấp một bộ sưu tập các mô hình học máy được xây dựng sẵn. Amazon SageMaker JumpStart cung cấp nhiều mô hình cơ bản về tạo văn bản và trả lời câu hỏi (Q&A) có thể dễ dàng triển khai và sử dụng. Giải pháp này tích hợp mô hình FLAN T5-XL Amazon SageMaker JumpStart, nhưng có nhiều khía cạnh khác nhau cần lưu ý khi lựa chọn mô hình nền tảng.

Tích hợp bảo mật trong quy trình làm việc của chúng tôi

Tuân theo các thông lệ tốt nhất của Trụ cột An ninh của Khung kiến ​​trúc tốt, Nhận thức về Amazon được sử dụng để xác thực. Nhóm người dùng Amazon Cognito có thể được tích hợp với các nhà cung cấp danh tính bên thứ ba hỗ trợ một số khung dùng để kiểm soát truy cập, bao gồm Ủy quyền mở (OAuth), Kết nối ID Open (OIDC) hoặc Ngôn ngữ đánh dấu xác nhận bảo mật (SAML). Việc xác định người dùng và hành động của họ cho phép giải pháp duy trì khả năng truy xuất nguồn gốc. Giải pháp này cũng sử dụng Phát hiện thông tin nhận dạng cá nhân (PII) của Amazon Comprehend tính năng tự động nhận dạng và sắp xếp lại PII. PII được tái cấu trúc bao gồm địa chỉ, số an sinh xã hội, địa chỉ email và thông tin nhạy cảm khác. Thiết kế này đảm bảo rằng mọi PII do người dùng cung cấp thông qua truy vấn đầu vào đều được loại bỏ. PII không được Amazon Kendra lưu trữ, sử dụng hoặc cung cấp cho LLM.

Hướng dẫn giải pháp

Các bước sau đây mô tả quy trình làm việc của quy trình Trả lời câu hỏi qua tài liệu:

1. Người dùng gửi truy vấn thông qua giao diện web.
2. Nhận thức về Amazon được sử dụng để xác thực, đảm bảo quyền truy cập an toàn vào ứng dụng web.
3. Giao diện người dùng của ứng dụng web được lưu trữ trên Amplify AWS.
4. Cổng API Amazon lưu trữ API REST với nhiều điểm cuối khác nhau để xử lý các yêu cầu của người dùng được xác thực bằng Amazon Cognito.
5. Biên tập PII với Amazon hiểu:
   • Xử lý truy vấn của người dùng: Khi người dùng gửi một truy vấn hoặc thông tin đầu vào, trước tiên nó sẽ được chuyển qua Amazon Comprehend. Dịch vụ sẽ phân tích văn bản và xác định mọi thực thể PII có trong truy vấn.
   • Trích xuất PII: Amazon Comprehend trích xuất các thực thể PII được phát hiện từ truy vấn của người dùng.
6. Truy xuất thông tin liên quan với Amazon Kendra:
   • Amazon Kendra được sử dụng để quản lý chỉ mục tài liệu chứa thông tin dùng để tạo câu trả lời cho truy vấn của người dùng.
   • Sản phẩm Truy xuất QA của LangChain mô-đun được sử dụng để xây dựng chuỗi hội thoại có thông tin liên quan về truy vấn của người dùng.
7. Hội nhập với Khởi động Amazon SageMaker:
   • Hàm AWS Lambda sử dụng thư viện LangChain và kết nối với điểm cuối Amazon SageMaker JumpStart bằng truy vấn được nhồi nhét ngữ cảnh. Điểm cuối Amazon SageMaker JumpStart đóng vai trò là giao diện của LLM dùng để suy luận.
8. Lưu trữ phản hồi và trả lại cho người dùng:
   • Phản hồi từ LLM được lưu trữ trong Máy phát điện Amazon cùng với truy vấn của người dùng, dấu thời gian, mã định danh duy nhất và các mã định danh tùy ý khác cho mục, chẳng hạn như danh mục câu hỏi. Việc lưu trữ câu hỏi và câu trả lời dưới dạng các mục riêng biệt cho phép hàm AWS Lambda dễ dàng tạo lại lịch sử hội thoại của người dùng dựa trên thời điểm đặt câu hỏi.
   • Cuối cùng, phản hồi được gửi lại cho người dùng thông qua yêu cầu HTTP thông qua phản hồi tích hợp REST API của Amazon API Gateway.

Các bước sau đây mô tả các hàm AWS Lambda và quy trình của chúng trong suốt quy trình:

1. Kiểm tra và loại bỏ mọi PII/thông tin nhạy cảm
2. Chuỗi truy xuất LangChain QA
   • Tìm kiếm và truy xuất thông tin liên quan
3. Nhồi nhét bối cảnh & Kỹ thuật nhắc nhở
4. Suy luận với LLM
5. Trả lời phản hồi & Lưu nó

Trường hợp sử dụng

Có nhiều trường hợp sử dụng kinh doanh mà khách hàng có thể sử dụng quy trình làm việc này. Phần sau đây giải thích cách sử dụng quy trình làm việc trong các ngành và ngành dọc khác nhau.

Hỗ trợ nhân viên

Chương trình đào tạo doanh nghiệp được thiết kế tốt có thể cải thiện sự hài lòng của nhân viên và giảm thời gian cần thiết cho việc đào tạo nhân viên mới. Khi các tổ chức phát triển và độ phức tạp tăng lên, nhân viên sẽ khó hiểu được nhiều nguồn tài liệu nội bộ. Các tài liệu nội bộ trong bối cảnh này bao gồm các hướng dẫn, chính sách của công ty và Quy trình vận hành tiêu chuẩn. Đối với trường hợp này, một nhân viên có câu hỏi về cách tiến hành và chỉnh sửa phiếu bán vé phát hành nội bộ. Nhân viên có thể truy cập và sử dụng bot đàm thoại trí tuệ nhân tạo (AI) để hỏi và thực hiện các bước tiếp theo cho một yêu cầu cụ thể.

Trường hợp sử dụng cụ thể: Tự động giải quyết vấn đề cho nhân viên dựa trên hướng dẫn của công ty.

Các bước sau đây mô tả các hàm AWS Lambda và quy trình của chúng trong suốt quy trình:

1. Đại lý LangChain để xác định mục đích
2. Gửi thông báo dựa trên yêu cầu của nhân viên
3. Sửa đổi trạng thái vé

Trong sơ đồ kiến ​​trúc này, các video đào tạo của công ty có thể được nhập thông qua Phiên âm Amazon để thu thập nhật ký của các tập lệnh video này. Ngoài ra, nội dung đào tạo của công ty được lưu trữ trong nhiều nguồn khác nhau (ví dụ: Confluence, Microsoft SharePoint, Google Drive, Jira, v.v.) có thể được sử dụng để tạo chỉ mục thông qua trình kết nối Amazon Kendra. Đọc bài viết này để tìm hiểu thêm về bộ sưu tập bản địa kết nối bạn có thể sử dụng trong Amazon Kendra làm điểm nguồn. Sau đó, trình thu thập dữ liệu của Amazon Kendra có thể sử dụng cả tập lệnh video đào tạo công ty và tài liệu được lưu trữ trong các nguồn khác này để hỗ trợ bot đàm thoại trả lời các câu hỏi cụ thể theo hướng dẫn đào tạo công ty của công ty. Tác nhân LangChain xác minh quyền, sửa đổi trạng thái yêu cầu và thông báo cho đúng cá nhân bằng cách sử dụng Dịch vụ thông báo đơn giản của Amazon (Amazon SNS).

Nhóm hỗ trợ khách hàng

Việc giải quyết nhanh chóng các thắc mắc của khách hàng sẽ cải thiện trải nghiệm của khách hàng và khuyến khích lòng trung thành với thương hiệu. Cơ sở khách hàng trung thành giúp thúc đẩy doanh số bán hàng, góp phần mang lại lợi nhuận và tăng mức độ tương tác của khách hàng. Các nhóm hỗ trợ khách hàng dành nhiều công sức tham khảo nhiều tài liệu nội bộ và phần mềm quản lý quan hệ khách hàng để giải đáp thắc mắc của khách hàng về sản phẩm, dịch vụ. Các tài liệu nội bộ trong ngữ cảnh này có thể bao gồm các kịch bản cuộc gọi hỗ trợ khách hàng chung, sổ tay, hướng dẫn báo cáo và thông tin doanh nghiệp. Bot đàm thoại AI tổng quát giúp tối ưu hóa chi phí vì nó thay mặt nhóm hỗ trợ khách hàng xử lý các truy vấn.

Trường hợp sử dụng cụ thể: Xử lý yêu cầu thay dầu dựa trên lịch sử dịch vụ và gói dịch vụ khách hàng đã mua.

Trong sơ đồ kiến ​​trúc này, khách hàng được chuyển đến bot đàm thoại AI tổng quát hoặc bot Kết nối Amazon Trung tâm liên lạc. Quyết định này có thể dựa trên mức độ hỗ trợ cần thiết hoặc sự sẵn có của các đại lý hỗ trợ khách hàng. Đại lý LangChain xác định ý định của khách hàng và xác minh danh tính. Đại lý LangChain cũng kiểm tra lịch sử dịch vụ và gói hỗ trợ đã mua.

Các bước sau đây mô tả các hàm AWS Lambda và quy trình của chúng trong suốt quy trình:

1. Đại lý LangChain xác định mục đích
2. Truy xuất thông tin khách hàng
3. Kiểm tra lịch sử dịch vụ khách hàng và thông tin bảo hành
4. Đặt lịch hẹn, cung cấp thêm thông tin hoặc đường đến trung tâm liên hệ
5. Gửi email xác nhận

Amazon Connect được sử dụng để thu thập nhật ký thoại và trò chuyện, còn Amazon Comprehend được sử dụng để xóa thông tin nhận dạng cá nhân (PII) khỏi các nhật ký này. Sau đó, trình thu thập thông tin của Amazon Kendra có thể sử dụng nhật ký trò chuyện và giọng nói đã được biên tập lại, tập lệnh gọi điện cho khách hàng và chính sách gói hỗ trợ dịch vụ khách hàng để tạo chỉ mục. Sau khi đưa ra quyết định, bot đàm thoại AI tổng hợp sẽ quyết định xem có nên đặt cuộc hẹn, cung cấp thêm thông tin hay chuyển khách hàng đến trung tâm liên hệ để được hỗ trợ thêm hay không. Để tối ưu hóa chi phí, đại lý LangChain cũng có thể tạo câu trả lời bằng cách sử dụng ít mã thông báo hơn và mô hình ngôn ngữ lớn ít tốn kém hơn cho các truy vấn của khách hàng có mức độ ưu tiên thấp hơn.

Dịch vụ tài chính

Các công ty dịch vụ tài chính dựa vào việc sử dụng thông tin kịp thời để duy trì tính cạnh tranh và tuân thủ các quy định tài chính. Bằng cách sử dụng bot đàm thoại AI tổng hợp, các nhà phân tích và cố vấn tài chính có thể tương tác với thông tin văn bản theo cách trò chuyện, đồng thời giảm thời gian và công sức cần thiết để đưa ra quyết định sáng suốt hơn. Ngoài đầu tư và nghiên cứu thị trường, bot đàm thoại AI tổng quát cũng có thể nâng cao khả năng của con người bằng cách xử lý các nhiệm vụ mà theo truyền thống đòi hỏi nhiều nỗ lực và thời gian của con người hơn. Ví dụ: một tổ chức tài chính chuyên cho vay cá nhân có thể tăng tốc độ xử lý các khoản vay đồng thời mang lại sự minh bạch tốt hơn cho khách hàng.

Trường hợp sử dụng cụ thể: Sử dụng lịch sử tài chính của khách hàng và các đơn xin vay trước đó để quyết định và giải thích quyết định cho vay.

Các bước sau đây mô tả các hàm AWS Lambda và quy trình của chúng trong suốt quy trình:

1. Đại lý LangChain để xác định mục đích
2. Kiểm tra lịch sử điểm tài chính và tín dụng của khách hàng
3. Kiểm tra hệ thống quản lý quan hệ khách hàng nội bộ
4. Kiểm tra các chính sách cho vay tiêu chuẩn và đề xuất quyết định cho nhân viên đủ điều kiện vay vốn
5. Gửi thông báo cho khách hàng

Kiến trúc này kết hợp dữ liệu tài chính của khách hàng được lưu trữ trong cơ sở dữ liệu và dữ liệu được lưu trữ trong công cụ quản lý quan hệ khách hàng (CRM). Những điểm dữ liệu này được sử dụng để đưa ra quyết định dựa trên chính sách cho vay nội bộ của công ty. Khách hàng có thể đặt những câu hỏi làm rõ để hiểu họ đủ điều kiện cho khoản vay nào và các điều khoản của khoản vay mà họ có thể chấp nhận. Nếu bot đàm thoại AI tổng quát không thể phê duyệt đơn xin vay tiền, người dùng vẫn có thể đặt câu hỏi về việc cải thiện điểm tín dụng hoặc các lựa chọn tài chính thay thế.

Chính phủ

Các bot đàm thoại AI sáng tạo có thể mang lại lợi ích to lớn cho các tổ chức chính phủ bằng cách tăng tốc quá trình giao tiếp, hiệu quả và ra quyết định. Các bot đàm thoại AI sáng tạo cũng có thể cung cấp quyền truy cập tức thì vào cơ sở kiến ​​thức nội bộ để giúp nhân viên chính phủ nhanh chóng truy xuất thông tin, chính sách và thủ tục (ví dụ: tiêu chí đủ điều kiện, quy trình đăng ký cũng như các dịch vụ và hỗ trợ của công dân). Một giải pháp là hệ thống tương tác, cho phép người nộp thuế và chuyên gia thuế dễ dàng tìm thấy các chi tiết và lợi ích liên quan đến thuế. Nó có thể được sử dụng để hiểu câu hỏi của người dùng, tóm tắt tài liệu thuế và đưa ra câu trả lời rõ ràng thông qua các cuộc trò chuyện tương tác.

Người dùng có thể đặt câu hỏi như:

• Thuế thừa kế hoạt động như thế nào và ngưỡng thuế là gì?
• Bạn có thể giải thích khái niệm thuế thu nhập?
• Ý nghĩa về thuế khi bán tài sản thứ hai là gì?

Ngoài ra, người dùng có thể thuận tiện khi gửi biểu mẫu thuế tới hệ thống, điều này có thể giúp xác minh tính chính xác của thông tin được cung cấp.

Kiến trúc này minh họa cách người dùng có thể tải các biểu mẫu thuế đã hoàn thành lên giải pháp và sử dụng nó để xác minh tương tác cũng như hướng dẫn cách điền chính xác các thông tin cần thiết.

Chăm sóc sức khỏe

Các doanh nghiệp chăm sóc sức khỏe có cơ hội tự động hóa việc sử dụng lượng lớn thông tin nội bộ của bệnh nhân, đồng thời giải quyết các câu hỏi phổ biến liên quan đến các trường hợp sử dụng như lựa chọn điều trị, yêu cầu bảo hiểm, thử nghiệm lâm sàng và nghiên cứu dược phẩm. Việc sử dụng bot đàm thoại AI tổng hợp cho phép tạo ra câu trả lời nhanh chóng và chính xác về thông tin sức khỏe từ cơ sở kiến ​​thức được cung cấp. Ví dụ, một số chuyên gia chăm sóc sức khỏe dành nhiều thời gian điền vào các biểu mẫu để nộp yêu cầu bảo hiểm.

Trong môi trường tương tự, người quản lý thử nghiệm lâm sàng và nhà nghiên cứu cần tìm thông tin về các lựa chọn điều trị. Bot đàm thoại AI tổng hợp có thể sử dụng các trình kết nối dựng sẵn trong Amazon Kendra để truy xuất thông tin phù hợp nhất từ ​​hàng triệu tài liệu được xuất bản thông qua nghiên cứu đang diễn ra do các công ty dược phẩm và trường đại học thực hiện.

Trường hợp sử dụng cụ thể: Giảm sai sót và thời gian cần thiết để điền và gửi mẫu bảo hiểm.

Trong sơ đồ kiến ​​trúc này, chuyên gia chăm sóc sức khỏe có thể sử dụng bot đàm thoại AI tổng hợp để tìm ra những biểu mẫu cần điền vào bảo hiểm. Sau đó, tác nhân LangChain có thể truy xuất các biểu mẫu phù hợp và thêm thông tin cần thiết cho bệnh nhân cũng như đưa ra phản hồi cho các phần mô tả của biểu mẫu dựa trên chính sách bảo hiểm và các biểu mẫu trước đó. Chuyên gia chăm sóc sức khỏe có thể chỉnh sửa các phản hồi do LLM đưa ra trước khi phê duyệt và gửi biểu mẫu đến cổng thông tin bảo hiểm.

Các bước sau đây mô tả các hàm AWS Lambda và quy trình của chúng trong suốt quy trình:

1. Đại lý LangChain để xác định mục đích
2. Lấy thông tin bệnh nhân cần thiết
3. Điền vào mẫu bảo hiểm dựa trên thông tin bệnh nhân và hướng dẫn mẫu
4. Gửi biểu mẫu đến cổng bảo hiểm sau khi được người dùng phê duyệt

AWS HealthHồ được sử dụng để lưu trữ an toàn dữ liệu sức khỏe bao gồm các biểu mẫu bảo hiểm trước đó và thông tin bệnh nhân, đồng thời Amazon Comprehend được dùng để xóa thông tin nhận dạng cá nhân (PII) khỏi các biểu mẫu bảo hiểm trước đó. Sau đó, trình thu thập thông tin của Amazon Kendra có thể sử dụng bộ biểu mẫu và hướng dẫn bảo hiểm để tạo chỉ mục. Sau khi (các) biểu mẫu được AI tổng hợp điền vào, thì (các) biểu mẫu được chuyên gia y tế xem xét có thể được gửi đến cổng thông tin bảo hiểm.

Ước tính chi phí

Chi phí triển khai giải pháp cơ bản làm bằng chứng khái niệm được trình bày trong bảng sau. Vì giải pháp cơ bản được coi là bằng chứng khái niệm nên Phiên bản dành cho nhà phát triển Amazon Kendra đã được sử dụng như một tùy chọn chi phí thấp do khối lượng công việc sẽ không được đưa vào sản xuất. Giả định của chúng tôi cho Phiên bản dành cho nhà phát triển Amazon Kendra là 730 giờ hoạt động trong tháng.

Đối với Amazon SageMaker, chúng tôi đã giả định rằng khách hàng sẽ sử dụng phiên bản ml.g4dn.2xlarge để suy luận theo thời gian thực, với một điểm cuối suy luận duy nhất cho mỗi phiên bản. Bạn có thể tìm thêm thông tin về giá Amazon SageMaker và các loại phiên bản suy luận có sẵn tại đây.

Dịch vụ	Tài nguyên tiêu thụ	Ước tính chi phí mỗi tháng bằng USD
Amplify AWS	150 phút xây dựng 1 GB dữ liệu được phân phát 500,000 yêu cầu	15.71
Cổng API Amazon	1 triệu lệnh gọi API REST	3.5
AWS Lambda	1 triệu yêu cầu Thời lượng 5 giây cho mỗi yêu cầu Bộ nhớ 2 GB được phân bổ	160.23
Máy phát điện Amazon	1 triệu lượt đọc 1 triệu bài viết Bộ nhớ 100 GB	26.38
Nhà sản xuất hiền nhân Amazon	Suy luận thời gian thực với ml.g4dn.2xlarge	676.8
Amazon Kendra	Phiên bản dành cho nhà phát triển với 730 giờ/tháng 10,000 tài liệu được quét 5,000 truy vấn/ngày	821.25
.	.	Tổng chi phí: 1703.87

* Amazon Cognito có bậc miễn phí gồm 50,000 Người dùng hoạt động hàng tháng sử dụng Nhóm người dùng Cognito hoặc 50 Người dùng hoạt động hàng tháng sử dụng nhà cung cấp danh tính SAML 2.0

Clean Up

Để tiết kiệm chi phí, hãy xóa tất cả tài nguyên bạn đã triển khai như một phần của hướng dẫn. Bạn có thể xóa mọi điểm cuối SageMaker mà bạn có thể đã tạo thông qua bảng điều khiển SageMaker. Hãy nhớ rằng việc xóa chỉ mục Amazon Kendra sẽ không xóa tài liệu gốc khỏi bộ lưu trữ của bạn.

Kết luận

Trong bài đăng này, chúng tôi đã chỉ cho bạn cách đơn giản hóa việc truy cập thông tin nội bộ bằng cách tóm tắt từ nhiều kho lưu trữ trong thời gian thực. Sau những phát triển gần đây của LLM có sẵn trên thị trường, khả năng tạo ra AI đã trở nên rõ ràng hơn. Trong bài đăng này, chúng tôi đã giới thiệu các cách sử dụng dịch vụ AWS để tạo một chatbot phi máy chủ sử dụng AI tổng hợp để trả lời các câu hỏi. Cách tiếp cận này kết hợp lớp xác thực và tính năng phát hiện PII của Amazon Comprehend để lọc ra mọi thông tin nhạy cảm được cung cấp trong truy vấn của người dùng. Cho dù đó là những cá nhân trong lĩnh vực chăm sóc sức khỏe hiểu rõ các sắc thái trong việc gửi yêu cầu bảo hiểm hay bộ phận nhân sự hiểu rõ các quy định cụ thể của toàn công ty, thì có nhiều ngành và ngành dọc có thể hưởng lợi từ phương pháp này. Mô hình nền tảng Amazon SageMaker JumpStart là công cụ đằng sau chatbot, trong khi phương pháp nhồi ngữ cảnh sử dụng kỹ thuật RAG được sử dụng để đảm bảo rằng các phản hồi tham chiếu tài liệu nội bộ chính xác hơn.

Để tìm hiểu thêm về cách làm việc với AI tổng hợp trên AWS, hãy tham khảo Công bố các công cụ mới để xây dựng với AI sáng tạo trên AWS. Để biết thêm hướng dẫn chuyên sâu về cách sử dụng kỹ thuật RAG với các dịch vụ AWS, hãy tham khảo Nhanh chóng xây dựng các ứng dụng AI Sáng tạo có độ chính xác cao trên dữ liệu doanh nghiệp bằng Amazon Kendra, LangChain và các mô hình ngôn ngữ lớn. Vì cách tiếp cận trong blog này là bất khả tri về LLM nên bất kỳ LLM nào cũng có thể được sử dụng để suy luận. Trong bài đăng tiếp theo, chúng tôi sẽ phác thảo các cách triển khai giải pháp này bằng Amazon Bedrock và Amazon Titan LLM.

---

Về các tác giả

Abhishek Maligehalli Shivalingaiah là Kiến trúc sư giải pháp dịch vụ AI cấp cao tại AWS. Anh ấy đam mê xây dựng các ứng dụng sử dụng Generative AI, Amazon Kendra và NLP. Ông có khoảng 10 năm kinh nghiệm xây dựng các giải pháp Data & AI để tạo ra giá trị cho khách hàng và doanh nghiệp. Anh ấy thậm chí còn xây dựng một chatbot (cá nhân) để trả lời các câu hỏi về sự nghiệp và hành trình nghề nghiệp của mình. Ngoài công việc, anh ấy thích chụp chân dung gia đình và bạn bè, đồng thời thích sáng tạo các tác phẩm nghệ thuật.

Medha Aiyah là Kiến trúc sư giải pháp liên kết tại AWS, có trụ sở tại Austin, Texas. Cô vừa tốt nghiệp Đại học Texas tại Dallas vào tháng 2022 năm XNUMX với bằng Thạc sĩ Khoa học về Khoa học Máy tính với chuyên ngành về Hệ thống Thông minh, tập trung vào AI/ML. Cô muốn tìm hiểu thêm về AI/ML và sử dụng các dịch vụ AWS để khám phá các giải pháp mà khách hàng có thể hưởng lợi.

Hugo Tse là Kiến trúc sư giải pháp liên kết tại AWS có trụ sở tại Seattle, Washington. Ông có bằng Thạc sĩ Công nghệ Thông tin của Đại học Bang Arizona và bằng cử nhân Kinh tế của Đại học Chicago. Ông là thành viên của Hiệp hội Kiểm toán và Kiểm soát Hệ thống Thông tin (ISACA) và Hiệp hội Chứng nhận An ninh Hệ thống Thông tin Quốc tế (ISC)2. Anh ấy thích giúp đỡ khách hàng hưởng lợi từ công nghệ.

Ayman Ishimwe là Kiến trúc sư giải pháp liên kết tại AWS có trụ sở tại Seattle, Washington. Ông có bằng Thạc sĩ về Kỹ thuật phần mềm và CNTT của Đại học Oakland. Anh ấy có kinh nghiệm trước đây về phát triển phần mềm, đặc biệt là xây dựng các dịch vụ vi mô cho các ứng dụng web phân tán. Anh ấy rất nhiệt tình giúp đỡ khách hàng xây dựng các giải pháp mạnh mẽ và có thể mở rộng trên các dịch vụ đám mây AWS theo các biện pháp thực hành tốt nhất.

Shervin Suresh là Kiến trúc sư giải pháp liên kết tại AWS có trụ sở tại Austin, Texas. Anh đã tốt nghiệp Thạc sĩ Kỹ thuật phần mềm với chuyên ngành Điện toán đám mây và ảo hóa, đồng thời có bằng Cử nhân Kỹ thuật Máy tính tại Đại học bang San Jose. Anh ấy đam mê tận dụng công nghệ để giúp cải thiện cuộc sống của mọi người từ mọi thành phần.

• Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
• PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
• PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
• Trung tâmESG. Ô tô / Xe điện, Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
• PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
• ChartPrime. Nâng cao trò chơi giao dịch của bạn với ChartPrime. Truy cập Tại đây.
• BlockOffsets. Hiện đại hóa quyền sở hữu bù đắp môi trường. Truy cập Tại đây.
• nguồn: https://aws.amazon.com/blogs/machine-learning/simplify-access-to-internal-information-using-retrieval-augmented-generation-and-langchain-agents/