Các mô hình ngôn ngữ lớn (LLM) với kiến thức rộng của chúng có thể tạo ra văn bản giống con người về hầu hết mọi chủ đề. Tuy nhiên, việc đào tạo họ trên các bộ dữ liệu lớn cũng hạn chế tính hữu dụng của chúng đối với các nhiệm vụ chuyên biệt. Nếu không tiếp tục học hỏi, những mô hình này sẽ không biết gì về dữ liệu và xu hướng mới xuất hiện sau quá trình đào tạo ban đầu. Hơn nữa, chi phí đào tạo LLM mới có thể quá cao đối với nhiều cơ sở doanh nghiệp. Tuy nhiên, có thể tham chiếu chéo câu trả lời của mô hình với nội dung chuyên biệt ban đầu, do đó tránh được nhu cầu đào tạo mô hình LLM mới bằng cách sử dụng Thế hệ tăng cường truy xuất (RAG).
RAG trao quyền cho LLM bằng cách cung cấp cho họ khả năng truy xuất và kết hợp kiến thức bên ngoài. Thay vì chỉ dựa vào kiến thức được đào tạo trước, RAG cho phép các mô hình lấy dữ liệu từ tài liệu, cơ sở dữ liệu, v.v. Sau đó, mô hình sẽ khéo léo tích hợp thông tin bên ngoài này vào văn bản được tạo ra. Bằng cách tìm nguồn dữ liệu phù hợp với ngữ cảnh, mô hình có thể cung cấp các phản hồi cập nhật, đầy đủ thông tin phù hợp với trường hợp sử dụng của bạn. Việc nâng cao kiến thức cũng làm giảm khả năng xảy ra ảo giác và văn bản không chính xác hoặc vô nghĩa. Với RAG, các mô hình nền tảng trở thành các chuyên gia có khả năng thích ứng và phát triển khi nền tảng kiến thức của bạn phát triển.
Hôm nay, chúng tôi rất vui mừng được ra mắt ba bản demo AI tổng hợp, được cấp phép theo Giấy phép MIT-0:
- Amazon Kendra với LLM cơ bản - Sử dụng khả năng tìm kiếm sâu của Amazon Kendra kết hợp với kiến thức mở rộng về LLM. Sự tích hợp này cung cấp các câu trả lời chính xác và phù hợp với ngữ cảnh cho các truy vấn phức tạp bằng cách rút ra từ nhiều nguồn khác nhau.
- Mô hình nhúng với LLM cơ bản – Hợp nhất sức mạnh của phần nhúng—một kỹ thuật để nắm bắt ý nghĩa ngữ nghĩa của các từ và cụm từ—với nền tảng kiến thức rộng lớn của LLM. Sức mạnh tổng hợp này cho phép lập mô hình chủ đề, đề xuất nội dung và khả năng tìm kiếm ngữ nghĩa chính xác hơn.
- Foundation Models Trình tạo quảng cáo Pharma – Một ứng dụng chuyên biệt dành riêng cho ngành dược phẩm. Khai thác khả năng sáng tạo của các mô hình nền tảng, công cụ này tạo ra các quảng cáo dược phẩm phù hợp và thuyết phục, đảm bảo nội dung tuân thủ các tiêu chuẩn và quy định của ngành.
Các bản demo này có thể được triển khai liền mạch trong tài khoản AWS của bạn, cung cấp thông tin chi tiết và hướng dẫn cơ bản về cách sử dụng các dịch vụ AWS để tạo ra bot và câu trả lời AI tổng hợp LLM tiên tiến nhất.
Trong bài đăng này, chúng ta khám phá cách RAG kết hợp với Amazon Kendra hoặc các phần nhúng tùy chỉnh có thể vượt qua những thách thức này và cung cấp phản hồi tinh tế cho các truy vấn ngôn ngữ tự nhiên.
Tổng quan về giải pháp
Bằng cách áp dụng giải pháp này, bạn có thể đạt được những lợi ích sau:
- Cải thiện khả năng truy cập thông tin – RAG cho phép các mô hình lấy thông tin từ các nguồn rộng lớn bên ngoài, điều này có thể đặc biệt hữu ích khi kiến thức của mô hình được đào tạo trước đã lỗi thời hoặc chưa đầy đủ.
- khả năng mở rộng – Thay vì đào tạo một mô hình trên tất cả dữ liệu có sẵn, RAG cho phép các mô hình truy xuất thông tin liên quan một cách nhanh chóng. Điều này có nghĩa là khi có dữ liệu mới, nó có thể được thêm vào cơ sở dữ liệu truy xuất mà không cần đào tạo lại toàn bộ mô hình.
- Hiệu quả bộ nhớ – LLM yêu cầu bộ nhớ đáng kể để lưu trữ các tham số. Với RAG, mô hình có thể nhỏ hơn vì không cần phải ghi nhớ tất cả các chi tiết; nó có thể lấy chúng khi cần thiết.
- Cập nhật kiến thức năng động – Không giống như các mô hình thông thường có điểm cuối kiến thức được thiết lập, cơ sở dữ liệu bên ngoài của RAG có thể được cập nhật thường xuyên, cấp cho mô hình quyền truy cập vào thông tin cập nhật. Chức năng truy xuất có thể được tinh chỉnh cho các nhiệm vụ riêng biệt. Ví dụ: một nhiệm vụ chẩn đoán y tế có thể lấy dữ liệu từ các tạp chí y khoa, đảm bảo mô hình thu được những hiểu biết chuyên sâu và thích hợp.
- giảm thiểu thiên vị – Khả năng rút ra từ cơ sở dữ liệu được quản lý tốt mang lại khả năng giảm thiểu sai lệch bằng cách đảm bảo các nguồn bên ngoài cân bằng và khách quan.
Trước khi đi sâu vào việc tích hợp Amazon Kendra với LLM cơ bản, điều quan trọng là bạn phải trang bị cho mình những công cụ cần thiết và yêu cầu hệ thống. Có thiết lập phù hợp tại chỗ là bước đầu tiên để triển khai các bản demo một cách liền mạch.
Điều kiện tiên quyết
Bạn phải có các điều kiện tiên quyết sau:
Mặc dù có thể thiết lập và triển khai cơ sở hạ tầng được nêu chi tiết trong hướng dẫn này từ máy tính cục bộ của bạn, Đám mây AWS9 cung cấp một giải pháp thay thế thuận tiện. Được trang bị sẵn các công cụ như AWS CLI, AWS CDK và Docker, AWS Cloud9 có thể hoạt động như máy trạm triển khai của bạn. Để sử dụng dịch vụ này, bạn chỉ cần thiết lập môi trường thông qua Bảng điều khiển AWS Cloud9.
Với những điều kiện tiên quyết đã sẵn sàng, hãy cùng đi sâu vào các tính năng và khả năng của Amazon Kendra với LLM cơ bản.
Amazon Kendra với LLM cơ bản
Amazon Kendra là dịch vụ tìm kiếm doanh nghiệp nâng cao được tăng cường bằng máy học (ML) cung cấp khả năng tìm kiếm ngữ nghĩa ngay lập tức. Bằng cách sử dụng xử lý ngôn ngữ tự nhiên (NLP), Amazon Kendra hiểu cả nội dung của tài liệu lẫn mục đích cơ bản của các truy vấn của người dùng, định vị nó như một công cụ truy xuất nội dung cho các giải pháp dựa trên RAG. Bằng cách sử dụng nội dung tìm kiếm có độ chính xác cao từ Kendra làm tải trọng RAG, bạn có thể nhận được phản hồi LLM tốt hơn. Việc sử dụng Amazon Kendra trong giải pháp này cũng cho phép cá nhân hóa tìm kiếm bằng cách lọc phản hồi theo quyền truy cập nội dung của người dùng cuối.
Sơ đồ sau đây cho thấy kiến trúc của một ứng dụng AI tổng quát sử dụng phương pháp RAG.
Tài liệu được xử lý và lập chỉ mục bởi Amazon Kendra thông qua Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3) kết nối. Yêu cầu của khách hàng và dữ liệu theo ngữ cảnh từ Amazon Kendra được chuyển hướng tới một nền tảng Amazon mô hình nền tảng. Bản demo cho phép bạn chọn giữa các mẫu Titan của Amazon, Jurassic của AI21 và Claude của Anthropic được hỗ trợ bởi Amazon Bedrock. Lịch sử cuộc trò chuyện được lưu trong Máy phát điện Amazon, cung cấp ngữ cảnh bổ sung để LLM tạo phản hồi.
Chúng tôi đã cung cấp bản demo này trong Repo GitHub. Tham khảo hướng dẫn triển khai trong tệp readme để triển khai nó vào tài khoản AWS của bạn.
Các bước sau đây phác thảo quy trình khi người dùng tương tác với ứng dụng AI tổng quát:
- Người dùng đăng nhập vào ứng dụng web được xác thực bởi Nhận thức về Amazon.
- Người dùng tải một hoặc nhiều tài liệu lên Amazon S3.
- Người dùng chạy tác vụ đồng bộ hóa Amazon Kendra để nhập tài liệu S3 vào chỉ mục Amazon Kendra.
- Câu hỏi của người dùng được chuyển qua API WebSocket an toàn được lưu trữ trên Cổng API Amazon được hỗ trợ bởi một AWS Lambda chức năng.
- Hàm Lambda, được trao quyền bởi LangChain framework—một công cụ linh hoạt được thiết kế để tạo các ứng dụng được điều khiển bởi các mô hình ngôn ngữ AI—kết nối với điểm cuối Amazon Bedrock để diễn đạt lại câu hỏi của người dùng dựa trên lịch sử trò chuyện. Sau khi diễn đạt lại, câu hỏi sẽ được chuyển tiếp tới Amazon Kendra bằng API Truy xuất. Đáp lại, chỉ mục Amazon Kendra hiển thị kết quả tìm kiếm, cung cấp các đoạn trích từ các tài liệu thích hợp có nguồn gốc từ dữ liệu được nhập vào của doanh nghiệp.
- Câu hỏi của người dùng cùng với dữ liệu được truy xuất từ chỉ mục sẽ được gửi dưới dạng ngữ cảnh trong lời nhắc LLM. Phản hồi từ LLM được lưu trữ dưới dạng lịch sử trò chuyện trong DynamoDB.
- Cuối cùng, phản hồi từ LLM được gửi lại cho người dùng.
Quy trình lập chỉ mục tài liệu
Sau đây là quy trình xử lý và lập chỉ mục tài liệu:
- Người dùng gửi tài liệu qua giao diện người dùng (UI).
- Tài liệu được chuyển vào vùng lưu trữ S3 bằng cách sử dụng Amplify AWS API.
- Amazon Kendra lập chỉ mục các tài liệu mới trong bộ chứa S3 thông qua trình kết nối Amazon Kendra S3.
Lợi ích
Danh sách sau đây nêu bật những ưu điểm của giải pháp này:
- Truy xuất cấp doanh nghiệp – Amazon Kendra được thiết kế để tìm kiếm doanh nghiệp, phù hợp với các tổ chức có lượng lớn dữ liệu có cấu trúc và phi cấu trúc.
- Hiểu biết ngữ nghĩa – Khả năng ML của Amazon Kendra đảm bảo rằng việc truy xuất dựa trên sự hiểu biết sâu sắc về ngữ nghĩa chứ không chỉ dựa trên kết quả khớp từ khóa.
- khả năng mở rộng – Amazon Kendra có thể xử lý các nguồn dữ liệu quy mô lớn và cung cấp kết quả tìm kiếm nhanh chóng và phù hợp.
- Linh hoạt – Mô hình nền tảng có thể tạo ra câu trả lời dựa trên nhiều ngữ cảnh, đảm bảo hệ thống vẫn linh hoạt.
- Khả năng tích hợp – Amazon Kendra có thể được tích hợp với nhiều dịch vụ và nguồn dữ liệu AWS khác nhau, giúp nó có khả năng thích ứng với các nhu cầu khác nhau của tổ chức.
Mô hình nhúng với LLM cơ bản
An nhúng là một vectơ số đại diện cho bản chất cốt lõi của các loại dữ liệu đa dạng, bao gồm văn bản, hình ảnh, âm thanh và tài liệu. Cách biểu diễn này không chỉ nắm bắt được ý nghĩa nội tại của dữ liệu mà còn điều chỉnh nó cho phù hợp với nhiều ứng dụng thực tế. Mô hình nhúng, một nhánh của ML, chuyển đổi dữ liệu phức tạp, chẳng hạn như từ hoặc cụm từ, thành không gian vectơ liên tục. Các vectơ này vốn nắm bắt các kết nối ngữ nghĩa giữa dữ liệu, cho phép so sánh sâu sắc hơn và sâu sắc hơn.
RAG kết hợp liền mạch các điểm mạnh của các mô hình nền tảng, như máy biến áp, với độ chính xác của các phần nhúng để sàng lọc cơ sở dữ liệu rộng lớn để tìm thông tin thích hợp. Khi nhận được truy vấn, hệ thống sẽ sử dụng các phần nhúng để xác định và trích xuất các phần có liên quan từ một lượng dữ liệu phong phú. Sau đó, mô hình cơ bản sẽ hình thành phản hồi chính xác theo ngữ cảnh dựa trên thông tin được trích xuất này. Sự kết hợp hoàn hảo giữa truy xuất dữ liệu và tạo phản hồi này cho phép hệ thống cung cấp các câu trả lời thấu đáo, rút ra từ kiến thức rộng lớn được lưu trữ trong cơ sở dữ liệu mở rộng.
Trong bố cục kiến trúc, dựa trên lựa chọn giao diện người dùng của họ, người dùng được hướng dẫn đến Amazon Bedrock hoặc Khởi động Amazon SageMaker các mô hình nền tảng. Các tài liệu trải qua quá trình xử lý và các phần nhúng vectơ được tạo ra bằng mô hình nhúng. Các phần nhúng này sau đó được lập chỉ mục bằng cách sử dụng THẤT BẠI để cho phép tìm kiếm ngữ nghĩa hiệu quả. Lịch sử hội thoại được lưu giữ trong DynamoDB, làm phong phú thêm bối cảnh cho LLM để tạo phản hồi.
Sơ đồ sau minh họa kiến trúc giải pháp và quy trình làm việc.
Chúng tôi đã cung cấp bản demo này trong Repo GitHub. Tham khảo hướng dẫn triển khai trong tệp readme để triển khai nó vào tài khoản AWS của bạn.
Mô hình nhúng
Trách nhiệm của mô hình nhúng như sau:
- Mô hình này chịu trách nhiệm chuyển đổi văn bản (như tài liệu hoặc đoạn văn) thành các biểu diễn vectơ dày đặc, thường được gọi là phần nhúng.
- Các phần nhúng này nắm bắt ý nghĩa ngữ nghĩa của văn bản, cho phép so sánh hiệu quả và có ý nghĩa về mặt ngữ nghĩa giữa các phần văn bản khác nhau.
- Mô hình nhúng có thể được đào tạo trên cùng một kho dữ liệu rộng lớn như mô hình nền tảng hoặc có thể chuyên biệt cho các miền cụ thể.
Quy trình hỏi đáp
Các bước sau đây mô tả quy trình làm việc của việc trả lời câu hỏi trên tài liệu:
- Người dùng đăng nhập vào ứng dụng web được xác thực bởi Amazon Cognito.
- Người dùng tải một hoặc nhiều tài liệu lên Amazon S3.
- Khi truyền tài liệu, thông báo sự kiện S3 sẽ kích hoạt hàm Lambda, sau đó gọi điểm cuối mô hình nhúng SageMaker để tạo nội dung nhúng cho tài liệu mới. Mô hình nhúng chuyển đổi câu hỏi thành biểu diễn vectơ dày đặc (nhúng). Tệp vectơ kết quả được lưu trữ an toàn trong vùng lưu trữ S3.
- Trình truy xuất FAISS so sánh phần nhúng câu hỏi này với phần nhúng của tất cả tài liệu hoặc đoạn văn trong cơ sở dữ liệu để tìm ra đoạn văn phù hợp nhất.
- Các đoạn văn cùng với câu hỏi của người dùng được cung cấp làm bối cảnh cho mô hình cơ bản. Hàm Lambda sử dụng thư viện LangChain và kết nối với điểm cuối Amazon Bedrock hoặc SageMaker JumpStart bằng truy vấn được nhồi ngữ cảnh.
- Phản hồi từ LLM được lưu trữ trong DynamoDB cùng với truy vấn của người dùng, dấu thời gian, mã định danh duy nhất và các mã định danh tùy ý khác cho mục, chẳng hạn như danh mục câu hỏi. Việc lưu trữ câu hỏi và câu trả lời dưới dạng các mục riêng biệt cho phép hàm Lambda dễ dàng tạo lại lịch sử hội thoại của người dùng dựa trên thời gian đặt câu hỏi.
- Cuối cùng, phản hồi được gửi lại cho người dùng thông qua yêu cầu HTTP thông qua phản hồi tích hợp API WebSocket của API Gateway.
Lợi ích
Danh sách sau đây mô tả lợi ích của giải pháp này:
- Hiểu biết ngữ nghĩa – Mô hình nhúng đảm bảo rằng trình truy xuất chọn các đoạn dựa trên sự hiểu biết sâu sắc về ngữ nghĩa chứ không chỉ khớp từ khóa.
- khả năng mở rộng – Tính năng nhúng cho phép so sánh độ tương tự một cách hiệu quả, giúp việc tìm kiếm thông qua cơ sở dữ liệu tài liệu rộng lớn trở nên khả thi một cách nhanh chóng.
- Linh hoạt – Mô hình nền tảng có thể tạo ra câu trả lời dựa trên nhiều ngữ cảnh, đảm bảo hệ thống vẫn linh hoạt.
- Khả năng thích ứng tên miền – Mô hình nhúng có thể được đào tạo hoặc tinh chỉnh cho các miền cụ thể, cho phép hệ thống được điều chỉnh cho các ứng dụng khác nhau.
Mô hình nền tảng Trình tạo quảng cáo dược phẩm
Trong ngành dược phẩm phát triển nhanh chóng ngày nay, quảng cáo hiệu quả và được bản địa hóa là quan trọng hơn bao giờ hết. Đây là lúc một giải pháp đổi mới phát huy tác dụng, sử dụng sức mạnh của AI tổng hợp để tạo các quảng cáo dược phẩm được bản địa hóa từ hình ảnh nguồn và tệp PDF. Ngoài việc đơn thuần đẩy nhanh quá trình tạo quảng cáo, phương pháp này còn hợp lý hóa quy trình Đánh giá pháp lý y tế (MLR). MLR là một cơ chế đánh giá nghiêm ngặt trong đó các nhóm y tế, pháp lý và quản lý đánh giá tỉ mỉ các tài liệu quảng cáo để đảm bảo tính chính xác, có căn cứ khoa học và tuân thủ quy định. Các phương pháp tạo nội dung truyền thống có thể phức tạp, thường đòi hỏi phải điều chỉnh thủ công và đánh giá sâu rộng để đảm bảo sự phù hợp và phù hợp với khu vực. Tuy nhiên, với sự ra đời của AI sáng tạo, giờ đây chúng ta có thể tự động hóa việc tạo quảng cáo thực sự gây được tiếng vang với khán giả địa phương, đồng thời duy trì các tiêu chuẩn và nguyên tắc nghiêm ngặt.
Sơ đồ sau minh họa kiến trúc giải pháp.
Trong bố cục kiến trúc, dựa trên mô hình đã chọn và tùy chọn quảng cáo, người dùng được hướng dẫn liền mạch đến các mô hình nền tảng Amazon Bedrock. Cách tiếp cận hợp lý này đảm bảo rằng quảng cáo mới được tạo chính xác theo cấu hình mong muốn. Là một phần của quy trình, các tài liệu được xử lý một cách hiệu quả bởi Văn bản Amazon, với văn bản kết quả được lưu trữ an toàn trong DynamoDB. Một tính năng nổi bật là thiết kế mô-đun để tạo hình ảnh và văn bản, cho phép bạn linh hoạt tái tạo độc lập bất kỳ thành phần nào theo yêu cầu.
Chúng tôi đã cung cấp bản demo này trong Repo GitHub. Tham khảo hướng dẫn triển khai trong tệp readme để triển khai nó vào tài khoản AWS của bạn.
Quy trình tạo nội dung
Các bước sau đây phác thảo quy trình tạo nội dung:
- Người dùng chọn tài liệu, hình ảnh nguồn, vị trí đặt quảng cáo, ngôn ngữ và kiểu hình ảnh.
- Quyền truy cập an toàn vào ứng dụng web được đảm bảo thông qua xác thực Amazon Cognito.
- Giao diện người dùng của ứng dụng web được lưu trữ thông qua Amplify.
- API WebSocket do API Gateway quản lý sẽ hỗ trợ các yêu cầu của người dùng. Những yêu cầu này được xác thực thông qua Quản lý truy cập và nhận dạng AWS (TÔI LÀ).
- Tích hợp với Amazon Bedrock bao gồm các bước sau:
- Hàm Lambda sử dụng thư viện LangChain để kết nối với điểm cuối Amazon Bedrock bằng truy vấn giàu ngữ cảnh.
- Mô hình cơ bản chuyển văn bản thành văn bản tạo ra một quảng cáo phù hợp theo ngữ cảnh dựa trên ngữ cảnh và cài đặt nhất định.
- Mô hình cơ bản chuyển văn bản thành hình ảnh tạo ra một hình ảnh phù hợp, chịu ảnh hưởng của hình ảnh nguồn, phong cách và vị trí đã chọn.
- Người dùng nhận được phản hồi thông qua yêu cầu HTTPS thông qua API WebSocket API Gateway tích hợp.
Quy trình xử lý tài liệu và hình ảnh
Sau đây là quy trình xử lý tài liệu và hình ảnh:
- Người dùng tải nội dung lên thông qua giao diện người dùng được chỉ định.
- API Amplify chuyển tài liệu sang bộ chứa S3.
- Sau khi nội dung được chuyển sang Amazon S3, một trong những hành động sau sẽ diễn ra:
- Nếu là tài liệu, hàm Lambda sẽ sử dụng Amazon Textract để xử lý và trích xuất văn bản nhằm tạo quảng cáo.
- Nếu là hình ảnh, hàm Lambda sẽ chuyển đổi nó sang định dạng base64, phù hợp với mô hình Stable Diffusion để tạo hình ảnh mới từ nguồn.
- Chuỗi văn bản hoặc hình ảnh base64 được trích xuất được lưu an toàn trong DynamoDB.
Lợi ích
Danh sách sau đây mô tả lợi ích của giải pháp này:
- Hiệu quả – Việc sử dụng AI tổng hợp giúp tăng tốc đáng kể quá trình tạo quảng cáo, loại bỏ nhu cầu điều chỉnh thủ công.
- Tuân thủ tuân thủ – Giải pháp đảm bảo rằng quảng cáo được tạo tuân thủ hướng dẫn và quy định cụ thể, chẳng hạn như nguyên tắc tiếp thị của FDA.
- Chi phí-hiệu quả – Bằng cách tự động hóa việc tạo quảng cáo phù hợp, các công ty có thể giảm đáng kể chi phí liên quan đến việc sản xuất và sửa đổi quảng cáo.
- Quy trình MLR được sắp xếp hợp lý – Giải pháp đơn giản hóa quy trình MLR, giảm các điểm ma sát và đảm bảo quá trình đánh giá diễn ra suôn sẻ hơn.
- Cộng hưởng cục bộ – Generative AI tạo ra các quảng cáo gây được tiếng vang với khán giả địa phương, đảm bảo mức độ phù hợp và tác động ở các khu vực khác nhau.
- Tiêu chuẩn hoá – Giải pháp duy trì các tiêu chuẩn và nguyên tắc cần thiết, đảm bảo tính nhất quán trên tất cả các quảng cáo được tạo.
- khả năng mở rộng – Phương pháp tiếp cận dựa trên AI có thể xử lý cơ sở dữ liệu khổng lồ về hình ảnh nguồn và tệp PDF, giúp việc tạo quảng cáo quy mô lớn trở nên khả thi.
- Giảm can thiệp thủ công – Việc tự động hóa làm giảm nhu cầu can thiệp của con người, giảm thiểu sai sót và đảm bảo tính nhất quán.
Bạn có thể triển khai cơ sở hạ tầng trong hướng dẫn này từ máy tính cục bộ của mình hoặc bạn có thể sử dụng AWS Cloud9 làm trạm triển khai của mình. AWS Cloud9 được cài sẵn AWS CLI, AWS CDK và Docker. Nếu bạn chọn AWS Cloud9, tạo môi trường từ Bảng điều khiển AWS Cloud9.
Làm sạch
Để tránh chi phí không cần thiết, hãy dọn dẹp tất cả cơ sở hạ tầng được tạo thông qua bảng điều khiển AWS CloudFormation hoặc bằng cách chạy lệnh sau trên máy trạm của bạn:
Ngoài ra, hãy nhớ dừng mọi điểm cuối SageMaker mà bạn đã khởi tạo thông qua bảng điều khiển SageMaker. Hãy nhớ rằng việc xóa chỉ mục Amazon Kendra sẽ không xóa tài liệu gốc khỏi bộ lưu trữ của bạn.
Kết luận
AI sáng tạo, được điển hình hóa bởi LLM, báo trước một sự thay đổi mô hình trong cách chúng ta truy cập và tạo thông tin. Những mô hình này, mặc dù mạnh mẽ nhưng thường bị giới hạn bởi giới hạn dữ liệu huấn luyện của chúng. RAG giải quyết thách thức này, đảm bảo rằng kiến thức sâu rộng trong các mô hình này được truyền tải một cách nhất quán với những hiểu biết hiện tại, có liên quan.
Các bản demo dựa trên RAG của chúng tôi cung cấp một minh chứng rõ ràng cho điều này. Chúng thể hiện sức mạnh tổng hợp liền mạch giữa Amazon Kendra, tính năng nhúng vectơ và LLM, tạo ra một hệ thống trong đó thông tin không chỉ rộng lớn mà còn chính xác và kịp thời. Khi đi sâu vào các bản trình diễn này, bạn sẽ trực tiếp khám phá tiềm năng biến đổi của việc kết hợp kiến thức được đào tạo trước với các khả năng linh hoạt của RAG, mang lại kết quả vừa đáng tin cậy vừa phù hợp với nội dung doanh nghiệp.
Mặc dù AI tổng quát được hỗ trợ bởi LLM mở ra một cách mới để thu thập thông tin chi tiết, nhưng những thông tin chi tiết này phải đáng tin cậy và chỉ giới hạn trong nội dung doanh nghiệp bằng cách sử dụng phương pháp RAG. Các bản trình diễn dựa trên RAG này cho phép bạn được trang bị những hiểu biết chính xác và cập nhật. Chất lượng của những thông tin chuyên sâu này phụ thuộc vào mức độ liên quan về mặt ngữ nghĩa, được kích hoạt bằng cách sử dụng Amazon Kendra và các nội dung nhúng vectơ.
Nếu bạn đã sẵn sàng khám phá và khai thác thêm sức mạnh của AI tổng hợp, đây là các bước tiếp theo của bạn:
- Tham gia với các bản demo của chúng tôi - Kinh nghiệm thực tế là vô giá. Khám phá các chức năng, hiểu các tích hợp và làm quen với giao diện.
- Đào sâu kiến thức của bạn - Tận dụng các nguồn lực sẵn có. AWS cung cấp tài liệu, hướng dẫn chuyên sâu và hỗ trợ cộng đồng để hỗ trợ hành trình AI của bạn.
- Khởi động một dự án thí điểm – Hãy cân nhắc bắt đầu bằng việc triển khai AI tổng hợp ở quy mô nhỏ trong doanh nghiệp của bạn. Điều này sẽ cung cấp những hiểu biết sâu sắc về tính thực tế và khả năng thích ứng của hệ thống trong bối cảnh cụ thể của bạn.
Để biết thêm thông tin về các ứng dụng AI tổng hợp trên AWS, hãy tham khảo phần sau:
Hãy nhớ rằng, bối cảnh của AI không ngừng phát triển. Luôn cập nhật, luôn tò mò và luôn sẵn sàng thích nghi và đổi mới.
Giới thiệu về tác giả
Kim Tấn Nguyễn là Nhà phát triển tạo mẫu trong nhóm Kỹ thuật tạo mẫu và khách hàng (PACE) của AWS Industries, chuyên về NLP và AI tổng hợp. Với nền tảng về phát triển phần mềm và chín chứng chỉ AWS, Jin mang đến nhiều kinh nghiệm để hỗ trợ khách hàng AWS hiện thực hóa AI/ML và tầm nhìn AI tổng quát của họ bằng cách sử dụng nền tảng AWS. Ông có bằng thạc sĩ về Khoa học Máy tính & Kỹ thuật Phần mềm của Đại học Syracuse. Ngoài công việc, Jin thích chơi điện tử và hòa mình vào thế giới ly kỳ của phim kinh dị.
Aravind Kodandaramaiah là người xây dựng giải pháp full stack Tạo mẫu cấp cao trong nhóm Kỹ thuật tạo mẫu và khách hàng (PACE) của ngành AWS. Ông tập trung vào việc giúp khách hàng AWS biến các ý tưởng đổi mới thành giải pháp với kết quả thú vị và có thể đo lường được. Anh ấy đam mê nhiều chủ đề, bao gồm bảo mật đám mây, DevOps và AI/ML và thường xuyên mày mò nghiên cứu các công nghệ này.
Arjun Shakdher là Nhà phát triển thuộc nhóm Tạo mẫu công nghiệp AWS (PACE), người đam mê việc kết hợp công nghệ vào cơ cấu cuộc sống. Có bằng thạc sĩ của Đại học Purdue, vai trò hiện tại của Arjun xoay quanh việc kiến trúc và xây dựng các nguyên mẫu tiên tiến trải rộng trên nhiều lĩnh vực, nổi bật là lĩnh vực AI/ML và IoT. Khi không đắm chìm trong bối cảnh mã hóa và kỹ thuật số, bạn sẽ thấy Arjun say mê thế giới cà phê, khám phá cơ chế phức tạp của đồng hồ hoặc say sưa với nghệ thuật của ô tô.
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
- PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
- Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
- PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
- nguồn: https://aws.amazon.com/blogs/machine-learning/harnessing-the-power-of-enterprise-data-with-generative-ai-insights-from-amazon-kendra-langchain-and-large-language-models/
- :là
- :không phải
- :Ở đâu
- $ LÊN
- 100
- 150
- 7
- a
- có khả năng
- Giới thiệu
- tăng tốc
- truy cập
- Theo
- Tài khoản
- chính xác
- chính xác
- ngang qua
- hành động
- Ad
- thích ứng
- thích nghi
- thêm
- địa chỉ
- tham gia
- điều chỉnh
- Nhận nuôi
- quảng cáo
- tiên tiến
- Lợi thế
- lợi thế
- sự xuất hiện
- Quảng cáo
- Sau
- AI
- AI / ML
- Hỗ trợ
- liên kết
- Tất cả
- cho phép
- Cho phép
- cho phép
- gần như
- dọc theo
- Ngoài ra
- thay thế
- luôn luôn
- đàn bà gan dạ
- Nhận thức về Amazon
- Amazon Kendra
- Văn bản Amazon
- Amazon Web Services
- số lượng
- khoa trương
- an
- và
- trả lời
- câu trả lời
- bất kì
- api
- ứng dụng
- Các Ứng Dụng
- các ứng dụng
- phương pháp tiếp cận
- thích hợp
- kiến trúc
- kiến trúc
- LÀ
- xung quanh
- Mảng
- nghệ thuật
- AS
- tài sản
- Tài sản
- hỗ trợ
- liên kết
- điều trần
- âm thanh
- chứng thực
- Xác thực
- tự động hóa
- tự động hóa
- Tự động hóa
- có sẵn
- tránh
- tránh
- AWS
- Đám mây AWS9
- Hình thành đám mây AWS
- trở lại
- được hậu thuẫn
- lý lịch
- ủng hộ
- cơ sở
- dựa
- BE
- bởi vì
- trở nên
- trở thành
- Lợi ích
- Hơn
- giữa
- Ngoài
- thành kiến
- trộn
- thân hình
- Bot
- cả hai
- Chi nhánh
- Mang lại
- rộng
- xây dựng
- Xây dựng
- nhưng
- by
- Cuộc gọi
- CAN
- Có thể có được
- khả năng
- nắm bắt
- chụp
- trường hợp
- Phân loại
- chứng chỉ
- thách thức
- thách thức
- Chọn
- lựa chọn
- giống cá lăng
- đám mây
- Bảo mật đám mây
- Cloud9
- mã
- Cà Phê
- kết hợp
- kết hợp
- đến
- thông thường
- cộng đồng
- Các công ty
- so sánh
- phức tạp
- tuân thủ
- compliant
- thành phần
- hiểu
- máy tính
- Khoa học Máy tính
- Cấu hình
- Kết nối
- Kết nối
- connect
- Hãy xem xét
- nhất quán
- An ủi
- liên tục
- nội dung
- Tạo nội dung
- tạo nội dung
- bối cảnh
- bối cảnh
- theo ngữ cảnh
- tiếp tục
- liên tục
- Tiện lợi
- thông thường
- Conversation
- chuyển đổi
- Trung tâm
- Phí Tổn
- Chi phí
- nghề
- tạo
- tạo ra
- tạo ra
- Tạo
- tạo
- quan trọng
- cồng kềnh
- tò mò
- Current
- khách hàng
- khách hàng
- khách hàng
- tiên tiến
- dữ liệu
- Cơ sở dữ liệu
- cơ sở dữ liệu
- bộ dữ liệu
- Ngày
- sâu
- sâu sắc hơn
- Bằng cấp
- thú vị
- bản demo
- Demo
- phụ thuộc
- triển khai
- triển khai
- triển khai
- triển khai
- mô tả
- Thiết kế
- thiết kế
- mong muốn
- phá hủy
- chi tiết
- chi tiết
- Nhà phát triển
- Phát triển
- chẩn đoán
- khác nhau
- Lôi thôi
- kỹ thuật số
- đạo diễn
- màn hình
- khác biệt
- bổ nhào
- khác nhau
- lặn
- phu bến tàu
- tài liệu
- tài liệu hướng dẫn
- tài liệu
- Không
- lĩnh vực
- vẽ tranh
- vẽ
- điều khiển
- năng động
- dễ dàng
- hiệu quả
- hiệu quả
- hiệu quả
- hay
- loại bỏ
- nhúng
- xuất hiện
- sử dụng
- trao quyền
- trao quyền
- cho phép
- kích hoạt
- cho phép
- cho phép
- cuối
- Điểm cuối
- Kỹ Sư
- nâng cao
- làm giàu
- đảm bảo
- đảm bảo
- đảm bảo
- đảm bảo
- Doanh nghiệp
- Toàn bộ
- đã trang bị
- lỗi
- đặc biệt
- bản chất
- đánh giá
- Sự kiện
- BAO GIỜ
- phát triển
- phát triển
- ví dụ
- kích thích
- mở rộng
- kinh nghiệm
- chuyên gia
- các chuyên gia
- khám phá
- Khám phá
- mở rộng
- ngoài
- trích xuất
- vải
- tạo điều kiện
- làm quen
- nhịp độ nhanh
- FB
- khả thi
- Đặc tính
- Tính năng
- Với
- Tập tin
- lọc
- Tìm kiếm
- Tên
- Linh hoạt
- tập trung
- tiếp theo
- sau
- Trong
- định dạng
- tìm thấy
- Nền tảng
- xích mích
- từ
- trước mặt
- Mặt trận cuối cùng
- Full
- Đầy đủ ngăn xếp
- chức năng
- chức năng
- xa hơn
- Hơn nữa
- Thu được
- đạt được
- Trò chơi
- cửa ngõ
- tạo ra
- tạo ra
- thế hệ
- thế hệ
- Trí tuệ nhân tạo
- máy phát điện
- được
- được
- Cho
- cấp
- sự hiểu biết
- Phát triển
- Bảo hành
- hướng dẫn
- hướng dẫn
- hướng dẫn
- xử lý
- hands-on
- khai thác
- Khai thác
- Có
- có
- he
- giúp đỡ
- sứ giả
- tại đây
- nổi bật
- mình
- lịch sử
- lịch sử
- tổ chức
- giữ
- kinh dị
- tổ chức
- Độ đáng tin của
- Tuy nhiên
- HTML
- http
- HTTPS
- Nhân loại
- ý tưởng
- định danh
- định danh
- xác định
- Bản sắc
- if
- minh họa
- hình ảnh
- hình ảnh
- đắm mình
- Va chạm
- thực hiện
- in
- sâu
- không chính xác
- bao gồm
- Bao gồm
- kết hợp
- độc lập
- chỉ số
- lập chỉ mục
- chỉ số
- các ngành công nghiệp
- ngành công nghiệp
- tiêu chuẩn công nghiệp
- bị ảnh hưởng
- thông tin
- thông báo
- Cơ sở hạ tầng
- vốn có
- ban đầu
- khởi xướng
- đổi mới
- sáng tạo
- sâu sắc
- những hiểu biết
- thay vì
- hướng dẫn
- tích hợp
- Tích hợp
- hội nhập
- tích hợp
- ý định
- tương tác
- Giao thức
- can thiệp
- trong
- nội tại
- vô giá
- iốt
- IT
- mặt hàng
- ITS
- Việc làm
- cuộc hành trình
- jpg
- chỉ
- kiến thức
- nổi tiếng
- cảnh quan
- Ngôn ngữ
- lớn
- quy mô lớn
- Bố trí
- học tập
- Hợp pháp
- cho phép
- Thư viện
- Cấp phép
- Cuộc sống
- Lượt thích
- khả năng
- Hạn chế
- giới hạn
- Danh sách
- LLM
- địa phương
- địa điểm thư viện nào
- máy
- học máy
- duy trì
- Làm
- quản lý
- nhãn hiệu
- nhiều
- Marketing
- lớn
- thạc sĩ
- diêm
- nguyên vật liệu
- có nghĩa là
- có ý nghĩa
- ý nghĩa
- có nghĩa
- cơ khí
- cơ chế
- y khoa
- Bộ nhớ
- chỉ đơn thuần là
- hợp nhất
- sáp nhập
- phương pháp
- tỉ mỉ
- giảm thiểu
- giảm nhẹ
- ML
- kiểu mẫu
- người mẫu
- mô hình
- mô-đun
- chi tiết
- hầu hết
- Phim Điện Ảnh
- phải
- Tự nhiên
- Xử lý ngôn ngữ tự nhiên
- cần thiết
- Cần
- cần thiết
- cần
- nhu cầu
- Mới
- tiếp theo
- chín
- nlp
- thông báo
- tại
- of
- cung cấp
- Cung cấp
- thường
- on
- ONE
- có thể
- mở ra
- or
- tổ chức
- tổ chức
- nguyên
- Nền tảng khác
- vfoXNUMXfipXNUMXhfpiXNUMXufhpiXNUMXuf
- ra
- kết quả
- đề cương
- kết quả đầu ra
- bên ngoài
- kết thúc
- Vượt qua
- Hòa bình
- mô hình
- thông số
- một phần
- đam mê
- hoàn hảo
- quyền
- Cá nhân
- Pharma
- Dược phẩm
- cụm từ
- miếng
- phi công
- dự án thí điểm
- Nơi
- vị trí
- nền tảng
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- Play
- chơi
- điểm
- định vị
- có thể
- Bài đăng
- tiềm năng
- quyền lực
- -
- mạnh mẽ
- Thực tế
- cần
- Chính xác
- Độ chính xác
- ưu đãi
- điều kiện tiên quyết
- hiện nay
- thủ tục
- quá trình
- Xử lý
- xử lý
- Sản xuất
- sản xuất
- Sản lượng
- dự án
- quảng cáo
- nguyên mẫu
- tạo mẫu
- Chứng minh
- cho
- cung cấp
- cung cấp
- cung cấp
- chất lượng
- truy vấn
- câu hỏi
- Câu hỏi
- Nhanh chóng
- Mau
- phạm vi
- sẵn sàng
- cảnh giới
- nhận
- nhận
- Khuyến nghị
- giảm
- làm giảm
- giảm
- xem
- tinh chế
- khu vực
- vùng
- đều đặn
- quy định
- nhà quản lý
- Tuân thủ quy định
- sự liên quan
- có liên quan
- dựa vào
- vẫn
- vẫn còn
- nhớ
- tẩy
- diễn đạt lại
- đại diện
- đại diện cho
- yêu cầu
- yêu cầu
- yêu cầu
- cần phải
- Yêu cầu
- tiếng kêu vang
- Thông tin
- phản ứng
- phản ứng
- trách nhiệm
- chịu trách nhiệm
- kết quả
- kết quả
- Kết quả
- xem xét
- Đánh giá
- Sửa đổi
- xoay vòng
- ngay
- nghiêm ngặt
- Vai trò
- chạy
- chạy
- nhà làm hiền triết
- tương tự
- lưu
- Khoa học
- khoa học
- liền mạch
- liền mạch
- Tìm kiếm
- phần
- an toàn
- an toàn
- an ninh
- chọn
- lựa chọn
- cao cấp
- gởi
- dịch vụ
- DỊCH VỤ
- định
- thiết lập
- thiết lập
- thay đổi
- giới thiệu
- Chương trình
- Sàng lọc
- có ý nghĩa
- đáng kể
- Đơn giản
- đơn giản
- nhỏ hơn
- mượt mà hơn
- Phần mềm
- phát triển phần mềm
- kỹ thuật phần mềm
- chỉ duy nhất
- giải pháp
- Giải pháp
- nguồn
- nguồn gốc
- nguồn
- Tìm nguồn cung ứng
- không gian
- nhịp cầu
- chuyên nghành
- chuyên
- riêng
- quy định
- ổn định
- ngăn xếp
- tiêu chuẩn
- Bắt đầu
- nhà nước-of-the-art
- ở lại
- Bước
- Các bước
- Dừng
- là gắn
- hàng
- lưu trữ
- lưu trữ
- sắp xếp hợp lý
- thế mạnh
- Chuỗi
- nghiêm khắc
- cấu trúc
- phong cách
- trình
- như vậy
- phù hợp
- hỗ trợ
- Hỗ trợ
- sức mạnh tổng hợp
- hệ thống
- phù hợp
- Hãy
- mất
- hữu hình
- Nhiệm vụ
- nhiệm vụ
- nhóm
- đội
- kỹ thuật
- Công nghệ
- Công nghệ
- di chúc
- văn bản
- hơn
- việc này
- Sản phẩm
- Phong cảnh
- Nguồn
- thế giới
- cung cấp their dịch
- Them
- sau đó
- bằng cách ấy
- Kia là
- họ
- điều này
- số ba
- kịch tính
- Thông qua
- thời gian
- hợp thời
- dấu thời gian
- titan
- đến
- hôm nay
- công cụ
- công cụ
- chủ đề
- Chủ đề
- đối với
- truyền thống
- Train
- đào tạo
- Hội thảo
- chuyển
- chuyển
- chuyển
- Chuyển đổi
- biến đổi
- máy biến áp
- Xu hướng
- thực sự
- đáng tin cậy
- XOAY
- hướng dẫn
- hướng dẫn
- loại
- ui
- trải qua
- cơ bản
- hiểu
- sự hiểu biết
- độc đáo
- trường đại học
- không giống
- không cần thiết
- công bố
- up-to-date
- Cập nhật
- cập nhật
- Cập nhật
- duy trì
- trên
- sử dụng
- ca sử dụng
- người sử dang
- Giao diện người dùng
- Người sử dụng
- sử dụng
- sử dụng
- thường
- sử dụng
- Bằng cách sử dụng
- khác nhau
- Lớn
- linh hoạt
- thông qua
- Video
- trò chơi video
- tầm nhìn
- Đường..
- we
- Wealth
- web
- Ứng dụng web
- các dịch vụ web
- websockets
- là
- khi nào
- cái nào
- trong khi
- CHÚNG TÔI LÀ
- rộng
- Phạm vi rộng
- sẽ
- với
- ở trong
- không có
- từ
- Công việc
- quy trình làm việc
- máy trạm
- thế giới
- Bạn
- trên màn hình
- mình
- zephyrnet