검색 증강 생성 및 LangChain 에이전트를 사용하여 내부 정보에 대한 액세스 단순화 | 아마존 웹 서비스

검색 증강 생성 및 LangChain 에이전트를 사용하여 내부 정보에 대한 액세스 단순화 | 아마존 웹 서비스

이 게시물에서는 고객이 내부 문서를 검색할 때 직면하는 가장 일반적인 문제를 안내하고 AWS 서비스를 사용하여 내부 정보를 더욱 유용하게 만드는 생성 AI 대화형 봇을 만드는 방법에 대한 구체적인 지침을 제공합니다.

비정형 데이터는 전체 데이터의 80%를 차지합니다. 매뉴얼, PDF, FAQ, 이메일 및 매일 증가하는 기타 문서의 저장소로 구성된 조직 내에서 발견됩니다. 오늘날 기업은 지속적으로 증가하는 내부 정보 저장소에 의존하고 있으며, 구조화되지 않은 데이터의 양이 관리하기 어려워지면 문제가 발생합니다. 사용자는 필요한 답변을 찾기 위해 다양한 내부 소스를 읽고 확인하는 경우가 많습니다.

내부 질문 및 답변 포럼은 사용자가 매우 구체적인 답변을 얻는 데 도움이 될 수 있지만 대기 시간도 더 길어집니다. 회사별 내부 FAQ의 경우 대기 시간이 길어지면 직원 생산성이 저하됩니다. 질문 및 답변 포럼은 수동으로 작성된 답변에 의존하기 때문에 확장하기가 어렵습니다. 생성적 AI를 통해 현재 사용자가 정보를 검색하고 찾는 방법에 패러다임 변화가 일어나고 있습니다. 다음 논리적 단계는 생성 AI를 사용하여 사용자가 더 쉽게 사용할 수 있도록 대용량 문서를 더 작은 크기의 정보로 압축하는 것입니다. 텍스트를 읽거나 답변을 기다리는 데 오랜 시간을 소비하는 대신 사용자는 내부 정보의 기존 여러 저장소를 기반으로 실시간으로 요약을 생성할 수 있습니다.

솔루션 개요

이 솔루션을 사용하면 고객은 변환기 모델을 사용하여 훈련되지 않은 데이터에 대한 질문에 대한 답변을 생성함으로써 내부 문서에 대한 질문에 대해 선별된 응답을 검색할 수 있습니다. 이 기술은 제로샷 프롬프트로 알려져 있습니다. 이 솔루션을 채택함으로써 고객은 다음과 같은 이점을 얻을 수 있습니다.

  • 내부 문서의 기존 소스를 기반으로 질문에 대한 정확한 답변 찾기
  • LLM(대형 언어 모델)을 사용하여 최신 정보가 포함된 문서를 사용하여 복잡한 쿼리에 대해 거의 즉각적인 답변을 제공함으로써 사용자가 답변을 검색하는 데 소비하는 시간을 줄입니다.
  • 중앙 대시보드를 통해 이전에 답변한 질문을 검색하세요.
  • 답변을 찾기 위해 수동으로 정보를 읽는 데 시간을 소비함으로써 발생하는 스트레스를 줄입니다.

검색 증강 생성(RAG)

RAG(검색 증강 생성)는 지식 기반에서 답변을 찾고 LLM을 사용하여 문서를 간결한 응답으로 요약함으로써 LLM 기반 쿼리의 일부 단점을 줄입니다. 이것을 읽어주세요 게시 RAG 접근 방식을 구현하는 방법을 배우려면 아마존 켄드라. Amazon Kendra를 사용한 RAG 접근 방식이 해결하는 LLM 기반 쿼리와 관련된 위험 및 제한 사항은 다음과 같습니다.

  • 환각 및 추적성 – LLMS는 대규모 데이터 세트에 대해 교육을 받고 확률에 대한 응답을 생성합니다. 이는 환각으로 알려진 부정확한 답변으로 이어질 수 있습니다.
  • 다중 데이터 사일로 – 응답 내에서 여러 소스의 데이터를 참조하려면 데이터를 집계하기 위한 커넥터 생태계를 설정해야 합니다. 여러 저장소에 액세스하는 것은 수동이며 시간이 많이 걸립니다.
  • 보안 – RAG 및 LLM으로 구동되는 대화형 봇을 배포할 때 보안과 개인 정보 보호는 중요한 고려 사항입니다. 사용함에도 불구하고 아마존 이해 사용자 쿼리를 통해 제공될 수 있는 개인 데이터를 필터링하기 위해 수집된 데이터에 따라 개인 정보 또는 민감한 정보가 의도치 않게 노출될 가능성이 남아 있습니다. 이는 민감한 정보에 대한 의도하지 않은 접근을 방지하기 위해 챗봇에 대한 접근을 제어하는 ​​것이 중요하다는 것을 의미합니다.
  • 데이터 관련성 – LLMS는 특정 날짜까지의 데이터에 대해 학습되므로 정보가 최신이 아닌 경우가 많습니다. 최근 데이터에 대한 모델 학습과 관련된 비용이 높습니다. 정확한 최신 응답을 보장하기 위해 조직은 색인된 문서의 내용을 정기적으로 업데이트하고 강화할 책임이 있습니다.
  • 비용 – 기업에서는 이 솔루션 배포와 관련된 비용을 고려해야 합니다. 기업은 이 솔루션을 구현할 때 예산과 성능 요구 사항을 신중하게 평가해야 합니다. LLM을 실행하려면 상당한 컴퓨팅 리소스가 필요할 수 있으며, 이로 인해 운영 비용이 증가할 수 있습니다. 이러한 비용은 대규모로 운영해야 하는 애플리케이션의 한계가 될 수 있습니다. 하지만, 이 서비스의 장점 중 하나는 AWS Cloud 사용한 만큼만 비용을 지불할 수 있는 유연성입니다. AWS는 간단하고 일관된 종량제 가격 모델을 제공하므로 사용한 리소스에 대해서만 비용이 청구됩니다.

Amazon SageMaker JumpStart 사용

변환기 기반 언어 모델의 경우 조직은 다음을 사용하여 이점을 얻을 수 있습니다. 아마존 세이지 메이커 사전 구축된 기계 학습 모델 컬렉션을 제공하는 JumpStart. Amazon SageMaker JumpStart는 쉽게 배포하고 활용할 수 있는 광범위한 텍스트 생성 및 질문 답변(Q&A) 기본 모델을 제공합니다. 이 솔루션은 FLAN T5-XL Amazon SageMaker JumpStart 모델을 통합하지만, 다음과 같은 경우 염두에 두어야 할 여러 측면이 있습니다. 기초 모델 선택.

워크플로우에 보안 통합

보안 원칙의 모범 사례를 따르십시오. 잘 설계된 프레임워크, 아마존 코 그니 토 인증에 사용됩니다. Amazon Cognito 사용자 풀은 OAuth(Open Authorization), OIDC(OpenID Connect) 또는 SAML(Security Assertion Markup Language)을 포함하여 액세스 제어에 사용되는 여러 프레임워크를 지원하는 타사 자격 증명 공급자와 통합될 수 있습니다. 사용자와 그들의 행동을 식별하면 솔루션이 추적성을 유지할 수 있습니다. 솔루션은 또한 다음을 사용합니다. Amazon Comprehend 개인 식별 정보(PII) 탐지 PII를 자동으로 식별하고 수정하는 기능입니다. 수정된 PII에는 주소, 주민등록번호, 이메일 주소 및 기타 민감한 정보가 포함됩니다. 이 디자인은 입력 쿼리를 통해 사용자가 제공한 모든 PII가 수정되도록 보장합니다. PII는 저장되지 않으며 Amazon Kendra에서 사용되거나 LLM에 제공되지 않습니다.

솔루션 연습

다음 단계에서는 문서 흐름에 대한 질문 답변의 워크플로를 설명합니다.

  1. 사용자는 웹 인터페이스를 통해 쿼리를 보냅니다.
  2. 아마존 코 그니 토 인증에 사용되어 웹 애플리케이션에 대한 보안 액세스를 보장합니다.
  3. 웹 애플리케이션 프런트 엔드는 다음에서 호스팅됩니다. AWS 증폭.
  4. 아마존 API 게이트웨이 Amazon Cognito를 사용하여 인증된 사용자 요청을 처리하기 위해 다양한 엔드포인트가 있는 REST API를 호스팅합니다.
  5. PII 수정 아마존 이해:
    • 사용자 쿼리 처리: 사용자가 쿼리나 입력을 제출하면 먼저 Amazon Comprehend를 통해 전달됩니다. 이 서비스는 텍스트를 분석하고 쿼리 내에 있는 PII 엔터티를 식별합니다.
    • PII 추출: Amazon Comprehend는 사용자 쿼리에서 감지된 PII 엔터티를 추출합니다.
  6. 관련 정보 검색 아마존 켄드라:
    • Amazon Kendra는 사용자 쿼리에 대한 답변을 생성하는 데 사용되는 정보가 포함된 문서 인덱스를 관리하는 데 사용됩니다.
    • XNUMXD덴탈의 LangChain QA 검색 모듈은 사용자 쿼리에 대한 관련 정보가 포함된 대화 체인을 구축하는 데 사용됩니다.
  7. 와 통합 Amazon SageMaker 점프스타트:
    • AWS Lambda 함수는 LangChain 라이브러리를 사용하고 컨텍스트 기반 쿼리를 통해 Amazon SageMaker JumpStart 엔드포인트에 연결합니다. Amazon SageMaker JumpStart 엔드포인트는 추론에 사용되는 LLM의 인터페이스 역할을 합니다.
  8. 응답을 저장하고 사용자에게 반환:
    • LLM의 응답은 다음 위치에 저장됩니다. 아마존 DynamoDB 사용자의 쿼리, 타임스탬프, 고유 식별자 및 질문 카테고리와 같은 항목에 대한 기타 임의 식별자와 함께. 질문과 답변을 개별 항목으로 저장하면 AWS Lambda 함수가 질문을 받은 시간을 기준으로 사용자의 대화 기록을 쉽게 다시 생성할 수 있습니다.
    • 마지막으로 응답은 Amazon API Gateway REST API 통합 응답을 통한 HTTP 요청을 통해 사용자에게 다시 전송됩니다.

검색 증강 생성 및 LangChain 에이전트를 사용하여 내부 정보에 대한 액세스 단순화 | Amazon Web Services PlatoBlockchain 데이터 인텔리전스. 수직 검색. 일체 포함.

다음 단계에서는 AWS Lambda 함수와 프로세스의 흐름을 설명합니다.

  1. PII/민감한 정보를 확인하고 수정하세요.
  2. LangChain QA 검색 체인
    • 관련 정보 검색 및 가져오기
  3. 컨텍스트 스터핑 및 프롬프트 엔지니어링
  4. LLM을 통한 추론
  5. 응답 반환 및 저장

검색 증강 생성 및 LangChain 에이전트를 사용하여 내부 정보에 대한 액세스 단순화 | Amazon Web Services PlatoBlockchain 데이터 인텔리전스. 수직 검색. 일체 포함.

사용 사례

고객이 이 워크플로를 사용할 수 있는 비즈니스 사용 사례는 많습니다. 다음 섹션에서는 다양한 산업 및 업종에서 워크플로를 사용하는 방법을 설명합니다.

직원 지원

잘 설계된 기업 교육은 직원 만족도를 높이고 신규 직원 입사에 필요한 시간을 단축할 수 있습니다. 조직이 성장하고 복잡성이 증가함에 따라 직원들은 내부 문서의 다양한 소스를 이해하는 데 어려움을 겪습니다. 이와 관련된 내부 문서에는 회사 지침, 정책 및 표준 운영 절차가 포함됩니다. 이 시나리오의 경우 직원은 내부 발행 티켓팅 티켓을 진행하고 편집하는 방법에 대해 질문이 있습니다. 직원은 생성 인공 지능(AI) 대화 봇에 액세스하고 이를 사용하여 특정 티켓에 대한 다음 단계를 묻고 실행할 수 있습니다.

특정 사용 사례: 기업 지침에 따라 직원의 문제 해결을 자동화합니다.

검색 증강 생성 및 LangChain 에이전트를 사용하여 내부 정보에 대한 액세스 단순화 | Amazon Web Services PlatoBlockchain 데이터 인텔리전스. 수직 검색. 일체 포함.

다음 단계에서는 AWS Lambda 함수와 프로세스의 흐름을 설명합니다.

  1. 의도를 식별하는 LangChain 에이전트
  2. 직원 요청에 따라 알림 보내기
  3. 티켓 상태 수정

검색 증강 생성 및 LangChain 에이전트를 사용하여 내부 정보에 대한 액세스 단순화 | Amazon Web Services PlatoBlockchain 데이터 인텔리전스. 수직 검색. 일체 포함.

이 아키텍처 다이어그램에서 기업 교육 비디오는 다음을 통해 수집될 수 있습니다. 아마존 전사 이러한 비디오 스크립트의 로그를 수집합니다. 또한 다양한 소스(예: Confluence, Microsoft SharePoint, Google Drive, Jira 등)에 저장된 기업 교육 콘텐츠를 사용하여 Amazon Kendra 커넥터를 통해 인덱스를 생성할 수 있습니다. 이 기사를 읽고 네이티브 컬렉션에 대해 자세히 알아보세요. 커넥터 Amazon Kendra를 소스 포인트로 활용할 수 있습니다. 그런 다음 Amazon Kendra 크롤러는 회사 교육 비디오 스크립트와 이러한 다른 소스에 저장된 문서를 모두 사용하여 회사 회사 교육 지침과 관련된 질문에 답하는 대화형 봇을 지원할 수 있습니다. LangChain 에이전트는 권한을 확인하고 티켓 상태를 수정하며 Amazon Simple Notification Service(아마존 SNS).

고객 지원 팀

고객 문의를 신속하게 해결하면 고객 경험이 향상되고 브랜드 충성도가 높아집니다. 충성도가 높은 고객 기반은 판매를 촉진하여 수익에 기여하고 고객 참여를 높이는 데 도움이 됩니다. 고객 지원 팀은 제품 및 서비스에 대한 고객 문의에 답변하기 위해 많은 내부 문서와 고객 관계 관리 소프트웨어를 참조하는 데 많은 에너지를 소비합니다. 이러한 맥락에서 내부 문서에는 일반 고객 지원 통화 스크립트, 플레이북, 에스컬레이션 지침 및 비즈니스 정보가 포함될 수 있습니다. 생성 AI 대화형 봇은 고객 지원팀을 대신하여 쿼리를 처리하므로 비용 최적화에 도움이 됩니다.

특정 사용 사례: 서비스 내역 및 구매한 고객 서비스 계획을 기반으로 오일 교환 요청을 처리합니다.

검색 증강 생성 및 LangChain 에이전트를 사용하여 내부 정보에 대한 액세스 단순화 | Amazon Web Services PlatoBlockchain 데이터 인텔리전스. 수직 검색. 일체 포함.

이 아키텍처 다이어그램에서 고객은 생성 AI 대화형 봇 또는 아마존 연결 연락 센터. 이 결정은 필요한 지원 수준이나 고객 지원 상담원의 가용성을 기반으로 할 수 있습니다. LangChain 에이전트는 고객의 의도를 파악하고 신원을 확인합니다. LangChain 에이전트는 서비스 내역과 구매한 지원 계획도 확인합니다.

다음 단계에서는 AWS Lambda 함수와 프로세스의 흐름을 설명합니다.

  1. LangChain 에이전트가 의도를 식별합니다.
  2. 고객 정보 검색
  3. 고객 서비스 내역 및 보증 정보를 확인하세요.
  4. 약속을 예약하거나 추가 정보를 제공하거나 연락 센터로 연결하세요.
  5. 이메일 확인 보내기

검색 증강 생성 및 LangChain 에이전트를 사용하여 내부 정보에 대한 액세스 단순화 | Amazon Web Services PlatoBlockchain 데이터 인텔리전스. 수직 검색. 일체 포함.

Amazon Connect는 음성 및 채팅 로그를 수집하는 데 사용되며 Amazon Comprehend는 이러한 로그에서 개인 식별 정보(PII)를 제거하는 데 사용됩니다. 그런 다음 Amazon Kendra 크롤러는 수정된 음성 및 채팅 로그, 고객 통화 스크립트, 고객 서비스 지원 계획 정책을 사용하여 인덱스를 생성할 수 있습니다. 결정이 내려지면 생성 AI 대화 봇은 약속을 예약할지, 추가 정보를 제공할지, 추가 지원을 위해 고객을 연락 센터로 연결할지 결정합니다. 비용 최적화를 위해 LangChain 에이전트는 우선순위가 낮은 고객 쿼리에 대해 더 적은 수의 토큰과 저렴한 대규모 언어 모델을 사용하여 답변을 생성할 수도 있습니다.

금융 서비스

금융 서비스 기업은 경쟁력을 유지하고 금융 규정을 준수하기 위해 적시에 정보를 사용해야 합니다. 생성형 AI 대화형 봇을 사용하면 금융 분석가와 자문가는 대화 방식으로 텍스트 정보와 상호 작용할 수 있으며 정보에 입각한 더 나은 결정을 내리는 데 소요되는 시간과 노력을 줄일 수 있습니다. 투자 및 시장 조사 외에도 생성 AI 대화형 봇은 전통적으로 더 많은 인간의 노력과 시간이 필요한 작업을 처리하여 인간의 능력을 강화할 수도 있습니다. 예를 들어, 개인 대출 전문 금융 기관은 고객에게 더 나은 투명성을 제공하는 동시에 대출 처리 속도를 높일 수 있습니다.

특정 사용 사례: 고객 재무 이력과 이전 대출 신청을 활용하여 대출 결정을 결정하고 설명하세요.

검색 증강 생성 및 LangChain 에이전트를 사용하여 내부 정보에 대한 액세스 단순화 | Amazon Web Services PlatoBlockchain 데이터 인텔리전스. 수직 검색. 일체 포함.

다음 단계에서는 AWS Lambda 함수와 프로세스의 흐름을 설명합니다.

  1. 의도를 식별하는 LangChain 에이전트
  2. 고객의 금융 및 신용점수 내역을 확인하세요
  3. 내부 고객관계 관리 시스템 확인
  4. 표준 대출 정책을 확인하고 대출 자격이 있는 직원에게 결정을 제안합니다.
  5. 고객에게 알림 보내기

검색 증강 생성 및 LangChain 에이전트를 사용하여 내부 정보에 대한 액세스 단순화 | Amazon Web Services PlatoBlockchain 데이터 인텔리전스. 수직 검색. 일체 포함.

이 아키텍처에는 데이터베이스에 저장된 고객 금융 데이터와 CRM(고객 관계 관리) 도구에 저장된 데이터가 통합되어 있습니다. 이러한 데이터 포인트는 회사의 내부 대출 정책에 따른 결정을 알리는 데 사용됩니다. 고객은 자신이 받을 수 있는 대출과 수락할 수 있는 대출 조건을 이해하기 위해 명확한 질문을 할 수 있습니다. 생성 AI 대화형 봇이 대출 신청을 승인할 수 없는 경우에도 사용자는 신용 점수 향상이나 대체 금융 옵션에 대해 질문할 수 있습니다.

Government

생성적 AI 대화형 봇은 의사소통, 효율성, 의사결정 프로세스를 가속화하여 정부 기관에 큰 이점을 줄 수 있습니다. 또한 생성적 AI 대화 봇은 내부 지식 기반에 대한 즉각적인 액세스를 제공하여 정부 직원이 정보, 정책 및 절차(예: 자격 기준, 신청 프로세스, 시민 서비스 및 지원)를 신속하게 검색할 수 있도록 돕습니다. 한 가지 솔루션은 납세자와 세무 전문가가 세금 관련 세부 정보와 혜택을 쉽게 찾을 수 있는 대화형 시스템입니다. 사용자 질문을 이해하고, 세금 서류를 요약하고, 대화형 대화를 통해 명확한 답변을 제공하는 데 사용할 수 있습니다.

사용자는 다음과 같은 질문을 할 수 있습니다.

  • 상속세는 어떻게 진행되며 세금 기준액은 어떻게 됩니까?
  • 소득세의 개념을 설명할 수 있나요?
  • 두 번째 부동산을 판매할 때 세금에 미치는 영향은 무엇입니까?

또한 사용자는 제공된 정보의 정확성을 확인하는 데 도움이 되는 세금 양식을 시스템에 편리하게 제출할 수 있습니다.

검색 증강 생성 및 LangChain 에이전트를 사용하여 내부 정보에 대한 액세스 단순화 | Amazon Web Services PlatoBlockchain 데이터 인텔리전스. 수직 검색. 일체 포함.

이 아키텍처는 사용자가 완료된 세금 양식을 솔루션에 업로드하고 대화형 검증에 활용하는 방법과 필요한 정보를 정확하게 작성하는 방법에 대한 지침을 보여줍니다.

의료

의료 기업은 대량의 내부 환자 정보 사용을 자동화하는 동시에 치료 옵션, 보험 청구, 임상 시험, 제약 연구 등 사용 사례에 관한 일반적인 질문을 해결할 수 있는 기회를 갖습니다. 생성 AI 대화봇을 사용하면 제공된 지식베이스에서 건강 정보에 대한 답변을 빠르고 정확하게 생성할 수 있습니다. 예를 들어, 일부 의료 전문가는 보험금 청구 양식을 작성하는 데 많은 시간을 소비합니다.

유사한 환경에서 임상 시험 관리자와 연구자는 치료 옵션에 대한 정보를 찾아야 합니다. 생성 AI 대화형 봇은 Amazon Kendra에 사전 구축된 커넥터를 사용하여 제약 회사와 대학에서 진행 중인 연구를 통해 게시된 수백만 개의 문서에서 가장 관련성이 높은 정보를 검색할 수 있습니다.

특정 사용 사례: 보험 양식을 작성하고 보내는 데 필요한 오류와 시간을 줄입니다.

검색 증강 생성 및 LangChain 에이전트를 사용하여 내부 정보에 대한 액세스 단순화 | Amazon Web Services PlatoBlockchain 데이터 인텔리전스. 수직 검색. 일체 포함.

이 아키텍처 다이어그램에서 의료 전문가는 생성 AI 대화형 봇을 사용하여 보험에 대해 어떤 양식을 작성해야 하는지 파악할 수 있습니다. 그런 다음 LangChain 에이전트는 올바른 양식을 검색하고 환자에게 필요한 정보를 추가할 수 있을 뿐만 아니라 보험 정책 및 이전 양식을 기반으로 양식의 설명 부분에 대한 응답을 제공할 수 있습니다. 의료 전문가는 양식을 승인하고 보험 포털에 전달하기 전에 LLM이 제공한 응답을 편집할 수 있습니다.

다음 단계에서는 AWS Lambda 함수와 프로세스의 흐름을 설명합니다.

  1. 의도를 식별하는 LangChain 에이전트
  2. 필요한 환자 정보 검색
  3. 환자정보 및 양식지침을 토대로 보험양식을 작성합니다.
  4. 사용자 승인 후 보험포털에 양식 제출

검색 증강 생성 및 LangChain 에이전트를 사용하여 내부 정보에 대한 액세스 단순화 | Amazon Web Services PlatoBlockchain 데이터 인텔리전스. 수직 검색. 일체 포함.

AWS 헬스레이크 이전 보험 양식 및 환자 정보를 포함한 건강 데이터를 안전하게 저장하는 데 사용되며 Amazon Comprehend는 이전 보험 양식에서 개인 식별 정보(PII)를 제거하는 데 사용됩니다. 그런 다음 Amazon Kendra 크롤러는 일련의 보험 양식 및 지침을 사용하여 인덱스를 생성할 수 있습니다. 생성 AI가 양식을 작성하면 의료 전문가가 검토한 양식을 보험 포털로 보낼 수 있습니다.

비용 견적

개념 증명으로 기본 솔루션을 배포하는 데 드는 비용은 다음 표에 나와 있습니다. 기본 솔루션은 개념 증명으로 간주되므로 워크로드가 프로덕션 단계에 있지 않기 때문에 Amazon Kendra Developer Edition은 저비용 옵션으로 사용되었습니다. Amazon Kendra Developer Edition에 대한 가정은 해당 월 730시간의 활성 시간이었습니다.

Amazon SageMaker의 경우 고객이 인스턴스당 단일 추론 엔드포인트와 함께 실시간 추론을 위해 ml.g4dn.2xlarge 인스턴스를 사용할 것이라고 가정했습니다. Amazon SageMaker 가격 및 사용 가능한 추론 인스턴스 유형에 대한 자세한 내용을 확인할 수 있습니다. 여기에서 지금 확인해 보세요..

예배 소비된 자원 월별 비용 추정(USD)
AWS 증폭 빌드 시간 150분
1GB의 데이터 제공
500,000 개의 요청
15.71
아마존 API 게이트웨이 1만 REST API 호출 3.5
AWS 람다 요청 1만 건
요청당 지속 시간 5초
2GB 메모리 할당됨
160.23
아마존 DynamoDB 1만 건의 읽기
1만 쓰기
100 GB 스토리지
26.38
아마존 세이지메이커 ml.g4dn.2xlarge를 사용한 실시간 추론 676.8
아마존 켄드라 Developer Edition(730시간/월)
10,000개의 문서 스캔
쿼리 5,000개/일
821.25
. . 총 비용: 1703.87

* Amazon Cognito에는 Cognito 사용자 풀을 사용하는 월간 활성 사용자 50,000명 또는 SAML 50 자격 증명 공급자를 사용하는 월간 활성 사용자 2.0명의 프리 티어가 있습니다.

정리

비용을 절약하려면 튜토리얼의 일부로 배포한 모든 리소스를 삭제하세요. SageMaker 콘솔을 통해 생성한 SageMaker 엔드포인트를 삭제할 수 있습니다. Amazon Kendra 인덱스를 삭제해도 스토리지에서 원본 문서는 제거되지 않습니다.

결론

이 게시물에서는 실시간으로 여러 저장소를 요약하여 내부 정보에 대한 액세스를 단순화하는 방법을 보여주었습니다. 최근 상업적으로 이용 가능한 LLM이 개발된 이후 생성 AI의 가능성이 더욱 분명해졌습니다. 이 게시물에서는 AWS 서비스를 사용하여 생성 AI를 사용하여 질문에 답변하는 서버리스 챗봇을 만드는 방법을 소개했습니다. 이 접근 방식은 인증 계층과 Amazon Comprehend의 PII 감지 기능을 통합하여 사용자 쿼리에 제공된 민감한 정보를 필터링합니다. 보험 청구 제출의 미묘한 차이를 이해하는 의료 분야의 개인이든, 특정 회사 전체 규정을 이해하는 HR이든 관계없이 이 접근 방식의 이점을 누릴 수 있는 다양한 산업과 업종이 있습니다. Amazon SageMaker JumpStart 기반 모델은 챗봇의 엔진이며, RAG 기술을 사용하는 컨텍스트 스터핑 접근 방식은 응답이 내부 문서를 보다 정확하게 참조하도록 보장하는 데 사용됩니다.

AWS에서 생성 AI 작업에 대해 자세히 알아보려면 다음을 참조하십시오. AWS에서 생성 AI로 구축하기 위한 새로운 도구 발표. AWS 서비스에서 RAG 기술을 사용하는 방법에 대한 자세한 지침은 다음을 참조하세요. Amazon Kendra, LangChain 및 대규모 언어 모델을 사용하여 엔터프라이즈 데이터에서 고정확도의 Generative AI 애플리케이션을 신속하게 구축. 이 블로그의 접근 방식은 LLM에 구애받지 않으므로 모든 LLM을 추론에 사용할 수 있습니다. 다음 게시물에서는 Amazon Bedrock 및 Amazon Titan LLM을 사용하여 이 솔루션을 구현하는 방법을 간략하게 설명하겠습니다.


저자에 관하여

검색 증강 생성 및 LangChain 에이전트를 사용하여 내부 정보에 대한 액세스 단순화 | Amazon Web Services PlatoBlockchain 데이터 인텔리전스. 수직 검색. 일체 포함.아비섹 말리게할리 시바링가이아 AWS의 수석 AI 서비스 솔루션 아키텍트입니다. 그는 Generative AI, Amazon Kendra 및 NLP를 사용하여 애플리케이션을 구축하는 데 열정을 갖고 있습니다. 그는 고객과 기업을 위한 가치를 창출하기 위해 데이터 및 AI 솔루션을 구축하는 데 약 10년의 경험을 갖고 있습니다. 그는 자신의 경력과 직업적 여정에 대한 질문에 답하기 위해 재미로 (개인용) 챗봇을 만들기도 했습니다. 직장 밖에서 그는 가족과 친구들의 초상화를 그리는 것을 좋아하고 예술 작품을 만드는 것을 좋아합니다.

검색 증강 생성 및 LangChain 에이전트를 사용하여 내부 정보에 대한 액세스 단순화 | Amazon Web Services PlatoBlockchain 데이터 인텔리전스. 수직 검색. 일체 포함.메다 아이야 텍사스 주 오스틴에 본사를 둔 AWS의 Associate Solutions Architect입니다. 그녀는 최근 2022년 XNUMX월 댈러스에 있는 텍사스대학교에서 AI/ML에 중점을 둔 지능형 시스템 전공으로 컴퓨터 과학 석사 학위를 취득했습니다. 그녀는 AI/ML에 대해 자세히 알아보고 AWS 서비스를 활용하여 고객이 혜택을 누릴 수 있는 솔루션을 찾는 데 관심이 있습니다.

검색 증강 생성 및 LangChain 에이전트를 사용하여 내부 정보에 대한 액세스 단순화 | Amazon Web Services PlatoBlockchain 데이터 인텔리전스. 수직 검색. 일체 포함.휴고 체 워싱턴 주 시애틀에 본사를 둔 AWS의 Associate Solutions Architect입니다. 그는 애리조나 주립 대학교에서 정보 기술 석사 학위를, 시카고 대학교에서 경제학 학사 학위를 취득했습니다. 그는 ISACA(정보 시스템 감사 및 통제 협회) 및 ISC(국제 정보 시스템 보안 인증 컨소시엄)2의 회원입니다. 그는 고객이 기술의 혜택을 누릴 수 있도록 돕는 것을 좋아합니다.

검색 증강 생성 및 LangChain 에이전트를 사용하여 내부 정보에 대한 액세스 단순화 | Amazon Web Services PlatoBlockchain 데이터 인텔리전스. 수직 검색. 일체 포함.아이만 이심웨 워싱턴 주 시애틀에 본사를 둔 AWS의 Associate Solutions Architect입니다. 그는 오클랜드 대학교에서 소프트웨어 엔지니어링 및 IT 석사 학위를 취득했습니다. 그는 소프트웨어 개발, 특히 분산 웹 애플리케이션을 위한 마이크로서비스 구축 분야의 사전 경험이 있습니다. 그는 고객이 모범 사례에 따라 AWS 클라우드 서비스에서 강력하고 확장 가능한 솔루션을 구축하도록 돕는 데 열정을 쏟고 있습니다.

검색 증강 생성 및 LangChain 에이전트를 사용하여 내부 정보에 대한 액세스 단순화 | Amazon Web Services PlatoBlockchain 데이터 인텔리전스. 수직 검색. 일체 포함.셰르빈 수레쉬 텍사스 주 오스틴에 본사를 둔 AWS의 Associate Solutions Architect입니다. 그는 클라우드 컴퓨팅 및 가상화에 중점을 두고 소프트웨어 엔지니어링 석사 학위를 취득했으며 산호세 주립 대학교에서 컴퓨터 엔지니어링 학사 학위를 취득했습니다. 그는 기술을 활용하여 모든 배경의 사람들의 삶을 개선하는 데 열정을 갖고 있습니다.

타임 스탬프 :

더보기 AWS 기계 학습