생성 AI로 AWS 지능형 문서 처리 향상 | 아마존 웹 서비스

데이터 분류, 추출 및 분석은 많은 양의 문서를 처리하는 조직에게 어려울 수 있습니다. 기존의 문서 처리 솔루션은 수동적이고 비용이 많이 들며 오류가 발생하기 쉽고 확장하기 어렵습니다. 다음과 같은 AI 서비스를 통한 AWS 지능형 문서 처리(IDP) 아마존 텍사스, 업계 최고의 기계 학습(ML) 기술을 활용하여 스캔한 문서 또는 이미지의 데이터를 빠르고 정확하게 처리할 수 있습니다. 생성 인공 지능(Generative AI)은 Amazon Textract를 보완하여 문서 처리 워크플로를 더욱 자동화합니다. 주요 필드 정규화 및 입력 데이터 요약과 같은 기능은 오류 가능성을 줄이면서 문서 프로세스 워크플로 관리 주기를 단축합니다.

제너레이티브 AI는 기초 모델(FM)이라는 대규모 ML 모델에 의해 구동됩니다. FM은 기존의 복잡한 문서 처리 워크로드를 해결할 수 있는 방식을 변화시키고 있습니다. 기존 기능 외에도 기업은 재무 보고서 및 은행 거래 내역서와 같은 문서의 차변 및 대변 데이터를 포함하여 특정 범주의 정보를 요약해야 합니다. FM을 사용하면 추출된 데이터에서 이러한 인사이트를 쉽게 생성할 수 있습니다. 인적 검토에 소요되는 시간을 최적화하고 직원 생산성을 향상시키기 위해 전화 번호의 숫자 누락, 문서 누락 또는 주소가 없는 주소와 같은 실수를 자동화된 방식으로 표시할 수 있습니다. 현재 시나리오에서는 인적 검토 및 복잡한 스크립트를 사용하여 이러한 작업을 수행하기 위해 리소스를 전담해야 합니다. 이 접근 방식은 지루하고 비용이 많이 듭니다. FM은 더 적은 리소스로 이러한 작업을 더 빨리 완료하고 다양한 입력 형식을 추가로 처리할 수 있는 표준 템플릿으로 변환하는 데 도움이 될 수 있습니다. AWS에서는 다음과 같은 서비스를 제공합니다. 아마존 기반암, FM으로 생성 AI 애플리케이션을 구축하고 확장하는 가장 쉬운 방법입니다. Amazon Bedrock은 API를 통해 주요 AI 스타트업 및 Amazon의 FM을 제공하는 완전 관리형 서비스이므로 요구 사항에 가장 적합한 모델을 찾을 수 있습니다. 우리는 또한 제공합니다 Amazon SageMaker 점프스타트, ML 실무자는 다양한 오픈 소스 FM 중에서 선택할 수 있습니다. ML 실무자는 전용에 FM을 배포할 수 있습니다. 아마존 세이지 메이커 네트워크 격리 환경에서 인스턴스를 생성하고 모델 교육 및 배포를 위해 SageMaker를 사용하여 모델을 사용자 지정합니다.

리코 고객이 비즈니스 전반의 정보 흐름을 관리하고 최적화할 수 있도록 설계된 작업 공간 솔루션 및 디지털 변환 서비스를 제공합니다. 포트폴리오 솔루션 개발 부사장인 Ashok Shenoy는 “우리는 Q&A, 요약 및 표준화된 출력과 같은 새로운 기능을 활용하여 고객이 작업을 더 빠르고 정확하게 완료할 수 있도록 IDP 솔루션에 생성 AI를 추가하고 있습니다. AWS를 통해 생성 AI를 활용하면서 각 고객의 데이터를 분리하고 안전하게 유지할 수 있습니다.”

이 게시물에서는 생성 AI를 사용하여 AWS에서 IDP 솔루션을 향상시키는 방법을 공유합니다.

IDP 파이프라인 개선

이 섹션에서는 기존 IDP 파이프라인을 FM으로 보강할 수 있는 방법을 검토하고 FM과 함께 Amazon Textract를 사용하는 예제 사용 사례를 살펴봅니다.

AWS IDP는 분류, 추출 및 보강의 세 단계로 구성됩니다. 각 단계에 대한 자세한 내용은 다음을 참조하십시오. AWS AI 서비스를 통한 지능형 문서 처리: 1부 및 파트 2. 분류 단계에서 FM은 이제 추가 교육 없이 문서를 분류할 수 있습니다. 이는 모델이 이전에 유사한 예를 본 적이 없는 경우에도 문서를 분류할 수 있음을 의미합니다. 추출 단계의 FM은 날짜 필드를 정규화하고 주소와 전화번호를 확인하는 동시에 일관된 형식을 보장합니다. 보강 단계의 FM은 추론, 논리적 추론 및 요약을 허용합니다. 각 IDP 단계에서 FM을 사용하면 작업 흐름이 더욱 간소화되고 성능이 향상됩니다. 다음 다이어그램은 생성 AI가 있는 IDP 파이프라인을 보여줍니다.

IDP 파이프라인의 추출 단계

FM이 기본 형식(예: PDF, img, jpeg 및 tiff)의 문서를 입력으로 직접 처리할 수 없는 경우 문서를 텍스트로 변환하는 메커니즘이 필요합니다. 문서를 FM으로 보내기 전에 문서에서 텍스트를 추출하려면 Amazon Textract를 사용할 수 있습니다. Amazon Textract를 사용하면 줄과 단어를 추출하여 다운스트림 FM에 전달할 수 있습니다. 다음 아키텍처는 추가 처리를 위해 FM으로 보내기 전에 모든 유형의 문서에서 정확한 텍스트 추출을 위해 Amazon Textract를 사용합니다.

일반적으로 문서는 구조화된 정보와 반구조화된 정보로 구성됩니다. Amazon Textract를 사용하여 테이블과 양식에서 원시 텍스트와 데이터를 추출할 수 있습니다. 테이블과 양식의 데이터 간의 관계는 비즈니스 프로세스를 자동화하는 데 중요한 역할을 합니다. 특정 유형의 정보는 FM에서 처리하지 못할 수 있습니다. 결과적으로 이 정보를 다운스트림 저장소에 저장하거나 FM으로 보낼 수 있습니다. 다음 그림은 Amazon Textract가 FM에서 처리해야 하는 텍스트 줄 외에도 문서에서 구조화된 정보와 반구조화된 정보를 추출할 수 있는 방법의 예입니다.

AWS 서버리스 서비스를 사용하여 FM으로 요약

앞에서 설명한 IDP 파이프라인은 AWS 서버리스 서비스를 사용하여 원활하게 자동화할 수 있습니다. 고도로 구조화되지 않은 문서는 대기업에서 흔히 볼 수 있습니다. 이러한 문서는 은행 업계의 증권 거래 위원회(SEC) 문서에서 건강 보험 업계의 보장 문서에 이르기까지 다양합니다. AWS에서 생성 AI가 발전함에 따라 이러한 업계의 사람들은 자동화되고 비용 효율적인 방식으로 해당 문서에서 요약을 얻을 수 있는 방법을 찾고 있습니다. 서버리스 서비스는 IDP용 솔루션을 신속하게 구축할 수 있는 메커니즘을 제공합니다. 다음과 같은 서비스 AWS 람다, AWS 단계 함수및 아마존 이벤트 브리지 다음 다이어그램과 같이 FM 통합으로 문서 처리 파이프라인을 구축하는 데 도움이 될 수 있습니다.

XNUMXD덴탈의 샘플 애플리케이션 이전 아키텍처에서 사용된 이벤트에 의해 구동. event 최근에 발생한 상태의 변화로 정의됩니다. 예를 들어 객체가 아마존 단순 스토리지 서비스 (Amazon S3) 버킷에서 Amazon S3는 Object Created 이벤트를 내보냅니다. Amazon S3의 이 이벤트 알림은 Lambda 함수 또는 Step Functions 워크플로를 트리거할 수 있습니다. 이러한 유형의 아키텍처를 이벤트 중심 아키텍처. 이 게시물에서 샘플 애플리케이션은 이벤트 기반 아키텍처를 사용하여 샘플 의료 퇴원 문서를 처리하고 문서의 세부 정보를 요약합니다. 흐름은 다음과 같이 작동합니다.

1. 문서가 S3 버킷에 업로드되면 Amazon S3는 Object Created 이벤트를 트리거합니다.
2. EventBridge 기본 이벤트 버스는 EventBridge 규칙에 따라 이벤트를 Step Functions로 전파합니다.
3. 상태 시스템 워크플로는 Amazon Textract에서 시작하여 문서를 처리합니다.
4. Lambda 함수는 다음 단계를 위해 분석된 데이터를 변환합니다.
5. 상태 기계 호출 a SageMaker 엔드 포인트, 직접 AWS SDK 통합을 사용하여 FM을 호스팅합니다.
6. 요약 S3 대상 버킷은 FM에서 수집된 요약 응답을 수신합니다.

우리는 샘플 애플리케이션을 flan-t5 포옹 얼굴 모델 Step Functions 워크플로를 사용하여 다음 샘플 환자 퇴원 요약을 요약합니다.

Step Functions 워크플로는 다음을 사용합니다. AWS SDK 통합 Amazon Textract를 호출하려면 문서 분석 및 SageMaker 런타임 엔드 포인트 다음 그림과 같이 API.

이 워크플로우는 대상 버킷에 저장되는 요약 JSON 객체를 생성합니다. JSON 개체는 다음과 같습니다.

{ "summary": [ "John Doe is a 35-year old male who has been experiencing stomach problems for two months. He has been taking antibiotics for the last two weeks, but has not been able to eat much. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has also noticed a change in his stool color, which is now darker. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of fatigue, and has been unable to work for the last two weeks. He has also been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help." ], "forms": [ { "key": "Ph: ", "value": "(888)-(999)-(0000) " }, { "key": "Fax: ", "value": "(888)-(999)-(1111) " }, { "key": "Patient Name: ", "value": "John Doe " }, { "key": "Patient ID: ", "value": "NARH-36640 " }, { "key": "Gender: ", "value": "Male " }, { "key": "Attending Physician: ", "value": "Mateo Jackson, PhD " }, { "key": "Admit Date: ", "value": "07-Sep-2020 " }, { "key": "Discharge Date: ", "value": "08-Sep-2020 " }, { "key": "Discharge Disposition: ", "value": "Home with Support Services " }, { "key": "Pre-existing / Developed Conditions Impacting Hospital Stay: ", "value": "35 yo M c/o stomach problems since 2 months. Patient reports epigastric abdominal pain non- radiating. Pain is described as gnawing and burning, intermittent lasting 1-2 hours, and gotten progressively worse. Antacids used to alleviate pain but not anymore; nothing exacerbates pain. Pain unrelated to daytime or to meals. Patient denies constipation or diarrhea. Patient denies blood in stool but have noticed them darker. Patient also reports nausea. Denies recent illness or fever. He also reports fatigue for 2 weeks and bloating after eating. ROS: Negative except for above findings Meds: Motrin once/week. Tums previously. PMHx: Back pain and muscle spasms. No Hx of surgery. NKDA. FHx: Uncle has a bleeding ulcer. Social Hx: Smokes since 15 yo, 1/2-1 PPD. No recent EtOH use. Denies illicit drug use. Works on high elevation construction. Fast food diet. Exercises 3-4 times/week but stopped 2 weeks ago. " }, { "key": "Summary: ", "value": "some activity restrictions suggested, full course of antibiotics, check back with physican in case of relapse, strict diet " } ] }

대규모 서버리스 구현과 함께 IDP를 사용하여 이러한 요약을 생성하면 조직이 의미 있고 간결하며 표시 가능한 데이터를 비용 효율적인 방식으로 얻을 수 있습니다. Step Functions는 문서 처리 방법을 한 번에 하나의 문서로 제한하지 않습니다. 그것은 분산 지도 기능은 일정에 따라 많은 수의 문서를 요약할 수 있습니다.

XNUMXD덴탈의 샘플 애플리케이션 ~을 사용하다 flan-t5 포옹 얼굴 모델; 그러나 선택한 FM 끝점을 사용할 수 있습니다. 모델 학습 및 실행은 샘플 애플리케이션의 범위를 벗어납니다. GitHub 리포지토리의 지침에 따라 샘플 애플리케이션을 배포합니다. 이전 아키텍처는 Step Functions를 사용하여 IDP 워크플로를 조정하는 방법에 대한 지침입니다. 참조 IDP 생성 AI 워크숍 AWS AI 서비스 및 FM을 사용하여 애플리케이션을 구축하는 방법에 대한 자세한 지침을 참조하십시오.

솔루션 설정

다음 단계를 따르십시오. README 파일을 사용하여 솔루션 아키텍처를 설정합니다(SageMaker 엔드포인트 제외). 자체 SageMaker 엔드포인트를 사용할 수 있게 되면 엔드포인트 이름을 매개변수로 템플릿에 전달할 수 있습니다.

정리

비용을 절약하려면 가이드의 일부로 배포한 리소스를 삭제하세요.

1. 정리 섹션의 단계를 따르십시오. README 파일.
2. S3 버킷에서 콘텐츠를 삭제한 다음 Amazon S3 콘솔을 통해 버킷을 삭제합니다.
3. SageMaker 콘솔을 통해 생성했을 수 있는 모든 SageMaker 엔드포인트를 삭제합니다.

결론

Generative AI는 통찰력을 얻기 위해 IDP로 문서를 처리하는 방법을 바꾸고 있습니다. AWS FM과 함께 Amazon Textract와 같은 AWS AI 서비스는 모든 유형의 문서를 정확하게 처리하는 데 도움이 될 수 있습니다. AWS에서 생성 AI 작업에 대한 자세한 내용은 다음을 참조하십시오. AWS에서 생성 AI로 구축하기 위한 새로운 도구 발표.

저자에 관하여

소날리 사후 AWS의 AI/ML 서비스 팀과 함께 지능형 문서 처리를 주도하고 있습니다. 그녀는 작가이자 사상가이자 열정적인 기술자입니다. 그녀의 핵심 초점 영역은 AI 및 ML이며 전 세계의 AI 및 ML 컨퍼런스 및 모임에서 자주 연설합니다. 그녀는 의료, 금융 부문 및 보험에 대한 업계 전문 지식과 함께 기술 및 기술 산업에서 광범위하고 깊이 있는 경험을 가지고 있습니다.

아시시 랄 AWS에서 AI 서비스에 대한 제품 마케팅을 이끄는 선임 제품 마케팅 관리자입니다. 그는 9년의 마케팅 경험을 가지고 있으며 지능형 문서 처리를 위한 제품 마케팅 활동을 주도했습니다. 그는 워싱턴 대학교에서 경영학 석사 학위를 받았습니다.

무루날 다프타리 Amazon Web Services의 엔터프라이즈 선임 솔루션 아키텍트입니다. 매사추세츠주 보스턴에 거주하고 있습니다. 그는 클라우드 애호가이며 고객을 위해 간단하고 비즈니스 결과를 처리하는 솔루션을 찾는 데 매우 열정적입니다. 그는 클라우드 기술을 사용하여 긍정적인 비즈니스 결과, 클라우드 채택 전략을 추진하고 혁신적인 솔루션을 설계하고 운영 우수성을 추진하는 단순하고 확장 가능한 솔루션을 제공하는 것을 좋아합니다.

디라지 마하파트로 AWS의 수석 서버리스 전문 솔루션 아키텍트입니다. 그는 기업 금융 서비스가 서버리스 및 이벤트 기반 아키텍처를 채택하여 애플리케이션을 현대화하고 혁신 속도를 가속화하도록 돕는 일을 전문으로 합니다. 최근에는 금융 서비스 산업 고객을 위해 서버리스 및 EDA에 더 가까운 컨테이너 워크로드 및 생성 AI의 실용적인 사용을 위해 노력하고 있습니다.

제이콥 하우스켄스 15년 이상의 전략적 비즈니스 개발 및 파트너십 경험을 보유한 수석 AI 전문가입니다. 지난 7년 동안 그는 새로운 AI 기반 B2B 서비스를 위한 시장 진출 전략의 생성 및 구현을 주도했습니다. 최근에 그는 지능형 문서 처리 워크플로에 생성 AI를 추가하여 ISV의 수익 증대를 돕고 있습니다.

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
• PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 플라톤ESG. 자동차 / EV, 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
• BlockOffsets. 환경 오프셋 소유권 현대화. 여기에서 액세스하십시오.
• 출처: https://aws.amazon.com/blogs/machine-learning/enhancing-aws-intelligent-document-processing-with-generative-ai/