Organisasjoner på tvers av bransjer som helsevesen, finans og utlån, juridisk, detaljhandel og produksjon må ofte håndtere mange dokumenter i sine daglige forretningsprosesser. Disse dokumentene inneholder viktig informasjon som er nøkkelen til å ta avgjørelser i tide for å opprettholde de høyeste nivåene av kundetilfredshet, raskere kundeintroduksjon og lavere kundeavgang. I de fleste tilfeller behandles dokumenter manuelt for å trekke ut informasjon og innsikt, noe som er tidkrevende, feilutsatt, dyrt og vanskelig å skalere. Det er begrenset automatisering tilgjengelig i dag for å behandle og trekke ut informasjon fra disse dokumentene. Intelligent dokumentbehandling (IDP) med AWS-tjenester for kunstig intelligens (AI) hjelper til med å automatisere informasjonsutvinning fra dokumenter av forskjellige typer og formater, raskt og med høy nøyaktighet, uten behov for maskinlæring (ML) ferdigheter. Raskere informasjonsutvinning med høy nøyaktighet hjelper deg med å ta kvalitetsbeslutninger i tide, samtidig som de totale kostnadene reduseres.
Selv om stadiene i en IDP-arbeidsflyt kan variere og påvirkes av brukstilfeller og forretningskrav, viser følgende figur stadiene som vanligvis er en del av en IDP-arbeidsflyt. Behandling av dokumenter som skatteskjemaer, krav, medisinske notater, nye kundeskjemaer, fakturaer, juridiske kontrakter og mer er bare noen av brukssakene for IDP.
I denne todelte serien diskuterer vi hvordan du kan automatisere og intelligent behandle dokumenter i stor skala ved hjelp av AWS AI-tjenester. I dette innlegget diskuterer vi de tre første fasene av IDP-arbeidsflyten. I del 2, diskuterer vi de gjenværende arbeidsflytfasene.
Løsningsoversikt
Følgende arkitekturdiagram viser stadiene i en IDP-arbeidsflyt. Det starter med et datafangststadium for å sikkert lagre og samle forskjellige filformater (PDF, JPEG, PNG, TIFF) og oppsett av dokumenter. Det neste trinnet er klassifisering, hvor du kategoriserer dokumentene dine (som kontrakter, kravskjemaer, fakturaer eller kvitteringer), etterfulgt av dokumentuttrekk. I utvinningsstadiet kan du trekke ut meningsfull forretningsinformasjon fra dokumentene dine. Disse utvunnede dataene brukes ofte til å samle inn innsikt via dataanalyse, eller sendes til nedstrømssystemer som databaser eller transaksjonssystemer. Det følgende trinnet er berikelse, der dokumenter kan berikes ved å redigere beskyttet helseinformasjon (PHI) eller personlig identifiserbar informasjon (PII) data, tilpasset forretningstermutvinning og så videre. Til slutt, i gjennomgangs- og valideringsstadiet, kan du inkludere en menneskelig arbeidsstyrke for dokumentgjennomganger for å sikre at resultatet er nøyaktig.
I forbindelse med dette innlegget vurderer vi et sett med eksempeldokumenter som kontoutskrifter, fakturaer og butikkkvitteringer. Dokumenteksemplene, sammen med eksempelkoden, finner du i vår GitHub repository. I de følgende delene leder vi deg gjennom disse kodeeksemplene sammen med virkelig praktisk anvendelse. Vi viser hvordan du kan bruke ML-evner med amazontekst, Amazon Comprehendog Amazon Augmented AI (Amazon A2I) for å behandle dokumenter og validere dataene som er hentet ut fra dem.
Amazon Textract er en ML-tjeneste som automatisk trekker ut tekst, håndskrift og data fra skannede dokumenter. Det går utover enkel optisk tegngjenkjenning (OCR) å identifisere, forstå og trekke ut data fra skjemaer og tabeller. Amazon Textract bruker ML til å lese og behandle alle typer dokumenter, nøyaktig trekke ut tekst, håndskrift, tabeller og andre data uten manuell innsats.
Amazon Comprehend er en NLP-tjeneste (natural-language processing) som bruker ML for å trekke ut innsikt om innholdet i dokumentene. Amazon Comprehend kan identifisere kritiske elementer i dokumenter, inkludert referanser til språk, personer og steder, og klassifisere dem i relevante emner eller klynger. Den kan utføre sentimentanalyse for å bestemme sentimentet til et dokument i sanntid ved å bruke enkeltdokument- eller batchdeteksjon. For eksempel kan den analysere kommentarene på et blogginnlegg for å finne ut om leserne dine liker innlegget eller ikke. Amazon Comprehend oppdager også PII som adresser, bankkontonumre og telefonnumre i tekstdokumenter i sanntid og asynkrone batchjobber. Den kan også redigere PII-enheter i asynkrone batchjobber.
Amazon A2I er en ML-tjeneste som gjør det enkelt å bygge arbeidsflytene som kreves for menneskelig vurdering. Amazon A2I bringer menneskelig anmeldelse til alle utviklere, fjerner de udifferensierte tunge løftene knyttet til å bygge menneskelige vurderingssystemer eller administrerer et stort antall menneskelige anmeldere, enten det kjører på AWS eller ikke. Amazon A2I integrerer begge med amazontekst og Amazon Comprehend for å gi deg muligheten til å introdusere menneskelige gjennomgangstrinn i din intelligente dokumentbehandlingsarbeidsflyt.
Datafangstfase
Du kan lagre dokumenter i en svært skalerbar og holdbar lagring som Amazon enkel lagringstjeneste (Amazon S3). Amazon S3 er en objektlagringstjeneste som tilbyr bransjeledende skalerbarhet, datatilgjengelighet, sikkerhet og ytelse. Amazon S3 er designet for 11 9-talls holdbarhet og lagrer data for millioner av kunder over hele verden. Dokumenter kan komme i forskjellige formater og oppsett, og kan komme fra forskjellige kanaler som nettportaler eller e-postvedlegg.
Klassifiseringsfase
I forrige trinn samlet vi dokumenter av ulike typer og formater. I dette trinnet må vi kategorisere dokumentene før vi kan gjøre ytterligere utvinning. Til det bruker vi Amazon Comprehend tilpasset klassifisering. Dokumentklassifisering er en to-trinns prosess. Først trener du en tilpasset Amazon Comprehend-klassifisering for å gjenkjenne klassene som er av interesse for deg. Deretter distribuerer du modellen med en egendefinert klassifiserer sanntidsendepunkt og sende umerkede dokumenter til sanntidsendepunktet for å bli klassifisert.
Følgende figur representerer en typisk dokumentklassifiseringsarbeidsflyt.
For å trene klassifisereren, identifiser klassene du er interessert i og legg inn eksempeldokumenter for hver av klassene som opplæringsmateriell. Basert på alternativene du har angitt, lager Amazon Comprehend en tilpasset ML-modell som den trener basert på dokumentene du har oppgitt. Denne tilpassede modellen (klassifisereren) undersøker hvert dokument du sender inn. Den returnerer enten den spesifikke klassen som best representerer innholdet (hvis du bruker multi-class-modus) eller settet med klasser som gjelder for den (hvis du bruker multi-label-modus).
Forbered treningsdata
Det første trinnet er å trekke ut tekst fra dokumenter som kreves for den tilpassede klassifiseringen Amazon Comprehend. For å trekke ut råtekstinformasjonen for alle dokumentene i Amazon S3 bruker vi Amazon Textract detect_document_text()
API. Vi merker også dataene i henhold til dokumenttypen som skal brukes til å trene en tilpasset Amazon Comprehend-klassifiser.
Følgende kode er kuttet ned for forenklingsformål. For hele koden, se GitHub eksempelkode forum textract_extract_text()
. Funksjonen call_textract()
er en wr4apper-funksjon som kaller Analyser Dokument API internt, og parameterne som sendes til metoden abstraherer noen av konfigurasjonene som APIen trenger for å kjøre utvinningsoppgaven.
Tren en tilpasset klassifiserer
I dette trinnet bruker vi tilpasset Amazon Comprehend-klassifisering for å trene modellen vår for klassifisering av dokumentene. Vi bruker CreateDocumentClassifier API for å lage en klassifikator som trener en tilpasset modell ved å bruke våre merkede data. Se følgende kode:
Distribuer et endepunkt i sanntid
For å bruke den tilpassede klassifiseringen Amazon Comprehend oppretter vi et sanntidsendepunkt ved å bruke CreateEndpoint
API:
Klassifiser dokumenter med sanntidsendepunktet
Etter at Amazon Comprehend-endepunktet er opprettet, kan vi bruke sanntidsendepunktet til å klassifisere dokumenter. Vi bruker comprehend.classify_document()
funksjon med den utpakkede dokumentteksten og slutningsendepunktet som inputparametere:
Vi anbefaler å gå gjennom den detaljerte dokumentklassifiseringseksempelkoden på GitHub.
Utvinningsfase
Amazon Textract lar deg trekke ut tekst og strukturert datainformasjon ved hjelp av Amazon Textract Oppdag Dokumenttekst og Analyser Dokument APIer, henholdsvis. Disse API-ene reagerer med JSON-data, som inneholder ORD, LINJER, FORMER, TABELLER, geometri eller avgrensningsboksinformasjon, relasjoner og så videre. Både DetectDocumentText
og AnalyzeDocument
er synkrone operasjoner. For å analysere dokumenter asynkront, bruk StartDocumentTextDetection.
Strukturert datautvinning
Du kan trekke ut strukturerte data som tabeller fra dokumenter samtidig som du bevarer datastrukturen og relasjonene mellom oppdagede elementer. Du kan bruke Analyser Dokument API med FeatureType
as TABLE
for å oppdage alle tabeller i et dokument. Følgende figur illustrerer denne prosessen.
Se følgende kode:
Vi driver analyze_document()
metoden med FeatureType
as TABLES
på ansatthistorikkdokumentet og få tabelluttaket i følgende resultater.
Semistrukturert datautvinning
Du kan trekke ut semistrukturerte data som skjemaer eller nøkkelverdi-par fra dokumenter mens du bevarer datastrukturen og relasjonene mellom oppdagede elementer. Du kan bruke Analyser Dokument API med FeatureType
as FORMS
for å oppdage alle skjemaer i et dokument. Følgende diagram illustrerer denne prosessen.
Se følgende kode:
Her driver vi analyze_document()
metoden med FeatureType
as FORMS
på arbeidstakers søknadsdokument og få tabelluttaket i resultatene.
Ustrukturert datautvinning
Amazon Textract er optimal for tett tekstutvinning med bransjeledende OCR-nøyaktighet. Du kan bruke Oppdag Dokumenttekst API for å oppdage tekstlinjer og ordene som utgjør en tekstlinje, som illustrert i følgende figur.
Se følgende kode:
Nå kjører vi detect_document_text()
metode på prøvebildet og få råtekstekstraksjon i resultatene.
Fakturaer og kvitteringer
Amazon Textract gir spesialisert støtte for å behandle fakturaer og kvitteringer i stor skala. De AnalyserExpense API kan trekke ut eksplisitt merkede data, underforståtte data og linjeelementer fra en spesifisert liste over varer eller tjenester fra nesten hvilken som helst faktura eller kvittering uten noen maler eller konfigurasjon. Følgende figur illustrerer denne prosessen.
Se følgende kode:
Amazon Textract kan finne leverandørnavnet på en kvittering selv om det bare er angitt i en logo på siden uten en eksplisitt etikett kalt "leverandør". Den kan også finne og trekke ut utgiftsposter, mengde og priser som ikke er merket med kolonneoverskrifter for linjeelementer.
Identitetsdokumenter
Amazon Textract AnalyseID API kan hjelpe deg automatisk å trekke ut informasjon fra identifikasjonsdokumenter, som førerkort og pass, uten behov for maler eller konfigurasjon. Vi kan trekke ut spesifikk informasjon, for eksempel utløpsdato og fødselsdato, samt intelligent identifisere og trekke ut underforstått informasjon, som navn og adresse. Følgende diagram illustrerer denne prosessen.
Se følgende kode:
Vi kan bruke tabulate
for å få en pen utskrift:
Vi anbefaler å gå gjennom den detaljerte dokumentutvinningen eksempelkode på GitHub. For mer informasjon om de fullstendige kodeeksemplene i dette innlegget, se GitHub repo.
konklusjonen
I dette første innlegget i en todelt serie diskuterte vi de ulike stadiene av IDP og en løsningsarkitektur. Vi diskuterte også dokumentklassifisering ved å bruke en tilpasset Amazon Comprehend-klassifisering. Deretter utforsket vi måtene du kan bruke Amazon Textract til å trekke ut informasjon fra ustrukturerte, semistrukturerte, strukturerte og spesialiserte dokumenttyper.
In del 2 av denne serien fortsetter vi diskusjonen med ekstrakt- og spørringsfunksjonene til Amazon Textract. Vi ser på hvordan du bruker Amazon Comprehend forhåndsdefinerte enheter og tilpassede enheter for å trekke ut sentrale forretningstermer fra dokumenter med tett tekst, og hvordan du integrerer en Amazon A2I menneske-i-løkken-gjennomgang i IDP-prosessene dine.
Vi anbefaler å gå gjennom sikkerhetsdelene i amazontekst, Amazon Comprehendog Amazon A2I dokumentasjon og følge de gitte retningslinjene. Bruk også litt tid på å se gjennom og forstå prisene for amazontekst, Amazon Comprehendog Amazon A2I.
Om forfatterne
Suprakash Dutta er løsningsarkitekt hos Amazon Web Services. Han fokuserer på digital transformasjonsstrategi, applikasjonsmodernisering og migrering, dataanalyse og maskinlæring.
Sonali Sahu leder Intelligent Document Processing AI/ML Solutions Architect-teamet hos Amazon Web Services. Hun er en lidenskapelig teknofil og liker å jobbe med kunder for å løse komplekse problemer ved hjelp av innovasjon. Hennes kjernefokusområde er kunstig intelligens og maskinlæring for intelligent dokumentbehandling.
Anjan Biswas er en senior AI Services Solutions Architect med fokus på AI/ML og dataanalyse. Anjan er en del av det verdensomspennende AI-tjenesteteamet og jobber med kunder for å hjelpe dem med å forstå og utvikle løsninger på forretningsproblemer med AI og ML. Anjan har over 14 års erfaring med å jobbe med globale forsyningskjeder, produksjons- og detaljhandelsorganisasjoner, og hjelper aktivt kunder med å komme i gang og skalere på AWS AI-tjenester.
Chinmayee Rane er en AI/ML-spesialistløsningsarkitekt hos Amazon Web Services. Hun brenner for anvendt matematikk og maskinlæring. Hun fokuserer på å designe intelligente dokumentbehandlingsløsninger for AWS-kunder. Utenom jobben liker hun salsa og bachata dans.
- Avansert (300)
- AI
- ai kunst
- ai art generator
- du har en robot
- Amazon Augmented AI
- Amazon Comprehend
- Amazon Comprehend Medical
- Amazon maskinlæring
- amazontekst
- kunstig intelligens
- sertifisering av kunstig intelligens
- kunstig intelligens i bankvirksomhet
- kunstig intelligens robot
- kunstig intelligens roboter
- programvare for kunstig intelligens
- AWS maskinlæring
- blockchain
- blockchain konferanse ai
- coingenius
- samtale kunstig intelligens
- kryptokonferanse ai
- dall sin
- dyp læring
- google det
- maskinlæring
- plato
- plato ai
- Platon Data Intelligence
- Platon spill
- PlatonData
- platogaming
- skala ai
- syntaks
- zephyrnet