Määritä ja poimi tietoja asiakirjoista käyttämällä Amazon Textractin uutta Kyselyt-ominaisuutta

Amazonin teksti on koneoppimispalvelu (ML), joka poimii automaattisesti tekstin, käsinkirjoituksen ja datan mistä tahansa asiakirjasta tai kuvasta. Amazon Textract tarjoaa nyt joustavuuden määrittää tiedot, jotka sinun täytyy poimia asiakirjoista käyttämällä uutta Queries-ominaisuutta Analyze Document API:ssa. Sinun ei tarvitse tietää asiakirjan tietojen rakennetta (taulukko, lomake, oletettu kenttä, sisäkkäiset tiedot) tai huolehtia asiakirjaversioiden ja -muotojen vaihteluista.

Tässä viestissä keskustelemme seuraavista aiheista:

• AWS-asiakkaiden menestystarinoita ja uuden Queries-ominaisuuden edut
• Kuinka Analyze Document Queries -sovellusliittymä auttaa poimimaan tietoja asiakirjoista
• Esittely Amazon Textract -konsolista
• Esimerkkejä koodista Analyze Document Queries API:n käyttämiseen
• Kuinka käsitellä vastaus Amazon Textract -jäsennyskirjastolla

Uuden Kysely-ominaisuuden edut

Perinteisillä OCR-ratkaisuilla on vaikeuksia poimia tietoja tarkasti useimmista puolirakenteisista ja jäsentelemättömistä asiakirjoista, koska näiden asiakirjojen useissa versioissa ja formaateissa on merkittäviä eroja. Sinun on otettava käyttöön mukautettu jälkikäsittelykoodi tai tarkistettava manuaalisesti näistä asiakirjoista poimitut tiedot. Kyselyt-ominaisuuden avulla voit määrittää tarvitsemasi tiedot luonnollisen kielen kysymysten muodossa (esimerkiksi "Mikä on asiakkaan nimi") ja saada tarkat tiedot ("John Doe") osana API-vastausta. Ominaisuus käyttää visuaalisten, tilallisten ja kielimallien yhdistelmää poimimaan etsimäsi tiedot suurella tarkkuudella. Kyselyt-ominaisuus on valmiiksi koulutettu laajalle valikoimalle puolistrukturoituja ja jäsentelemättömiä asiakirjoja. Joitakin esimerkkejä ovat maksulomakkeet, tiliotteet, W-2:t, lainahakemuslomakkeet, asuntolainatodistukset sekä rokote- ja vakuutuskortit.

"Amazon Textractin avulla voimme automatisoida asiakkaidemme asiakirjankäsittelytarpeet. Kyselyt-ominaisuuden avulla voimme poimia tietoja useista asiakirjoista entistä joustavammin ja tarkemmin," sanoi Robert Jansen, TekStream Solutionsin toimitusjohtaja. "Näemme tämän suurena tuottavuuden voittona yritysasiakkaillemme, jotka voivat käyttää Queries-ominaisuutta osana IDP-ratkaisuamme saadakseen nopeasti tärkeitä tietoja asiakirjoistaan."

"Amazon Textractin avulla voimme poimia kuvista tekstiä sekä rakenteellisia elementtejä, kuten lomakkeita ja taulukoita, suurella tarkkuudella. Amazon Textract Queries on auttanut meitä parantamaan huomattavasti useista liiketoimintakriittisistä asiakirjoista, kuten käyttöturvallisuustiedotteista tai materiaalispesifikaatioista, poimimisen laatua." sanoi Thorsten Warnecke, rehtori | PC Analyticsin johtaja, Camelot Management Consultants. "Luonnollisen kielen kyselyjärjestelmä tarjoaa suurta joustavuutta ja tarkkuutta, mikä on vähentänyt jälkikäsittelykuormitamme ja mahdollistanut uusien asiakirjojen lisäämisen tiedonpoimintatyökaluihimme nopeammin."

Kuinka Analyze Document Queries -sovellusliittymä auttaa poimimaan tietoja asiakirjoista

Yritykset ovat lisänneet digitaalisten alustojen käyttöä erityisesti COVID-19-pandemian valossa. Useimmat organisaatiot tarjoavat nyt digitaalisen tavan hankkia palvelujaan ja tuotteitaan älypuhelimilla ja muilla mobiililaitteilla, mikä tarjoaa käyttäjille joustavuutta, mutta lisää myös digitaalisten asiakirjojen tarkastelun, käsittelyn ja analysoinnin mittakaavaa. Joissakin työmäärissä, joissa esimerkiksi asuntolainaasiakirjat, rokotuskortit, palkkalaput, vakuutuskortit ja muut asiakirjat on analysoitava digitaalisesti, tiedon poiminnan monimutkaisuus voi kasvaa eksponentiaalisesti, koska näiltä asiakirjoilta puuttuu vakiomuoto tai niissä on merkittäviä eroja tietomuodossa. asiakirjan eri versioissa.

Jopa tehokkailla OCR-ratkaisuilla on vaikeuksia poimia tietoja tarkasti näistä asiakirjoista, ja saatat joutua toteuttamaan mukautetun jälkikäsittelyn näille asiakirjoille. Tämä sisältää mahdollisten lomakeavaimien muunnelmien yhdistämisen asiakkaiden alkuperäisiin kenttien nimiin tai mukautetun koneoppimisen sisällyttämisen tiettyjen tietojen tunnistamiseen jäsentelemättömässä asiakirjassa.

Amazon Textractin uusi Analyze Document Queries API voi vastata luonnollisella kielellä kirjoitettuihin kysymyksiin, kuten "Mikä on korko?" ja suorita dokumentille tehokas tekoäly- ja ML-analyysi selvittääksesi halutut tiedot ja poimiaksesi ne asiakirjasta ilman jälkikäsittelyä. Kyselyt-ominaisuus ei vaadi mukautetun mallin koulutusta tai mallien tai kokoonpanojen määrittämistä. Voit aloittaa nopeasti lataamalla asiakirjasi ja määrittämällä niihin liittyviä kysymyksiä Amazon Textract -konsolin kautta. AWS-komentoriviliitäntä (AWS CLI) tai AWS SDK.

Tämän viestin seuraavissa osissa käymme läpi yksityiskohtaisia ​​esimerkkejä siitä, kuinka tätä uutta toimintoa käytetään yleisissä työkuormituskäyttötapauksissa ja kuinka Analyze Document Queries -sovellusliittymää käytetään lisäämään ketteryyttä työkuormasi digitalisointiprosessiin.

Käytä Amazon Textract -konsolin Kyselyt-ominaisuutta

Ennen kuin aloitamme API- ja koodinäytteiden käytön, käydään läpi Amazon Textract -konsoli. Seuraavassa kuvassa on esimerkki rokotuskortista Kyselyt Analyze Document API -välilehti Amazon Textract -konsolissa. Kun olet ladannut asiakirjan Amazon Textract -konsoliin, valitse Kyselyt vuonna Määritä asiakirja osio. Voit sitten lisätä kyselyitä luonnollisen kielen kysymysten muodossa. Kun olet lisännyt kaikki kyselysi, valitse Käytä kokoonpanoa. Vastaukset kysymyksiin sijaitsevat osoitteessa Kyselyt Tab.

Koodiesimerkkejä

Tässä osiossa selitämme, kuinka Analyse Document API voidaan kutsua Queries-parametrilla saadaksesi vastauksia asiakirjaa koskeviin luonnollisen kielen kysymyksiin. Syöttöasiakirja on joko tavutaulukon muodossa tai se sijaitsee Amazonin yksinkertainen tallennuspalvelu (Amazon S3) ämpäri. Ohitat kuvatavuja Amazon Textract API -toiminnolle Bytes-ominaisuuden avulla. Voit käyttää esimerkiksi Bytes -ominaisuus välittää paikallisesta tiedostojärjestelmästä ladatun asiakirjan. Kuvatavut välitetty käyttämällä Bytes ominaisuuden on oltava base64-koodattu. Koodisi ei ehkä tarvitse koodata asiakirjatiedoston tavuja, jos käytät AWS SDK:ta kutsumaan Amazon Textract API -toimintoja. Vaihtoehtoisesti voit siirtää S3-ämpäriin tallennetut kuvat Amazon Textract API -toimintoon käyttämällä S3Object omaisuutta. S3-ämpäriin tallennettujen asiakirjojen ei tarvitse olla base64-koodattuja.

Voit käyttää Kyselyt-ominaisuutta saadaksesi vastauksia erilaisista asiakirjoista, kuten palkkalappuista, rokotuskorteista, asuntolainaasiakirjoista, tiliotteista, W-2-lomakkeista, 1099-lomakkeista ja muista. Seuraavissa osioissa käymme läpi joitakin näistä asiakirjoista ja näytämme, kuinka Kyselyt-ominaisuus toimii.

Paystub

Tässä esimerkissä käymme läpi vaiheet, joilla analysoidaan palkkataulukko kyselyominaisuuden avulla, kuten seuraavassa esimerkkikuvassa näkyy.

Käytämme seuraavaa Python-mallikoodia:

import boto3
import json #create a Textract Client
textract = boto3.client('textract') image_filename = "paystub.jpg" response = None
with open(image_filename, 'rb') as document: imageBytes = bytearray(document.read()) # Call Textract AnalyzeDocument by passing a document from local disk
response = textract.analyze_document( Document={'Bytes': imageBytes}, FeatureTypes=["QUERIES"], QueriesConfig={ "Queries": [{ "Text": "What is the year to date gross pay", "Alias": "PAYSTUB_YTD_GROSS" }, { "Text": "What is the current gross pay?", "Alias": "PAYSTUB_CURRENT_GROSS" }] })

Seuraava koodi on esimerkki AWS CLI -komennosta:

aws textract analyze-document —document '{"S3Object":{"Bucket":"your-s3-bucket","Name":"paystub.jpg"}}' —feature-types '["QUERIES"]' —queries-config '{"Queries":[{"Text":"What is the year to date gross pay", "Alias": "PAYSTUB_YTD_GROSS"}]}' 

Analysoidaan vastaus, jonka saamme kahdelle kyselylle, jotka välitimme Analyze Document API:lle edellisessä esimerkissä. Seuraava vastaus on leikattu näyttämään vain asiaankuuluvat osat:

{ "BlockType":"QUERY", "Id":"cbbba2fa-45be-452b-895b-adda98053153", #id of first QUERY "Relationships":[ { "Type":"ANSWER", "Ids":[ "f2db310c-eaa6-481d-8d18-db0785c33d38" #id of first QUERY_RESULT ] } ], "Query":{ "Text":"What is the year to date gross pay", #First Query "Alias":"PAYSTUB_YTD_GROSS" } }, { "BlockType":"QUERY_RESULT", "Confidence":87.0, "Text":"23,526.80", #Answer to the first Query "Geometry":{...}, "Id":"f2db310c-eaa6-481d-8d18-db0785c33d38" #id of first QUERY_RESULT }, { "BlockType":"QUERY", "Id":"4e2a17f0-154f-4847-954c-7c2bf2670c52", #id of second QUERY "Relationships":[ { "Type":"ANSWER", "Ids":[ "350ab92c-4128-4aab-a78a-f1c6f6718959"#id of second QUERY_RESULT ] } ], "Query":{ "Text":"What is the current gross pay?", #Second Query "Alias":"PAYSTUB_CURRENT_GROSS" } }, { "BlockType":"QUERY_RESULT", "Confidence":95.0, "Text":"$ 452.43", #Answer to the Second Query "Geometry":{...}, "Id":"350ab92c-4128-4aab-a78a-f1c6f6718959" #id of second QUERY_RESULT }

Vastauksessa on a BlockType of QUERY joka näyttää kysytyn kysymyksen ja a Relationships osio, jossa on sen lohkon tunnus, jolla on vastaus. Vastaus löytyy BlockType of QUERY_RESULT. Alias, joka välitetään syötteenä Analyze Document API:lle, palautetaan osana vastausta, ja sitä voidaan käyttää vastauksen merkitsemiseen.

Käytämme Amazon Textract Response Parser poimia vain kysymykset, alias ja vastaavat vastaukset näihin kysymyksiin:

import trp.trp2 as t2 d = t2.TDocumentSchema().load(response)
page = d.pages[0] # get_query_answers returns a list of [query, alias, answer]
query_answers = d.get_query_answers(page=page)
for x in query_answers: print(f"{image_filename},{x[1]},{x[2]}") from tabulate import tabulate
print(tabulate(query_answers, tablefmt="github"))

Edellinen koodi palauttaa seuraavat tulokset:

|------------------------------------|-----------------------|-----------|
| What is the current gross pay? | PAYSTUB_CURRENT_GROSS | $ 452.43 |
| What is the year to date gross pay | PAYSTUB_YTD_GROSS | 23,526.80 |

Lisää kysymyksiä ja koko koodi löytyy muistikirjasta osoitteessa GitHub repo.

Asuntolainatodistus

Analyze Document Queries API toimii hyvin myös seuraavan kaltaisten asuntolainatodistusten kanssa.

Sovellusliittymän kutsuminen ja tulosten käsittely on sama kuin edellinen esimerkki. Löydät täydellisen koodiesimerkin osoitteesta GitHub repo.

Seuraava koodi näyttää esimerkkivastaukset, jotka on saatu API:lla:

|------------------------------------------------------------|----------------------------------|---------------|
| When is this document dated? | MORTGAGE_NOTE_DOCUMENT_DATE | March 4, 2022 |
| What is the note date? | MORTGAGE_NOTE_DATE | March 4, 2022 |
| When is the Maturity date the borrower has to pay in full? | MORTGAGE_NOTE_MATURITY_DATE | April, 2032 |
| What is the note city and state? | MORTGAGE_NOTE_CITY_STATE | Anytown, ZZ |
| what is the yearly interest rate? | MORTGAGE_NOTE_YEARLY_INTEREST | 4.150% |
| Who is the lender? | MORTGAGE_NOTE_LENDER | AnyCompany |
| When does payments begin? | MORTGAGE_NOTE_BEGIN_PAYMENTS | April, 2022 |
| What is the beginning date of payment? | MORTGAGE_NOTE_BEGIN_DATE_PAYMENT | April, 2022 |
| What is the initial monthly payments? | MORTGAGE_NOTE_MONTHLY_PAYMENTS | $ 2500 |
| What is the interest rate? | MORTGAGE_NOTE_INTEREST_RATE | 4.150% |
| What is the principal amount borrower has to pay? | MORTGAGE_NOTE_PRINCIPAL_PAYMENT | $ 500,000 |

Rokotuskortti

Amazon Textract Queries -ominaisuus toimii myös erittäin hyvin tietojen poimimiseen rokotuskorteista tai sitä muistuttavista korteista, kuten seuraavassa esimerkissä.

Prosessi API:n kutsumiseksi ja tulosten jäsentämiseksi on sama kuin maksutaulukossa. Vastauksen käsittelyn jälkeen saamme seuraavat tiedot:

|------------------------------------------------------------|--------------------------------------|--------------|
| What is the patients first name | PATIENT_FIRST_NAME | Major |
| What is the patients last name | PATIENT_LAST_NAME | Mary |
| Which clinic site was the 1st dose COVID-19 administrated? | VACCINATION_FIRST_DOSE_CLINIC_SITE | XYZ |
| Who is the manufacturer for 1st dose of COVID-19? | VACCINATION_FIRST_DOSE_MANUFACTURER | Pfizer |
| What is the date for the 2nd dose covid-19? | VACCINATION_SECOND_DOSE_DATE | 2/8/2021 |
| What is the patient number | PATIENT_NUMBER | 012345abcd67 |
| Who is the manufacturer for 2nd dose of COVID-19? | VACCINATION_SECOND_DOSE_MANUFACTURER | Pfizer |
| Which clinic site was the 2nd dose covid-19 administrated? | VACCINATION_SECOND_DOSE_CLINIC_SITE | CVS |
| What is the lot number for 2nd dose covid-19? | VACCINATION_SECOND_DOSE_LOT_NUMBER | BB5678 |
| What is the date for the 1st dose covid-19? | VACCINATION_FIRST_DOSE_DATE | 1/18/21 |
| What is the lot number for 1st dose covid-19? | VACCINATION_FIRST_DOSE_LOT_NUMBER | AA1234 |
| What is the MI? | MIDDLE_INITIAL | M |

Täysi koodi löytyy muistikirjasta osoitteessa GitHub repo.

Vakuutuskortti

Kyselyt-ominaisuus toimii hyvin myös seuraavien vakuutuskorttien kanssa.

Sovellusliittymän kutsuminen ja tulosten käsittely on sama kuin aiemmin. Täydellinen koodiesimerkki on saatavilla muistikirjassa osoitteessa GitHub repo.

Seuraavat ovat esimerkkivastaukset, jotka on saatu API:lla:

|-------------------------------------|-----------------------------------|---------------|
| What is the insured name? | INSURANCE_CARD_NAME | Jacob Michael |
| What is the level of benefits? | INSURANCE_CARD_LEVEL_BENEFITS | SILVER |
| What is medical insurance provider? | INSURANCE_CARD_PROVIDER | Anthem |
| What is the OOP max? | INSURANCE_CARD_OOP_MAX | $6000/$12000 |
| What is the effective date? | INSURANCE_CARD_EFFECTIVE_DATE | 11/02/2021 |
| What is the office visit copay? | INSURANCE_CARD_OFFICE_VISIT_COPAY | $55/0% |
| What is the specialist visit copay? | INSURANCE_CARD_SPEC_VISIT_COPAY | $65/0% |
| What is the member id? | INSURANCE_CARD_MEMBER_ID | XZ 9147589652 |
| What is the plan type? | INSURANCE_CARD_PLAN_TYPE | Pathway X-EPO |
| What is the coinsurance amount? | INSURANCE_CARD_COINSURANCE | 30% |

Parhaat käytännöt kyselyjen laatimiseen

Kun laadit kyselyjäsi, ota huomioon seuraavat parhaat käytännöt:

• Yleensä kysy luonnollisella kielellä kysymys, joka alkaa sanoilla "Mikä on", "Missä on" tai "Kuka on". Poikkeuksena on, kun yrität poimia vakioavain-arvo-pareja, jolloin voit välittää avaimen nimen kyselynä.
• Vältä väärin muotoiltuja tai kieliopillisesti virheellisiä kysymyksiä, koska ne voivat johtaa odottamattomiin vastauksiin. Esimerkiksi huonosti muotoiltu kysely on "Milloin?" kun taas hyvin muotoiltu kysely on "Milloin ensimmäinen rokoteannos annettiin?"
• Jos mahdollista, käytä asiakirjan sanoja kyselyn rakentamiseen. Vaikka Kyselyt-ominaisuus yrittää etsiä lyhenteitä ja synonyymejä joillekin yleisille alan termeille, kuten "SSN", "verotunnus" ja "sosiaaliturvatunnus", suoraan asiakirjan kielen käyttö parantaa tuloksia. Jos asiakirjassa lukee esimerkiksi "työn edistyminen", yritä välttää muunnelmia, kuten "projektin edistyminen", "ohjelman edistyminen" tai "työn tila".
• Luo kysely, joka sisältää sanoja sekä rivi- että sarakeotsikosta. Esimerkiksi edellisessä rokotuskorttiesimerkissä, jotta voit tietää toisen rokotuksen päivämäärän, voit muotoilla kyselyn "Mikä päivämäärä annettiin toinen annos?"
• Pitkät vastaukset lisäävät vastausviivettä ja voivat johtaa aikakatkaisuihin. Yritä esittää kysymyksiä, joihin vastaa alle 100 sanaa.
• Vain avaimen nimen välittäminen kysymyksenä toimii, kun yritetään poimia vakioavain-arvo-pareja lomakkeesta. Suosittelemme kehystämään täydelliset kysymykset kaikkia muita poiminnan käyttötapauksia varten.
• Ole mahdollisimman tarkka. Esimerkiksi:
  • Kun asiakirja sisältää useita osia (kuten "Lainaaja" ja "Lainaaja") ja molemmissa osioissa on kenttä nimeltä "SSN", kysy "Mikä on lainanottajan SSN?" ja "Mikä on yhteislainaajan SSN?"
  • Kun asiakirjassa on useita päivämäärään liittyviä kenttiä, ole tarkka kyselyn kielellä ja kysy "Mikä on päivämäärä, jona asiakirja allekirjoitettiin?" tai "Mikä on hakemuksen syntymäaika?" Vältä epäselviä kysymyksiä, kuten "Mikä on päivämäärä?"
• Jos tiedät asiakirjan asettelun etukäteen, anna sijaintivihjeitä tulosten tarkkuuden parantamiseksi. Kysy esimerkiksi "Mikä on päivämäärä yläreunassa?" tai "Mikä on päivämäärä vasemmalla?" tai "Mikä on päivämäärä alareunassa?"

Lisätietoja Kyselyt-ominaisuudesta on Textractissa dokumentointi.

Yhteenveto

Tässä viestissä annoimme yleiskatsauksen Amazon Textractin uudesta Queries-ominaisuudesta, jonka avulla voit nopeasti ja helposti hakea tietoja asiakirjoista, kuten maksuluetteloista, asuntolainalaskuista, vakuutuskorteista ja rokotuskorteista luonnollisen kielen kysymyksiin perustuen. Kuvasimme myös, kuinka voit jäsentää vastauksen JSON.

Lisätietoja katso Asiakirjojen analysointi , tai tutustu Amazon Textract -konsoliin ja kokeile tätä ominaisuutta.

Tietoja Tekijät

Uday Narayanan on AWS:n vanhempi ratkaisuarkkitehti. Hän haluaa auttaa asiakkaita löytämään innovatiivisia ratkaisuja monimutkaisiin liiketoiminnan haasteisiin. Hänen painopistealueensa ovat data-analytiikka, isot datajärjestelmät ja koneoppiminen. Vapaa-ajallaan hän nauttii urheilusta, tv-sarjojen katselusta ja matkustamisesta.

Rafael Caixeta on Sr. Solutions Architect AWS:ssä Kaliforniassa. Hänellä on yli 10 vuoden kokemus pilviarkkitehtuurien kehittämisestä. Hänen ydinalueitaan ovat palvelimettomat, kontit ja koneoppiminen. Vapaa-ajallaan hän lukee mielellään kaunokirjoja ja matkustaa ympäri maailmaa.

Navneeth Nair on tekninen vanhempi tuotepäällikkö Amazon Textract -tiimissä. Hän on keskittynyt rakentamaan koneoppimiseen perustuvia palveluita AWS-asiakkaille.

Martin Schade on Senior ML Product SA Amazon Textract -tiimin kanssa. Hänellä on yli 20 vuoden kokemus Internetiin liittyvistä teknologioista, suunnittelusta ja arkkitehtiratkaisuista. Hän liittyi AWS:ään vuonna 2014 ja opasti ensin eräitä suurimmista AWS-asiakkaista AWS-palvelujen tehokkaimpaan ja skaalautuvimpaan käyttöön, ja myöhemmin keskittyi tekoälyyn/ML:ään keskittyen tietokonenäköön. Tällä hetkellä hän on pakkomielle tietojen poimimisesta asiakirjoista.

• Coinsmart. Euroopan paras Bitcoin- ja kryptopörssi.
• Platoblockchain. Web3 Metaverse Intelligence. Tietoa laajennettu. VAPAA PÄÄSY.
• CryptoHawk. Altcoinin tutka. Ilmainen kokeilu.
• Lähde: https://aws.amazon.com/blogs/machine-learning/specify-and-extract-information-from-documents-using-the-new-queries-feature-in-amazon-texttract/