Tööstusharude organisatsioonid soovivad kategoriseerida ja hankida teadmisi suurest mahust erinevas vormingus dokumentidest. Nende dokumentide käsitsi töötlemine teabe klassifitseerimiseks ja eraldamiseks on endiselt kulukas, veatundlik ja raskesti skaleeritav. Edusammud generatiivne tehisintellekt (AI) on loonud intelligentsed dokumenditöötluse (IDP) lahendused, mis suudavad automatiseerida dokumentide klassifitseerimist ja luua kulutõhusa klassifitseerimiskihi, mis on võimeline käsitlema erinevaid, struktureerimata ettevõttedokumente.
Dokumentide kategoriseerimine on oluline esimene samm IDP süsteemides. See aitab teil sõltuvalt dokumendi tüübist määrata järgmised toimingud. Näiteks nõuete lahendamise protsessis saab võlgnevuste meeskond arve, kahjude osakond haldab aga lepingut või poliisidokumente. Traditsioonilised reeglimootorid või ML-põhine klassifikatsioon võivad dokumente klassifitseerida, kuid sageli jõuavad dokumendivormingute tüüpide ja uute dokumendiklasside dünaamilise lisamise piiranguni. Lisateabe saamiseks vt Amazon Comprehend dokumendi klassifikaator lisab suurema täpsuse tagamiseks küljendustoe.
Selles postituses käsitleme dokumentide klassifitseerimist, kasutades Amazon Titan Multimodal Embeddingsi mudel mis tahes dokumenditüüpide klassifitseerimiseks ilma koolitust vajamata.
Amazoni Titani multimodaalsed manused
Amazon tutvustas hiljuti Titani multimodaalsed manused in Amazonase aluspõhi. See mudel võib luua piltide ja teksti jaoks manuseid, võimaldades luua dokumentide manuseid, mida saab kasutada uutes dokumentide klassifitseerimise töövoogudes.
See loob piltidena skannitud dokumentide optimeeritud vektoresitlused. Kodeerides nii visuaalsed kui ka tekstilised komponendid ühtseteks numbrilisteks vektoriteks, mis kapseldavad semantilist tähendust, võimaldab see kiiret indekseerimist, võimsat kontekstipõhist otsingut ja dokumentide täpset klassifitseerimist.
Kui ettevõtte töövoogudes ilmnevad uued dokumendimallid ja -tüübid, saate lihtsalt käivitada Amazon Bedrock API neid dünaamiliselt vektoriseerida ja lisada nende IDP-süsteemidele, et kiiresti parandada dokumentide klassifitseerimise võimalusi.
Lahenduse ülevaade
Uurime järgmist dokumentide klassifitseerimise lahendust Amazon Titan Multimodal Embeddingsi mudeliga. Optimaalse jõudluse tagamiseks peaksite lahenduse kohandama vastavalt oma konkreetsele kasutusjuhule ja olemasolevale IDP torujuhtme seadistusele.
See lahendus klassifitseerib dokumendid semantilise vektorotsingu abil, sobitades sisenddokumendi juba indekseeritud dokumentide galeriiga. Kasutame järgmisi põhikomponente:
- Manustamised - Manustamised on reaalmaailma objektide arvulised esitused, mida masinõpe (ML) ja AI-süsteemid kasutavad keerukate teadmiste valdkondade mõistmiseks nagu inimesed.
- Vektorandmebaasid - Vektorandmebaasid kasutatakse manuste salvestamiseks. Vektorandmebaasid indekseerivad ja korraldavad tõhusalt manuseid, võimaldades sarnaste vektorite kiiret otsimist kaugusmõõdikute (nt Eukleidiline kaugus või koosinussarnasus) alusel.
- Semantiline otsing – Semantiline otsing töötab, võttes arvesse sisendpäringu konteksti ja tähendust ning selle olulisust otsitava sisu suhtes. Vektori manustamine on tõhus viis teksti ja piltide kontekstuaalse tähenduse jäädvustamiseks ja säilitamiseks. Kui rakendus soovib teostada semantilist otsingut, siis meie lahenduses teisendatakse otsingudokument esmalt manustamiseks. Seejärel tehakse päring asjakohase sisuga vektorandmebaasist, et leida kõige sarnasemad manused.
Märgistamisprotsessis teisendatakse äridokumentide näidiskomplekt, nagu arved, pangaväljavõtted või retseptid, Amazon Titan Multimodal Embeddingsi mudeli abil manusteks ja salvestatakse vektorandmebaasi eelmääratletud siltide alusel. Amazon Titan Multimodaalse manustamise mudelit koolitati Euclidean L2 algoritmi abil ja seetõttu peaks parimate tulemuste saavutamiseks kasutatav vektorandmebaas seda algoritmi toetama.
Järgmine arhitektuuriskeem illustreerib, kuidas saate kasutada Amazon Titan Multimodal Embeddingsi mudelit koos dokumentidega Amazoni lihtne salvestusteenus (Amazon S3) kopp pildigalerii loomiseks.
Töövoog koosneb järgmistest sammudest:
- Kasutaja või rakendus laadib dokumendi pildigaleriisse üles näidisdokumendi kujutise koos klassifikatsiooni metaandmetega. Galerii piltide klassifitseerimiseks saab kasutada S3 prefiksit või S3 objekti metaandmeid.
- Amazon S3 objekti teavitussündmus kutsub esile manustamise AWS Lambda funktsiooni.
- Lambda funktsioon loeb dokumendi kujutist ja tõlgib pildi manusteks, kutsudes välja Amazon Bedrocki ja kasutades Amazon Titan Multimodal Embeddingsi mudelit.
- Piltide manused koos dokumentide klassifikatsiooniga salvestatakse vektorandmebaasi.
Kui uus dokument vajab klassifitseerimist, kasutatakse päringudokumendi manustamiseks teisendamiseks sama manustamismudelit. Seejärel teostatakse päringu manustamist kasutades vektorandmebaasis semantilise sarnasuse otsing. Ülemise manustamisvaste alusel leitud silt on päringudokumendi klassifikatsioonisilt.
Järgmine arhitektuuriskeem illustreerib, kuidas kasutada Amazon Titan Multimodal Embeddingsi mudelit S3 ämbris olevate dokumentidega piltide klassifitseerimiseks.
Töövoog koosneb järgmistest sammudest:
- Klassifitseerimist vajavad dokumendid laaditakse üles sisend-S3 ämbrisse.
- Klassifikatsiooni Lambda funktsioon võtab vastu Amazon S3 objekti teatise.
- Lambda funktsioon tõlgib pildi manustamiseks, kutsudes välja Amazon Bedrock API.
- Vektorandmebaasist otsitakse semantilist otsingut kasutades sobivat dokumenti. Sisenddokumendi klassifitseerimiseks kasutatakse vastavusdokumendi klassifikatsiooni.
- Sisenddokument teisaldatakse S3 sihtkataloogi või prefiksisse, kasutades vektorandmebaasi otsingust leitud klassifikatsiooni.
Et aidata teil lahendust oma dokumentidega testida, oleme loonud Python Jupyteri näidismärkmiku, mis on saadaval aadressil GitHub.
Eeldused
Märkmiku käitamiseks vajate AWS-i konto koos asjakohastega AWS-i identiteedi- ja juurdepääsuhaldus (IAM) luba helistada Amazon Bedrockile. Lisaks kohta Juurdepääs mudelile Amazon Bedrocki konsooli lehel veenduge, et Amazon Titan Multimodal Embeddingsi mudelile oleks juurdepääs antud.
Täitmine
Järgmiste sammude käigus asendage iga kasutaja sisestatud kohatäide oma teabega.
- Looge vektorite andmebaas. Selles lahenduses kasutame mälusisest FAISS-i andmebaasi, kuid võite kasutada ka alternatiivset vektorandmebaasi. Amazon Titani vaikemõõtmete suurus on 1024.
- Pärast vektorandmebaasi loomist loetlege näidisdokumendid, luues igaühe manustused ja salvestage need vektorandmebaasi
- Testige oma dokumentidega. Asendage järgmise koodi kaustad oma kaustadega, mis sisaldavad teadaolevaid dokumenditüüpe:
- Boto3 teeki kasutades helistage Amazon Bedrockile. Muutuja
inputImageB64
on teie dokumenti esindav base64-kodeeringuga baidimassiivi. Amazon Bedrocki vastus sisaldab manuseid.
- Lisage manustused vektorandmebaasi klassi ID-ga, mis esindab teadaolevat dokumenditüüpi:
- Piltidega täidetud vektorandmebaasiga (mis esindab meie galeriid) saate avastada sarnasusi uute dokumentidega. Näiteks järgmine on otsinguks kasutatav süntaks. K=1 käsib FAISSil tagastada 1 parima matši.
Lisaks tagastatakse ka Eukleidiline L2 kaugus käes oleva pildi ja leitud kujutise vahel. Kui pilt on täpne vaste, on see väärtus 0. Mida suurem see väärtus on, seda kaugemal on kujutiste sarnasus.
Täiendavad kaalutlused
Selles jaotises käsitleme täiendavaid kaalutlusi lahenduse tõhusaks kasutamiseks. See hõlmab andmete privaatsust, turvalisust, integreerimist olemasolevate süsteemidega ja kuluprognoose.
Andmete privaatsus ja turvalisus
AWS jagatud vastutuse mudel kehtib andmekaitse Amazonase aluspõhjas. Nagu selles mudelis kirjeldatud, vastutab AWS ülemaailmse infrastruktuuri kaitsmise eest, mis käitab kogu AWS-i pilve. Kliendid vastutavad selles infrastruktuuris hostitava sisu üle kontrolli säilitamise eest. Kliendina vastutate kasutatavate AWS-teenuste turbekonfiguratsiooni ja haldusülesannete eest.
Andmekaitse Amazon Bedrockis
Amazon Bedrock väldib AWS-mudelite koolitamiseks või kolmandate osapooltega jagamiseks klientide viipade ja jätkamiste kasutamist. Amazon Bedrock ei salvesta ega logi oma teenuselogidesse kliendiandmeid. Mudelite pakkujatel pole juurdepääsu Amazon Bedrocki logidele ega juurdepääsu klientide viipadele ja jätkudele. Selle tulemusena ei salvestata Amazon Titan Multimodal Embeddingsi mudeli kaudu manuste genereerimiseks kasutatud pilte ega kasutata neid AWS-mudelite koolitamisel ega välisel levitamisel. Lisaks jäetakse mudelikoolitusest välja muud kasutusandmed, nagu ajatemplid ja logitud konto ID-d.
Integreerimine olemasolevate süsteemidega
Amazon Titan Multimodal Embeddingsi mudel läbis koolituse Euclidean L2 algoritmiga, seega peaks kasutatav vektorandmebaas selle algoritmiga ühilduma.
Kulude prognoos
Selle postituse kirjutamise ajal, nagu Amazoni aluspõhja hinnakujundus Amazon Titan Multimodal Embeddingsi mudeli puhul on järgmised hinnangulised kulud, kasutades selle lahenduse tellitavat hinnakujundust.
- Ühekordne indekseerimiskulu – 0.06 dollarit ühe indekseerimise eest, eeldades 1,000 pildigalerii
- Klassifikatsiooni maksumus – 6 dollarit 100,000 XNUMX sisendpildi eest kuus
Koristage
Edaspidiste tasude vältimiseks kustutage loodud ressursid, näiteks Amazon SageMakeri sülearvuti eksemplar, kui seda ei kasutata.
Järeldus
Selles postituses uurisime, kuidas saate kasutada Amazon Titan Multimodal Embeddingsi mudelit, et luua odav lahendus dokumentide klassifitseerimiseks IDP töövoos. Näitasime, kuidas luua teadaolevatest dokumentidest pildigalerii ja teha uute dokumentidega sarnasusotsinguid, et neid klassifitseerida. Arutasime ka multimodaalsete kujutiste manustamise eeliseid dokumentide klassifitseerimisel, sealhulgas nende võimet käsitleda erinevaid dokumenditüüpe, skaleeritavust ja madalat latentsust.
Kui ettevõtte töövoogudes ilmnevad uued dokumendimallid ja -tüübid, saavad arendajad kasutada Amazon Bedrocki API-d, et neid dünaamiliselt vektoriseerida ja lisada oma IDP-süsteemidele, et dokumentide klassifitseerimisvõimalusi kiiresti täiustada. See loob odava, lõpmatult skaleeritava klassifikatsioonikihi, mis suudab käsitleda ka kõige erinevamaid, struktureerimata ettevõttedokumente.
Üldiselt pakub see postitus teekaardi odava lahenduse loomiseks IDP töövoos dokumentide klassifitseerimiseks Amazon Titan Multimodal Embeddingsi abil.
Järgmiste sammudena kontrollige Mis on Amazoni aluspõhjakivi teenuse kasutamise alustamiseks. Ja järgi Amazon Bedrock AWS-i masinõppe blogis et olla kursis Amazon Bedrocki uute võimaluste ja kasutusjuhtudega.
Autoritest
Sumit Bhati on AWS-i vanemkliendilahenduste juht, kes on spetsialiseerunud ettevõtete klientide pilveteekonna kiirendamisele. Sumit on pühendunud klientide abistamisele nende pilve kasutuselevõtu igas etapis, alates migratsiooni kiirendamisest kuni töökoormuse moderniseerimiseni ja uuenduslike tavade integreerimise hõlbustamiseni.
David Girling on AI/ML-lahenduste vanemarhitekt, kellel on üle 20-aastane kogemus ettevõttesüsteemide projekteerimisel, juhtimisel ja arendamisel. David on osa spetsialistide meeskonnast, mis keskendub sellele, et aidata klientidel õppida, uuendada ja kasutada neid väga võimekaid teenuseid nende andmetega nende kasutusjuhtumite jaoks.
Ravi Avula on AWS-i vanemlahenduste arhitekt, keskendudes ettevõtte arhitektuurile. Ravil on 20-aastane kogemus tarkvaratehnika alal ning ta on töötanud mitmel juhtival positsioonil tarkvaratehnika ja tarkvaraarhitektuuri alal maksesektoris.
George Belsian on AWS-i pilverakenduste vanemarhitekt. Ta soovib kirglikult aidata klientidel nende moderniseerimist ja pilve kasutuselevõttu kiirendada. Oma praeguses rollis töötab George koos kliendimeeskondadega, et koostada strateegiaid, kavandada ja arendada uuenduslikke skaleeritavaid lahendusi.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
- PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
- PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
- PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/machine-learning/cost-effective-document-classification-using-the-amazon-titan-multimodal-embeddings-model/
- :on
- :on
- :mitte
- $ UP
- 000
- 06
- 1
- 100
- 14
- 19
- 20
- 20 aastat
- 7
- 8
- a
- võime
- MEIST
- kiirendama
- kiirendades
- juurdepääs
- konto
- Kontod
- võlgnevused
- täpne
- üle
- meetmete
- lisamine
- Täiendavad lisad
- Lisaks
- Lisab
- Vastuvõtmine
- ettemaksed
- vastu
- AI
- Tehisintellekti süsteemid
- AI / ML
- algoritm
- Materjal: BPA ja flataatide vaba plastik
- mööda
- kõrval
- juba
- Ka
- alternatiiv
- Amazon
- Amazon Web Services
- an
- ja
- mistahes
- lahus
- API
- taotlus
- kehtib
- asjakohane
- arhitektuur
- OLEME
- Array
- kunstlik
- tehisintellekti
- AS
- abistamine
- At
- automatiseerima
- saadaval
- vältima
- Välditakse
- AWS
- AWS-i masinõpe
- Pank
- põhineb
- BE
- on
- Kasu
- BEST
- vahel
- keha
- mõlemad
- ehitama
- Ehitus
- äri
- kuid
- by
- helistama
- kutsudes
- CAN
- võimeid
- võimeline
- lüüa
- kaart
- juhul
- juhtudel
- kategoriseerida
- koormuste
- kontrollima
- nõuete
- klass
- klassid
- klassifikatsioon
- klassifikaator
- Klassifitseerige
- Sulgemine
- Cloud
- pilve adopteerimine
- kood
- kokkusobiv
- keeruline
- komponendid
- mõista
- konfiguratsioon
- kaalutlused
- arvestades
- koosneb
- konsool
- sisaldama
- sisaldab
- sisu
- kontekst
- kontekstuaalne
- leping
- kontrollida
- muutma
- ümber
- Maksma
- kuluefektiivne
- kulud
- võiks
- looma
- loodud
- loob
- loomine
- loomine
- Praegune
- klient
- kliendi andmed
- Kliendilahendused
- Kliendid
- kohandada
- andmed
- andmekaitse
- andmebaas
- andmebaasid
- kuupäev
- David
- pühendunud
- vaikimisi
- Näidatud
- osakond
- Olenevalt
- kirjeldatud
- projekteerimine
- Määrama
- arendama
- Arendajad
- arenev
- skeem
- erinev
- raske
- mõõde
- kataloog
- avalikustamine
- arutama
- arutatud
- kaugus
- jaotus
- mitu
- do
- dokument
- dokumendid
- Ei tee
- Domeenid
- Ära
- ajal
- dünaamiline
- dünaamiliselt
- iga
- Tõhus
- tõhusalt
- tõhusalt
- kinnistamine
- tekkima
- töötavad
- võimaldab
- võimaldades
- kodeeritud
- kodeerimine
- Inseneriteadus
- Mootorid
- suurendama
- ettevõte
- viga
- Hinnanguliselt
- hinnangul
- Isegi
- sündmus
- Iga
- täpne
- uurima
- näide
- välja jäetud
- olemasolevate
- kallis
- kogemus
- uurida
- väline
- väljavõte
- hõlbustades
- KIIRE
- leidma
- esimene
- keskendub
- keskendumine
- järgima
- Järel
- eest
- avastatud
- Alates
- funktsioon
- edasi
- tulevik
- Galerii
- genereerib
- teeniva
- George
- antud
- Globaalne
- antud
- käsi
- käepide
- Käsitsemine
- Olema
- he
- Held
- aitama
- aidates
- aitab
- Suur
- rohkem
- kõrgelt
- tema
- võõrustas
- Kuidas
- Kuidas
- HTML
- HTTPS
- Inimestel
- ID
- Identity
- IDd
- if
- illustreerib
- pilt
- Piltide klassifikatsioon
- pildid
- oluline
- in
- hõlmab
- Kaasa arvatud
- indeks
- indekseeritud
- tööstusharudes
- tööstus
- lõputult
- info
- Infrastruktuur
- uuendama
- uuenduslik
- sisend
- teadmisi
- integratsioon
- Intelligentsus
- Intelligentne
- Arukas dokumenditöötlus
- sisse
- sisse
- arve
- arved
- kutsub
- IT
- ITS
- teekond
- jpg
- Json
- hoidma
- Võti
- teadmised
- teatud
- l2
- silt
- märgistamine
- Labels
- suurem
- Hilinemine
- kiht
- Layout
- Juhtimine
- juhtivate
- Õppida
- õppimine
- Raamatukogu
- nagu
- LIMIT
- logi
- loginud
- Madal
- masin
- masinõpe
- säilitamine
- tegema
- juhtimine
- juht
- haldab
- käsitsi
- Vastama
- sobitamine
- tähendus
- Metaandmed
- Meetrika
- ML
- mudel
- mudelid
- moderniseerimine
- moderniseerimine
- rohkem
- kõige
- kolis
- Vajadus
- vajadustele
- Uus
- järgmine
- mitte ükski
- märkmik
- teade
- objekt
- esemeid
- of
- sageli
- on
- On-Demand
- optimaalselt
- optimeeritud
- or
- Muu
- meie
- välja
- üle
- enda
- osa
- isikutele
- kirglik
- maksed
- kohta
- täitma
- jõudlus
- teostatud
- Õigused
- faas
- torujuhe
- kohatäide
- Platon
- Platoni andmete intelligentsus
- PlatoData
- poliitika
- asustatud
- post
- võimas
- tavad
- ettemääratud
- hinnapoliitika
- privaatsus
- protsess
- töötlemine
- küsib
- kaitsta
- kaitse
- pakkujad
- annab
- Python
- päringu
- kiire
- kiiresti
- jõudma
- päris maailm
- saab
- hiljuti
- asjakohasus
- asjakohane
- jäänused
- asendama
- esindavad
- esindab
- nõudma
- Vahendid
- vastus
- vastutus
- vastutav
- kaasa
- Tulemused
- säilitama
- otsing
- tagasipöördumine
- Tõusma
- tegevuskava
- Roll
- rollid
- Eeskiri
- jooks
- jookseb
- salveitegija
- sama
- proov
- Skaalautuvus
- skaalautuvia
- Skaala
- Otsing
- otsingud
- Osa
- turvalisus
- vaata
- semantiline
- vanem
- teenus
- Teenused
- komplekt
- seade
- mitu
- Jaga
- peaks
- sarnane
- sarnasused
- lihtne
- lihtsalt
- ühekordne
- SUURUS
- So
- sotsiaalmeedia
- tarkvara
- tarkvaraarendus
- lahendus
- Lahendused
- spetsialist
- spetsialiseerunud
- konkreetse
- algus
- väljavõte
- avaldused
- Samm
- Sammud
- ladustamine
- salvestada
- ladustatud
- selline
- toetama
- kindel
- süntaks
- süsteemid
- Võtma
- sihtmärk
- ülesanded
- meeskond
- meeskonnad
- ütleb
- malle
- test
- tekst
- tekstiline
- et
- .
- oma
- Neile
- SIIS
- seetõttu
- Need
- Kolmas
- kolmandad isikud
- see
- need
- Läbi
- aeg
- Titan
- et
- ülemine
- traditsiooniline
- Rong
- koolitatud
- koolitus
- tüüp
- liigid
- paljastama
- mõistma
- läbis
- ühtne
- struktureerimata
- laetud
- Kasutus
- kasutama
- kasutage juhtumit
- Kasutatud
- Kasutaja
- kasutamine
- ära kasutama
- väärtus
- muutuja
- visuaalne
- mahud
- tahan
- tahab
- oli
- Tee..
- we
- web
- veebiteenused
- millal
- samas kui
- mis
- will
- koos
- ilma
- töövoog
- Töövoogud
- töö
- töötab
- oleks
- kirjutamine
- aastat
- sa
- Sinu
- sephyrnet