Zgradite dobro zasnovane rešitve IDP z objektivom po meri – 4. del: Učinkovitost delovanja | Spletne storitve Amazon

Ko ima stranka pripravljeno proizvodnjo inteligentna obdelava dokumentov (IDP) delovne obremenitve, pogosto prejmemo zahteve za pregled z dobro arhitekturo. Za izgradnjo poslovne rešitve je treba uravnotežiti sredstva razvijalca, stroške, čas in uporabniško izkušnjo, da dosežemo želeni poslovni rezultat. The Dobro zasnovan okvir AWS zagotavlja sistematičen način za organizacije, da se naučijo najboljših operativnih in arhitekturnih praks za načrtovanje in delovanje zanesljivih, varnih, učinkovitih, stroškovno učinkovitih in trajnostnih delovnih obremenitev v oblaku.

IDP Well-Architected Custom Lens sledi ogrodju AWS Well-Architected Framework, pregleduje rešitev s šestimi stebri z razdrobljenostjo specifičnega primera uporabe umetne inteligence ali strojnega učenja (ML) in zagotavlja smernice za spopadanje s pogostimi izzivi. IDP dobro zasnovan objektiv po meri v Dobro zasnovano orodje vsebuje vprašanja v zvezi z vsakim od stebrov. Če odgovorite na ta vprašanja, lahko prepoznate morebitna tveganja in jih odpravite tako, da sledite svojemu načrtu izboljšav.

Ta objava se osredotoča na Steber učinkovitosti delovanja delovne obremenitve IDP. Globoko se poglobimo v načrtovanje in implementacijo rešitve za optimizacijo prepustnosti, zakasnitve in splošne zmogljivosti. Začnemo z razpravo o nekaterih skupnih kazalnikih, da bi morali opraviti pregled dobre arhitekture, in predstavimo temeljne pristope z načeli oblikovanja. Nato gremo skozi vsako fokusno področje s tehničnega vidika.

Če želite spremljati to objavo, morate biti seznanjeni s prejšnjimi objavami v tej seriji (Del 1 in Del 2) in smernice v Smernice za inteligentno obdelavo dokumentov na AWS. Ti viri predstavljajo običajne storitve AWS za delovne obremenitve IDP in predlagane poteke dela. S tem znanjem ste zdaj pripravljeni izvedeti več o produkciji svoje delovne obremenitve.

Skupni indikatorji

Spodaj so pogosti kazalniki, da bi morali opraviti pregled dobro zasnovanega ogrodja za steber učinkovitosti delovanja:

• Visoka latenca – Če zakasnitev optičnega prepoznavanja znakov (OCR), prepoznavanja subjektov ali poteka dela od konca do konca traja dlje kot vaš prejšnji primerjalni preizkus, je to lahko znak, da zasnova arhitekture ne zajema testiranja obremenitve ali obravnavanja napak.
• Pogosto dušenje – Morda boste doživeli dušenje s storitvami AWS, kot je Amazonovo besedilo zaradi omejitev zahtev. To pomeni, da je treba arhitekturo prilagoditi s pregledom delovnega toka arhitekture, sinhrone in asinhrone implementacije, izračuna transakcij na sekundo (TPS) in drugega.
• Težave pri odpravljanju napak – Ko pride do napake v procesu dokumentiranja, morda ne boste imeli učinkovitega načina, da ugotovite, kje je napaka v delovnem toku, s katero storitvijo je povezana in zakaj je prišlo do napake. To pomeni, da sistem nima vpogleda v dnevnike in napake. Razmislite o ponovnem pregledu zasnove beleženja telemetričnih podatkov in rešitvi dodajte infrastrukturo kot kodo (IaC), kot so cevovodi za obdelavo dokumentov.

kazalniki	Opis	Arhitekturna vrzel
Visoka zamuda	OCR, prepoznavanje subjektov ali zakasnitev delovnega toka od konca do konca presega prejšnje merilo uspešnosti	Testiranje obremenitve Ravnanje z napakami
Pogosto dušenje	Dušenje s storitvami AWS, kot je Amazon Texttract, zaradi omejitev zahtev	Sinhronizacija proti asinhronosti Izračun TPS
Težko odpravljanje napak	Brez vpogleda v lokacijo, vzrok in razlog za napake pri obdelavi dokumentov	Oblikovanje beleženja Cevovodi za obdelavo dokumentov

Načela oblikovanja

V tem prispevku razpravljamo o treh načelih načrtovanja: delegiranje kompleksnih nalog AI, arhitekture IAC in arhitekture brez strežnikov. Ko naletite na kompromis med dvema implementacijama, lahko ponovno pregledate načela oblikovanja s poslovnimi prednostnimi nalogami vaše organizacije, da boste lahko učinkovito sprejemali odločitve.

• Delegiranje kompleksnih nalog AI – V vaši organizaciji lahko omogočite hitrejše sprejemanje umetne inteligence tako, da življenjski cikel razvoja modela ML preložite na upravljane storitve in izkoristite razvoj modela in infrastrukturo, ki jo zagotavlja AWS. Namesto da bi vaše ekipe za podatkovno znanost in IT zahtevale, da zgradijo in vzdržujejo modele AI, lahko uporabite vnaprej usposobljene storitve AI, ki lahko avtomatizirajo naloge namesto vas. To omogoča vašim ekipam, da se osredotočijo na delo z višjo vrednostjo, ki razlikuje vaše podjetje, medtem ko ponudnik oblaka obvlada kompleksnost usposabljanja, uvajanja in spreminjanja modelov AI.
• IaC arhitekture – Ko izvajate rešitev IDP, rešitev vključuje več storitev AI za kronološko izvajanje delovnega toka od konca do konca. Rešitev lahko oblikujete s cevovodi poteka dela z uporabo Korak funkcije AWS za izboljšanje tolerance napak, vzporedne obdelave, vidnosti in razširljivosti. Te prednosti vam lahko omogočijo optimizacijo uporabe in stroškov osnovnih storitev AI.
• Brez strežnika arhitekture – IDP je pogosto rešitev, ki temelji na dogodkih in jo sprožijo nalaganja uporabnikov ali načrtovana opravila. Rešitev je mogoče vodoravno povečati s povečanjem cen klicev za storitve AI, AWS Lambdain druge vključene storitve. Pristop brez strežnika zagotavlja razširljivost brez prekomernega zagotavljanja virov, kar preprečuje nepotrebne stroške. Nadzor, ki stoji za brezstrežniško zasnovo, pomaga pri odkrivanju težav z zmogljivostjo.

Z upoštevanjem teh treh načel oblikovanja lahko organizacije vzpostavijo učinkovito osnovo za sprejetje AI/ML na platformah v oblaku. Z delegiranjem kompleksnosti, izvajanjem prožne infrastrukture in načrtovanjem za obseg lahko organizacije optimizirajo svoje rešitve AI/ML.

V naslednjih razdelkih razpravljamo o tem, kako obravnavati skupne izzive v zvezi s tehničnimi osrednjimi področji.

Fokusna področja

Pri pregledu učinkovitosti delovanja pregledamo rešitev s petih osrednjih področij: načrtovanje arhitekture, upravljanje podatkov, obravnavanje napak, spremljanje sistema in spremljanje modela. S temi fokusnimi področji lahko opravite pregled arhitekture z različnih vidikov, da povečate učinkovitost, opazljivost in razširljivost treh komponent projekta AI/ML, podatkov, modela ali poslovnega cilja.

Arhitekturno oblikovanje

Če pregledate vprašanja v tem osredotočenem področju, boste pregledali obstoječi potek dela in ugotovili, ali sledi najboljšim praksam. Predlagani potek dela zagotavlja skupni vzorec, ki mu lahko organizacije sledijo, in preprečuje stroške poskusov in napak.

Na podlagi predlagana arhitektura, potek dela sledi šestim stopnjam zajemanja podatkov, klasifikacije, ekstrakcije, obogatitve, pregleda in validacije ter porabe. Pri skupnih kazalnikih, o katerih smo razpravljali prej, dva od treh izhajata iz težav pri načrtovanju arhitekture. To je zato, ker ko začnete projekt z improviziranim pristopom, lahko naletite na omejitve projekta, ko poskušate svojo infrastrukturo uskladiti z vašo rešitvijo. S pregledom arhitekturne zasnove je mogoče improvizirano zasnovo ločiti na stopnje in vsako od njih ponovno ovrednotiti in preurediti.

Z implementacijo lahko prihranite čas, denar in delo klasifikacije v vašem poteku dela, dokumenti pa gredo v spodnje aplikacije in API-je glede na vrsto dokumenta. To izboljša opazovanje procesa dokumentov in omogoča preprosto vzdrževanje rešitve pri dodajanju novih vrst dokumentov.

Upravljanje podatkov

Učinkovitost rešitve IDP vključuje zakasnitev, prepustnost in uporabniško izkušnjo od konca do konca. Kako upravljati dokument in njegove ekstrahirane informacije v rešitvi, je ključ do skladnosti podatkov, varnosti in zasebnosti. Poleg tega mora rešitev obravnavati velike količine podatkov z nizko zakasnitvijo in visoko prepustnostjo.

Ko boste obravnavali vprašanja tega fokusnega področja, boste pregledali potek dela dokumenta. To vključuje vnos podatkov, predhodno obdelavo podatkov, pretvorbo dokumentov v vrste dokumentov, ki jih sprejema Amazon Texttract, ravnanje z vhodnimi tokovi dokumentov, usmerjanje dokumentov glede na vrsto ter izvajanje nadzora dostopa in politik hrambe.

Na primer, s shranjevanjem dokumenta v različnih obdelanih fazah lahko obdelavo po potrebi obrnete na prejšnji korak. Življenjski cikel podatkov zagotavlja zanesljivost in skladnost za delovno obremenitev. Z uporabo Kalkulator kvot storitve Amazon Texttract (glejte naslednji posnetek zaslona), asinhrone funkcije na Amazon Texttract, Lambda, stopenjske funkcije, Storitev Amazon Simple Queue Service (Amazon SQS) in Amazon Simple notification Service (Amazon SNS), lahko organizacije avtomatizirajo in prilagodijo naloge obdelave dokumentov, da izpolnijo posebne potrebe po delovni obremenitvi.

Napaka pri ravnanju

Robustno ravnanje z napakami je ključnega pomena za sledenje statusu procesa dokumentov in daje operacijski skupini čas, da se odzove na morebitna neobičajna vedenja, kot so nepričakovane količine dokumentov, nove vrste dokumentov ali druge nenačrtovane težave s storitvami tretjih oseb. Z vidika organizacije lahko pravilno ravnanje z napakami poveča čas delovanja in zmogljivost sistema.

Obravnavo napak lahko razdelite na dva ključna vidika:

• Konfiguracija storitve AWS – Uporabite lahko logiko ponovnega poskusa z eksponentnim odmikom za obravnavo prehodnih napak, kot je dušenje. Ko začnete obdelavo s klicem asinhrone operacije Start*, kot je npr StartDocumentTextDetection, lahko določite, da je stanje dokončanja zahteve objavljeno v temi SNS v NotificationChannel konfiguracijo. To vam pomaga preprečiti omejevanje omejitev pri klicih API-jev zaradi anketiranja API-jev Get*. Alarme lahko implementirate tudi v amazoncloudwatch in sproži opozorilo, ko pride do nenavadnih skokov napake.
• Izboljšanje poročila o napakah – To vključuje podrobna sporočila z ustrezno stopnjo podrobnosti glede na vrsto napake in opise odzivov obravnave napak. Z ustrezno nastavitvijo obravnave napak so lahko sistemi bolj odporni z implementacijo običajnih vzorcev, kot je samodejno ponovno poskušanje občasnih napak, uporaba odklopnikov za obravnavo kaskadnih okvar in storitve spremljanja za pridobitev vpogleda v napake. To omogoča rešitvi ravnovesje med omejitvami ponovnih poskusov in preprečuje neskončne zanke vezja.

Spremljanje modela

Učinkovitost modelov ML se spremlja glede poslabšanja skozi čas. Ko se podatki in sistemski pogoji spremenijo, se meritve uspešnosti in učinkovitosti modela spremljajo, da se zagotovi, da se po potrebi izvede ponovno usposabljanje.

Model ML v delovnem toku IDP je lahko model OCR, model prepoznavanja entitete ali model klasifikacije. Model lahko izvira iz storitve AWS AI, odprtokodnega modela Amazon SageMaker, Amazon Bedrock, ali druge storitve tretjih oseb. Razumeti morate omejitve in primere uporabe vsake storitve, da lahko prepoznate načine za izboljšanje modela s človeškimi povratnimi informacijami in sčasoma povečate učinkovitost storitve.

Pogost pristop je uporaba dnevnikov storitev za razumevanje različnih ravni natančnosti. Ti dnevniki lahko ekipi za podatkovno znanost pomagajo prepoznati in razumeti kakršno koli potrebo po preusposabljanju modela. Vaša organizacija lahko izbere mehanizem preusposabljanja – lahko je četrtletno, mesečno ali temelji na znanstvenih meritvah, na primer, ko natančnost pade pod dani prag.

Cilj spremljanja ni le odkrivanje težav, temveč zapiranje zanke za nenehno izpopolnjevanje modelov in ohranjanje učinkovitosti rešitve IDP, ko se razvija zunanje okolje.

Nadzor sistema

Ko uvedete rešitev IDP v produkcijo, je pomembno, da spremljate ključne meritve in učinkovitost avtomatizacije, da prepoznate področja za izboljšave. Meritve morajo vključevati poslovne meritve in tehnične meritve. To podjetju omogoča, da oceni delovanje sistema, prepozna težave in sčasoma izboljša modele, pravila in poteke dela, da poveča stopnjo avtomatizacije za razumevanje operativnega učinka.

Na poslovni strani so najpomembnejše meritve, kot so natančnost ekstrakcije za pomembna polja, splošna stopnja avtomatizacije, ki kaže odstotek dokumentov, obdelanih brez človeškega posredovanja, in povprečni čas obdelave na dokument. Te poslovne metrike pomagajo kvantificirati izkušnjo končnega uporabnika in povečati operativno učinkovitost.

Tehnične meritve, vključno s stopnjami napak in izjem, ki se pojavljajo v celotnem poteku dela, so bistvenega pomena za sledenje z inženirskega vidika. Tehnične meritve lahko spremljajo tudi na vsaki ravni od konca do konca in zagotavljajo celovit pogled na kompleksno delovno obremenitev. Meritve lahko razdelite na različne ravni, kot so raven rešitve, raven poteka dela od konca do konca, raven vrste dokumenta, raven dokumenta, raven prepoznavanja entitete in raven OCR.

Zdaj, ko ste pregledali vsa vprašanja v tem stebru, lahko ocenite druge stebre in razvijete načrt za izboljšanje vaše delovne obremenitve IDP.

zaključek

V tej objavi smo razpravljali o pogostih kazalnikih, ki jih boste morda morali izvesti za pregled dobro arhitekturnega ogrodja za steber učinkovitosti delovanja za vašo delovno obremenitev IDP. Nato smo se sprehodili skozi načela oblikovanja, da bi zagotovili pregled na visoki ravni in razpravljali o cilju rešitve. Z upoštevanjem teh predlogov v zvezi z IDP Well-Architected Custom Lens in s pregledovanjem vprašanj po fokusnih področjih bi morali zdaj imeti načrt za izboljšanje projekta.

---

O avtorjih

Mia Chang je specialist za rešitve ML za Amazon Web Services. Dela s strankami v EMEA in deli najboljše prakse za izvajanje delovnih obremenitev AI/ML v oblaku s svojim znanjem iz uporabne matematike, računalništva in AI/ML. Osredotoča se na delovne obremenitve, specifične za NLP, in deli svoje izkušnje kot predavateljica na konferencah in avtorica knjig. V prostem času uživa v pohodništvu, družabnih igrah in kuhanju kave.

Briješ pati je arhitekt za podjetniške rešitve pri AWS. Njegov glavni poudarek je pomagati poslovnim strankam, da za svoje delovne obremenitve sprejmejo tehnologije v oblaku. Ima izkušnje z razvojem aplikacij in arhitekturo podjetja ter je sodeloval s strankami iz različnih panog, kot so šport, finance, energetika in strokovne storitve. Njegovi interesi vključujejo brezstrežniške arhitekture in AI/ML.

Rui Cardoso je partnerski arhitekt rešitev pri Amazon Web Services (AWS). Osredotoča se na AI/ML in IoT. Sodeluje s partnerji AWS in jih podpira pri razvoju rešitev v AWS. Ko ni v službi, uživa v kolesarjenju, pohodništvu in učenju novih stvari.

Tim Condello je višji arhitekt za rešitve za umetno inteligenco (AI) in strojno učenje (ML) pri Amazon Web Services (AWS). Njegov fokus je obdelava naravnega jezika in računalniški vid. Tim uživa v sprejemanju idej strank in njihovem spreminjanju v prilagodljive rešitve.

Sherry Ding je višji arhitekt za rešitve za umetno inteligenco (AI) in strojno učenje (ML) pri Amazon Web Services (AWS). Ima bogate izkušnje s strojnim učenjem z doktoratom iz računalništva. V glavnem dela s strankami iz javnega sektorja pri različnih poslovnih izzivih, povezanih z AI/ML, in jim pomaga pospešiti njihovo pot strojnega učenja v oblaku AWS. Ko ne pomaga strankam, uživa v dejavnostih na prostem.

Suyin Wang je specialist za rešitve AI/ML pri AWS. Ima interdisciplinarno izobrazbo na področju strojnega učenja, finančnih informacijskih storitev in ekonomije, skupaj z dolgoletnimi izkušnjami pri izdelavi aplikacij za podatkovno znanost in strojno učenje, ki so reševale resnične poslovne probleme. Uživa v tem, da strankam pomaga prepoznati prava poslovna vprašanja in gradi prave rešitve AI/ML. V prostem času rada poje in kuha.

• Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
• PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
• PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
• PlatoESG. Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
• PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
• vir: https://aws.amazon.com/blogs/machine-learning/build-well-architected-idp-solutions-with-a-custom-lens-part-4-performance-efficiency/