Construiți soluții IDP bine proiectate cu un obiectiv personalizat – Partea 4: Eficiența performanței | Amazon Web Services

Când un client are un produs gata de producție procesare inteligentă a documentelor (IDP), primim adesea cereri pentru o revizuire bine arhitecturată. Pentru a construi o soluție de întreprindere, resursele dezvoltatorului, costurile, timpul și experiența utilizatorului trebuie să fie echilibrate pentru a obține rezultatul de afaceri dorit. The Cadru bine arhitecturat AWS oferă o modalitate sistematică pentru organizații de a învăța cele mai bune practici operaționale și arhitecturale pentru proiectarea și operarea sarcinilor de lucru fiabile, sigure, eficiente, rentabile și sustenabile în cloud.

IDP Well-Architected Custom Lens urmează cadrul AWS Well-Architected, revizuind soluția cu șase piloni cu granularitatea unui anumit caz de utilizare AI sau machine learning (ML) și oferind îndrumări pentru a aborda provocările comune. Obiectivul personalizat IDP bine arhitecturat în Instrument bine proiectat conţine întrebări referitoare la fiecare dintre piloni. Răspunzând la aceste întrebări, puteți identifica riscurile potențiale și le puteți rezolva urmând planul de îmbunătățire.

Acest post se concentrează pe Pilonul Eficienței performanței a volumului de muncă IDP. Ne aprofundăm în proiectarea și implementarea soluției pentru a optimiza debitul, latența și performanța generală. Începem cu a discuta despre câțiva indicatori obișnuiți pe care ar trebui să efectuați o revizuire bine arhitecturată și să introducem abordările fundamentale cu principiile de proiectare. Apoi trecem prin fiecare zonă de focalizare din perspectivă tehnică.

Pentru a urma această postare, ar trebui să fii familiarizat cu postările anterioare din această serie (Partea 1 și Partea 2) și liniile directoare din Ghid pentru procesarea inteligentă a documentelor pe AWS. Aceste resurse introduc servicii AWS comune pentru sarcinile de lucru IDP și fluxurile de lucru sugerate. Cu aceste cunoștințe, sunteți acum pregătit să aflați mai multe despre producția volumului dvs. de lucru.

Indicatori comuni

Următorii sunt indicatori comuni care ar trebui să efectueze o revizuire a cadrului bine arhitecturat pentru pilonul Eficiența performanței:

• Latență ridicată – Când latența recunoașterii optice a caracterelor (OCR), a recunoașterii entităților sau a fluxului de lucru end-to-end durează mai mult decât benchmark-ul anterior, acesta poate fi un indicator că proiectarea arhitecturii nu acoperă testarea încărcării sau gestionarea erorilor.
• Reglaje frecvente – Este posibil să vă confruntați cu limitarea de către servicii AWS precum Text Amazon din cauza limitelor de solicitare. Aceasta înseamnă că arhitectura trebuie ajustată prin revizuirea fluxului de lucru al arhitecturii, implementarea sincronă și asincronă, calculul tranzacțiilor pe secundă (TPS) și multe altele.
• Dificultăți de depanare – Când există o eroare a procesului de document, este posibil să nu aveți o modalitate eficientă de a identifica unde se află eroarea în fluxul de lucru, de ce serviciu este legată și de ce a apărut eșecul. Aceasta înseamnă că sistemul nu are vizibilitate asupra jurnalelor și erorilor. Luați în considerare revizuirea designului de înregistrare a datelor de telemetrie și adăugarea de infrastructură ca cod (IaC), cum ar fi conductele de procesare a documentelor, la soluție.

Indicatorii	Descriere	Gap arhitectural
Latenție ridicată	OCR, recunoașterea entităților sau latența fluxului de lucru de la capăt la capăt depășește nivelul de referință anterior	Încărcarea testelor Eroare de manipulare
Reglaje frecvente	Limitarea de către servicii AWS precum Amazon Texttract din cauza limitelor de solicitare	Sincronizare vs Async calculul TPS
Greu de depanat	Nu există vizibilitate asupra locației, cauzei și motivului eșecurilor de procesare a documentelor	Design de logare Conducte de procesare a documentelor

Principii de proiectare

În această postare, discutăm trei principii de proiectare: delegarea sarcinilor complexe AI, arhitecturi IaC și arhitecturi fără server. Când întâlniți un compromis între două implementări, puteți revizui principiile de proiectare cu prioritățile de afaceri ale organizației dvs., astfel încât să puteți lua decizii în mod eficient.

• Delegarea sarcinilor complexe de IA – Puteți permite adoptarea mai rapidă a AI în organizația dvs. prin descărcarea ciclului de viață de dezvoltare a modelului ML către serviciile gestionate și profitând de dezvoltarea modelului și infrastructura oferite de AWS. În loc să solicitați echipelor de știință a datelor și IT să construiască și să întrețină modele AI, puteți utiliza servicii AI pregătite în prealabil care vă pot automatiza sarcinile. Acest lucru permite echipelor dvs. să se concentreze pe munca de valoare mai mare care vă diferențiază afacerea, în timp ce furnizorul de cloud se ocupă de complexitatea instruirii, implementării și scalarii modelelor AI.
• arhitecturi IaC – Când rulați o soluție IDP, soluția include mai multe servicii AI pentru a efectua cronologic fluxul de lucru end-to-end. Puteți proiecta soluția cu conducte de flux de lucru folosind Funcții pas AWS pentru a îmbunătăți toleranța la erori, procesarea paralelă, vizibilitatea și scalabilitatea. Aceste avantaje vă pot permite să optimizați utilizarea și costul serviciilor AI subiacente.
• serverless arhitecturi – IDP este adesea o soluție bazată pe evenimente, inițiată de încărcările utilizatorilor sau de joburi programate. Soluția poate fi extinsă pe orizontală prin creșterea ratelor de apel pentru serviciile AI, AWS Lambdas, și alte servicii implicate. O abordare fără server oferă scalabilitate fără supraprovizionarea resurselor, prevenind cheltuielile inutile. Monitorizarea din spatele designului fără server ajută la detectarea problemelor de performanță.

Având în vedere aceste trei principii de proiectare, organizațiile pot stabili o bază eficientă pentru adoptarea AI/ML pe platformele cloud. Prin delegarea complexității, implementarea infrastructurii rezistente și proiectarea la scară, organizațiile își pot optimiza soluțiile AI/ML.

În secțiunile următoare, discutăm cum să abordăm provocările comune în ceea ce privește domeniile de interes tehnic.

Zonele de focalizare

Când analizăm eficiența performanței, analizăm soluția din cinci domenii de interes: proiectarea arhitecturii, managementul datelor, gestionarea erorilor, monitorizarea sistemului și monitorizarea modelului. Cu aceste domenii de interes, puteți efectua o revizuire a arhitecturii din diferite aspecte pentru a îmbunătăți eficacitatea, observabilitatea și scalabilitatea celor trei componente ale unui proiect AI/ML, date, model sau obiectiv de afaceri.

Design arhitectural

Trecând prin întrebările din această zonă de interes, veți examina fluxul de lucru existent pentru a vedea dacă respectă cele mai bune practici. Fluxul de lucru sugerat oferă un model comun pe care organizațiile îl pot urma și previne costurile de încercare și eroare.

Bazat pe arhitectura propusa, fluxul de lucru urmează cele șase etape de captare a datelor, clasificare, extracție, îmbogățire, revizuire și validare și consum. În indicatorii comuni de care am discutat mai devreme, doi din trei provin din probleme de proiectare a arhitecturii. Acest lucru se datorează faptului că atunci când începeți un proiect cu o abordare improvizată, este posibil să întâmpinați restricții ale proiectului atunci când încercați să vă aliniați infrastructura la soluția dvs. Cu revizuirea designului arhitecturii, designul improvizat poate fi decuplat ca etape, iar fiecare dintre ele poate fi reevaluată și reordonată.

Puteți economisi timp, bani și forță de muncă prin implementare clasificări în fluxul dvs. de lucru, iar documentele merg la aplicații și API-uri din aval în funcție de tipul de document. Acest lucru îmbunătățește observabilitatea procesului de document și face ca soluția să fie ușor de întreținut atunci când adăugați noi tipuri de documente.

Management de date

Performanța unei soluții IDP include latența, debitul și experiența utilizatorului end-to-end. Modul de gestionare a documentului și a informațiilor extrase din soluție este cheia coerenței datelor, securității și confidențialității. În plus, soluția trebuie să gestioneze volume mari de date cu latență scăzută și debit mare.

Când parcurgeți întrebările din această zonă de focalizare, veți revizui fluxul de lucru pentru documente. Aceasta include asimilarea datelor, preprocesarea datelor, conversia documentelor în tipuri de documente acceptate de Amazon Texttract, gestionarea fluxurilor de documente primite, rutarea documentelor după tip și implementarea politicilor de control al accesului și de păstrare.

De exemplu, prin stocarea unui document în diferitele faze de procesare, puteți inversa procesarea la pasul anterior, dacă este necesar. Ciclul de viață al datelor asigură fiabilitatea și conformitatea pentru volumul de lucru. Prin utilizarea Calculator de cote Amazon Texttract Service (vezi următoarea captură de ecran), funcții asincrone pe Amazon Text, Lambda, Funcții de pas, Serviciul de coadă simplă Amazon (Amazon SQS) și Serviciul de notificare simplă Amazon (Amazon SNS), organizațiile pot automatiza și scala sarcinile de procesare a documentelor pentru a răspunde nevoilor specifice de volum de lucru.

Eroare de manipulare

Gestionarea robustă a erorilor este esențială pentru urmărirea stării procesului de documente și oferă echipei de operațiuni timp să reacționeze la orice comportament anormal, cum ar fi volume neașteptate de documente, tipuri noi de documente sau alte probleme neplanificate de la servicii terțe. Din perspectiva organizației, gestionarea corectă a erorilor poate îmbunătăți timpul de funcționare și performanța sistemului.

Puteți împărți gestionarea erorilor în două aspecte cheie:

• Configurarea serviciului AWS – Puteți implementa logica de reîncercare cu backoff exponențial pentru a gestiona erori tranzitorii, cum ar fi limitarea. Când începeți procesarea apelând o operație asincronă Start*, cum ar fi StartDocumentTextDetection, puteți specifica că starea de finalizare a cererii este publicată într-un subiect SNS în Canal de notificare configurație. Acest lucru vă ajută să evitați limitarea limitelor pentru apelurile API din cauza interogării API-urilor Get*. De asemenea, puteți implementa alarme în Amazon CloudWatch și declanșează pentru a alerta atunci când apar vârfuri de eroare neobișnuite.
• Îmbunătățirea raportului de eroare – Aceasta include mesaje detaliate cu un nivel adecvat de detaliu în funcție de tipul de eroare și descrieri ale răspunsurilor de tratare a erorilor. Cu o configurație adecvată de gestionare a erorilor, sistemele pot fi mai rezistente prin implementarea modelelor comune, cum ar fi reîncercarea automată a erorilor intermitente, utilizarea întrerupătoarelor de circuit pentru a gestiona defecțiunile în cascadă și serviciile de monitorizare pentru a obține informații despre erori. Acest lucru permite soluției să echilibreze limitele de reîncercare și previne buclele de circuit fără sfârșit.

Monitorizarea modelului

Performanța modelelor ML este monitorizată pentru degradare în timp. Pe măsură ce datele și condițiile sistemului se schimbă, performanța modelului și măsurătorile de eficiență sunt urmărite pentru a se asigura că reinstruirea este efectuată atunci când este necesar.

Modelul ML într-un flux de lucru IDP poate fi un model OCR, un model de recunoaștere a entității sau un model de clasificare. Modelul poate proveni dintr-un serviciu AWS AI, un model open source activat Amazon SageMaker, Amazon Bedrock, sau alte servicii terțe. Trebuie să înțelegeți limitările și cazurile de utilizare ale fiecărui serviciu pentru a identifica modalități de a îmbunătăți modelul cu feedback uman și de a îmbunătăți performanța serviciului în timp.

O abordare comună este utilizarea jurnalelor de service pentru a înțelege diferitele niveluri de precizie. Aceste jurnale pot ajuta echipa de știință a datelor să identifice și să înțeleagă orice nevoie de reinstruire a modelului. Organizația dvs. poate alege mecanismul de recalificare – acesta poate fi trimestrial, lunar sau bazat pe valori științifice, cum ar fi atunci când precizia scade sub un anumit prag.

Scopul monitorizării nu este doar detectarea problemelor, ci și închiderea buclei pentru a rafina în mod continuu modelele și a menține performanța soluției IDP pe măsură ce mediul extern evoluează.

Monitorizarea sistemului

După ce implementați soluția IDP în producție, este important să monitorizați valorile cheie și performanța automatizării pentru a identifica zonele de îmbunătățire. Valorile ar trebui să includă valorile de afaceri și valorile tehnice. Acest lucru permite companiei să evalueze performanța sistemului, să identifice problemele și să aducă îmbunătățiri la modele, reguli și fluxuri de lucru în timp pentru a crește rata de automatizare pentru a înțelege impactul operațional.

În ceea ce privește afacerile, valorile precum precizia extracției pentru domenii importante, rata generală de automatizare care indică procentul de documente procesate fără intervenție umană și timpul mediu de procesare per document sunt primordiale. Aceste valori de afaceri ajută la cuantificarea experienței utilizatorului final și a câștigurilor de eficiență operațională.

Măsurile tehnice, inclusiv ratele de erori și excepții care apar pe parcursul fluxului de lucru, sunt esențiale de urmărit din perspectivă inginerească. Măsurile tehnice pot, de asemenea, monitoriza la fiecare nivel de la capăt la capăt și oferă o imagine cuprinzătoare a unui volum de lucru complex. Puteți împărți valorile în diferite niveluri, cum ar fi nivel de soluție, nivel de flux de lucru end-to-end, nivel de tip de document, nivel de document, nivel de recunoaștere a entității și nivel OCR.

Acum că ați revizuit toate întrebările din acest pilon, puteți evalua ceilalți piloni și puteți dezvolta un plan de îmbunătățire pentru volumul dvs. de lucru pentru IDP.

Concluzie

În această postare, am discutat despre indicatori obișnuiți de care este posibil să aveți nevoie pentru a efectua o revizuire a cadrului bine arhitecturat pentru pilonul Eficiența performanței pentru volumul dvs. de lucru IDP. Apoi am parcurs principiile de proiectare pentru a oferi o imagine de ansamblu la nivel înalt și a discuta obiectivul soluției. Urmând aceste sugestii cu referire la obiectivul personalizat IDP bine arhitecturat și revizuind întrebările în funcție de zona de interes, acum ar trebui să aveți un plan de îmbunătățire a proiectului.

---

Despre Autori

Mia Chang este arhitect de soluții specializat în ML pentru Amazon Web Services. Lucrează cu clienți din EMEA și împărtășește cele mai bune practici pentru rularea sarcinilor de lucru AI/ML pe cloud, cu experiența ei în matematică aplicată, informatică și AI/ML. Ea se concentrează pe sarcinile de lucru specifice NLP și își împărtășește experiența ca vorbitor de conferință și autoare de cărți. În timpul liber, îi plac drumețiile, jocurile de societate și prepararea cafelei.

Brijesh Pati este arhitect de soluții pentru întreprinderi la AWS. Obiectivul său principal este de a ajuta clienții întreprinderilor să adopte tehnologii cloud pentru sarcinile lor de lucru. Are o experiență în dezvoltarea de aplicații și arhitectura întreprinderii și a lucrat cu clienți din diverse industrii, cum ar fi sport, finanțe, energie și servicii profesionale. Interesele sale includ arhitecturi fără server și AI/ML.

Rui Cardoso este un arhitect de soluții partener la Amazon Web Services (AWS). El se concentrează pe AI/ML și IoT. El lucrează cu partenerii AWS și îi sprijină în dezvoltarea de soluții în AWS. Când nu lucrează, îi place să meargă cu bicicleta, să facă drumeții și să învețe lucruri noi.

Tim Condello este un arhitect senior de soluții specializate în inteligență artificială (AI) și învățare automată (ML) la Amazon Web Services (AWS). Accentul său este procesarea limbajului natural și viziunea computerizată. Lui Tim îi place să preia ideile clienților și să le transforme în soluții scalabile.

Sherry Ding este un arhitect senior de soluții specializate în inteligență artificială (AI) și învățare automată (ML) la Amazon Web Services (AWS). Are o vastă experiență în învățarea automată cu un doctorat în informatică. Ea lucrează în principal cu clienți din sectorul public la diverse provocări de afaceri legate de AI/ML, ajutându-i să-și accelereze călătoria de învățare automată pe AWS Cloud. Când nu ajută clienții, îi plac activitățile în aer liber.

Suyin Wang este arhitect specializat în soluții AI/ML la AWS. Ea are o pregătire interdisciplinară în învățare automată, servicii de informații financiare și economie, împreună cu ani de experiență în construirea de aplicații de știință a datelor și de învățare automată care au rezolvat probleme de afaceri din lumea reală. Îi place să ajute clienții să identifice întrebările de afaceri potrivite și să construiască soluțiile AI/ML potrivite. În timpul liber, îi place să cânte și să gătească.

• Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
• PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
• PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
• PlatoESG. carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
• PlatoHealth. Biotehnologie și Inteligență pentru studii clinice. Accesați Aici.
• Sursa: https://aws.amazon.com/blogs/machine-learning/build-well-architected-idp-solutions-with-a-custom-lens-part-4-performance-efficiency/