Hästi läbimõeldud IDP-lahenduste loomine kohandatud objektiiviga – 4. osa: jõudluse tõhusus | Amazoni veebiteenused

Kui kliendil on tootmisvalmis intelligentne dokumenditöötlus (IDP) töökoormuse tõttu saame sageli taotlusi hästi üles ehitatud ülevaatuseks. Ettevõtluslahenduse loomiseks tuleb soovitud äritulemuse saavutamiseks tasakaalustada arendaja ressursid, kulud, aeg ja kasutajakogemus. The AWS hästi üles ehitatud raamistik pakub organisatsioonidele süstemaatilist viisi, kuidas õppida parimaid toimimis- ja arhitektuuritavasid pilves usaldusväärse, turvalise, tõhusa, kuluefektiivse ja jätkusuutliku töökoormuse kavandamiseks ja kasutamiseks.

IDP hästi arhitektuurne kohandatud objektiiv järgib AWS-i hästi arhitektuurset raamistikku, vaatab lahenduse üle kuue sambaga, võttes arvesse konkreetse tehisintellekti või masinõppe (ML) kasutusjuhtumi detailsust, ja pakkudes juhiseid tavaliste probleemide lahendamiseks. IDP hästi läbimõeldud kohandatud objektiiv Hästi läbimõeldud tööriist sisaldab küsimusi iga samba kohta. Nendele küsimustele vastates saate tuvastada võimalikud riskid ja need lahendada, järgides oma parendusplaani.

See postitus keskendub Toimivuse tõhususe sammas IRL töökoormusest. Sukeldume lahenduse kavandamisse ja juurutamisesse, et optimeerida läbilaskevõimet, latentsust ja üldist jõudlust. Alustuseks arutame mõningaid levinud näitajaid, mille järgi peaksite läbi viima hästi arhitektuurse ülevaate, ja tutvustame põhilisi lähenemisviise koos disainipõhimõtetega. Seejärel käsitleme iga fookusala tehnilisest vaatenurgast.

Selle postituse jätkamiseks peaksite olema kursis selle seeria varasemate postitustega (Osa 1 ja Osa 2) ja juhised AWS-i intelligentse dokumenditöötluse juhend. Need ressursid tutvustavad ühiseid AWS-teenuseid IDP töökoormuste ja soovitatud töövoogude jaoks. Nende teadmiste abil olete nüüd valmis oma töökoormuse produtseerimise kohta lisateabe saamiseks.

Ühised näitajad

Järgmised on levinud näitajad, mille järgi peaksite toimivuse tõhususe samba jaoks läbi viima hästi üles ehitatud raamistiku ülevaate.

• Kõrge latentsusaeg – Kui optilise märgituvastuse (OCR), olemituvastuse või täieliku töövoo latentsusaeg võtab kauem aega kui teie eelmine etalon, võib see viidata sellele, et arhitektuuri kujundus ei hõlma koormustestimist ega veakäsitlust.
• Sagedane drossel – AWS-i teenustega, nagu näiteks, võivad tekkida piirangud Amazoni tekst taotluste piirangute tõttu. See tähendab, et arhitektuuri tuleb kohandada, vaadates üle arhitektuuri töövoo, sünkroonse ja asünkroonse teostuse, tehingute sekundis (TPS) arvutamise ja palju muud.
• Silumisraskused – Kui esineb dokumendiprotsessi tõrge, ei pruugi teil olla tõhusat viisi töövoo tõrke asukoha, teenusega seotud ja tõrke põhjuste tuvastamiseks. See tähendab, et süsteemil puudub logide ja tõrgete nähtavus. Kaaluge telemeetriaandmete logimiskujunduse uuesti ülevaatamist ja lisage lahendusele taristu koodina (IaC), näiteks dokumenditöötluse torujuhtmed.

näitajad	Kirjeldus	Arhitektuurne tühimik
Kõrge latentsusaeg	OCR, olemituvastus või otspunktidevahelise töövoo latentsusaeg ületab eelmise võrdlusaluse	Koormuse testimine Viga tehnika
Sagedane drossel	AWS-i teenuste (nt Amazon Textract) piiramine päringupiirangute tõttu	Sünkroonimine vs asünkroonimine TPS arvutus
Raske silumine	Puudub nähtavus dokumendi töötlemise tõrgete asukoha, põhjuste ja põhjuste kohta	Raiekujundus Dokumentide töötlemise torujuhtmed

Disaini põhimõtted

Selles postituses käsitleme kolme disainipõhimõtet: keerukate AI-ülesannete delegeerimine, IaC-arhitektuurid ja serverita arhitektuurid. Kui leiate kompromissi kahe rakenduse vahel, saate oma organisatsiooni äriprioriteetidega uuesti läbi vaadata disainipõhimõtted, et saaksite tõhusalt otsuseid teha.

• Keeruliste AI-ülesannete delegeerimine – Saate lubada oma organisatsioonis tehisintellekti kiirema kasutuselevõtu, laadides ML-mudeli arenduse elutsükli hallatavatesse teenustesse ning kasutades ära AWS-i pakutavat mudeliarendust ja infrastruktuuri. Selle asemel, et nõuda oma andmeteaduse ja IT-meeskondadelt AI-mudelite loomist ja hooldamist, saate kasutada eelkoolitatud tehisintellekti teenuseid, mis võivad teie eest ülesandeid automatiseerida. See võimaldab teie meeskondadel keskenduda suurema väärtusega tööle, mis eristab teie ettevõtet, samal ajal kui pilveteenuse pakkuja tegeleb tehisintellektimudelite väljaõppe, juurutamise ja skaleerimise keerukusega.
• IaC arhitektuurid – IDP-lahenduse käitamisel sisaldab lahendus mitut AI-teenust, et teostada kronoloogiliselt otsast lõpuni töövoogu. Lahenduse saab kujundada töövoo torustike abil AWS-i astmefunktsioonid tõrketaluvuse, paralleeltöötluse, nähtavuse ja mastaapsuse parandamiseks. Need eelised võimaldavad teil optimeerida tehisintellekti aluseks olevate teenuste kasutamist ja kulusid.
• Serverita Arhitektuurid – IDP on sageli sündmustepõhine lahendus, mille algatavad kasutajate üleslaadimised või ajastatud tööd. Lahendust saab horisontaalselt skaleerida, suurendades tehisintellektiteenuste kõnetariife, AWS Lambdaja muud sellega seotud teenused. Serverita lähenemine tagab mastaapsuse ilma ressursside ülevarustamata, vältides tarbetuid kulutusi. Serverita disaini taga olev jälgimine aitab tuvastada jõudlusprobleeme.

Neid kolme disainipõhimõtet silmas pidades saavad organisatsioonid luua tõhusa aluse AI/ML kasutuselevõtuks pilveplatvormidel. Delegeerides keerukuse, juurutades vastupidavat infrastruktuuri ja kavandades mastaapi, saavad organisatsioonid optimeerida oma AI/ML-lahendusi.

Järgmistes osades arutame, kuidas lahendada ühiseid väljakutseid tehnilistes fookusvaldkondades.

Fookuspiirkonnad

Toimivuse efektiivsuse ülevaatamisel vaatame lahenduse üle viiest fookusvaldkonnast: arhitektuuridisain, andmehaldus, vigade käsitlemine, süsteemi monitooring ja mudeliseire. Nende fookusvaldkondadega saate läbi viia arhitektuuriülevaate erinevatest aspektidest, et suurendada AI/ML projekti, andmete, mudeli või ärieesmärgi kolme komponendi tõhusust, vaadeldavust ja skaleeritavust.

Arhitektuurne projekteerimine

Selle fookusala küsimusi läbi vaadates vaatate olemasoleva töövoo üle, et näha, kas see järgib parimaid tavasid. Soovitatud töövoog annab ühise mustri, mida organisatsioonid saavad järgida, ja hoiab ära katse-eksituse kulud.

Põhinedes pakutud arhitektuur, järgib töövoog andmete kogumise, klassifitseerimise, ekstraheerimise, rikastamise, ülevaatamise ja kinnitamise ning tarbimise kuut etappi. Üldiste näitajate puhul, millest me varem rääkisime, on kaks kolmest pärit arhitektuuri projekteerimise probleemidest. Selle põhjuseks on asjaolu, et kui alustate projekti improviseeritud lähenemisviisiga, võite oma infrastruktuuri oma lahendusega vastavusse viimisel kohata projekti piiranguid. Arhitektuuriprojekti ülevaatega saab improviseeritud projekti etappidena lahti siduda ning igaüks neist saab ümber hinnata ja ümber järjestada.

Rakendades saate säästa aega, raha ja tööjõudu klassifikatsioonid oma töövoos ja dokumendid suunatakse dokumendi tüübi alusel allavoolu rakendustesse ja API-desse. See suurendab dokumendiprotsessi jälgitavust ja muudab lahenduse hõlpsasti hooldatavaks uute dokumenditüüpide lisamisel.

Andmehaldus

IDP-lahenduse jõudlus hõlmab latentsust, läbilaskevõimet ja täielikku kasutajakogemust. Dokumendi ja sellest eraldatud teabe haldamine lahenduses on andmete järjepidevuse, turvalisuse ja privaatsuse võti. Lisaks peab lahendus käsitlema suuri andmemahtusid väikese latentsuse ja suure läbilaskevõimega.

Selle fookusala küsimuste läbimisel vaatate üle dokumendi töövoo. See hõlmab andmete sissevõtmist, andmete eeltöötlust, dokumentide teisendamist Amazon Textracti aktsepteeritud dokumenditüüpideks, sissetulevate dokumendivoogude käsitlemist, dokumentide marsruutimist tüübi järgi ning juurdepääsukontrolli ja säilitamispoliitika rakendamist.

Näiteks salvestades dokumenti erinevates töödeldavates faasides, saate vajaduse korral töötlemise eelmisele etapile tagasi pöörata. Andmete elutsükkel tagab töökoormuse usaldusväärsuse ja vastavuse. Kasutades Amazon Textracti teenuse kvoodikalkulaator (vt järgmist ekraanipilti), Amazon Textracti asünkroonsed funktsioonid, Lambda, Step Functions, Amazoni lihtsa järjekorra teenus (Amazon SQS) ja Amazoni lihtne teavitusteenus (Amazon SNS) saavad organisatsioonid automatiseerida ja skaleerida dokumenditöötlusülesandeid, et vastata konkreetsetele töökoormuse vajadustele.

Viga käsitlemisel

Tugev veakäsitlus on dokumendiprotsessi oleku jälgimiseks kriitilise tähtsusega ja annab operatiivmeeskonnale aega reageerida mis tahes ebatavalisele käitumisele, nagu ootamatud dokumendimahud, uued dokumenditüübid või muud kolmanda osapoole teenustest tulenevad ettenägematud probleemid. Organisatsiooni vaatenurgast võib õige vigade käsitlemine suurendada süsteemi tööaega ja jõudlust.

Saate vigade käsitlemise jagada kaheks peamiseks aspektiks.

• AWS-i teenuse konfiguratsioon – Saate rakendada korduskatse loogikat koos eksponentsiaalse taganemisega, et käsitleda mööduvaid vigu, nagu drossel. Kui alustate töötlemist, kutsudes välja asünkroonse Start* toimingu, näiteks StartDocumentTextDetection, saate määrata, et päringu lõpetamise olek avaldatakse SNS-i teemas jaotises Teavituskanal konfiguratsiooni. See aitab teil vältida API-kõnede piiramist Get* API-de küsitlemise tõttu. Saate rakendada ka häireid Amazon CloudWatch ja käivitab hoiatuse, kui ilmnevad ebatavalised vead.
• Veaaruande täiustamine – See hõlmab üksikasjalikke sõnumeid, mille üksikasjad on tõrke tüübi järgi asjakohasel tasemel, ja veakäsitluse vastuste kirjeldusi. Õige veakäsitluse seadistusega võivad süsteemid olla vastupidavamad, rakendades levinud mustreid, nagu vahelduvate vigade automaatne uuesti proovimine, kaitselülitite kasutamine kaskaadtõrgete käsitlemiseks ja jälgimisteenused, et saada ülevaade vigadest. See võimaldab lahendusel tasakaalustada korduskatsete piiride vahel ja takistab lõputuid vooluringe.

Mudeli jälgimine

ML-mudelite jõudlust jälgitakse aja jooksul halvenemise suhtes. Andmete ja süsteemi tingimuste muutudes jälgitakse mudeli jõudluse ja tõhususe mõõdikuid, et tagada vajaduse korral ümberõpe.

IDP töövoo ML-mudel võib olla OCR-mudel, olemituvastusmudel või klassifitseerimismudel. Mudel võib pärineda AWS AI teenusest, avatud lähtekoodiga mudelist Amazon SageMaker, Amazonase aluspõhivõi muud kolmanda osapoole teenused. Peate mõistma iga teenuse piiranguid ja kasutusjuhtumeid, et leida viise, kuidas mudelit inimliku tagasiside abil täiustada ja aja jooksul teenuse toimivust parandada.

Levinud lähenemisviis on teenuselogide kasutamine erinevate täpsustasemete mõistmiseks. Need logid võivad aidata andmeteaduse meeskonnal tuvastada ja mõista mudelite ümberõppe vajadust. Teie organisatsioon saab valida ümberõppemehhanismi – see võib olla kord kvartalis, kord kuus või põhineda teaduslikel mõõdikutel, näiteks kui täpsus langeb alla etteantud läve.

Järelevalve eesmärk ei ole lihtsalt probleemide tuvastamine, vaid ahela sulgemine, et pidevalt täiustada mudeleid ja hoida IDP-lahenduse toimimist vastavalt väliskeskkonna arengule.

Süsteemi seire

Pärast IDP-lahenduse tootmist juurutamist on oluline jälgida põhimõõdikuid ja automatiseerimise jõudlust, et teha kindlaks valdkonnad, mida tuleks täiustada. Mõõdikud peaksid sisaldama ärimõõdikuid ja tehnilisi mõõdikuid. See võimaldab ettevõttel hinnata süsteemi jõudlust, tuvastada probleeme ning aja jooksul täiustada mudeleid, reegleid ja töövooge, et suurendada automatiseerimiskiirust, et mõista töömõju.

Äripoolest on ülimalt olulised mõõdikud, nagu väljavõtete täpsus oluliste väljade jaoks, üldine automatiseerimise määr, mis näitab ilma inimese sekkumiseta töödeldud dokumentide protsenti, ja dokumendi keskmine töötlemisaeg. Need ärimõõdikud aitavad mõõta lõppkasutaja kogemust ja tegevuse tõhususe kasvu.

Tehnilised mõõdikud, sealhulgas kogu töövoo jooksul esinevate vigade ja erandite määrad, on inseneri vaatenurgast jälgimiseks hädavajalikud. Tehnilised mõõdikud võivad ka igal tasandil otsast lõpuni jälgida ja anda tervikliku ülevaate keerulisest töökoormusest. Saate jaotada mõõdikud erinevateks tasemeteks, nagu lahendustase, täieliku töövoo tase, dokumenditüübi tase, dokumendi tase, olemi tuvastamise tase ja optilise tekstituvastuse tase.

Nüüd, kui olete kõik selle samba küsimused läbi vaadanud, saate hinnata teisi sambaid ja töötada välja oma IRL töökoormuse parandamise kava.

Järeldus

Selles postituses arutasime tavalisi näitajaid, mille puhul peate võib-olla läbi viima oma IDP töökoormuse toimivuse tõhususe samba jaoks hästi üles ehitatud raamistiku ülevaate. Seejärel käisime läbi disainipõhimõtted, et anda kõrgetasemeline ülevaade ja arutada lahenduseesmärki. Järgides neid soovitusi seoses IDP hästiarhitekteeritud kohandatud objektiiviga ja vaadates küsimusi fookusalade kaupa, peaks teil nüüd olema projekti täiustamise plaan.

---

Autoritest

Mia Chang on Amazon Web Servicesi ML-i spetsialistilahenduste arhitekt. Ta töötab EMEA-s asuvate klientidega ja jagab parimaid tavasid AI/ML-i töökoormuste käitamiseks pilves, omades rakendusmatemaatikat, arvutiteadust ja AI/ML-i tausta. Ta keskendub NLP-spetsiifilistele töökoormustele ning jagab oma kogemusi konverentsiesineja ja raamatute autorina. Vabal ajal naudib ta matkamist, lauamänge ja kohvi keetmist.

Brijesh Pati on AWS-i ettevõttelahenduste arhitekt. Tema peamine eesmärk on aidata ettevõtte klientidel pilvetehnoloogiaid oma töökoormuse jaoks kasutusele võtta. Tal on rakenduste arendamise ja ettevõttearhitektuuri taust ning ta on töötanud klientidega erinevatest tööstusharudest, nagu sport, rahandus, energeetika ja professionaalsed teenused. Tema huvide hulka kuuluvad serverita arhitektuurid ja AI/ML.

Rui Cardoso on Amazon Web Servicesi (AWS) partnerlahenduste arhitekt. Ta keskendub AI/ML-ile ja asjade internetile. Ta teeb koostööd AWS Partnersiga ja toetab neid AWS-i lahenduste väljatöötamisel. Kui ei tööta, naudib ta jalgrattasõitu, matkamist ja uute asjade õppimist.

Tim Condello on Amazon Web Servicesi (AWS) tehisintellekti (AI) ja masinõppe (ML) spetsialistide lahenduste vanemarhitekt. Tema fookuses on loomulik keeletöötlus ja arvutinägemine. Tim naudib klientide ideede võtmist ja nende skaleeritavateks lahendusteks muutmist.

Sherry Ding on Amazon Web Servicesi (AWS) tehisintellekti (AI) ja masinõppe (ML) spetsialistide lahenduste vanemarhitekt. Tal on laialdased kogemused masinõppe alal arvutiteaduse doktorikraadiga. Ta töötab peamiselt avaliku sektori klientidega erinevate tehisintellekti/ML-iga seotud äriprobleemide kallal, aidates neil kiirendada masinõppe teekonda AWS-i pilves. Kui kliente ei aita, naudib ta tegevusi väljas.

Suyin Wang on AWS-i AI/ML-i spetsialistilahenduste arhitekt. Tal on interdistsiplinaarne haridus masinõppe, finantsteabe teenuse ja majanduse alal ning aastatepikkune kogemus andmeteaduse ja masinõppe rakenduste loomisel, mis lahendasid reaalseid äriprobleeme. Ta naudib klientide abistamist õigete äriküsimuste tuvastamisel ja õigete AI/ML-lahenduste loomisel. Vabal ajal armastab ta laulda ja süüa teha.

• SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
• PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
• PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
• PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
• PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
• Allikas: https://aws.amazon.com/blogs/machine-learning/build-well-architected-idp-solutions-with-a-custom-lens-part-4-performance-efficiency/