Bouw goed ontworpen IDP-oplossingen met een aangepaste lens – Deel 4: Prestatie-efficiëntie | Amazon-webservices

Wanneer een klant een productie gereed heeft intelligente documentverwerking (IDP) werklast, ontvangen we vaak verzoeken voor een goed ontworpen review. Om een ​​bedrijfsoplossing te bouwen moeten de middelen, de kosten, de tijd en de gebruikerservaring van de ontwikkelaar in evenwicht zijn om het gewenste bedrijfsresultaat te bereiken. De AWS goed ontworpen raamwerk biedt organisaties een systematische manier om operationele en architecturale best practices te leren voor het ontwerpen en exploiteren van betrouwbare, veilige, efficiënte, kosteneffectieve en duurzame workloads in de cloud.

De IDP Well-Architected Custom Lens volgt het AWS Well-Architected Framework, beoordeelt de oplossing op zes pijlers met de granulariteit van een specifieke AI- of machine learning (ML)-gebruikscasus en biedt begeleiding om gemeenschappelijke uitdagingen aan te pakken. De goed ontworpen aangepaste lens van IDP in de Goed ontworpen tool bevat vragen over elk van de pijlers. Door deze vragen te beantwoorden, kunt u potentiële risico’s identificeren en deze oplossen door uw verbeterplan te volgen.

Dit bericht richt zich op de Pijler voor prestatie-efficiëntie van de werklast van binnenlandse ontheemden. We duiken diep in het ontwerpen en implementeren van de oplossing om de doorvoer, latentie en algehele prestaties te optimaliseren. We beginnen met het bespreken van enkele algemene indicatoren die aangeven dat u een goed ontworpen beoordeling moet uitvoeren, en introduceren de fundamentele benaderingen met ontwerpprincipes. Vervolgens doorlopen we elk aandachtsgebied vanuit technisch perspectief.

Om dit bericht te kunnen volgen, moet je bekend zijn met de vorige berichten in deze serie (Deel 1 en Deel 2) en de richtlijnen in Leidraad voor intelligente documentverwerking op AWS. Deze bronnen introduceren algemene AWS-services voor IDP-workloads en voorgestelde workflows. Met deze kennis bent u nu klaar om meer te leren over het productioniseren van uw werklast.

Gemeenschappelijke indicatoren

Hieronder volgen algemene indicatoren voor het uitvoeren van een goed ontworpen raamwerkbeoordeling voor de pijler Prestatie-efficiëntie:

• Hoge latentie – Wanneer de latentie van optische tekenherkenning (OCR), entiteitsherkenning of de end-to-end workflow langer duurt dan uw vorige benchmark, kan dit een indicatie zijn dat het architectuurontwerp geen belastingtests of foutafhandeling omvat.
• Frequente throttling – Mogelijk ondervindt u beperking door AWS-services zoals Amazon T-extract vanwege verzoeklimieten. Dit betekent dat de architectuur moet worden aangepast door de architectuurworkflow, de synchrone en asynchrone implementatie, de berekening van transacties per seconde (TPS) en meer te herzien.
• Problemen met debuggen – Wanneer er een documentprocesfout optreedt, beschikt u mogelijk niet over een effectieve manier om te identificeren waar de fout zich in de workflow bevindt, aan welke service deze is gerelateerd en waarom de fout is opgetreden. Dit betekent dat het systeem geen inzicht heeft in logbestanden en fouten. Overweeg om het logboekontwerp van de telemetriegegevens opnieuw te bekijken en infrastructuur als code (IaC), zoals documentverwerkingspijplijnen, aan de oplossing toe te voegen.

indicatoren	Omschrijving	Architecturale kloof
Hoge latentie	OCR, entiteitsherkenning of end-to-end workflowlatentie overtreft de vorige benchmark	load Testen foutafhandeling
Frequente throttling	Beperking door AWS-services zoals Amazon Textract vanwege verzoeklimieten	Synchroniseren versus asynchroon TPS-berekening
Moeilijk te debuggen	Geen inzicht in locatie, oorzaak en reden voor mislukte documentverwerking	Logboekontwerp Pijplijnen voor documentverwerking

Ontwerpprincipes

In dit bericht bespreken we drie ontwerpprincipes: het delegeren van complexe AI-taken, IaC-architecturen en serverloze architecturen. Wanneer u een afweging tussen twee implementaties tegenkomt, kunt u de ontwerpprincipes opnieuw bekijken met de zakelijke prioriteiten van uw organisatie, zodat u effectief beslissingen kunt nemen.

• Het delegeren van complexe AI-taken – U kunt een snellere adoptie van AI in uw organisatie mogelijk maken door de levenscyclus van de ontwikkeling van ML-modellen over te dragen aan beheerde services en te profiteren van de modelontwikkeling en infrastructuur die door AWS wordt geboden. In plaats van van uw datawetenschaps- en IT-teams te eisen dat ze AI-modellen bouwen en onderhouden, kunt u vooraf getrainde AI-services gebruiken die taken voor u kunnen automatiseren. Hierdoor kunnen uw teams zich concentreren op werk met een hogere waarde dat uw bedrijf onderscheidt, terwijl de cloudprovider de complexiteit van het trainen, implementeren en schalen van de AI-modellen op zich neemt.
• IaC-architecturen – Wanneer een IDP-oplossing wordt uitgevoerd, omvat de oplossing meerdere AI-services om de end-to-end workflow chronologisch uit te voeren. U kunt de oplossing ontwerpen met werkstroompijplijnen met behulp van AWS Stap Functies om fouttolerantie, parallelle verwerking, zichtbaarheid en schaalbaarheid te verbeteren. Met deze voordelen kunt u het gebruik en de kosten van onderliggende AI-services optimaliseren.
• Serverless architecturen – IDP is vaak een gebeurtenisgestuurde oplossing, geïnitieerd door gebruikersuploads of geplande taken. De oplossing kan horizontaal worden opgeschaald door de beltarieven voor de AI-diensten te verhogen, AWS Lambdaen andere betrokken diensten. Een serverloze aanpak biedt schaalbaarheid zonder overmatige voorzieningen, waardoor onnodige kosten worden voorkomen. De monitoring achter het serverloze ontwerp helpt bij het detecteren van prestatieproblemen.

Met deze drie ontwerpprincipes in gedachten kunnen organisaties een effectieve basis leggen voor de adoptie van AI/ML op cloudplatforms. Door complexiteit te delegeren, een veerkrachtige infrastructuur te implementeren en te ontwerpen voor schaalbaarheid kunnen organisaties hun AI/ML-oplossingen optimaliseren.

In de volgende paragrafen bespreken we hoe we gemeenschappelijke uitdagingen met betrekking tot technische aandachtsgebieden kunnen aanpakken.

Aandachtsgebieden

Bij het beoordelen van de prestatie-efficiëntie beoordelen we de oplossing vanuit vijf aandachtsgebieden: architectuurontwerp, gegevensbeheer, foutafhandeling, systeemmonitoring en modelmonitoring. Met deze aandachtsgebieden kunt u vanuit verschillende aspecten een architectuurbeoordeling uitvoeren om de effectiviteit, waarneembaarheid en schaalbaarheid van de drie componenten van een AI/ML-project, data, model of bedrijfsdoel te verbeteren.

Architectuurontwerp

Door de vragen in dit aandachtsgebied door te nemen, beoordeelt u de bestaande workflow om te zien of deze de best practices volgt. De voorgestelde workflow biedt een gemeenschappelijk patroon dat organisaties kunnen volgen en voorkomt kosten van vallen en opstaan.

Gebaseerd op de voorgestelde architectuurvolgt de workflow de zes stadia van gegevensverzameling, classificatie, extractie, verrijking, beoordeling en validatie, en consumptie. In de gemeenschappelijke indicatoren die we eerder bespraken, zijn twee van de drie afkomstig van architectuurontwerpproblemen. Dit komt omdat wanneer u een project start met een geïmproviseerde aanpak, u mogelijk projectbeperkingen tegenkomt bij het afstemmen van uw infrastructuur op uw oplossing. Met de architectuurontwerpbeoordeling kan het geïmproviseerde ontwerp als fasen worden ontkoppeld, en elk ervan kan opnieuw worden geëvalueerd en opnieuw worden geordend.

Door implementatie kunt u tijd, geld en arbeid besparen classificaties in uw workflow, en documenten gaan naar downstream-applicaties en API's op basis van documenttype. Dit vergroot de zichtbaarheid van het documentproces en maakt de oplossing eenvoudig te onderhouden bij het toevoegen van nieuwe documenttypen.

Gegevensbeheer

De prestaties van een IDP-oplossing omvatten latentie, doorvoer en de end-to-end gebruikerservaring. Het beheren van het document en de daaruit afgeleide informatie in de oplossing is de sleutel tot gegevensconsistentie, beveiliging en privacy. Bovendien moet de oplossing grote datavolumes verwerken met een lage latentie en hoge doorvoer.

Wanneer u de vragen van dit aandachtsgebied doorneemt, bekijkt u de documentworkflow. Dit omvat gegevensopname, gegevensvoorverwerking, het converteren van documenten naar documenttypen die worden geaccepteerd door Amazon Textract, het verwerken van inkomende documentstromen, het routeren van documenten op type en het implementeren van toegangscontrole- en bewaarbeleid.

Door bijvoorbeeld een document in de verschillende verwerkingsfasen op te slaan, kunt u indien nodig de verwerking terugdraaien naar de vorige stap. De gegevenslevenscyclus zorgt voor de betrouwbaarheid en naleving van de werklast. Door gebruik te maken van de Amazon Textract Service Quota-calculator (zie de volgende schermafbeelding), asynchrone functies op Amazon Textract, Lambda, Step Functions, Amazon Simple Queue-service (Amazon SQS), en Amazon eenvoudige meldingsservice (Amazon SNS) kunnen organisaties documentverwerkingstaken automatiseren en schalen om aan specifieke werklastbehoeften te voldoen.

Foutafhandeling

Robuuste foutafhandeling is van cruciaal belang voor het volgen van de status van het documentproces en geeft het operationele team de tijd om te reageren op abnormaal gedrag, zoals onverwachte documentvolumes, nieuwe documenttypen of andere ongeplande problemen van services van derden. Vanuit het perspectief van de organisatie kan een goede foutafhandeling de uptime en prestaties van het systeem verbeteren.

U kunt de foutafhandeling opsplitsen in twee belangrijke aspecten:

• AWS-serviceconfiguratie – U kunt logica voor opnieuw proberen implementeren met exponentiële uitstel om tijdelijke fouten zoals beperking af te handelen. Wanneer u de verwerking start door een asynchrone Start*-bewerking aan te roepen, zoals StartDocumentTextDetection, kunt u opgeven dat de voltooiingsstatus van de aanvraag wordt gepubliceerd naar een SNS-onderwerp in de Meldingskanaal configuratie. Dit helpt u te voorkomen dat de limieten voor API-aanroepen worden beperkt als gevolg van het pollen van de Get*-API's. U kunt ook alarmen implementeren in Amazon Cloud Watch en activeert een waarschuwing wanneer er ongebruikelijke foutpieken optreden.
• Verbetering van het foutrapport – Dit omvat gedetailleerde berichten met een passend detailniveau per fouttype en beschrijvingen van reacties op foutafhandeling. Met de juiste instellingen voor foutafhandeling kunnen systemen veerkrachtiger zijn door algemene patronen te implementeren, zoals het automatisch opnieuw proberen van intermitterende fouten, het gebruik van stroomonderbrekers om trapsgewijze fouten af ​​te handelen en monitoringdiensten om inzicht in fouten te krijgen. Hierdoor kan de oplossing een evenwicht vinden tussen de limieten voor opnieuw proberen en worden eindeloze circuitlussen voorkomen.

Modelbewaking

De prestaties van ML-modellen worden in de loop van de tijd gecontroleerd op verslechtering. Naarmate gegevens en systeemomstandigheden veranderen, worden de prestatie- en efficiëntiegegevens van het model bijgehouden om ervoor te zorgen dat er indien nodig opnieuw wordt getraind.

Het ML-model in een IDP-workflow kan een OCR-model, een entiteitsherkenningsmodel of een classificatiemodel zijn. Het model kan afkomstig zijn van een AWS AI-service, een open source-model Amazon Sage Maker, Amazonebodemof andere diensten van derden. U moet de beperkingen en gebruiksscenario's van elke service begrijpen om manieren te identificeren om het model te verbeteren met menselijke feedback en de serviceprestaties in de loop van de tijd te verbeteren.

Een veelgebruikte aanpak is het gebruik van servicelogboeken om inzicht te krijgen in de verschillende nauwkeurigheidsniveaus. Deze logboeken kunnen het data science-team helpen bij het identificeren en begrijpen van de noodzaak van modelherscholing. Uw organisatie kan het herscholingsmechanisme kiezen: dit kan driemaandelijks, maandelijks of gebaseerd zijn op wetenschappelijke statistieken, bijvoorbeeld wanneer de nauwkeurigheid onder een bepaalde drempel daalt.

Het doel van monitoring is niet alleen het opsporen van problemen, maar ook het sluiten van de cirkel om modellen voortdurend te verfijnen en ervoor te zorgen dat de IDP-oplossing blijft presteren naarmate de externe omgeving evolueert.

Systeembewaking

Nadat u de IDP-oplossing in productie heeft geïmplementeerd, is het belangrijk om de belangrijkste statistieken en automatiseringsprestaties te monitoren om verbeterpunten te identificeren. De statistieken moeten zakelijke en technische statistieken omvatten. Hierdoor kan het bedrijf de prestaties van het systeem evalueren, problemen identificeren en in de loop van de tijd verbeteringen aanbrengen aan modellen, regels en workflows om de automatiseringssnelheid te verhogen en de operationele impact te begrijpen.

Aan de zakelijke kant zijn statistieken zoals de nauwkeurigheid van de extractie voor belangrijke velden, de algehele automatiseringsgraad die het percentage documenten aangeeft dat zonder menselijke tussenkomst is verwerkt, en de gemiddelde verwerkingstijd per document van het grootste belang. Deze bedrijfsstatistieken helpen de eindgebruikerservaring en operationele efficiëntiewinsten te kwantificeren.

Technische statistieken, waaronder fouten- en uitzonderingspercentages die tijdens de workflow voorkomen, zijn vanuit technisch perspectief essentieel om bij te houden. De technische statistieken kunnen ook op elk niveau van begin tot eind worden bewaakt en bieden een uitgebreid beeld van een complexe werklast. U kunt de statistieken opsplitsen in verschillende niveaus, zoals oplossingsniveau, end-to-end workflowniveau, documenttypeniveau, documentniveau, entiteitsherkenningsniveau en OCR-niveau.

Nu u alle vragen in deze pijler heeft doorgenomen, kunt u de andere pijlers beoordelen en een verbeterplan voor uw IDP-werklast ontwikkelen.

Conclusie

In dit bericht hebben we gemeenschappelijke indicatoren besproken die u mogelijk nodig heeft voor het uitvoeren van een goed ontworpen raamwerkbeoordeling voor de pijler Prestatie-efficiëntie voor uw IDP-werklast. Vervolgens hebben we de ontwerpprincipes doorgenomen om een ​​overzicht op hoog niveau te bieden en het oplossingsdoel te bespreken. Door deze suggesties op te volgen met betrekking tot de goed ontworpen aangepaste lens van de IDP en door de vragen per aandachtsgebied te bekijken, zou u nu een projectverbeteringsplan moeten hebben.

---

Over de auteurs

Mia Chang is een ML Specialist Solutions Architect voor Amazon Web Services. Ze werkt met klanten in EMEA en deelt best practices voor het uitvoeren van AI/ML-workloads in de cloud met haar achtergrond in toegepaste wiskunde, informatica en AI/ML. Ze richt zich op NLP-specifieke werklasten en deelt haar ervaringen als conferentiespreker en boekauteur. In haar vrije tijd houdt ze van wandelen, bordspellen en koffie zetten.

Brijesh Pati is een Enterprise Solutions Architect bij AWS. Zijn primaire focus is het helpen van zakelijke klanten bij het adopteren van cloudtechnologieën voor hun workloads. Hij heeft een achtergrond in applicatieontwikkeling en enterprise-architectuur en heeft gewerkt met klanten uit verschillende sectoren, zoals de sport, financiën, energie en professionele dienstverlening. Zijn interesses omvatten serverloze architecturen en AI/ML.

Rui Cardoso is een partneroplossingenarchitect bij Amazon Web Services (AWS). Hij richt zich op AI/ML en IoT. Hij werkt samen met AWS Partners en ondersteunt hen bij het ontwikkelen van oplossingen in AWS. Als hij niet werkt, houdt hij van fietsen, wandelen en nieuwe dingen leren.

Tim Condello is een senior specialist in kunstmatige intelligentie (AI) en machine learning (ML) oplossingen bij Amazon Web Services (AWS). Zijn focus ligt op natuurlijke taalverwerking en computervisie. Tim vindt het leuk om klantideeën om te zetten in schaalbare oplossingen.

sherry ding is een senior specialist in kunstmatige intelligentie (AI) en machine learning (ML) oplossingen bij Amazon Web Services (AWS). Ze heeft uitgebreide ervaring met machinaal leren en heeft een doctoraat in computerwetenschappen. Ze werkt voornamelijk met klanten uit de publieke sector aan verschillende AI/ML-gerelateerde zakelijke uitdagingen, en helpt hen hun machine learning-traject op de AWS Cloud te versnellen. Als ze geen klanten helpt, houdt ze van buitenactiviteiten.

Suyin Wang is een AI/ML Specialist Solutions Architect bij AWS. Ze heeft een interdisciplinaire opleidingsachtergrond in Machine Learning, Financial Information Service en Economie, samen met jarenlange ervaring in het bouwen van Data Science- en Machine Learning-applicaties die echte zakelijke problemen hebben opgelost. Ze vindt het leuk om klanten te helpen de juiste zakelijke vragen te identificeren en de juiste AI/ML-oplossingen te bouwen. In haar vrije tijd houdt ze van zingen en koken.

• Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
• PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
• PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
• PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
• Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
• Bron: https://aws.amazon.com/blogs/machine-learning/build-well-architected-idp-solutions-with-a-custom-lens-part-4-performance-efficiency/