Twórz dobrze zaprojektowane rozwiązania IDP z niestandardowym obiektywem – Część 4: Wydajność | Usługi internetowe Amazona

Gdy klient ma gotowy produkt do produkcji inteligentne przetwarzanie dokumentów (IDP), często otrzymujemy prośby o dobrze zaprojektowaną recenzję. Aby zbudować rozwiązanie dla przedsiębiorstw, należy zrównoważyć zasoby programistów, koszty, czas i doświadczenie użytkownika, aby osiągnąć pożądany wynik biznesowy. The Dobrze zaprojektowany framework AWS zapewnia organizacjom systematyczny sposób uczenia się najlepszych praktyk operacyjnych i architektonicznych w zakresie projektowania i obsługi niezawodnych, bezpiecznych, wydajnych, opłacalnych i zrównoważonych obciążeń w chmurze.

IDP Well-Architected Custom Lens jest zgodny z AWS Well-Architected Framework, przeglądając rozwiązanie z sześcioma filarami ze szczegółowością konkretnego przypadku użycia sztucznej inteligencji lub uczenia maszynowego (ML) i dostarczając wskazówek, jak stawić czoła typowym wyzwaniom. Dobrze zaprojektowany, niestandardowy obiektyw IDP w Dobrze zaprojektowane narzędzie zawiera pytania dotyczące każdego z filarów. Odpowiadając na te pytania, możesz zidentyfikować potencjalne ryzyko i rozwiązać je, postępując zgodnie ze swoim planem ulepszeń.

Ten post skupia się na Filar wydajności obciążenia pracą IDP. Zagłębiamy się w projektowanie i wdrażanie rozwiązania w celu optymalizacji przepustowości, opóźnień i ogólnej wydajności. Zaczynamy od omówienia kilku typowych wskaźników wskazujących, że należy przeprowadzić przegląd Dobrze zaprojektowanej architektury i wprowadzenia podstawowych podejść wraz z zasadami projektowania. Następnie analizujemy każdy obszar zainteresowania z technicznego punktu widzenia.

Aby móc kontynuować ten post, powinieneś zapoznać się z poprzednimi postami z tej serii (Część 1 i Część 2) i wytyczne w Wytyczne dotyczące inteligentnego przetwarzania dokumentów w AWS. Zasoby te przedstawiają typowe usługi AWS dla obciążeń IDP i sugerowane przepływy pracy. Dzięki tej wiedzy możesz teraz dowiedzieć się więcej na temat produkcyjnego obciążenia pracą.

Wspólne wskaźniki

Poniżej znajdują się typowe wskaźniki wskazujące, że należy przeprowadzić przegląd dobrze zaprojektowanych ram dla filaru efektywności działania:

• Wysoka latencja – Jeśli opóźnienie optycznego rozpoznawania znaków (OCR), rozpoznawania jednostek lub kompleksowego przepływu pracy trwa dłużej niż w przypadku poprzedniego testu porównawczego, może to wskazywać, że projekt architektury nie obejmuje testowania obciążenia ani obsługi błędów.
• Częste dławienie – Możesz doświadczyć dławienia przez usługi AWS, takie jak Ekstrakt z amazonki ze względu na limity żądań. Oznacza to, że należy dostosować architekturę, przeglądając przepływ pracy architektury, implementację synchroniczną i asynchroniczną, obliczenia transakcji na sekundę (TPS) i nie tylko.
• Trudności z debugowaniem – W przypadku awarii przetwarzania dokumentów może nie być skutecznego sposobu na określenie, gdzie w przepływie pracy znajduje się błąd, z jaką usługą jest powiązany i dlaczego wystąpiła awaria. Oznacza to, że system nie ma wglądu w dzienniki i awarie. Rozważ ponowne rozważenie projektu rejestrowania danych telemetrycznych i dodanie do rozwiązania infrastruktury w postaci kodu (IaC), takiej jak potoki przetwarzania dokumentów.

wskaźniki	Opis	Przepaść architektoniczna
Duże opóźnienie	Opóźnienie OCR, rozpoznawania jednostek lub kompleksowego przepływu pracy przekracza poprzednie standardy	Testowanie obciążenia Obsługa błędów
Częste ograniczanie	Ograniczanie przez usługi AWS, takie jak Amazon Texttract, ze względu na limity żądań	Synchronizacja vs Asynchronizacja Obliczanie TPS
Trudno debugować	Brak wglądu w lokalizację, przyczynę i powód błędów przetwarzania dokumentów	Projekt rejestrowania Rurociągi przetwarzania dokumentów

Zasady projektowania

W tym poście omawiamy trzy zasady projektowania: delegowanie złożonych zadań AI, architektury IaC i architektury bezserwerowe. Kiedy napotkasz kompromis między dwiema implementacjami, możesz ponownie przyjrzeć się zasadom projektowania w kontekście priorytetów biznesowych swojej organizacji, aby móc skutecznie podejmować decyzje.

• Delegowanie złożonych zadań AI – Możesz umożliwić szybsze przyjęcie sztucznej inteligencji w swojej organizacji, przenosząc cykl rozwoju modelu ML na usługi zarządzane i korzystając z rozwoju modelu i infrastruktury zapewnianej przez AWS. Zamiast wymagać od zespołów zajmujących się analizą danych i IT tworzenia i utrzymywania modeli sztucznej inteligencji, możesz skorzystać z wstępnie przeszkolonych usług sztucznej inteligencji, które mogą zautomatyzować zadania za Ciebie. Dzięki temu Twoje zespoły mogą skoncentrować się na pracy o większej wartości, która wyróżnia Twoją firmę, podczas gdy dostawca usług w chmurze zajmuje się złożonością szkoleń, wdrażania i skalowania modeli sztucznej inteligencji.
• Architektury IaC – W przypadku korzystania z rozwiązania IDP rozwiązanie obejmuje wiele usług AI, które umożliwiają chronologiczną realizację kompleksowego przepływu pracy. Możesz zaprojektować rozwiązanie za pomocą potoków przepływu pracy Funkcje kroków AWS w celu zwiększenia odporności na błędy, przetwarzania równoległego, widoczności i skalowalności. Dzięki tym zaletom możesz zoptymalizować wykorzystanie i koszty podstawowych usług AI.
• Bezserwerowe architektur – IDP to często rozwiązanie sterowane zdarzeniami, inicjowane przez przesyłanie plików przez użytkowników lub zaplanowane zadania. Rozwiązanie można skalować w poziomie poprzez zwiększenie stawek za połączenia za usługi AI, AWS Lambdai inne powiązane usługi. Podejście bezserwerowe zapewnia skalowalność bez nadmiernego przydzielania zasobów, co zapobiega niepotrzebnym wydatkom. Monitorowanie konstrukcji bezserwerowej pomaga w wykrywaniu problemów z wydajnością.

Mając na uwadze te trzy zasady projektowania, organizacje mogą stworzyć skuteczną podstawę do wdrożenia AI/ML na platformach chmurowych. Delegując złożoność, wdrażając odporną infrastrukturę i projektując pod kątem skali, organizacje mogą optymalizować swoje rozwiązania AI/ML.

W kolejnych sekcjach omawiamy, jak stawić czoła typowym wyzwaniom w obszarach technicznych.

Obszary skupienia

Przeglądając efektywność wydajności, sprawdzamy rozwiązanie z pięciu obszarów tematycznych: projektowanie architektury, zarządzanie danymi, obsługa błędów, monitorowanie systemu i monitorowanie modelu. Dzięki tym obszarom zainteresowania można przeprowadzić przegląd architektury z różnych aspektów, aby zwiększyć efektywność, obserwowalność i skalowalność trzech komponentów projektu AI/ML, danych, modelu lub celu biznesowego.

Projekt architektury

Przeglądając pytania w tym obszarze tematycznym, dokonasz przeglądu istniejącego przepływu pracy, aby sprawdzić, czy jest on zgodny z najlepszymi praktykami. Sugerowany przepływ pracy zapewnia wspólny wzorzec, który organizacje mogą stosować, i pozwala uniknąć kosztów prób i błędów.

Na podstawie proponowana architekturaprzepływ pracy składa się z sześciu etapów: przechwytywania danych, klasyfikacji, ekstrakcji, wzbogacania, przeglądu i walidacji oraz wykorzystania. We wspólnych wskaźnikach, które omówiliśmy wcześniej, dwa z trzech wynikają z problemów związanych z projektowaniem architektury. Dzieje się tak dlatego, że rozpoczynając projekt z improwizowanego podejścia, możesz napotkać ograniczenia projektu podczas próby dostosowania infrastruktury do rozwiązania. Dzięki przeglądowi projektu architektonicznego zaimprowizowany projekt można podzielić na etapy, a każdy z nich można ponownie ocenić i uporządkować.

Wdrażając, możesz zaoszczędzić czas, pieniądze i pracę klasyfikacje w przepływie pracy, a dokumenty trafiają do dalszych aplikacji i interfejsów API w zależności od typu dokumentu. Zwiększa to obserwowalność procesu tworzenia dokumentów i sprawia, że ​​rozwiązanie jest proste w utrzymaniu podczas dodawania nowych typów dokumentów.

Zarządzanie danymi

Wydajność rozwiązania IDP obejmuje opóźnienia, przepustowość i kompleksowe doświadczenie użytkownika. Sposób zarządzania dokumentem i wyodrębnionymi z niego informacjami w rozwiązaniu jest kluczem do spójności, bezpieczeństwa i prywatności danych. Ponadto rozwiązanie musi obsługiwać duże ilości danych przy niskim opóźnieniu i dużej przepustowości.

Przeglądając pytania z tego obszaru tematycznego, przeanalizujesz obieg dokumentów. Obejmuje to pozyskiwanie danych, wstępne przetwarzanie danych, konwertowanie dokumentów na typy dokumentów akceptowane przez Amazon Texttract, obsługę przychodzących strumieni dokumentów, kierowanie dokumentów według typu oraz wdrażanie zasad kontroli dostępu i przechowywania.

Na przykład, przechowując dokument w różnych fazach przetwarzania, w razie potrzeby możesz cofnąć przetwarzanie do poprzedniego kroku. Cykl życia danych zapewnia niezawodność i zgodność z obciążeniem. Korzystając z Kalkulator limitów usług Amazon Texttract (patrz poniższy zrzut ekranu), funkcje asynchroniczne w Amazon Texttract, Lambda, Step Functions, Usługa Amazon Simple Queue (Amazon SQS) i Usługa prostego powiadomienia Amazon (Amazon SNS) organizacje mogą automatyzować i skalować zadania związane z przetwarzaniem dokumentów, aby sprostać konkretnym potrzebom w zakresie obciążenia pracą.

Obsługa błędów

Skuteczna obsługa błędów ma kluczowe znaczenie dla śledzenia statusu procesu dokumentu i zapewnia zespołowi operacyjnemu czas na reakcję na wszelkie nietypowe zachowania, takie jak nieoczekiwana liczba dokumentów, nowe typy dokumentów lub inne nieplanowane problemy z usługami stron trzecich. Z punktu widzenia organizacji właściwa obsługa błędów może wydłużyć czas pracy i wydajność systemu.

Obsługa błędów można podzielić na dwa kluczowe aspekty:

• Konfiguracja usługi AWS – Można zaimplementować logikę ponawiania z wykładniczym wycofywaniem, aby obsługiwać przejściowe błędy, takie jak ograniczanie przepustowości. Gdy rozpoczynasz przetwarzanie przez wywołanie asynchronicznej operacji Start*, takiej jak Rozpocznij wykrywanie tekstu dokumentu, możesz określić, że status ukończenia żądania będzie publikowany w temacie SNS w pliku Kanał powiadomień konfiguracja. Pomaga to uniknąć ograniczania limitów wywołań API w wyniku odpytywania interfejsów API Get*. Możesz także zaimplementować alarmy w Amazon Cloud Watch i wyzwalacze ostrzegające w przypadku wystąpienia nietypowych skoków błędów.
• Udoskonalenie raportu o błędach – Obejmuje to szczegółowe komunikaty o odpowiednim poziomie szczegółowości według typu błędu oraz opisy reakcji na błędy. Dzięki odpowiedniej konfiguracji obsługi błędów systemy mogą być bardziej odporne, wdrażając typowe wzorce, takie jak automatyczne ponawianie sporadycznych błędów, używanie wyłączników automatycznych do obsługi kaskadowych awarii i usługi monitorowania w celu uzyskania wglądu w błędy. Pozwala to rozwiązaniu zachować równowagę pomiędzy limitami ponownych prób i zapobiega niekończącym się pętlom obwodów.

Monitorowanie modelu

Wydajność modeli ML jest monitorowana pod kątem pogorszenia się w czasie. W miarę zmiany danych i warunków systemowych monitorowane są metryki wydajności i efektywności modelu, aby w razie potrzeby zapewnić przeprowadzenie ponownego szkolenia.

Model ML w przepływie pracy IDP może być modelem OCR, modelem rozpoznawania jednostek lub modelem klasyfikacji. Model może pochodzić z usługi AI AWS, modelu open source Amazon Sage Maker, Amazońska skała macierzystalub inne usługi stron trzecich. Musisz zrozumieć ograniczenia i przypadki użycia każdej usługi, aby zidentyfikować sposoby ulepszenia modelu na podstawie opinii ludzi i z czasem zwiększyć wydajność usługi.

Powszechnym podejściem jest używanie dzienników usług do zrozumienia różnych poziomów dokładności. Te dzienniki mogą pomóc zespołowi zajmującemu się analizą danych zidentyfikować i zrozumieć wszelkie potrzeby ponownego szkolenia modelu. Twoja organizacja może wybrać mechanizm przekwalifikowania — może być kwartalny, miesięczny lub oparty na wskaźnikach naukowych, np. wtedy, gdy dokładność spadnie poniżej określonego progu.

Celem monitorowania jest nie tylko wykrywanie problemów, ale także zamykanie pętli w celu ciągłego udoskonalania modeli i utrzymywania wydajności rozwiązania IDP w miarę ewolucji środowiska zewnętrznego.

Monitorowanie systemu

Po wdrożeniu rozwiązania IDP w środowisku produkcyjnym ważne jest monitorowanie kluczowych wskaźników i wydajności automatyzacji w celu zidentyfikowania obszarów wymagających ulepszeń. Metryki powinny obejmować metryki biznesowe i metryki techniczne. Pozwala to firmie ocenić wydajność systemu, zidentyfikować problemy i z czasem wprowadzać ulepszenia modeli, reguł i przepływów pracy, aby zwiększyć stopień automatyzacji i zrozumieć wpływ operacyjny.

Z punktu widzenia biznesowego najważniejsze są takie wskaźniki, jak dokładność ekstrakcji ważnych pól, ogólny stopień automatyzacji wskazujący odsetek dokumentów przetworzonych bez interwencji człowieka oraz średni czas przetwarzania dokumentu. Te wskaźniki biznesowe pomagają określić ilościowo doświadczenie użytkownika końcowego i wzrost wydajności operacyjnej.

Z inżynierskiego punktu widzenia niezbędne jest śledzenie wskaźników technicznych, w tym wskaźników błędów i wyjątków występujących w trakcie przepływu pracy. Wskaźniki techniczne umożliwiają również monitorowanie od początku do końca każdego poziomu i zapewniają kompleksowy obraz złożonego obciążenia pracą. Metryki można podzielić na różne poziomy, takie jak poziom rozwiązania, poziom kompleksowego przepływu pracy, poziom typu dokumentu, poziom dokumentu, poziom rozpoznawania jednostek i poziom OCR.

Teraz, gdy przejrzałeś wszystkie pytania w tym filarze, możesz ocenić pozostałe filary i opracować plan poprawy obciążenia pracą IDP.

Wnioski

W tym poście omówiliśmy typowe wskaźniki, które mogą być potrzebne do przeprowadzenia przeglądu dobrze zaprojektowanych ram dla filaru wydajności wydajności dla obciążenia pracą IDP. Następnie omówiliśmy zasady projektowania, aby zapewnić ogólny przegląd i omówić cel rozwiązania. Postępując zgodnie z tymi sugestiami w odniesieniu do dobrze zaprojektowanej niestandardowej soczewki IDP i przeglądając pytania według obszaru zainteresowania, powinieneś mieć teraz plan ulepszenia projektu.

---

O autorach

Mia Czang jest architektem rozwiązań ML dla Amazon Web Services. Współpracuje z klientami w regionie EMEA i dzieli się najlepszymi praktykami w zakresie uruchamiania obciążeń AI/ML w chmurze dzięki swojemu doświadczeniu w matematyce stosowanej, informatyce i AI/ML. Koncentruje się na zadaniach specyficznych dla NLP i dzieli się swoim doświadczeniem jako mówca na konferencjach i autorka książek. W wolnym czasie lubi wędrować, grać w gry planszowe i parzyć kawę.

Brijesh Pati jest architektem rozwiązań dla przedsiębiorstw w AWS. Jego głównym celem jest pomaganie klientom korporacyjnym we wdrażaniu technologii chmurowych do swoich obciążeń. Ma doświadczenie w tworzeniu aplikacji i architekturze korporacyjnej. Pracował z klientami z różnych branż, takich jak sport, finanse, energetyka i usługi profesjonalne. Jego zainteresowania obejmują architektury bezserwerowe i AI/ML.

Rui Cardoso jest architektem rozwiązań partnerskich w Amazon Web Services (AWS). Koncentruje się na AI/ML i IoT. Współpracuje z Partnerami AWS i wspiera ich w tworzeniu rozwiązań w AWS. Kiedy nie pracuje, lubi jeździć na rowerze, wędrować i uczyć się nowych rzeczy.

Tima Condello jest starszym architektem rozwiązań specjalistycznych w zakresie sztucznej inteligencji (AI) i uczenia maszynowego (ML) w Amazon Web Services (AWS). Jego zainteresowania skupiają się wokół przetwarzania języka naturalnego i widzenia komputerowego. Tim lubi wykorzystywać pomysły klientów i przekształcać je w skalowalne rozwiązania.

Sherry Ding jest starszym architektem rozwiązań specjalistycznych w zakresie sztucznej inteligencji (AI) i uczenia maszynowego (ML) w Amazon Web Services (AWS). Posiada duże doświadczenie w uczeniu maszynowym, czego dowodem jest stopień doktora informatyki. Pracuje głównie z klientami z sektora publicznego nad różnymi wyzwaniami biznesowymi związanymi ze sztuczną inteligencją/ML, pomagając im przyspieszyć proces uczenia maszynowego w chmurze AWS. Kiedy nie pomaga klientom, lubi zajęcia na świeżym powietrzu.

Suyin Wang jest architektem rozwiązań specjalistycznych AI/ML w AWS. Posiada interdyscyplinarne wykształcenie w zakresie uczenia maszynowego, usług informacji finansowej i ekonomii, a także wieloletnie doświadczenie w tworzeniu aplikacji do nauki danych i uczenia maszynowego, które rozwiązują rzeczywiste problemy biznesowe. Lubi pomagać klientom w identyfikowaniu właściwych pytań biznesowych i budowaniu odpowiednich rozwiązań AI/ML. W wolnym czasie uwielbia śpiewać i gotować.

• Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
• PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
• PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
• PlatonESG. Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
• Platon Zdrowie. Inteligencja w zakresie biotechnologii i badań klinicznych. Dostęp tutaj.
• Źródło: https://aws.amazon.com/blogs/machine-learning/build-well-architected-idp-solutions-with-a-custom-lens-part-4-performance-efficiency/