Βελτίωση της έξυπνης επεξεργασίας εγγράφων AWS με γενετικό AI | Υπηρεσίες Ιστού της Amazon

Η ταξινόμηση, η εξαγωγή και η ανάλυση δεδομένων μπορεί να αποτελούν πρόκληση για οργανισμούς που ασχολούνται με όγκους εγγράφων. Οι παραδοσιακές λύσεις επεξεργασίας εγγράφων είναι χειροκίνητες, ακριβές, επιρρεπείς σε σφάλματα και δύσκολες στην κλίμακα. Έξυπνη επεξεργασία εγγράφων AWS (IDP), με υπηρεσίες AI όπως π.χ Textract Amazon, σας επιτρέπει να επωφεληθείτε από την κορυφαία στον κλάδο τεχνολογία μηχανικής εκμάθησης (ML) για γρήγορη και ακριβή επεξεργασία δεδομένων από οποιοδήποτε σαρωμένο έγγραφο ή εικόνα. Η γενετική τεχνητή νοημοσύνη (generative AI) συμπληρώνει το Amazon Textract για την περαιτέρω αυτοματοποίηση των ροών εργασίας επεξεργασίας εγγράφων. Λειτουργίες όπως η κανονικοποίηση των βασικών πεδίων και η σύνοψη των δεδομένων εισόδου υποστηρίζουν ταχύτερους κύκλους για τη διαχείριση των ροών εργασίας διεργασιών εγγράφων, ενώ μειώνουν την πιθανότητα σφαλμάτων.

Το Generative AI καθοδηγείται από μεγάλα μοντέλα ML που ονομάζονται μοντέλα θεμελίωσης (FM). Τα FM μεταμορφώνουν τον τρόπο με τον οποίο μπορείτε να επιλύσετε παραδοσιακά πολύπλοκους φόρτους εργασίας επεξεργασίας εγγράφων. Εκτός από τις υπάρχουσες δυνατότητες, οι επιχειρήσεις πρέπει να συνοψίζουν συγκεκριμένες κατηγορίες πληροφοριών, συμπεριλαμβανομένων των χρεωστικών και πιστωτικών δεδομένων από έγγραφα όπως οικονομικές εκθέσεις και τραπεζικές καταστάσεις. Τα FM διευκολύνουν τη δημιουργία τέτοιων πληροφοριών από τα εξαγόμενα δεδομένα. Για τη βελτιστοποίηση του χρόνου που αφιερώνεται στην ανθρώπινη εξέταση και για τη βελτίωση της παραγωγικότητας των εργαζομένων, λάθη όπως λείπουν ψηφία στους αριθμούς τηλεφώνου, έγγραφα που λείπουν ή διευθύνσεις χωρίς αριθμούς οδών μπορούν να επισημανθούν με αυτοματοποιημένο τρόπο. Στο τρέχον σενάριο, πρέπει να αφιερώσετε πόρους για να ολοκληρώσετε τέτοιες εργασίες χρησιμοποιώντας ανθρώπινη αναθεώρηση και πολύπλοκα σενάρια. Αυτή η προσέγγιση είναι κουραστική και δαπανηρή. Τα FM μπορούν να βοηθήσουν στην ολοκλήρωση αυτών των εργασιών πιο γρήγορα, με λιγότερους πόρους και να μετατρέψουν διάφορες μορφές εισόδου σε ένα τυπικό πρότυπο που μπορεί να υποβληθεί σε περαιτέρω επεξεργασία. Στην AWS προσφέρουμε υπηρεσίες όπως π.χ Θεμέλιο του Αμαζονίου, ο ευκολότερος τρόπος για να δημιουργήσετε και να κλιμακώσετε παραγωγικές εφαρμογές AI με FM. Το Amazon Bedrock είναι μια πλήρως διαχειριζόμενη υπηρεσία που καθιστά διαθέσιμα FM από κορυφαίες startups AI και την Amazon μέσω ενός API, ώστε να μπορείτε να βρείτε το μοντέλο που ταιριάζει καλύτερα στις απαιτήσεις σας. Προσφέρουμε επίσης Amazon SageMaker JumpStart, το οποίο επιτρέπει στους επαγγελματίες ML να επιλέξουν από μια ευρεία επιλογή FM ανοιχτού κώδικα. Οι επαγγελματίες ML μπορούν να αναπτύξουν FM σε αποκλειστικές Amazon Sage Maker στιγμιότυπα από ένα απομονωμένο περιβάλλον δικτύου και προσαρμόστε μοντέλα χρησιμοποιώντας το SageMaker για εκπαίδευση και ανάπτυξη μοντέλων.

Ricoh προσφέρει λύσεις στο χώρο εργασίας και υπηρεσίες ψηφιακού μετασχηματισμού που έχουν σχεδιαστεί για να βοηθούν τους πελάτες να διαχειρίζονται και να βελτιστοποιούν τη ροή πληροφοριών στις επιχειρήσεις τους. Ο Ashok Shenoy, Αντιπρόεδρος Ανάπτυξης Λύσεων Χαρτοφυλακίου, λέει: «Προσθέτουμε τεχνητή νοημοσύνη στις λύσεις IDP για να βοηθήσουμε τους πελάτες μας να κάνουν τη δουλειά τους πιο γρήγορα και με μεγαλύτερη ακρίβεια, χρησιμοποιώντας νέες δυνατότητες όπως Q&A, σύνοψη και τυποποιημένα αποτελέσματα. Το AWS μάς επιτρέπει να εκμεταλλευόμαστε τη γενετική τεχνητή νοημοσύνη, διατηρώντας παράλληλα τα δεδομένα κάθε πελάτη μας ξεχωριστά και ασφαλή.»

Σε αυτήν την ανάρτηση, μοιραζόμαστε πώς να βελτιώσετε τη λύση IDP σας στο AWS με γενετική τεχνητή νοημοσύνη.

Βελτίωση του αγωγού IDP

Σε αυτήν την ενότητα, εξετάζουμε τον τρόπο με τον οποίο ο παραδοσιακός αγωγός IDP μπορεί να επαυξηθεί με FM και περιγράφουμε ένα παράδειγμα χρήσης χρησιμοποιώντας το Amazon Textract με FM.

Το AWS IDP αποτελείται από τρία στάδια: ταξινόμηση, εξαγωγή και εμπλουτισμός. Για περισσότερες λεπτομέρειες σχετικά με κάθε στάδιο, ανατρέξτε στο Έξυπνη επεξεργασία εγγράφων με υπηρεσίες AWS AI: Μέρος 1 και Μέρος 2. Στο στάδιο της ταξινόμησης, τα FM μπορούν πλέον να ταξινομούν έγγραφα χωρίς καμία πρόσθετη εκπαίδευση. Αυτό σημαίνει ότι τα έγγραφα μπορούν να κατηγοριοποιηθούν ακόμα κι αν το μοντέλο δεν έχει δει παρόμοια παραδείγματα στο παρελθόν. Τα FM στο στάδιο της εξαγωγής κανονικοποιούν τα πεδία ημερομηνίας και επαληθεύουν τις διευθύνσεις και τους αριθμούς τηλεφώνου, διασφαλίζοντας παράλληλα συνεπή μορφοποίηση. Τα FM στο στάδιο του εμπλουτισμού επιτρέπουν την εξαγωγή συμπερασμάτων, τη λογική συλλογιστική και τη σύνοψη. Όταν χρησιμοποιείτε FM σε κάθε στάδιο IDP, η ροή εργασίας σας θα είναι πιο βελτιωμένη και η απόδοση θα βελτιώνεται. Το παρακάτω διάγραμμα απεικονίζει τον αγωγό IDP με γενετική τεχνητή νοημοσύνη.

Στάδιο εξόρυξης του αγωγού IDP

Όταν τα FM δεν μπορούν να επεξεργαστούν απευθείας έγγραφα στις εγγενείς μορφές τους (όπως PDF, img, jpeg και tiff) ως είσοδο, απαιτείται ένας μηχανισμός για τη μετατροπή εγγράφων σε κείμενο. Για να εξαγάγετε το κείμενο από το έγγραφο πριν το στείλετε στα FM, μπορείτε να χρησιμοποιήσετε το Amazon Textract. Με το Amazon Textract, μπορείτε να εξαγάγετε γραμμές και λέξεις και να τις μεταβιβάσετε σε κατάντη FM. Η ακόλουθη αρχιτεκτονική χρησιμοποιεί το Amazon Textract για ακριβή εξαγωγή κειμένου από οποιονδήποτε τύπο εγγράφου πριν το στείλει στα FM για περαιτέρω επεξεργασία.

Συνήθως, τα έγγραφα αποτελούνται από δομημένες και ημιδομημένες πληροφορίες. Το Amazon Textract μπορεί να χρησιμοποιηθεί για την εξαγωγή ακατέργαστου κειμένου και δεδομένων από πίνακες και φόρμες. Η σχέση μεταξύ των δεδομένων σε πίνακες και φόρμες παίζει ζωτικό ρόλο στην αυτοματοποίηση των επιχειρηματικών διαδικασιών. Ορισμένοι τύποι πληροφοριών ενδέχεται να μην υποβάλλονται σε επεξεργασία από FM. Ως αποτέλεσμα, μπορούμε να επιλέξουμε είτε να αποθηκεύσουμε αυτές τις πληροφορίες σε ένα κατάντη κατάστημα είτε να τις στείλουμε σε FM. Το παρακάτω σχήμα είναι ένα παράδειγμα του τρόπου με τον οποίο το Amazon Textract μπορεί να εξάγει δομημένες και ημιδομημένες πληροφορίες από ένα έγγραφο, επιπλέον των γραμμών κειμένου που πρέπει να υποβληθούν σε επεξεργασία από τα FM.

Χρήση υπηρεσιών χωρίς διακομιστή AWS για σύνοψη με FM

Ο αγωγός IDP που παρουσιάσαμε νωρίτερα μπορεί να αυτοματοποιηθεί απρόσκοπτα χρησιμοποιώντας υπηρεσίες χωρίς διακομιστή AWS. Τα εξαιρετικά αδόμητα έγγραφα είναι κοινά στις μεγάλες επιχειρήσεις. Αυτά τα έγγραφα μπορούν να εκτείνονται από έγγραφα της Επιτροπής Κεφαλαιαγοράς (SEC) στον τραπεζικό κλάδο έως έγγραφα κάλυψης στον κλάδο ασφάλισης υγείας. Με την εξέλιξη της γενετικής τεχνητής νοημοσύνης στο AWS, οι άνθρωποι σε αυτές τις βιομηχανίες αναζητούν τρόπους για να λάβουν μια περίληψη από αυτά τα έγγραφα με αυτοματοποιημένο και οικονομικά αποδοτικό τρόπο. Οι υπηρεσίες χωρίς διακομιστή βοηθούν στην παροχή του μηχανισμού για τη γρήγορη δημιουργία μιας λύσης για το IDP. Υπηρεσίες όπως AWS Lambda, Λειτουργίες βημάτων AWS, να Amazon EventBridge μπορεί να βοηθήσει στη δημιουργία του αγωγού επεξεργασίας εγγράφων με ενσωμάτωση FM, όπως φαίνεται στο παρακάτω διάγραμμα.

Η εφαρμογή δείγματος που χρησιμοποιείται στην προηγούμενη αρχιτεκτονική είναι οδηγείται από γεγονότα. Ένα συμβάν ορίζεται ως μια αλλαγή στην κατάσταση που συνέβη πρόσφατα. Για παράδειγμα, όταν ένα αντικείμενο φορτώνεται σε ένα Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3), ο κάδος Amazon S3 εκπέμπει ένα συμβάν Object Created. Αυτή η ειδοποίηση συμβάντος από το Amazon S3 μπορεί να ενεργοποιήσει μια λειτουργία Lambda ή μια ροή εργασίας Step Functions. Αυτός ο τύπος αρχιτεκτονικής ονομάζεται ένα αρχιτεκτονική με γνώμονα τα γεγονότα. Σε αυτήν την ανάρτηση, το δείγμα της εφαρμογής μας χρησιμοποιεί μια αρχιτεκτονική που βασίζεται σε συμβάντα για να επεξεργαστεί ένα δείγμα ιατρικού εγγράφου απόρριψης και να συνοψίσει τις λεπτομέρειες του εγγράφου. Η ροή λειτουργεί ως εξής:

1. Όταν ένα έγγραφο μεταφορτώνεται σε έναν κάδο S3, το Amazon S3 ενεργοποιεί ένα συμβάν Δημιουργία αντικειμένου.
2. Ο προεπιλεγμένος δίαυλος συμβάντων EventBridge μεταδίδει το συμβάν στις Συναρτήσεις Βήματος με βάση έναν κανόνα EventBridge.
3. Η ροή εργασιών της κατάστασης μηχανής επεξεργάζεται το έγγραφο, ξεκινώντας με το Amazon Textract.
4. Μια συνάρτηση λάμδα μετασχηματίζει τα δεδομένα που αναλύθηκαν για το επόμενο βήμα.
5. Η κρατική μηχανή επικαλείται a Το τελικό σημείο του SageMaker, το οποίο φιλοξενεί το FM χρησιμοποιώντας άμεση ενσωμάτωση AWS SDK.
6. Ένας συνοπτικός κάδος προορισμού S3 λαμβάνει τη συνοπτική απάντηση που συγκεντρώθηκε από το FM.

Χρησιμοποιήσαμε το δείγμα εφαρμογής με α flan-t5 μοντέλο αγκαλιασμένου προσώπου για να συνοψίσετε το ακόλουθο δείγμα περίληψης εξιτηρίου ασθενούς χρησιμοποιώντας τη ροή εργασίας Βήμα Λειτουργίες.

Η ροή εργασίας Βήμα Λειτουργίες χρησιμοποιεί Ενσωμάτωση AWS SDK για να καλέσετε το Amazon Texttract Ανάλυση εγγράφου και χρόνο εκτέλεσης SageMaker InvokeEndpoint API, όπως φαίνεται στο παρακάτω σχήμα.

Αυτή η ροή εργασίας έχει ως αποτέλεσμα ένα συνοπτικό αντικείμενο JSON που αποθηκεύεται σε έναν κάδο προορισμού. Το αντικείμενο JSON φαίνεται ως εξής:

{ "summary": [ "John Doe is a 35-year old male who has been experiencing stomach problems for two months. He has been taking antibiotics for the last two weeks, but has not been able to eat much. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has also noticed a change in his stool color, which is now darker. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of fatigue, and has been unable to work for the last two weeks. He has also been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help." ], "forms": [ { "key": "Ph: ", "value": "(888)-(999)-(0000) " }, { "key": "Fax: ", "value": "(888)-(999)-(1111) " }, { "key": "Patient Name: ", "value": "John Doe " }, { "key": "Patient ID: ", "value": "NARH-36640 " }, { "key": "Gender: ", "value": "Male " }, { "key": "Attending Physician: ", "value": "Mateo Jackson, PhD " }, { "key": "Admit Date: ", "value": "07-Sep-2020 " }, { "key": "Discharge Date: ", "value": "08-Sep-2020 " }, { "key": "Discharge Disposition: ", "value": "Home with Support Services " }, { "key": "Pre-existing / Developed Conditions Impacting Hospital Stay: ", "value": "35 yo M c/o stomach problems since 2 months. Patient reports epigastric abdominal pain non- radiating. Pain is described as gnawing and burning, intermittent lasting 1-2 hours, and gotten progressively worse. Antacids used to alleviate pain but not anymore; nothing exacerbates pain. Pain unrelated to daytime or to meals. Patient denies constipation or diarrhea. Patient denies blood in stool but have noticed them darker. Patient also reports nausea. Denies recent illness or fever. He also reports fatigue for 2 weeks and bloating after eating. ROS: Negative except for above findings Meds: Motrin once/week. Tums previously. PMHx: Back pain and muscle spasms. No Hx of surgery. NKDA. FHx: Uncle has a bleeding ulcer. Social Hx: Smokes since 15 yo, 1/2-1 PPD. No recent EtOH use. Denies illicit drug use. Works on high elevation construction. Fast food diet. Exercises 3-4 times/week but stopped 2 weeks ago. " }, { "key": "Summary: ", "value": "some activity restrictions suggested, full course of antibiotics, check back with physican in case of relapse, strict diet " } ] }

Η δημιουργία αυτών των περιλήψεων με χρήση IDP με εφαρμογή χωρίς διακομιστή σε κλίμακα βοηθά τους οργανισμούς να αποκτούν ουσιαστικά, συνοπτικά και εμφανή δεδομένα με οικονομικά αποδοτικό τρόπο. Το Step Functions δεν περιορίζει τη μέθοδο επεξεργασίας εγγράφων σε ένα έγγραφο τη φορά. Του κατανεμημένο χάρτη Η δυνατότητα μπορεί να συνοψίσει μεγάλο αριθμό εγγράφων σε ένα χρονοδιάγραμμα.

Η εφαρμογή δείγματος χρησιμοποιεί a flan-t5 μοντέλο αγκαλιασμένου προσώπου; Ωστόσο, μπορείτε να χρησιμοποιήσετε ένα τελικό σημείο FM της επιλογής σας. Η εκπαίδευση και η λειτουργία του μοντέλου είναι εκτός του πεδίου εφαρμογής του δείγματος εφαρμογής. Ακολουθήστε τις οδηγίες στο αποθετήριο GitHub για να αναπτύξετε ένα δείγμα εφαρμογής. Η προηγούμενη αρχιτεκτονική είναι μια καθοδήγηση σχετικά με το πώς μπορείτε να ενορχηστρώσετε μια ροή εργασίας IDP χρησιμοποιώντας τις Λειτουργίες Βήματος. Αναφέρομαι στο Εργαστήριο IDP Generative AI για λεπτομερείς οδηγίες σχετικά με τον τρόπο δημιουργίας μιας εφαρμογής με υπηρεσίες AWS AI και FM.

Ρυθμίστε τη λύση

Ακολουθήστε τα βήματα στο README αρχείο για να ορίσετε την αρχιτεκτονική λύσης (εκτός από τα τελικά σημεία του SageMaker). Αφού έχετε διαθέσιμο το δικό σας τελικό σημείο του SageMaker, μπορείτε να μεταβιβάσετε το όνομα τερματικού σημείου ως παράμετρο στο πρότυπο.

εκκαθάριση

Για να εξοικονομήσετε κόστος, διαγράψτε τους πόρους που χρησιμοποιήσατε ως μέρος του σεμιναρίου:

1. Ακολουθήστε τα βήματα στην ενότητα καθαρισμού του README αρχείο.
2. Διαγράψτε οποιοδήποτε περιεχόμενο από τον κάδο S3 και, στη συνέχεια, διαγράψτε τον κάδο μέσω της κονσόλας Amazon S3.
3. Διαγράψτε τυχόν τελικά σημεία του SageMaker που μπορεί να έχετε δημιουργήσει μέσω της κονσόλας του SageMaker.

Συμπέρασμα

Το Generative AI αλλάζει τον τρόπο με τον οποίο μπορείτε να επεξεργάζεστε έγγραφα με το IDP για να αντλήσετε πληροφορίες. Οι υπηρεσίες AWS AI όπως το Amazon Textract μαζί με τα AWS FM μπορούν να βοηθήσουν στην ακριβή επεξεργασία οποιουδήποτε τύπου εγγράφων. Για περισσότερες πληροφορίες σχετικά με την εργασία με το Generative AI στο AWS, ανατρέξτε στο Ανακοίνωση νέων εργαλείων για δημιουργία με Generative AI στο AWS.

---

Σχετικά με τους Συγγραφείς

Σονάλι Σάχου πρωτοστατεί στην έξυπνη επεξεργασία εγγράφων με την ομάδα υπηρεσιών AI/ML στο AWS. Είναι συγγραφέας, ηγέτης σκέψης και παθιασμένη τεχνολόγος. Ο βασικός τομέας εστίασής της είναι η AI και η ML και μιλάει συχνά σε συνέδρια και συναντήσεις AI και ML σε όλο τον κόσμο. Διαθέτει τόσο εύρος όσο και βάθος εμπειρίας στην τεχνολογία και τη βιομηχανία τεχνολογίας, με τεχνογνωσία στον κλάδο της υγείας, του χρηματοπιστωτικού τομέα και της ασφάλισης.

Ashish Lal είναι Ανώτερος Διευθυντής Μάρκετινγκ Προϊόντων που ηγείται του μάρκετινγκ προϊόντων για υπηρεσίες τεχνητής νοημοσύνης στην AWS. Διαθέτει 9 χρόνια εμπειρίας στο μάρκετινγκ και έχει ηγηθεί της προσπάθειας μάρκετινγκ προϊόντων για Έξυπνη επεξεργασία εγγράφων. Πήρε το μεταπτυχιακό του στη Διοίκηση Επιχειρήσεων στο Πανεπιστήμιο της Ουάσιγκτον.

Μρουνάλ Νταφτάρι είναι Enterprise Senior Solutions Architect στο Amazon Web Services. Έχει έδρα στη Βοστώνη, MA. Είναι λάτρης του cloud και πολύ παθιασμένος με την εύρεση λύσεων για πελάτες που είναι απλές και αφορούν τα επιχειρηματικά τους αποτελέσματα. Του αρέσει να εργάζεται με τεχνολογίες cloud, να παρέχει απλές, επεκτάσιμες λύσεις που οδηγούν σε θετικά επιχειρηματικά αποτελέσματα, στρατηγική υιοθέτησης cloud και να σχεδιάζει καινοτόμες λύσεις και να οδηγεί σε λειτουργική αριστεία.

Ντιράτζ Μαχαπάτρο είναι Κύριος Αρχιτέκτονας Ειδικών Λύσεων χωρίς Διακομιστές στην AWS. Ειδικεύεται στο να βοηθά τις επιχειρηματικές χρηματοοικονομικές υπηρεσίες να υιοθετήσουν αρχιτεκτονικές χωρίς διακομιστές και συμβάντα για τον εκσυγχρονισμό των εφαρμογών τους και την επιτάχυνση του ρυθμού καινοτομίας τους. Πρόσφατα, εργάστηκε για να φέρει τους φόρτους εργασίας των εμπορευματοκιβωτίων και την πρακτική χρήση της γενετικής τεχνητής νοημοσύνης πιο κοντά σε πελάτες χωρίς διακομιστές και EDA για πελάτες του κλάδου των χρηματοοικονομικών υπηρεσιών.

Jacob Hauskens είναι Κύριος Ειδικός AI με πάνω από 15 χρόνια εμπειρίας σε στρατηγική επιχειρηματική ανάπτυξη και συνεργασίες. Τα τελευταία 7 χρόνια, ηγήθηκε της δημιουργίας και της εφαρμογής στρατηγικών προώθησης στην αγορά για νέες υπηρεσίες B2B που βασίζονται σε AI. Πρόσφατα, βοηθά τους ISV να αυξήσουν τα έσοδά τους προσθέτοντας γενετική τεχνητή νοημοσύνη σε έξυπνες ροές εργασίας επεξεργασίας εγγράφων.

• SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
• PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
• PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
• PlatoESG. Αυτοκίνητο / EVs, Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
• BlockOffsets. Εκσυγχρονισμός της περιβαλλοντικής αντιστάθμισης ιδιοκτησίας. Πρόσβαση εδώ.
• πηγή: https://aws.amazon.com/blogs/machine-learning/enhancing-aws-intelligent-document-processing-with-generative-ai/