Προσαρμόστε τους επιχειρηματικούς κανόνες για έξυπνη επεξεργασία εγγράφων με ανθρώπινη αναθεώρηση και οπτικοποίηση BI

Ένας τεράστιος όγκος επιχειρηματικών εγγράφων επεξεργάζεται καθημερινά σε όλους τους κλάδους. Πολλά από αυτά τα έγγραφα βασίζονται σε χαρτί, σαρώνονται στο σύστημά σας ως εικόνες ή σε μη δομημένη μορφή όπως το PDF. Κάθε εταιρεία μπορεί να εφαρμόζει μοναδικούς κανόνες που σχετίζονται με το επιχειρηματικό της υπόβαθρο κατά την επεξεργασία αυτών των εγγράφων. Το πώς να εξαγάγετε πληροφορίες με ακρίβεια και να τις επεξεργαστείτε με ευελιξία είναι μια πρόκληση που αντιμετωπίζουν πολλές εταιρείες.

Η Intelligent Document Processing (IDP) της Amazon σάς επιτρέπει να επωφεληθείτε από την κορυφαία στον κλάδο τεχνολογία μηχανικής εκμάθησης (ML) χωρίς προηγούμενη εμπειρία ML. Αυτή η ανάρτηση εισάγει μια λύση που περιλαμβάνεται στο Εργαστήριο Amazon IDP παρουσιάζοντας τον τρόπο επεξεργασίας εγγράφων για την εξυπηρέτηση ευέλικτων επιχειρηματικών κανόνων χρησιμοποιώντας υπηρεσίες AI της Amazon. Μπορείτε να χρησιμοποιήσετε το παρακάτω βήμα προς βήμα Σημειωματάριο Jupyter για να ολοκληρωθεί το εργαστήριο.

Textract Amazon σας βοηθά να εξάγετε εύκολα κείμενο από διάφορα έγγραφα και Amazon Augmented AI (Amazon A2I) σας επιτρέπει να εφαρμόσετε μια ανθρώπινη ανασκόπηση των προβλέψεων ML. Το προεπιλεγμένο πρότυπο Amazon A2I σάς επιτρέπει να δημιουργήσετε μια σωλήνωση ανθρώπινης αξιολόγησης βάσει κανόνων, όπως όταν η βαθμολογία εμπιστοσύνης εξαγωγής είναι χαμηλότερη από ένα προκαθορισμένο όριο ή λείπουν τα απαιτούμενα κλειδιά. Ωστόσο, σε ένα περιβάλλον παραγωγής, χρειάζεστε τη γραμμή επεξεργασίας εγγράφων για την υποστήριξη ευέλικτων επιχειρηματικών κανόνων, όπως η επικύρωση της μορφής συμβολοσειράς, η επαλήθευση του τύπου και του εύρους δεδομένων και η επικύρωση πεδίων στα έγγραφα. Αυτή η ανάρτηση δείχνει πώς μπορείτε να χρησιμοποιήσετε το Amazon Textract και το Amazon A2I για να προσαρμόσετε έναν γενικό αγωγό επεξεργασίας εγγράφων που υποστηρίζει ευέλικτους επιχειρηματικούς κανόνες.

Επισκόπηση λύσεων

Για το διάλυμα του δείγματός μας, χρησιμοποιούμε το Φορολογικό έντυπο 990, μια φόρμα US IRS (Internal Revenue Service) που παρέχει στο κοινό οικονομικές πληροφορίες σχετικά με έναν μη κερδοσκοπικό οργανισμό. Για αυτό το παράδειγμα, καλύπτουμε μόνο τη λογική εξαγωγής για ορισμένα από τα πεδία στην πρώτη σελίδα της φόρμας. Μπορείτε να βρείτε περισσότερα δείγματα εγγράφων στο Ιστότοπος IRS.

Το παρακάτω διάγραμμα απεικονίζει τον αγωγό IDP που υποστηρίζει προσαρμοσμένους επιχειρηματικούς κανόνες με ανθρώπινο έλεγχο.

Η αρχιτεκτονική αποτελείται από τρία λογικά στάδια:

• Εξαγωγή – Εξαγωγή δεδομένων από το Φορολογικό Έντυπο 990 (χρησιμοποιούμε τη σελίδα 1 ως παράδειγμα).
  • Ανακτήστε ένα δείγμα εικόνας που είναι αποθηκευμένο σε ένα Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3) κάδος.
  • Καλέστε το Amazon Texttract Analytics_document API χρησιμοποιώντας το Ερωτήματα δυνατότητα εξαγωγής κειμένου από τη σελίδα.
• Επικύρωση – Εφαρμόστε ευέλικτους επιχειρησιακούς κανόνες με μια ανασκόπηση από τον άνθρωπο.
  • Επικυρώστε τα εξαγόμενα δεδομένα σε σχέση με τους επιχειρηματικούς κανόνες, όπως η επικύρωση του μήκους ενός πεδίου αναγνωριστικού.
  • Στείλτε το έγγραφο στο Amazon A2I για να το ελέγξει ένας άνθρωπος εάν αποτύχουν κάποιοι επιχειρηματικοί κανόνες.
  • Οι αναθεωρητές χρησιμοποιούν το Amazon A2I UI (ένας προσαρμόσιμος ιστότοπος) για να επαληθεύσουν το αποτέλεσμα εξαγωγής.
• Οπτικοποίηση BI - Χρησιμοποιούμε Amazon QuickSight για τη δημιουργία ενός πίνακα εργαλείων επιχειρηματικής ευφυΐας (BI) που εμφανίζει πληροφορίες σχετικά με τη διαδικασία.

Προσαρμόστε τους επιχειρηματικούς κανόνες

Μπορείτε να ορίσετε έναν γενικό επιχειρηματικό κανόνα στην ακόλουθη μορφή JSON. Στο δείγμα κώδικα, ορίζουμε τρεις κανόνες:

• Ο πρώτος κανόνας αφορά το πεδίο αναγνωριστικού εργοδότη. Ο κανόνας αποτυγχάνει εάν η βαθμολογία εμπιστοσύνης του Amazon Textract είναι χαμηλότερη από 99%. Για αυτήν την ανάρτηση, θέσαμε το όριο βαθμολογίας εμπιστοσύνης υψηλό, το οποίο θα σπάσει ανάλογα με το σχεδιασμό. Θα μπορούσατε να προσαρμόσετε το όριο σε μια πιο λογική τιμή για να μειώσετε την περιττή ανθρώπινη προσπάθεια σε ένα πραγματικό περιβάλλον, όπως το 90%.
• Ο δεύτερος κανόνας αφορά το πεδίο DLN (το μοναδικό αναγνωριστικό του φορολογικού εντύπου), το οποίο απαιτείται για τη λογική επεξεργασίας κατάντη. Αυτός ο κανόνας αποτυγχάνει εάν το πεδίο DLN λείπει ή έχει κενή τιμή.
• Ο τρίτος κανόνας είναι επίσης για το πεδίο DLN αλλά με διαφορετικό τύπο συνθήκης: LengthCheck. Ο κανόνας σπάει αν το μήκος DLN δεν είναι 16 χαρακτήρες.

Ο παρακάτω κώδικας δείχνει τους επιχειρηματικούς μας κανόνες σε μορφή JSON:

rules = [
    {
        "description": "Employee Id confidence score should greater than 99",
        "field_name": "d.employer_id",
        "field_name_regex": None, # support Regex: "_confidence$",
        "condition_category": "Confidence",
        "condition_type": "ConfidenceThreshold",
        "condition_setting": "99",
    },
    {
        "description": "dln is required",
        "field_name": "dln",
        "condition_category": "Required",
        "condition_type": "Required",
        "condition_setting": None,
    },
    {
        "description": "dln length should be 16",
        "field_name": "dln",
        "condition_category": "LengthCheck",
        "condition_type": "ValueRegex",
        "condition_setting": "^[0-9a-zA-Z]{16}$",
    }
]

Μπορείτε να επεκτείνετε τη λύση προσθέτοντας περισσότερους επιχειρηματικούς κανόνες ακολουθώντας την ίδια δομή.

Εξαγωγή κειμένου χρησιμοποιώντας ένα ερώτημα Amazon Textract

Στη λύση του δείγματος, ονομάζουμε το Amazon Textract analysis_document API απορία δυνατότητα εξαγωγής πεδίων κάνοντας συγκεκριμένες ερωτήσεις. Δεν χρειάζεται να γνωρίζετε τη δομή των δεδομένων στο έγγραφο (πίνακας, φόρμα, υπονοούμενο πεδίο, ένθετα δεδομένα) ή να ανησυχείτε για παραλλαγές μεταξύ των εκδόσεων και των μορφών εγγράφων. Τα ερωτήματα χρησιμοποιούν έναν συνδυασμό οπτικών, χωρικών και γλωσσικών ενδείξεων για την εξαγωγή των πληροφοριών που αναζητάτε με υψηλή ακρίβεια.

Για να εξαγάγετε τιμή για το πεδίο DLN, μπορείτε να στείλετε ένα αίτημα με ερωτήσεις σε φυσικές γλώσσες, όπως "Τι είναι το DLN;" Το Amazon Textract επιστρέφει το κείμενο, την εμπιστοσύνη και άλλα μεταδεδομένα εάν βρει αντίστοιχες πληροφορίες στην εικόνα ή το έγγραφο. Το παρακάτω είναι ένα παράδειγμα αιτήματος ερωτήματος Amazon Textract:

textract.analyze_document(
        Document={'S3Object': {'Bucket': data_bucket, 'Name': s3_key}},
        FeatureTypes=["QUERIES"],
        QueriesConfig={
                'Queries': [
                    {
                        'Text': 'What is the DLN?',
                       'Alias': 'The DLN number - unique identifier of the form'
                    }
               ]
        }
)

Ορίστε το μοντέλο δεδομένων

Το δείγμα λύσης κατασκευάζει τα δεδομένα σε μια δομημένη μορφή για να εξυπηρετήσει τη γενική αξιολόγηση επιχειρηματικών κανόνων. Για να διατηρήσετε τις εξαγόμενες τιμές, μπορείτε να ορίσετε ένα μοντέλο δεδομένων για κάθε σελίδα εγγράφου. Η παρακάτω εικόνα δείχνει πώς το κείμενο στη σελίδα 1 αντιστοιχίζεται στα πεδία JSON.

Κάθε πεδίο αντιπροσωπεύει το κείμενο, το πλαίσιο ελέγχου ή το κελί πίνακα/φόρμας ενός εγγράφου στη σελίδα. Το αντικείμενο JSON μοιάζει με τον ακόλουθο κώδικα:

{
    "dln": {
        "value": "93493319020929",
        "confidence": 0.9765, 
        "block": {} 
    },
    "omb_no": {
        "value": "1545-0047",
        "confidence": 0.9435,
        "block": {}
    },
    ...
}

Μπορείτε να βρείτε τον λεπτομερή ορισμό της δομής JSON στο GitHub repo.

Αξιολογήστε τα δεδομένα σε σχέση με τους επιχειρηματικούς κανόνες

Το δείγμα λύσης συνοδεύεται από μια κλάση Condition—μια μηχανή γενικών κανόνων που λαμβάνει τα εξαγόμενα δεδομένα (όπως ορίζονται στο μοντέλο δεδομένων) και τους κανόνες (όπως ορίζονται στους προσαρμοσμένους επιχειρηματικούς κανόνες). Επιστρέφει δύο λίστες με αποτυχημένες και ικανοποιημένες συνθήκες. Μπορούμε να χρησιμοποιήσουμε το αποτέλεσμα για να αποφασίσουμε εάν θα πρέπει να στείλουμε το έγγραφο στο Amazon A2I για ανθρώπινη εξέταση.

Ο πηγαίος κώδικας της κλάσης συνθήκης βρίσκεται στο δείγμα GitHub repo. Υποστηρίζει τη βασική λογική επικύρωσης, όπως την επικύρωση του μήκους μιας συμβολοσειράς, του εύρους τιμών και του ορίου βαθμολογίας εμπιστοσύνης. Μπορείτε να τροποποιήσετε τον κώδικα για να υποστηρίζει περισσότερους τύπους συνθηκών και πολύπλοκη λογική επικύρωσης.

Δημιουργήστε μια προσαρμοσμένη διεπαφή ιστού Amazon A2I

Το Amazon A2I σάς επιτρέπει να προσαρμόσετε τη διεπαφή ιστού του αναθεωρητή ορίζοντας α πρότυπο εργασίας εργαζόμενος. Το πρότυπο είναι μια στατική ιστοσελίδα σε HTML και JavaScript. Μπορείτε να μεταβιβάσετε δεδομένα στην προσαρμοσμένη σελίδα αναθεωρητή χρησιμοποιώντας το Υγρό σύνταξη.

Στο διάλυμα δείγματος, το προσαρμοσμένο πρότυπο διεπαφής χρήστη Amazon A2I εμφανίζει τη σελίδα στα αριστερά και τις συνθήκες αποτυχίας στα δεξιά. Οι αναθεωρητές μπορούν να το χρησιμοποιήσουν για να διορθώσουν την τιμή εξαγωγής και να προσθέσουν τα σχόλιά τους.

Το παρακάτω στιγμιότυπο οθόνης δείχνει την προσαρμοσμένη διεπαφή χρήστη Amazon A2I. Εμφανίζει το πρωτότυπο έγγραφο εικόνας στα αριστερά και τις ακόλουθες αποτυχημένες συνθήκες στα δεξιά:

• Οι αριθμοί DLN πρέπει να είναι 16 χαρακτήρες. Το πραγματικό DLN έχει 15 χαρακτήρες.
• Η βαθμολογία εμπιστοσύνης του employer_id είναι χαμηλότερη από 99%. Η πραγματική βαθμολογία εμπιστοσύνης είναι περίπου 98%.

Οι αναθεωρητές μπορούν να επαληθεύσουν με μη αυτόματο τρόπο αυτά τα αποτελέσματα και να προσθέσουν σχόλια στο ΑΛΛΑΓΗ ΛΟΓΟΥ πλαίσια κειμένου.

Για περισσότερες πληροφορίες σχετικά με την ενσωμάτωση του Amazon A2I σε οποιαδήποτε προσαρμοσμένη ροή εργασίας ML, ανατρέξτε στο πάνω από 60 προκατασκευασμένα πρότυπα εργαζομένων στο αποθετήριο GitHub και Χρησιμοποιήστε το Amazon Augmented AI με προσαρμοσμένους τύπους εργασιών.

Επεξεργαστείτε την έξοδο Amazon A2I

Αφού ο αναθεωρητής χρησιμοποιώντας το προσαρμοσμένο περιβάλλον χρήστη Amazon A2I επαληθεύσει το αποτέλεσμα και επιλέξει Υποβολη, το Amazon A2I αποθηκεύει ένα αρχείο JSON στον φάκελο του κάδου S3. Το αρχείο JSON περιλαμβάνει τις ακόλουθες πληροφορίες σε επίπεδο ρίζας:

• Ορισμός ροής Amazon A2I ARN και όνομα ανθρώπινου βρόχου
• Ανθρώπινες απαντήσεις (η συμβολή του κριτικού που συλλέγεται από την προσαρμοσμένη διεπαφή χρήστη Amazon A2I)
• Εισαγωγή περιεχομένου (τα αρχικά δεδομένα που αποστέλλονται στο Amazon A2I κατά την έναρξη της εργασίας ανθρώπινου βρόχου)

Το παρακάτω είναι ένα δείγμα JSON που δημιουργήθηκε από το Amazon A2I:

{
  "flowDefinitionArn": "arn:aws:sagemaker:us-east-1:711334203977:flow-definition/a2i-custom-ui-demo-workflow",
  "humanAnswers": [
    {
      "acceptanceTime": "2022-08-23T15:23:53.488Z",
      "answerContent": {
        "Change Reason 1": "Missing X at the end.",
        "True Value 1": "93493319020929X",
        "True Value 2": "04-3018996"
      },
      "submissionTime": "2022-08-23T15:24:47.991Z",
      "timeSpentInSeconds": 54.503,
      "workerId": "94de99f1bc6324b8",
      "workerMetadata": {
        "identityData": {
          "identityProviderType": "Cognito",
          "issuer": "https://cognito-idp.us-east-1.amazonaws.com/us-east-1_URd6f6sie",
          "sub": "cef8d484-c640-44ea-8369-570cdc132d2d"
        }
      }
    }
  ],
  "humanLoopName": "custom-loop-9b4e67ff-2c9f-40f9-aae5-0e26316c905c",
  "inputContent": {...} # the original input send to A2I when starting the human review task
}

Μπορείτε να εφαρμόσετε τη λογική εξαγωγής, μετασχηματισμού και φόρτωσης (ETL) για να αναλύσετε πληροφορίες από την έξοδο JSON A2I του Amazon και να τις αποθηκεύσετε σε αρχείο ή βάση δεδομένων. Το διάλυμα δείγματος συνοδεύεται από α Αρχείο CSV με επεξεργασμένα δεδομένα. Μπορείτε να το χρησιμοποιήσετε για να δημιουργήσετε έναν πίνακα εργαλείων BI ακολουθώντας τις οδηγίες στην επόμενη ενότητα.

Δημιουργήστε έναν πίνακα ελέγχου στο Amazon QuickSight

Η λύση του δείγματος περιλαμβάνει ένα στάδιο αναφοράς με έναν πίνακα ελέγχου οπτικοποίησης που εξυπηρετείται από το Amazon QuickSight. Ο πίνακας εργαλείων BI εμφανίζει βασικές μετρήσεις, όπως τον αριθμό των εγγράφων που υποβλήθηκαν σε επεξεργασία αυτόματα ή μη αυτόματα, τα πιο δημοφιλή πεδία που απαιτούσαν έλεγχο από τον άνθρωπο και άλλες πληροφορίες. Αυτός ο πίνακας εργαλείων μπορεί να σας βοηθήσει να αποκτήσετε μια επίβλεψη του αγωγού επεξεργασίας εγγράφων και να αναλύσετε τους συνήθεις λόγους που προκαλούν ανθρώπινη αναθεώρηση. Μπορείτε να βελτιστοποιήσετε τη ροή εργασίας μειώνοντας περαιτέρω την ανθρώπινη συνεισφορά.

Το δείγμα πίνακα ελέγχου περιλαμβάνει βασικές μετρήσεις. Μπορείτε να επεκτείνετε τη λύση χρησιμοποιώντας το Amazon QuickSight για να εμφανίσετε περισσότερες πληροφορίες για τα δεδομένα.

Επεκτείνετε τη λύση για να υποστηρίξετε περισσότερα έγγραφα και επιχειρηματικούς κανόνες

Για να επεκτείνετε τη λύση για την υποστήριξη περισσότερων σελίδων εγγράφων με αντίστοιχους επιχειρηματικούς κανόνες, πρέπει να κάνετε τις ακόλουθες αλλαγές:

• Δημιουργήστε ένα μοντέλο δεδομένων για τη νέα σελίδα στη δομή JSON που αντιπροσωπεύει όλες τις τιμές που θέλετε να εξαγάγετε από τις σελίδες. Αναφέρομαι στο Ορίστε το μοντέλο δεδομένων ενότητα για λεπτομερή μορφή.
• Χρησιμοποιήστε το Amazon Textract για να εξαγάγετε κείμενο από το έγγραφο και να συμπληρώσετε τιμές στο μοντέλο δεδομένων.
• Προσθέστε επιχειρηματικούς κανόνες που αντιστοιχούν στη σελίδα σε μορφή JSON. Αναφέρομαι στο Προσαρμόστε τους επιχειρηματικούς κανόνες ενότητα για τη λεπτομερή μορφή.

Η προσαρμοσμένη διεπαφή χρήστη Amazon A2I στη λύση είναι γενική, η οποία δεν απαιτεί αλλαγή για την υποστήριξη νέων επιχειρηματικών κανόνων.

Συμπέρασμα

Η έξυπνη επεξεργασία εγγράφων είναι σε μεγάλη ζήτηση και οι εταιρείες χρειάζονται έναν προσαρμοσμένο αγωγό για να υποστηρίξουν τη μοναδική επιχειρηματική τους λογική. Το Amazon A2I προσφέρει επίσης ένα ενσωματωμένο πρότυπο ενσωματωμένο με το Amazon Textract για την εφαρμογή των περιπτώσεων χρήσης ανθρώπινης κριτικής. Σας επιτρέπει επίσης να προσαρμόσετε τη σελίδα αναθεωρητή ώστε να εξυπηρετεί ευέλικτες απαιτήσεις.

Αυτή η ανάρτηση σάς καθοδήγησε σε μια λύση αναφοράς χρησιμοποιώντας το Amazon Textract και το Amazon A2I για τη δημιουργία ενός αγωγού IDP που υποστηρίζει ευέλικτους επιχειρηματικούς κανόνες. Μπορείτε να το δοκιμάσετε χρησιμοποιώντας το Σημειωματάριο Jupyter στο αποθετήριο εργαστηρίου GitHub IDP.

Σχετικά με τους συγγραφείς

Λάνα Ζανγκ είναι αρχιτέκτονας λύσεων Sr. στην ομάδα Υπηρεσιών AWS WWSO AI με εξειδίκευση σε AI και ML για έξυπνη επεξεργασία εγγράφων και εποπτεία περιεχομένου. Είναι παθιασμένη με την προώθηση των υπηρεσιών AWS AI και τη βοήθεια των πελατών να μεταμορφώσουν τις επιχειρηματικές τους λύσεις.

Σονάλι Σάχου είναι η ηγετική ομάδα του Intelligent Document Processing AI/ML Solutions Architect στην Amazon Web Services. Είναι παθιασμένη τεχνόφιλη και της αρέσει να εργάζεται με πελάτες για την επίλυση σύνθετων προβλημάτων χρησιμοποιώντας την καινοτομία. Ο βασικός τομέας εστίασής της είναι η Τεχνητή Νοημοσύνη και η Μηχανική Μάθηση για Ευφυή Επεξεργασία Εγγράφων.