Δημιουργήστε ένα σύστημα ειδοποίησης σε πραγματικό χρόνο που βασίζεται σε ειδήσεις με το Twitter, το Amazon SageMaker και το Hugging Face

Σήμερα, τα μέσα κοινωνικής δικτύωσης είναι μια τεράστια πηγή ειδήσεων. Οι χρήστες βασίζονται σε πλατφόρμες όπως το Facebook και το Twitter για την κατανάλωση ειδήσεων. Για ορισμένους κλάδους όπως οι ασφαλιστικές εταιρείες, οι πρώτοι ερωτηθέντες, οι αρχές επιβολής του νόμου και οι κυβερνητικές υπηρεσίες, η δυνατότητα γρήγορης επεξεργασίας ειδήσεων σχετικά με σχετικά συμβάντα που συμβαίνουν μπορεί να τους βοηθήσει να αναλάβουν δράση όσο αυτά τα γεγονότα εξακολουθούν να εκτυλίσσονται.

Δεν είναι ασυνήθιστο για οργανισμούς που προσπαθούν να εξάγουν αξία από δεδομένα κειμένου να αναζητούν μια λύση που δεν περιλαμβάνει την εκπαίδευση ενός σύνθετου μοντέλου NLP (επεξεργασία φυσικής γλώσσας). Για αυτούς τους οργανισμούς, η χρήση ενός προεκπαιδευμένου μοντέλου NLP είναι πιο πρακτική. Επιπλέον, εάν το επιλεγμένο μοντέλο δεν ικανοποιεί τις μετρήσεις επιτυχίας τους, οι οργανισμοί θέλουν να είναι σε θέση να επιλέξουν εύκολα ένα άλλο μοντέλο και να το επαναξιολογήσουν.

Προς το παρόν, είναι ευκολότερο από ποτέ η εξαγωγή πληροφοριών από δεδομένα κειμένου χάρη στα ακόλουθα:

• Η άνοδος των υπερσύγχρονων αρχιτεκτονικών NLP γενικής χρήσης, όπως οι μετασχηματιστές
• Η ικανότητα που έχουν οι προγραμματιστές και οι επιστήμονες δεδομένων να δημιουργούν, να εκπαιδεύουν και να αναπτύσσουν γρήγορα μοντέλα μηχανικής μάθησης (ML) σε κλίμακα στο cloud με υπηρεσίες όπως Amazon Sage Maker
• Η διαθεσιμότητα χιλιάδων προεκπαιδευμένων μοντέλων NLP σε εκατοντάδες γλώσσες και με υποστήριξη για πολλαπλά πλαίσια που παρέχονται από την κοινότητα σε πλατφόρμες όπως Humbing Face Hub

Σε αυτήν την ανάρτηση, σας δείχνουμε πώς να δημιουργήσετε ένα σύστημα ειδοποίησης σε πραγματικό χρόνο που καταναλώνει ειδήσεις από το Twitter και ταξινομεί τα tweets χρησιμοποιώντας ένα προεκπαιδευμένο μοντέλο από το Hugging Face Hub. Μπορείτε να χρησιμοποιήσετε αυτήν τη λύση για ταξινόμηση μηδενικής λήψης, που σημαίνει ότι μπορείτε να ταξινομήσετε τα tweets σε σχεδόν οποιοδήποτε σύνολο κατηγοριών και να αναπτύξετε το μοντέλο με το SageMaker για συμπέρασμα σε πραγματικό χρόνο.

Εναλλακτικά, εάν αναζητάτε πληροφορίες σχετικά με τις συνομιλίες των πελατών σας και εμβαθύνετε την αναγνωρισιμότητα της επωνυμίας αναλύοντας τις αλληλεπιδράσεις στα μέσα κοινωνικής δικτύωσης, σας συνιστούμε να ελέγξετε τις Πίνακας ελέγχου κοινωνικών μέσων που βασίζεται σε AI. Η λύση χρησιμοποιεί Κατανοήστε το Amazon, μια πλήρως διαχειριζόμενη υπηρεσία NLP που αποκαλύπτει πολύτιμες πληροφορίες και συνδέσεις σε κείμενο χωρίς να απαιτείται εμπειρία μηχανικής εκμάθησης.

Εκμάθηση μηδενικής λήψης

Τα πεδία του NLP και της κατανόησης φυσικής γλώσσας (NLU) έχουν εξελιχθεί γρήγορα για να αντιμετωπίσουν περιπτώσεις χρήσης που περιλαμβάνουν ταξινόμηση κειμένου, απάντηση ερωτήσεων, σύνοψη, δημιουργία κειμένου και πολλά άλλα. Αυτή η εξέλιξη κατέστη δυνατή, εν μέρει, χάρη στην άνοδο των αρχιτεκτονικών αιχμής, γενικής χρήσης, όπως οι μετασχηματιστές, αλλά και στη διαθεσιμότητα περισσότερων και καλύτερης ποιότητας κειμένων που διατίθενται για την εκπαίδευση τέτοιων μοντέλων.

Η αρχιτεκτονική του μετασχηματιστή είναι ένα πολύπλοκο νευρωνικό δίκτυο που απαιτεί εξειδίκευση στον τομέα και τεράστιο όγκο δεδομένων προκειμένου να εκπαιδευτεί από την αρχή. Μια κοινή πρακτική είναι να μεταφέρετε έναν προεκπαιδευμένο μετασχηματιστή τελευταίας τεχνολογίας όπως BERT, RoBERTa, T5, GPT-2 ή DistilBERT και να ρυθμίσετε το μοντέλο σε μια συγκεκριμένη περίπτωση χρήσης.

Ωστόσο, ακόμη και η εκτέλεση εκμάθησης μεταφοράς σε ένα προεκπαιδευμένο μοντέλο NLP μπορεί συχνά να είναι μια πρόκληση, απαιτώντας μεγάλες ποσότητες δεδομένων κειμένου με ετικέτα και μια ομάδα ειδικών για την επιμέλεια των δεδομένων. Αυτή η πολυπλοκότητα εμποδίζει τους περισσότερους οργανισμούς να χρησιμοποιήσουν αποτελεσματικά αυτά τα μοντέλα, αλλά η μηδενική μάθηση βοηθά τους επαγγελματίες και τους οργανισμούς ML να ξεπεράσουν αυτό το μειονέκτημα.

Η εκμάθηση μηδενικής λήψης είναι μια συγκεκριμένη εργασία ML στην οποία ένας ταξινομητής μαθαίνει σε ένα σύνολο ετικετών κατά τη διάρκεια της εκπαίδευσης και στη συνέχεια κατά τη διάρκεια της εξαγωγής συμπερασμάτων αξιολογείται σε ένα διαφορετικό σύνολο ετικετών που ο ταξινομητής δεν έχει δει ποτέ πριν. Στο NLP, μπορείτε να χρησιμοποιήσετε έναν ταξινομητή ακολουθίας μηδενικών λήψεων που έχει εκπαιδευτεί σε μια εργασία συμπερασμάτων φυσικής γλώσσας (NLI) για να ταξινομήσετε κείμενο χωρίς λεπτομέρεια. Σε αυτήν την ανάρτηση, χρησιμοποιούμε το δημοφιλές NLI BART μοντέλο bart-large-mnli για ταξινόμηση των tweets. Αυτό είναι ένα μεγάλο προ-εκπαιδευμένο μοντέλο (1.6 GB), διαθέσιμο στο Hugging Face model hub.

Η Hugging Face είναι μια εταιρεία τεχνητής νοημοσύνης που διαχειρίζεται μια πλατφόρμα ανοιχτού κώδικα (Hugging Face Hub) με χιλιάδες προεκπαιδευμένα μοντέλα NLP (μετασχηματιστές) σε περισσότερες από 100 διαφορετικές γλώσσες και με υποστήριξη για διαφορετικά πλαίσια όπως το TensorFlow και το PyTorch. Η βιβλιοθήκη μετασχηματιστών βοηθά τους προγραμματιστές και τους επιστήμονες δεδομένων να ξεκινήσουν με πολύπλοκες εργασίες NLP και NLU, όπως ταξινόμηση, εξαγωγή πληροφοριών, απάντηση ερωτήσεων, σύνοψη, μετάφραση και δημιουργία κειμένου.

AWS και Πρόσωπο αγκαλιάς έχουν συνεργαστεί για να απλοποιήσουν και να επιταχύνουν την υιοθέτηση των μοντέλων NLP. Ένα σύνολο από Deep Learning Containers (DLC) για εκπαίδευση και εξαγωγή συμπερασμάτων σε PyTorch ή TensorFlow και εκτιμητές και προγνωστικά Hugging Face για το SageMaker Python SDK είναι πλέον διαθέσιμα. Αυτές οι δυνατότητες βοηθούν τους προγραμματιστές με όλα τα επίπεδα τεχνογνωσίας να ξεκινήσουν εύκολα με το NLP.

Επισκόπηση της λύσης

Παρέχουμε μια λειτουργική λύση που ανακτά tweets σε πραγματικό χρόνο από επιλεγμένους λογαριασμούς Twitter. Για την επίδειξη της λύσης μας, χρησιμοποιούμε τρεις λογαριασμούς, Amazon Web Services (@awscloud), AWS Security (@AWSSecurityInfo), και Amazon Science (@AmazonScience), και ταξινομήστε το περιεχόμενό τους σε μία από τις ακόλουθες κατηγορίες: ασφάλεια, βάση δεδομένων, υπολογισμός, αποθήκευση και μηχανική εκμάθηση. Εάν το μοντέλο επιστρέψει μια κατηγορία με βαθμολογία εμπιστοσύνης μεγαλύτερη από 40%, αποστέλλεται μια ειδοποίηση.

Στο παρακάτω παράδειγμα, το μοντέλο ταξινόμησε ένα tweet από τις υπηρεσίες Web της Amazon στην κατηγορία μηχανικής εκμάθησης, με βαθμολογία εμπιστοσύνης 97%, δημιουργώντας μια ειδοποίηση.

Η λύση βασίζεται σε ένα προεκπαιδευμένο μοντέλο μετασχηματιστή Hugging Face (από το Hugging Face Hub) για την ταξινόμηση των tweets με βάση ένα σύνολο ετικετών που παρέχονται κατά το χρόνο συμπερασμάτων—το μοντέλο δεν χρειάζεται εκπαίδευση. Τα ακόλουθα στιγμιότυπα οθόνης δείχνουν περισσότερα παραδείγματα και τον τρόπο ταξινόμησης τους.

Σας ενθαρρύνουμε να δοκιμάσετε τη λύση μόνοι σας. Απλώς κατεβάστε τον πηγαίο κώδικα από το Αποθετήριο GitHub και ακολουθήστε τις οδηγίες ανάπτυξης στο αρχείο README.

Αρχιτεκτονική λύσεων

Η λύση διατηρεί μια ανοιχτή σύνδεση στο τελικό σημείο του Twitter και, όταν φθάνει ένα νέο tweet, στέλνει ένα μήνυμα σε μια ουρά. Ένας καταναλωτής διαβάζει μηνύματα από την ουρά, καλεί το τελικό σημείο ταξινόμησης και, ανάλογα με τα αποτελέσματα, ειδοποιεί τον τελικό χρήστη.

Το παρακάτω είναι το διάγραμμα αρχιτεκτονικής της λύσης.

Η ροή εργασιών λύσης αποτελείται από τα ακόλουθα στοιχεία:

1. Η λύση βασίζεται στο Stream API του Twitter για τη λήψη tweets που ταιριάζουν με τους διαμορφωμένους κανόνες (tweets από τους λογαριασμούς ενδιαφέροντος) σε πραγματικό χρόνο. Για να γίνει αυτό, μια εφαρμογή που εκτελείται μέσα σε ένα κοντέινερ διατηρεί μια ανοιχτή σύνδεση με το τελικό σημείο του Twitter. Αναφέρομαι σε API Twitter Για περισσότερες πληροφορίες.
2. Το δοχείο λειτουργεί Υπηρεσία ελαστικών εμπορευματοκιβωτίων Amazon (Amazon ECS), μια πλήρως διαχειριζόμενη υπηρεσία ενορχήστρωσης εμπορευματοκιβωτίων που σας διευκολύνει να αναπτύξετε, να διαχειριστείτε και να κλιμακώσετε εφαρμογές με κοντέινερ. Μια μεμονωμένη εργασία εκτελείται σε μια υποδομή χωρίς διακομιστή που διαχειρίζεται AWS Fargate.
3. Το διακριτικό Twitter Bearer αποθηκεύεται με ασφάλεια Κατάστημα παραμέτρων AWS Systems Manager, μια ικανότητα του Διευθυντής συστημάτων AWS που παρέχει ασφαλή, ιεραρχική αποθήκευση για δεδομένα διαμόρφωσης και μυστικά. Η εικόνα του κοντέινερ φιλοξενείται στο Μητρώο εμπορευματοκιβωτίων Amazon Elastic (Amazon ECR), ένα πλήρως διαχειριζόμενο μητρώο κοντέινερ που προσφέρει φιλοξενία υψηλής απόδοσης.
4. Κάθε φορά που φθάνει ένα νέο tweet, η εφαρμογή κοντέινερ τοποθετεί το tweet σε ένα Υπηρεσία απλής ουράς Amazon (Amazon SQS) ουρά. Το Amazon SQS είναι μια πλήρως διαχειριζόμενη υπηρεσία ουράς μηνυμάτων που σας δίνει τη δυνατότητα να αποσυνδέσετε και να κλιμακώσετε μικροϋπηρεσίες, κατανεμημένα συστήματα και εφαρμογές χωρίς διακομιστή.
5. Η λογική της λύσης βρίσκεται σε ένα AWS Lambda λειτουργία. Το Lambda είναι μια υπηρεσία υπολογιστών χωρίς διακομιστές, βασισμένη σε συμβάντα. Η συνάρτηση καταναλώνει νέα tweets από την ουρά και τα ταξινομεί καλώντας ένα τελικό σημείο.
6. Το τελικό σημείο βασίζεται σε ένα μοντέλο Hugging Face και φιλοξενείται στο SageMaker. Το τελικό σημείο εκτελεί το συμπέρασμα και εξάγει την κλάση του tweet.
7. Ανάλογα με την ταξινόμηση, η συνάρτηση δημιουργεί μια ειδοποίηση μέσω Υπηρεσία απλών ειδοποιήσεων Amazon (Amazon SNS), μια πλήρως διαχειριζόμενη υπηρεσία ανταλλαγής μηνυμάτων. Μπορείτε να εγγραφείτε στο θέμα SNS και πολλοί προορισμοί μπορούν να λάβουν αυτήν την ειδοποίηση (βλ Προορισμοί εκδηλώσεων Amazon SNS). Για παράδειγμα, μπορείτε να παραδώσετε την ειδοποίηση στα εισερχόμενα ως μηνύματα email (βλ Ειδοποιήσεις ηλεκτρονικού ταχυδρομείου).

Αναπτύξτε μοντέλα Hugging Face με το SageMaker

Μπορείτε να επιλέξετε οποιοδήποτε από τα περισσότερα από 10,000 διαθέσιμα στο κοινό μοντέλα από το Hub Model Hugging Face και αναπτύξτε τα με το SageMaker χρησιμοποιώντας DLC του Hugging Face Inference.

Οταν χρησιμοποιείτε AWS CloudFormation, επιλέγετε ένα από τα δημόσια διαθέσιμα Δοχεία συμπερασμάτων Hugging Face και διαμορφώστε το μοντέλο και την εργασία. Αυτή η λύση χρησιμοποιεί το facebook/bart-large-mnli μοντέλο και την εργασία ταξινόμησης zero-shot, αλλά μπορείτε να επιλέξετε οποιοδήποτε από τα μοντέλα παρακάτω Ταξινόμηση μηδενικών βολών στο Hugging Face Model Hub. Μπορείτε να τις διαμορφώσετε ορίζοντας τις μεταβλητές περιβάλλοντος HF_MODEL_ID και HF_TASK στο πρότυπο CloudFormation, όπως στον ακόλουθο κώδικα:

SageMakerModel:
  Type: AWS::SageMaker::Model
  Properties:
    ExecutionRoleArn: !GetAtt SageMakerModelRole.Arn
    PrimaryContainer:
      Image: 763104351884.dkr.ecr.us-east-1.amazonaws.com/huggingface-pytorch-inference:1.7-transformers4.6-cpu-py36-ubuntu18.04
      Environment:
        HF_MODEL_ID: facebook/bart-large-mnli
        HF_TASK: zero-shot-classification
        SAGEMAKER_CONTAINER_LOG_LEVEL: 20
        SAGEMAKER_REGION: us-east-1

Εναλλακτικά, εάν δεν χρησιμοποιείτε το AWS CloudFormation, μπορείτε να επιτύχετε τα ίδια αποτελέσματα με λίγες γραμμές κώδικα. Αναφέρομαι σε Αναπτύξτε μοντέλα στο Amazon SageMaker Για περισσότερες πληροφορίες.

Για να ταξινομήσετε το περιεχόμενο, καλείτε απλώς το τελικό σημείο του SageMaker. Το παρακάτω είναι ένα απόσπασμα κώδικα Python:

endpoint_name = os.environ['ENDPOINT_NAME']
labels = os.environ['ENDPOINT_NAME']

data = {
    'inputs': tweet,
    'parameters': {
        'candidate_labels': labels,
        'multi_class': False
    }
}

response = sagemaker.invoke_endpoint(EndpointName=endpoint_name,
                                     ContentType='application/json',
                                     Body=json.dumps(data))

response_body = json.loads(response['Body'].read())

Σημειώστε το Ψευδής αξία για το πολλαπλών_τάξεων παράμετρος που υποδεικνύει ότι το άθροισμα όλων των πιθανοτήτων για κάθε κλάση θα είναι 1.

Βελτιώσεις λύσεων

Μπορείτε να βελτιώσετε τη λύση που προτείνεται εδώ αποθηκεύοντας τα tweets και τα αποτελέσματα του μοντέλου. Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3), μια υπηρεσία αποθήκευσης αντικειμένων, είναι μια επιλογή. Μπορείτε να γράψετε tweets, αποτελέσματα και άλλα μεταδεδομένα ως αντικείμενα JSON σε έναν κάδο S3. Στη συνέχεια, μπορείτε να εκτελέσετε ad hoc ερωτήματα σε σχέση με αυτό το περιεχόμενο χρησιμοποιώντας Αμαζόν Αθηνά, μια διαδραστική υπηρεσία ερωτημάτων που διευκολύνει την ανάλυση δεδομένων στο Amazon S3 χρησιμοποιώντας τυπική SQL.

Μπορείτε να χρησιμοποιήσετε το ιστορικό όχι μόνο για να εξαγάγετε πληροφορίες αλλά και για να εκπαιδεύσετε ένα προσαρμοσμένο μοντέλο. Μπορείτε να χρησιμοποιήσετε την υποστήριξη Hugging Face για να εκπαιδεύσετε ένα μοντέλο με τα δικά σας δεδομένα με το SageMaker. Μάθετε περισσότερα στο Εκτελέστε εκπαίδευση στο Amazon SageMaker.

Θήκες χρήσης σε πραγματικό κόσμο

Οι πελάτες πειραματίζονται ήδη με μοντέλα Hugging Face στο SageMaker. Ασφάλιση Μπολιβάρ, μια κολομβιανή χρηματοοικονομική και ασφαλιστική εταιρεία που ιδρύθηκε το 1939, είναι ένα παράδειγμα.

«Αναπτύξαμε μια λύση ειδοποίησης απειλών για πελάτες και ασφαλιστικούς μεσίτες. Χρησιμοποιούμε προεκπαιδευμένα μοντέλα NLP του Hugging Face για να ταξινομήσουμε tweets από σχετικούς λογαριασμούς για να δημιουργήσουμε ειδοποιήσεις για τους πελάτες μας σε σχεδόν πραγματικό χρόνο ως στρατηγική πρόληψης που βοηθά στον μετριασμό των αξιώσεων. Μια αξίωση προκύπτει επειδή οι πελάτες δεν γνωρίζουν το επίπεδο κινδύνου στον οποίο εκτίθενται. Η λύση μας επιτρέπει να δημιουργήσουμε ευαισθητοποίηση στους πελάτες μας, μετατρέποντας τον κίνδυνο σε κάτι μετρήσιμο σε συγκεκριμένες καταστάσεις».

– Julian Rico, Επικεφαλής Έρευνας και Γνώσης στο Seguros Bolívar.

Ο Seguros Bolívar εργάστηκε με την AWS για να ανακατασκευάσει τη λύση τους. τώρα βασίζεται στο SageMaker και μοιάζει με αυτό που περιγράφεται σε αυτήν την ανάρτηση.

Συμπέρασμα

Η ταξινόμηση Zero-shot είναι ιδανική όταν έχετε λίγα δεδομένα για να εκπαιδεύσετε έναν προσαρμοσμένο ταξινομητή κειμένου ή όταν δεν έχετε την οικονομική δυνατότητα να εκπαιδεύσετε ένα προσαρμοσμένο μοντέλο NLP. Για περιπτώσεις εξειδικευμένης χρήσης, όταν το κείμενο βασίζεται σε συγκεκριμένες λέξεις ή όρους, είναι προτιμότερο να χρησιμοποιείτε ένα εποπτευόμενο μοντέλο ταξινόμησης που βασίζεται σε ένα προσαρμοσμένο σετ εκπαίδευσης.

Σε αυτήν την ανάρτηση, σας δείξαμε πώς να δημιουργήσετε έναν ταξινομητή ειδήσεων χρησιμοποιώντας ένα μοντέλο μηδενικής λήψης Hugging Face στο AWS. Χρησιμοποιήσαμε το Twitter ως πηγή ειδήσεων, αλλά μπορείτε να επιλέξετε μια πηγή ειδήσεων που είναι πιο κατάλληλη για τις συγκεκριμένες ανάγκες σας. Επιπλέον, μπορείτε εύκολα να αλλάξετε το μοντέλο, απλώς καθορίστε το μοντέλο της επιλογής σας στο πρότυπο CloudFormation.

Για τον πηγαίο κώδικα, ανατρέξτε στο Αποθετήριο GitHub Περιλαμβάνει τις πλήρεις οδηγίες εγκατάστασης. Μπορείτε να το κλωνοποιήσετε, να αλλάξετε, να το αναπτύξετε και να το εκτελέσετε μόνοι σας. Μπορείτε επίσης να το χρησιμοποιήσετε ως σημείο εκκίνησης και να προσαρμόσετε τις κατηγορίες και τη λογική ειδοποίησης ή να δημιουργήσετε μια άλλη λύση για παρόμοια περίπτωση χρήσης.

Δοκιμάστε το και πείτε μας τη γνώμη σας. Όπως πάντα, περιμένουμε τα σχόλιά σας. Μπορείτε να το στείλετε στις συνήθεις επαφές υποστήριξης AWS ή στο Φόρουμ AWS για το SageMaker.

Σχετικά με τους συγγραφείς

Ντέιβιντ Λαρέδο είναι Αρχιτέκτονας Πρωτοτύπων στο AWS Envision Engineering στο LATAM, όπου έχει βοηθήσει στην ανάπτυξη πολλαπλών πρωτοτύπων μηχανικής μάθησης. Στο παρελθόν έχει εργαστεί ως Μηχανικός Μηχανικής Μάθησης και ασχολείται με τη μηχανική μάθηση για πάνω από 5 χρόνια. Οι τομείς ενδιαφέροντός του είναι το NLP, οι χρονοσειρές και το end-to-end ML.

Ραφαέλ Βέρνεκ είναι Senior Prototyping Architect στην AWS Envision Engineering, με έδρα τη Βραζιλία. Προηγουμένως, εργάστηκε ως Μηχανικός Ανάπτυξης Λογισμικού στο Amazon.com.br και στο Amazon RDS Performance Insights.

Vikram Elango είναι Αρχιτέκτονας Ειδικών Λύσεων AI/ML στην Amazon Web Services, με έδρα τη Βιρτζίνια των ΗΠΑ. Η Vikram βοηθά τους πελάτες του χρηματοοικονομικού και ασφαλιστικού κλάδου με ηγετικό σχεδιασμό και σκέψη να δημιουργήσουν και να αναπτύξουν εφαρμογές μηχανικής εκμάθησης σε κλίμακα. Επί του παρόντος επικεντρώνεται στην επεξεργασία φυσικής γλώσσας, στην υπεύθυνη τεχνητή νοημοσύνη, στη βελτιστοποίηση συμπερασμάτων και στην κλιμάκωση της ML σε όλη την επιχείρηση. Στον ελεύθερο χρόνο του, του αρέσει να ταξιδεύει, να κάνει πεζοπορία, να μαγειρεύει και να κατασκηνώνει με την οικογένειά του.