Η diarization ηχείων, μια βασική διαδικασία στην ανάλυση ήχου, τμηματοποιεί ένα αρχείο ήχου με βάση την ταυτότητα του ηχείου. Αυτή η ανάρτηση εμβαθύνει στην ενσωμάτωση του PyAnnote του Hugging Face για διάκριση ηχείων Amazon Sage Maker ασύγχρονα τελικά σημεία.
Παρέχουμε έναν ολοκληρωμένο οδηγό σχετικά με τον τρόπο ανάπτυξης λύσεων τμηματοποίησης ηχείων και συμπλέγματος χρησιμοποιώντας το SageMaker στο AWS Cloud. Μπορείτε να χρησιμοποιήσετε αυτήν τη λύση για εφαρμογές που αφορούν εγγραφές ήχου με πολλά ηχεία (πάνω από 100).
Επισκόπηση λύσεων
Μεταγραφή Amazon είναι η ευρέως χρησιμοποιούμενη υπηρεσία για diarization ηχείων στο AWS. Ωστόσο, για μη υποστηριζόμενες γλώσσες, μπορείτε να χρησιμοποιήσετε άλλα μοντέλα (στην περίπτωσή μας, PyAnnote) που θα αναπτυχθούν στο SageMaker για συμπεράσματα. Για σύντομα αρχεία ήχου όπου το συμπέρασμα διαρκεί έως και 60 δευτερόλεπτα, μπορείτε να χρησιμοποιήσετε συμπέρασμα σε πραγματικό χρόνο. Για περισσότερο από 60 δευτερόλεπτα, ασύγχρονη θα πρέπει να χρησιμοποιηθεί το συμπέρασμα. Το πρόσθετο πλεονέκτημα της ασύγχρονης εξαγωγής συμπερασμάτων είναι η εξοικονόμηση κόστους με την αυτόματη κλιμάκωση του αριθμού παρουσιών στο μηδέν όταν δεν υπάρχουν αιτήματα για επεξεργασία.
Αγκαλιάζοντας το πρόσωπο είναι ένας δημοφιλής κόμβος ανοιχτού κώδικα για μοντέλα μηχανικής μάθησης (ML). Το AWS και το Hugging Face έχουν α εταιρική σχέση που επιτρέπει την απρόσκοπτη ενσωμάτωση μέσω του SageMaker με ένα σετ AWS Deep Learning Containers (DLC) για εκπαίδευση και εξαγωγή συμπερασμάτων σε PyTorch ή TensorFlow και εκτιμητές και προγνωστικά Hugging Face για το SageMaker Python SDK. Οι δυνατότητες και οι δυνατότητες του SageMaker βοηθούν τους προγραμματιστές και τους επιστήμονες δεδομένων να ξεκινήσουν με ευκολία την επεξεργασία φυσικής γλώσσας (NLP) στο AWS.
Η ενσωμάτωση αυτής της λύσης περιλαμβάνει τη χρήση του προεκπαιδευμένου μοντέλου διάκρισης ηχείων του Hugging Face χρησιμοποιώντας το Βιβλιοθήκη PyAnnote. Το PyAnnote είναι ένα κιτ εργαλείων ανοιχτού κώδικα γραμμένο σε Python για ημερολόγιο ηχείων. Αυτό το μοντέλο, εκπαιδευμένο στο δείγμα δεδομένων ήχου, επιτρέπει την αποτελεσματική κατάτμηση ηχείων σε αρχεία ήχου. Το μοντέλο αναπτύσσεται στο SageMaker ως μια ασύγχρονη ρύθμιση τελικού σημείου, παρέχοντας αποτελεσματική και επεκτάσιμη επεξεργασία των εργασιών diarization.
Το παρακάτω διάγραμμα απεικονίζει την αρχιτεκτονική λύσεων.
Για αυτήν την ανάρτηση, χρησιμοποιούμε το ακόλουθο αρχείο ήχου.
Τα στερεοφωνικά ή πολυκαναλικά αρχεία ήχου υποβιβάζονται αυτόματα σε μονοφωνικό με τον μέσο όρο των καναλιών. Τα αρχεία ήχου που λαμβάνονται με διαφορετικό ρυθμό επαναδειγματοληψίας στα 16 kHz αυτόματα κατά τη φόρτωση.
Προϋποθέσεις
Συμπληρώστε τις παρακάτω προϋποθέσεις:
- Δημιουργήστε έναν τομέα SageMaker.
- Βεβαιωθείτε ότι είστε Διαχείριση ταυτότητας και πρόσβασης AWS Ο χρήστης (IAM) έχει τα απαραίτητα δικαιώματα πρόσβασης για τη δημιουργία α Ρόλος SageMaker.
- Βεβαιωθείτε ότι ο λογαριασμός AWS έχει ένα όριο υπηρεσίας για τη φιλοξενία ενός τερματικού σημείου SageMaker για μια παρουσία ml.g5.2xlarge.
Δημιουργήστε μια συνάρτηση μοντέλου για πρόσβαση στο ημερολόγιο ηχείων PyAnnote από το Hugging Face
Μπορείτε να χρησιμοποιήσετε το Hugging Face Hub για να αποκτήσετε πρόσβαση στο επιθυμητό προ-εκπαιδευμένο Μοντέλο διάκρισης ηχείων PyAnnote. Χρησιμοποιείτε το ίδιο σενάριο για τη λήψη του αρχείου μοντέλου όταν δημιουργείτε το τελικό σημείο του SageMaker.
Δείτε τον ακόλουθο κώδικα:
Συσκευάστε τον κωδικό μοντέλου
Προετοιμάστε βασικά αρχεία όπως το inference.py, το οποίο περιέχει τον κώδικα συμπερασμάτων:
Προετοιμάστε ένα requirements.txt
αρχείο, το οποίο περιέχει τις απαιτούμενες βιβλιοθήκες Python που είναι απαραίτητες για την εκτέλεση του συμπεράσματος:
Τέλος, συμπιέστε το inference.py
και τα αρχεία customers.txt και αποθηκεύστε τα ως model.tar.gz
:
Διαμορφώστε ένα μοντέλο SageMaker
Καθορίστε έναν πόρο μοντέλου SageMaker προσδιορίζοντας το URI εικόνας, τη θέση δεδομένων μοντέλου Απλή υπηρεσία αποθήκευσης Amazon (S3) και ο ρόλος του SageMaker:
Ανεβάστε το μοντέλο στο Amazon S3
Ανεβάστε το συμπιεσμένο αρχείο μοντέλου PyAnnote Hugging Face σε έναν κάδο S3:
Δημιουργήστε ένα ασύγχρονο τελικό σημείο του SageMaker
Διαμορφώστε ένα ασύγχρονο τελικό σημείο για την ανάπτυξη του μοντέλου στο SageMaker χρησιμοποιώντας την παρεχόμενη διαμόρφωση ασύγχρονων συμπερασμάτων:
Δοκιμάστε το τελικό σημείο
Αξιολογήστε τη λειτουργικότητα του τελικού σημείου στέλνοντας ένα αρχείο ήχου για diarization και ανακτώντας την έξοδο JSON που είναι αποθηκευμένη στην καθορισμένη διαδρομή εξόδου S3:
Για να αναπτύξετε αυτήν τη λύση σε κλίμακα, προτείνουμε να χρησιμοποιήσετε AWS Lambda, Υπηρεσία απλών ειδοποιήσεων Amazon (Amazon SNS), ή Υπηρεσία απλής ουράς Amazon (Amazon SQS). Αυτές οι υπηρεσίες έχουν σχεδιαστεί για επεκτασιμότητα, αρχιτεκτονικές που βασίζονται σε συμβάντα και αποτελεσματική χρήση πόρων. Μπορούν να βοηθήσουν στην αποσύνδεση της ασύγχρονης διαδικασίας εξαγωγής συμπερασμάτων από την επεξεργασία των αποτελεσμάτων, επιτρέποντάς σας να κλιμακώνετε κάθε στοιχείο ανεξάρτητα και να χειρίζεστε πιο αποτελεσματικά τις εκρήξεις αιτημάτων συμπερασμάτων.
Αποτελέσματα
Η έξοδος του μοντέλου αποθηκεύεται στο s3://sagemaker-xxxx /async_inference/output/.
Η έξοδος δείχνει ότι η ηχογράφηση έχει τμηματοποιηθεί σε τρεις στήλες:
- Έναρξη (χρόνος έναρξης σε δευτερόλεπτα)
- Λήξη (χρόνος λήξης σε δευτερόλεπτα)
- Ηχείο (ετικέτα ηχείου)
Ο παρακάτω κώδικας δείχνει ένα παράδειγμα των αποτελεσμάτων μας:
εκκαθάριση
Μπορείτε να ορίσετε μια πολιτική κλιμάκωσης στο μηδέν ορίζοντας το MinCapacity σε 0. ασύγχρονη συμπέρασμα σας επιτρέπει να κλιμακώσετε αυτόματα στο μηδέν χωρίς αιτήματα. Δεν χρειάζεται να διαγράψετε το τελικό σημείο Ζυγός από το μηδέν όταν χρειάζεται ξανά, μειώνοντας το κόστος όταν δεν χρησιμοποιείται. Δείτε τον παρακάτω κώδικα:
- SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
- PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
- PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
- PlatoESG. Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
- PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
- πηγή: https://aws.amazon.com/blogs/machine-learning/deploy-a-hugging-face-pyannote-speaker-diarization-model-on-amazon-sagemaker-as-an-asynchronous-endpoint/
- :έχει
- :είναι
- :δεν
- :που
- $UP
- 1
- 10
- 100
- 11
- 118
- 12
- 13
- 14
- 16
- 17
- 23
- 25
- 26%
- 27
- 28
- 31
- 60
- 7
- 8
- 9
- a
- Σχετικα
- πρόσβαση
- πρόσβαση
- συμβιβαστικός
- Λογαριασμός
- απέναντι
- προσθέτω
- προστιθέμενη
- ρυθμίζει
- προηγμένες
- πάλι
- AI
- Υπηρεσίες AI
- AI / ML
- Επιτρέποντας
- επιτρέπει
- Επίσης
- Amazon
- Amazon Sage Maker
- Amazon υπηρεσίες Web
- an
- ανάλυση
- analytics
- και
- κάθε
- Εφαρμογή
- εφαρμογές
- πλησιάζω
- αρχιτεκτονική
- αρχιτεκτονικές
- ΕΙΝΑΙ
- γύρω
- AS
- At
- Προσπάθειες
- ήχου
- αυτόματη
- αυτομάτως
- κατά μέσο όρο
- AWS
- βασίζονται
- BE
- ήταν
- όφελος
- οφέλη
- μεταξύ
- επιχείρηση
- επιχειρήσεις
- by
- CAN
- δυνατότητες
- περίπτωση
- περιπτώσεις
- Αλλαγές
- κανάλια
- τάξη
- πελάτης
- Backup
- ομαδοποίηση
- κωδικός
- Στήλες
- σχόλια
- Κοινός
- συστατικό
- περιεκτικός
- έννοια
- ανταγωνιστής
- διαμόρφωση
- Εμπορευματοκιβώτια
- Περιέχει
- ελέγχους
- Κόστος
- εξοικονόμηση κόστους
- Δικαστικά έξοδα
- μετράνε
- δημιουργία
- δημιουργία
- Πελάτες
- ημερομηνία
- μοιρασιά
- βαθύς
- βαθιά μάθηση
- ορίζεται
- παραδώσει
- ντελ
- επίδειξη
- παρατάσσω
- αναπτυχθεί
- ανάπτυξη
- Υπηρεσίες
- σχεδιασμένα
- επιθυμητή
- αναπτύχθηκε
- Εργολάβος
- προγραμματιστές
- Ανάπτυξη
- διάγραμμα
- διαφορετικές
- ψηφιακό
- ψηφιακή Μετασχηματισμού
- κατάλογο
- έγγραφα
- Μην
- κατέβασμα
- δυναμικά
- κάθε
- ευκολία
- Αποτελεσματικός
- αποτελεσματικά
- αποτελεσματικός
- αποτελεσματικά
- δίνει τη δυνατότητα
- τέλος
- Τελικό σημείο
- σφάλμα
- ουσιώδης
- παράδειγμα
- Εκτός
- εμπειρία
- διερευνήσει
- Πρόσωπο
- Χαρακτηριστικά
- Αρχεία
- Αρχεία
- Εξής
- Για
- μορφή
- από
- λειτουργία
- λειτουργικότητα
- γενετική
- παίρνω
- να πάρει
- GitHub
- καθοδηγήσει
- λαβή
- Έχω
- he
- βοήθεια
- βοήθησε
- βοηθά
- του
- φιλοξενία
- Πως
- Πώς να
- Ωστόσο
- HTML
- http
- HTTPS
- Hub
- Πρόσωπο αγκαλιάς
- Εκατοντάδες
- Ταυτότητα
- if
- απεικονίζει
- εικόνα
- εφαρμοστεί
- εισαγωγή
- in
- ανεξάρτητα
- Ινδία
- παράδειγμα
- Ενσωμάτωση
- ολοκλήρωση
- σε
- περιλαμβάνει
- IT
- ταξίδι
- jpg
- json
- Κλειδί
- επιγραφή
- Γλώσσα
- Γλώσσες
- large
- ξεκινήσει
- μάθηση
- Αφήνει
- βιβλιοθήκες
- Μου αρέσει
- φορτίο
- φόρτωση
- τοποθεσία
- πλέον
- μηχανή
- μάθηση μηχανής
- μέσα
- ML
- μοντέλο
- μοντέλα
- περισσότερο
- πολλαπλούς
- Φυσικό
- Επεξεργασία φυσικής γλώσσας
- απαραίτητος
- Ανάγκη
- που απαιτούνται
- nlp
- Όχι.
- Ν/Α
- κοινοποίηση
- αριθμός
- αντικείμενο
- of
- προσφορές
- on
- ανοίξτε
- ανοικτού κώδικα
- Βελτιστοποιεί
- or
- OS
- ΑΛΛΑ
- δικός μας
- έξω
- παραγωγή
- επί
- φόρμες
- δική
- Πάντα
- μέρος
- μονοπάτι
- δικαιώματα
- αγωγού
- πλατφόρμες
- Πλάτων
- Πληροφορία δεδομένων Plato
- Πλάτωνα δεδομένα
- πολιτική
- Δημοφιλής
- Θέση
- τροφοδοτείται
- Προβλέψεις
- προαπαιτούμενα
- διαδικασια μας
- μεταποίηση
- έργα
- αποδείξεις
- παρέχουν
- παρέχεται
- παρέχει
- χορήγηση
- δημόσιο
- βάζω
- Python
- pytorch
- Ερωτήσεις
- Τιμή
- φθάσουν
- σε πραγματικό χρόνο
- εγγραφή
- μειώνει
- μείωση
- αναφορές
- περιοχή
- κάντε ΕΓΓΡΑΦΗ
- αξιόπιστος
- αντικαθιστώ
- εκπροσωπούν
- αιτήματα
- απαιτείται
- απαιτήσεις
- πόρος
- Υποστηρικτικό υλικό
- απάντησης
- αποτέλεσμα
- Αποτελέσματα
- απόδοση
- Ρόλος
- τρέξιμο
- τρέξιμο
- σοφός
- εμπορικός
- ίδιο
- δείγμα
- Αποθήκευση
- Οικονομίες
- Απεριόριστες δυνατότητες
- επεκτάσιμη
- Κλίμακα
- απολέπιση
- επιστήμονες
- γραφή
- Εφαρμογές
- SDK
- αδιάλειπτη
- άψογα
- δευτερόλεπτα
- τομέας
- δείτε
- κατάτμηση
- τμήματα
- αποστολή
- διαχωρίζοντας
- υπηρεσία
- Υπηρεσίες
- Συνεδρίαση
- συνεδρίες
- σειρά
- τον καθορισμό
- setup
- διάφοροι
- Shape
- Κοντά
- θα πρέπει να
- Δείχνει
- Απλούς
- ενιαίας
- λογισμικό
- ανάπτυξη λογισμικού
- λύση
- Λύσεις
- Πηγή
- Ομιλητής
- ειδικός
- συγκεκριμένες
- καθορίζεται
- προσδιορίζοντας
- ξοδεύει
- διαίρεση
- Εκκίνηση
- ξεκίνησε
- χώρος στο δίσκο
- αποθηκεύονται
- ειλικρινής
- Στρατηγική
- επιτυχία
- προτείνω
- βέβαιος
- σύστημα
- παίρνει
- εργασίες
- tech
- tensorflow
- από
- ότι
- Η
- Εκεί.
- Αυτοί
- αυτοί
- αυτό
- χιλιάδες
- τρία
- Μέσω
- ώρα
- προς την
- σήμερα
- εργαλειοθήκη
- τοπικός
- δάδα
- εκπαιδευμένο
- Εκπαίδευση
- Μεταμόρφωση
- μετασχηματιστές
- προσπαθώ
- ΣΤΡΟΦΗ
- επάνω σε
- χρήση
- μεταχειρισμένος
- Χρήστες
- χρησιμοποιεί
- χρησιμοποιώντας
- Παραλλαγή
- εκδοχή
- Βίντεο
- W
- περιμένετε
- θέλω
- we
- ιστός
- διαδικτυακές υπηρεσίες
- πότε
- Ποιό
- Ο ΟΠΟΊΟΣ
- θα
- με
- εργαζόμενος
- γραπτή
- χρόνια
- Εσείς
- Σας
- zephyrnet
- μηδέν