Kaiutindiarisointi, olennainen prosessi äänianalyysissä, segmentoi äänitiedoston puhujan identiteetin perusteella. Tämä viesti käsittelee Hugging Facen PyAnnoten integrointia kaiuttimien päiväkirjaan Amazon Sage Maker asynkroniset päätepisteet.
Tarjoamme kattavan oppaan kaiuttimien segmentointi- ja klusterointiratkaisujen käyttöönotosta SageMakerin avulla AWS-pilvessä. Voit käyttää tätä ratkaisua sovelluksissa, jotka käsittelevät usean kaiuttimen (yli 100) äänitallenteita.
Ratkaisun yleiskatsaus
Amazonin transkriptio on AWS:n kaiuttimien diarisointipalvelu. Ei-tuetuille kielille voit kuitenkin käyttää muita malleja (tässä tapauksessa PyAnnote), jotka otetaan käyttöön SageMakerissa johtopäätösten tekemiseen. Voit käyttää lyhyitä äänitiedostoja, joissa päättely kestää jopa 60 sekuntia reaaliaikainen johtopäätös. Yli 60 sekuntia, asynkroninen johtopäätöstä tulee käyttää. Asynkronisen päättelyn lisäetu on kustannussäästöt, jotka saadaan skaalaamalla ilmentymien lukumäärä automaattisesti nollaan, kun käsiteltäviä pyyntöjä ei ole.
Halaaminen kasvot on suosittu avoimen lähdekoodin keskus koneoppimismalleille (ML). AWS:llä ja Hugging Facella on a kumppanuus joka mahdollistaa saumattoman integroinnin SageMakerin kautta AWS Deep Learning Containers (DLC) -säilön kanssa PyTorch- tai TensorFlow-harjoittelua ja johtopäätöksiä varten sekä Hugging Face -estimaattorit ja ennustajat SageMaker Python SDK:ta varten. SageMakerin ominaisuudet ja ominaisuudet auttavat kehittäjiä ja datatieteilijöitä pääsemään alkuun luonnollisen kielen käsittelyn (NLP) kanssa AWS:ssä helposti.
Tämän ratkaisun integrointi sisältää Hugging Facen esikoulutetun kaiutindiarisointimallin käyttämisen PyAnnote-kirjasto. PyAnnote on avoimen lähdekoodin työkalusarja, joka on kirjoitettu Pythonissa puhujien päiväkirjaa varten. Tämä malli, joka on koulutettu esimerkkiäänitietojoukosta, mahdollistaa tehokkaan kaiuttimien osioinnin äänitiedostoissa. Malli on otettu käyttöön SageMakerissa asynkronisena päätepistekokoonpanona, joka tarjoaa tehokkaan ja skaalautuvan diarisointitehtävien käsittelyn.
Seuraava kaavio kuvaa ratkaisuarkkitehtuuria.
Tässä viestissä käytämme seuraavaa äänitiedostoa.
Stereo- tai monikanavaiset äänitiedostot alasmiksataan automaattisesti monoiksi laskemalla kanavien keskiarvo. Eri taajuudella näytteitetyt äänitiedostot näytteistetään automaattisesti 16 kHz:iin latauksen yhteydessä.
Edellytykset
Täytä seuraavat edellytykset:
- Luo SageMaker-verkkotunnus.
- Varmista, että olet AWS-henkilöllisyyden ja käyttöoikeuksien hallinta (IAM) käyttäjällä on tarvittavat käyttöoikeudet a SageMakerin rooli.
- Varmista, että AWS-tilillä on palvelukiintiö SageMaker-päätepisteen isännöimiseksi ml.g5.2xlarge-esiintymää varten.
Luo mallitoiminto PyAnnote-kaiuttimen päiväkirjaan pääsemiseksi Hugging Facen kautta
Voit käyttää Hugging Face Hubia päästäksesi haluttuun esikoulutettuun PyAnnote-kaiuttimen diarisointimalli. Käytät samaa komentosarjaa mallitiedoston lataamiseen luodessasi SageMaker-päätepistettä.
Katso seuraava koodi:
Pakkaa mallikoodi
Valmistele tärkeät tiedostot, kuten inference.py, joka sisältää päättelykoodin:
Valmista a requirements.txt
tiedosto, joka sisältää päätelmän suorittamiseen tarvittavat Python-kirjastot:
Purista lopuksi inference.py
ja követelmények.txt-tiedostot ja tallenna se nimellä model.tar.gz
:
Määritä SageMaker-malli
Määritä SageMaker-malliresurssi määrittämällä kuvan URI, mallin tietojen sijainti Amazonin yksinkertainen tallennuspalvelu (S3) ja SageMakerin rooli:
Lataa malli Amazon S3:een
Lataa pakattu PyAnnote Hugging Face -mallitiedosto S3-ämpäriin:
Luo asynkroninen SageMaker-päätepiste
Määritä asynkroninen päätepiste mallin käyttöönottoa varten SageMakerissa käyttämällä toimitettua asynkronista päättelykokoonpanoa:
Testaa päätepiste
Arvioi päätepisteen toiminnallisuus lähettämällä äänitiedosto diarisointia varten ja hakemalla määritettyyn S3-lähtöpolkuun tallennettu JSON-lähtö:
Jos haluat ottaa tämän ratkaisun käyttöön laajasti, suosittelemme käyttämään AWS Lambda, Amazonin yksinkertainen ilmoituspalvelu (Amazon SNS), tai Amazonin yksinkertainen jonopalvelu (Amazon SQS). Nämä palvelut on suunniteltu skaalautumiseen, tapahtumalähtöisiin arkkitehtuureihin ja tehokkaaseen resurssien käyttöön. Ne voivat auttaa erottamaan asynkronisen päättelyprosessin tulosten käsittelystä, jolloin voit skaalata jokaisen komponentin itsenäisesti ja käsitellä päättelypyyntöjen purskeita tehokkaammin.
tulokset
Mallin lähtö tallennetaan osoitteeseen s3://sagemaker-xxxx /async_inference/output/.
Tulos näyttää, että äänitallenne on segmentoitu kolmeen sarakkeeseen:
- Aloitus (alkamisaika sekunneissa)
- Loppu (lopetusaika sekunneissa)
- Kaiutin (kaiuttimen etiketti)
Seuraava koodi näyttää esimerkin tuloksistamme:
Puhdistaa
Voit asettaa skaalauskäytännön nollaksi asettamalla MinCapacity-asetukseksi 0; asynkroninen päättely voit skaalata automaattisesti nollaan ilman pyyntöjä. Sinun ei tarvitse poistaa päätepistettä asteikot nollasta tarvittaessa uudelleen, mikä vähentää kustannuksia, kun sitä ei käytetä. Katso seuraava koodi:
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
- PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
- PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
- PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
- Lähde: https://aws.amazon.com/blogs/machine-learning/deploy-a-hugging-face-pyannote-speaker-diarization-model-on-amazon-sagemaker-as-an-asynchronous-endpoint/
- :on
- :On
- :ei
- :missä
- $ YLÖS
- 1
- 10
- 100
- 11
- 118
- 12
- 13
- 14
- 16
- 17
- 23
- 25
- 26%
- 27
- 28
- 31
- 60
- 7
- 8
- 9
- a
- Meistä
- pääsy
- Pääsy
- mukava
- Tili
- poikki
- lisätä
- lisä-
- sopeutuu
- kehittynyt
- uudelleen
- AI
- Tekoälyn palvelut
- AI / ML
- Salliminen
- mahdollistaa
- Myös
- Amazon
- Amazon Sage Maker
- Amazon Web Services
- an
- analyysi
- Analytics
- ja
- Kaikki
- Hakemus
- sovellukset
- lähestymistapa
- arkkitehtuuri
- arkkitehtuurit
- OVAT
- noin
- AS
- At
- yrityksiä
- audio-
- auto
- automaattisesti
- keskimäärin
- AWS
- perustua
- BE
- ollut
- hyödyttää
- Hyödyt
- välillä
- liiketoiminta
- yritykset
- by
- CAN
- kyvyt
- tapaus
- tapauksissa
- Muutokset
- kanavat
- luokka
- asiakas
- pilvi
- klustereiden
- koodi
- Pylväät
- kommentit
- Yhteinen
- komponentti
- kattava
- käsite
- samanaikainen
- Konfigurointi
- Kontit
- sisältää
- valvonta
- Hinta
- kustannussäästöjä
- kustannukset
- laskea
- luoda
- Luominen
- Asiakkaat
- tiedot
- tekemisissä
- syvä
- syvä oppiminen
- määritellä
- toimittaa
- Delves
- esittely
- sijoittaa
- käyttöön
- levityspinnalta
- Malli
- suunniteltu
- haluttu
- kehitetty
- Kehittäjä
- kehittäjille
- Kehitys
- kaavio
- eri
- digitaalinen
- Digital Transformation
- hakemisto
- asiakirjat
- Dont
- lataaminen
- dynaamisesti
- kukin
- helpottaa
- Tehokas
- tehokkaasti
- tehokas
- tehokkaasti
- mahdollistaa
- loppu
- päätepiste
- virhe
- olennainen
- esimerkki
- Paitsi
- experience
- tutkia
- Kasvot
- Ominaisuudet
- filee
- Asiakirjat
- jälkeen
- varten
- muoto
- alkaen
- toiminto
- toiminnallisuus
- generatiivinen
- saada
- saada
- GitHub
- ohjaavat
- kahva
- Olla
- he
- auttaa
- auttanut
- auttaa
- hänen
- hotellit
- Miten
- Miten
- Kuitenkin
- HTML
- http
- HTTPS
- Napa
- HalaaKasvot
- Sadat
- Identiteetti
- if
- havainnollistaa
- kuva
- täytäntöön
- tuoda
- in
- itsenäisesti
- Intia
- esimerkki
- Integrointi
- integraatio
- tulee
- liittyy
- IT
- matka
- jpg
- json
- avain
- Merkki
- Kieli
- kielet
- suuri
- käynnistää
- oppiminen
- Lets
- kirjastot
- pitää
- kuormitus
- lastaus
- sijainti
- kauemmin
- kone
- koneoppiminen
- välineet
- ML
- malli
- mallit
- lisää
- moninkertainen
- Luonnollinen
- Luonnollinen kielen käsittely
- välttämätön
- Tarve
- tarvitaan
- NLP
- Nro
- Ei eristetty
- ilmoituksen
- numero
- objekti
- of
- Tarjoukset
- on
- avata
- avoimen lähdekoodin
- Optimismi
- or
- OS
- Muut
- meidän
- ulos
- ulostulo
- yli
- yleinen
- oma
- pandas
- osa
- polku
- Oikeudet
- putki
- foorumi
- Platon
- Platonin tietotieto
- PlatonData
- politiikka
- Suosittu
- Kirje
- powered
- Ennusteet
- edellytyksiä
- prosessi
- käsittely
- hankkeet
- todisteet
- toimittaa
- mikäli
- tarjoaa
- tarjoamalla
- julkinen
- laittaa
- Python
- pytorch
- kysymykset
- hinta
- tavoittaa
- reaaliaikainen
- äänitys
- vähentää
- vähentämällä
- viittaukset
- alue
- ilmoittautua
- luotettava
- korvata
- edustavat
- pyynnöt
- tarvitaan
- vaatimukset
- resurssi
- Esittelymateriaalit
- vastaus
- johtua
- tulokset
- palata
- Rooli
- ajaa
- juoksu
- sagemaker
- myynti
- sama
- näyte
- Säästä
- Säästöt
- skaalautuvuus
- skaalautuva
- Asteikko
- skaalaus
- tutkijat
- käsikirjoitus
- skriptejä
- sdk
- saumaton
- saumattomasti
- sekuntia
- sektori
- nähdä
- jakautuminen
- segmentit
- lähettäminen
- erottamalla
- palvelu
- Palvelut
- Istunto
- istuntoja
- setti
- asetus
- setup
- useat
- Muoto
- Lyhyt
- shouldnt
- Näytä
- Yksinkertainen
- single
- Tuotteemme
- ohjelmistokehitys
- ratkaisu
- Ratkaisumme
- lähde
- Kaiutin
- asiantuntija
- erityinen
- määritelty
- määrittelemällä
- viettää
- jakaa
- Alkaa
- alkoi
- Levytila
- tallennettu
- suora
- Strateginen
- menestys
- ehdottaa
- varma
- järjestelmä
- vie
- tehtävät
- teknologia
- tensorflow
- kuin
- että
- -
- Siellä.
- Nämä
- ne
- tätä
- tuhansia
- kolmella
- Kautta
- aika
- että
- tänään
- työkalupakki
- aihe
- taskulamppu
- koulutettu
- koulutus
- Muutos
- muuntajat
- yrittää
- VUORO
- päälle
- käyttää
- käytetty
- käyttäjä
- käyttötarkoituksiin
- käyttämällä
- variantti
- versio
- Videoita
- W
- odottaa
- haluta
- we
- verkko
- verkkopalvelut
- kun
- joka
- KUKA
- tulee
- with
- työskentely
- kirjallinen
- vuotta
- Voit
- Sinun
- zephyrnet
- nolla-