Kõlari diariseerimine, mis on helianalüüsi oluline protsess, segmenteerib helifaili kõlari identiteedi alusel. See postitus käsitleb Hugging Face'i PyAnnote'i integreerimist kõneleja diaariseerimiseks Amazon SageMaker asünkroonsed lõpp-punktid.
Pakume põhjalikku juhendit kõlarite segmenteerimise ja rühmitamise lahenduste juurutamiseks AWS-i pilves SageMakeri abil. Seda lahendust saate kasutada mitme kõlariga (üle 100) helisalvestistega tegelevate rakenduste jaoks.
Lahenduse ülevaade
Amazoni transkribeerimine on AWS-i kõneleja diaariseerimise teenus. Kuid mittetoetatud keelte puhul saate järelduste tegemiseks kasutada muid mudeleid (meie puhul PyAnnote), mis juurutatakse SageMakeris. Lühikeste helifailide puhul, mille järeldamine võtab aega kuni 60 sekundit, saate kasutada reaalajas järeldus. Kauem kui 60 sekundit, asünkroonne tuleks kasutada järeldust. Asünkroonse järelduse lisaeelis seisneb kulude kokkuhoius, mis skaleeritakse eksemplaride arvu automaatse nullini, kui töödeldavaid taotlusi pole.
Kallistav nägu on populaarne avatud lähtekoodiga jaotur masinõppe (ML) mudelite jaoks. AWS-il ja Hugging Face'il on a partnerlus mis võimaldab sujuvat integreerimist SageMakeri kaudu AWS-i süvaõppekonteinerite (DLC-de) komplektiga PyTorchis või TensorFlow's treenimiseks ja järelduste tegemiseks ning SageMaker Python SDK jaoks mõeldud Hugging Face hindajate ja ennustajatega. SageMakeri funktsioonid ja võimalused aitavad arendajatel ja andmeteadlastel hõlpsasti alustada AWS-i loomuliku keele töötlemisega (NLP).
Selle lahenduse integreerimine hõlmab Hugging Face'i eelkoolitatud kõlarite diariseerimismudeli kasutamist, kasutades PyAnnote'i teek. PyAnnote on avatud lähtekoodiga tööriistakomplekt, mis on Pythonis kirjutatud kõneleja diaariseerimiseks. See näidisheli andmestiku põhjal väljaõpetatud mudel võimaldab helifailides kõlarite tõhusat jaotamist. Mudelit kasutatakse SageMakeris asünkroonse lõpp-punkti seadistusena, pakkudes tõhusat ja skaleeritavat diariseerimisülesannete töötlemist.
Järgnev diagramm illustreerib lahenduse arhitektuuri.
Selle postituse jaoks kasutame järgmist helifaili.
Stereo- või mitme kanaliga helifailid alammikseeritakse automaatselt monoks, arvutades kanalite keskmistamise. Erineva sagedusega diskreetitud helifailid proovitakse laadimisel automaatselt uuesti 16 kHz.
Eeldused
Täitke järgmised eeltingimused:
- Looge SageMakeri domeen.
- Veenduge, et olete AWS-i identiteedi- ja juurdepääsuhaldus (IAM) kasutajal on a. loomiseks vajalikud juurdepääsuõigused SageMakeri roll.
- Veenduge, et AWS-i kontol oleks teenusekvoot SageMakeri lõpp-punkti majutamiseks ml.g5.2xlarge eksemplari jaoks.
Looge Hugging Face'i kaudu PyAnnote'i kõlarite diariseerimisele juurdepääsuks mudelfunktsioon
Saate kasutada Hugging Face Hubi, et pääseda juurde soovitud eeltreeningule PyAnnote kõneleja diariseerimise mudel. SageMakeri lõpp-punkti loomisel kasutate mudelifaili allalaadimiseks sama skripti.
Vaadake järgmist koodi:
Pakkige mudeli kood
Valmistage ette olulised failid, nagu inference.py, mis sisaldab järelduskoodi:
Valmistage ette a requirements.txt
fail, mis sisaldab järelduse käivitamiseks vajalikke Pythoni teeke:
Lõpuks suruge kokku inference.py
ja nõuded.txt failid ning salvestage see nimega model.tar.gz
:
Konfigureerige SageMakeri mudel
Määratlege SageMakeri mudeli ressurss, määrates pildi URI, mudeli andmete asukoha Amazoni lihtne salvestusteenus (S3) ja SageMakeri roll:
Laadige mudel üles Amazon S3-sse
Laadige pakitud PyAnnote Hugging Face mudelifail üles S3 ämbrisse:
Looge SageMakeri asünkroonne lõpp-punkt
Konfigureerige asünkroonne lõpp-punkt mudeli juurutamiseks SageMakeris, kasutades kaasasolevat asünkroonse järelduse konfiguratsiooni:
Testige lõpp-punkti
Hinnake lõpp-punkti funktsionaalsust, saates diaariseerimiseks helifaili ja hankige määratud S3 väljundteele salvestatud JSON-väljund:
Selle lahenduse ulatuslikuks juurutamiseks soovitame kasutada AWS Lambda, Amazoni lihtne teavitusteenus (Amazon SNS) või Amazoni lihtsa järjekorra teenus (Amazon SQS). Need teenused on loodud mastaapsuse, sündmustepõhise arhitektuuri ja tõhusa ressursside kasutamise jaoks. Need võivad aidata asünkroonse järeldusprotsessi tulemuste töötlemisest lahti siduda, võimaldades teil iga komponenti iseseisvalt skaleerida ja tõhusamalt käsitleda järeldustaotluste sari.
Tulemused
Mudeli väljund salvestatakse aadressil s3://sagemaker-xxxx /async_inference/output/.
Väljund näitab, et helisalvestis on jaotatud kolme veergu:
- Start (algusaeg sekundites)
- Lõpp (lõpuaeg sekundites)
- Kõlar (kõlari silt)
Järgmine kood näitab meie tulemuste näidet:
Koristage
Saate määrata skaleerimispoliitika nulliks, määrates MinCapacity väärtuseks 0; asünkroonne järeldus võimaldab teil ilma taotlusteta automaatselt skaleerida nullini. Te ei pea lõpp-punkti kustutama, seda Kaalud nullist, kui seda uuesti vaja läheb, vähendades kulusid, kui seda ei kasutata. Vaadake järgmist koodi:
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
- PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
- PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
- PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/machine-learning/deploy-a-hugging-face-pyannote-speaker-diarization-model-on-amazon-sagemaker-as-an-asynchronous-endpoint/
- :on
- :on
- :mitte
- : kus
- $ UP
- 1
- 10
- 100
- 11
- 118
- 12
- 13
- 14
- 16
- 17
- 23
- 25
- 26%
- 27
- 28
- 31
- 60
- 7
- 8
- 9
- a
- MEIST
- juurdepääs
- Ligipääs
- vastutulelik
- konto
- üle
- lisama
- lisatud
- kohaneb
- edasijõudnud
- jälle
- AI
- AI teenused
- AI / ML
- Lubades
- võimaldab
- Ka
- Amazon
- Amazon SageMaker
- Amazon Web Services
- an
- analüüs
- analytics
- ja
- mistahes
- taotlus
- rakendused
- lähenemine
- arhitektuur
- Arhitektuurid
- OLEME
- ümber
- AS
- At
- Katsed
- heli-
- auto
- automaatselt
- keskmiselt
- AWS
- põhineb
- BE
- olnud
- kasu
- Kasu
- vahel
- äri
- ettevõtted
- by
- CAN
- võimeid
- juhul
- juhtudel
- Vaidluste lahendamine
- kanalid
- klass
- klient
- Cloud
- Klastrite loomine
- kood
- Veerud
- kommentaarid
- ühine
- komponent
- terviklik
- mõiste
- konkurent
- konfiguratsioon
- Konteinerid
- sisaldab
- kontrolli
- Maksma
- kulude kokkuhoid
- kulud
- loe
- looma
- loomine
- Kliendid
- andmed
- tegelema
- sügav
- sügav õpe
- määratlema
- tarnima
- süveneb
- demonstratsioon
- juurutada
- lähetatud
- juurutamine
- Disain
- kavandatud
- soovitud
- arenenud
- arendaja
- Arendajad
- & Tarkvaraarendus
- skeem
- erinev
- digitaalne
- Digitaalne Transformation
- kataloog
- dokumendid
- Ära
- allalaadimine
- dünaamiliselt
- iga
- leevendada
- Tõhus
- tõhusalt
- tõhus
- tõhusalt
- võimaldab
- lõpp
- Lõpp-punkt
- viga
- oluline
- näide
- Välja arvatud
- kogemus
- uurima
- nägu
- FUNKTSIOONID
- fail
- Faile
- Järel
- eest
- formaat
- Alates
- funktsioon
- funktsionaalsus
- generatiivne
- saama
- saamine
- GitHub
- suunata
- käepide
- Olema
- he
- aitama
- aitas
- aitab
- tema
- Hosting
- Kuidas
- Kuidas
- aga
- HTML
- http
- HTTPS
- Keskus
- Kallistav Nägu
- sajad
- Identity
- if
- illustreerib
- pilt
- rakendatud
- import
- in
- iseseisvalt
- India
- Näiteks
- Integreerimine
- integratsioon
- sisse
- hõlmab
- IT
- teekond
- jpg
- Json
- Võti
- silt
- keel
- Keeled
- suur
- algatama
- õppimine
- Lets
- raamatukogud
- nagu
- koormus
- laadimine
- liising
- enam
- masin
- masinõpe
- vahendid
- ML
- mudel
- mudelid
- rohkem
- mitmekordne
- Natural
- Natural Language Processing
- vajalik
- Vajadus
- vaja
- nlp
- ei
- mitte ükski
- teade
- number
- objekt
- of
- Pakkumised
- on
- avatud
- avatud lähtekoodiga
- Optimeerib
- or
- OS
- Muu
- meie
- välja
- väljund
- üle
- üldine
- enda
- pandas
- osa
- tee
- Õigused
- torujuhe
- inimesele
- Platon
- Platoni andmete intelligentsus
- PlatoData
- poliitika
- populaarne
- post
- sisse
- Ennustused
- eeldused
- protsess
- töötlemine
- projektid
- tõendid
- anda
- tingimusel
- annab
- pakkudes
- avalik
- panema
- Python
- pütorch
- Küsimused
- määr
- jõudma
- reaalajas
- salvestamine
- vähendab
- vähendamine
- viited
- piirkond
- registreerima
- usaldusväärne
- asendama
- esindavad
- Taotlusi
- nõutav
- Nõuded
- ressurss
- Vahendid
- vastus
- kaasa
- Tulemused
- tagasipöördumine
- Roll
- jooks
- jooksmine
- salveitegija
- müük
- sama
- proov
- Säästa
- Hoiused
- Skaalautuvus
- skaalautuvia
- Skaala
- ketendamine
- teadlased
- käsikiri
- skripte
- SDK
- sujuv
- sujuvalt
- sekundit
- sektor
- vaata
- segmentatsioon
- segmendid
- saatmine
- eraldamine
- teenus
- teenused
- istung
- istungid
- komplekt
- kehtestamine
- seade
- mitu
- kuju
- Lühike
- peaks
- Näitused
- lihtne
- ühekordne
- tarkvara
- tarkvaraarenduse
- lahendus
- Lahendused
- allikas
- Kõneleja
- spetsialist
- konkreetse
- määratletud
- täpsustades
- kulutab
- jagada
- algus
- alustatud
- ladustamine
- ladustatud
- lihtne
- Strateegiline
- edu
- soovitama
- kindel
- süsteem
- võtab
- ülesanded
- tech
- tensorivool
- kui
- et
- .
- Seal.
- Need
- nad
- see
- tuhandeid
- kolm
- Läbi
- aeg
- et
- täna
- Käsiraamat
- teema
- tõrvik
- koolitatud
- koolitus
- Transformation
- trafod
- püüdma
- Pöörake
- peale
- kasutama
- Kasutatud
- Kasutaja
- kasutusalad
- kasutamine
- variant
- versioon
- Videod
- W
- ootama
- tahan
- we
- web
- veebiteenused
- millal
- mis
- WHO
- will
- koos
- töö
- kirjalik
- aastat
- sa
- Sinu
- sephyrnet
- null