A hangszóró naplózása, a hangelemzés alapvető folyamata, a hangszóró identitása alapján szegmentálja az audiofájlt. Ez a bejegyzés a Hugging Face PyAnnote integrálásával foglalkozik a hangszóró naplózásához Amazon SageMaker aszinkron végpontok.
Átfogó útmutatót adunk a hangszórószegmentálási és -fürtözési megoldások telepítéséhez a SageMaker segítségével az AWS felhőn. Ezt a megoldást több hangszórós (több mint 100) hangfelvétellel foglalkozó alkalmazásokhoz használhatja.
Megoldás áttekintése
Amazon átirat az AWS-ben a hangszórók naplózásához szükséges szolgáltatás. A nem támogatott nyelvek esetében azonban más modelleket is használhat (esetünkben a PyAnnote), amelyek a SageMakerben lesznek telepítve a következtetések levonására. Rövid hangfájlok esetén, ahol a következtetés legfeljebb 60 másodpercig tart, használhatja valós idejű következtetés. 60 másodpercnél hosszabb ideig, aszinkron következtetést kell használni. Az aszinkron következtetés további előnye a költségmegtakarítás a példányszám automatikus nullára skálázásával, amikor nincsenek feldolgozandó kérések.
Átölelő arc egy népszerű nyílt forráskódú központ a gépi tanulási (ML) modellekhez. Az AWS és Hugging Face rendelkezik a partnerség amely lehetővé teszi a SageMakeren keresztüli zökkenőmentes integrációt az AWS Deep Learning Container (DLC) készletével a PyTorch vagy TensorFlow oktatáshoz és következtetésekhez, valamint Hugging Face becslésekhez és előrejelzőkhöz a SageMaker Python SDK számára. A SageMaker funkciói és képességei segítenek a fejlesztőknek és az adattudósoknak abban, hogy könnyedén elkezdhessék a természetes nyelvi feldolgozást (NLP) az AWS-en.
Ennek a megoldásnak az integrációja magában foglalja a Hugging Face előre betanított hangszórónaplózási modelljét a PyAnnote könyvtár. A PyAnnote egy Python nyelven írt nyílt forráskódú eszközkészlet a hangszórók naplózásához. Ez a minta audioadatkészletre kiképzett modell hatékony hangszóróparticionálást tesz lehetővé az audiofájlokban. A modellt a SageMaker aszinkron végpont-beállításként telepíti, amely hatékony és méretezhető naplózási feladatok feldolgozását biztosítja.
A következő ábra a megoldás architektúráját mutatja be.
Ehhez a bejegyzéshez a következő hangfájlt használjuk.
A sztereó vagy többcsatornás hangfájlokat a csatornák átlagolásával a rendszer automatikusan monóvá keveri le. Az eltérő frekvenciával mintavételezett audiofájlok betöltéskor automatikusan újramintavételezésre kerülnek 16 kHz-re.
Előfeltételek
Töltse ki a következő előfeltételeket:
- Hozzon létre egy SageMaker tartományt.
- Győződjön meg róla AWS Identity and Access Management (IAM) felhasználó rendelkezik a szükséges hozzáférési jogosultságokkal a létrehozásához SageMaker szerepe.
- Győződjön meg arról, hogy az AWS-fiók rendelkezik szolgáltatáskvótával a SageMaker-végpont tárolására egy ml.g5.2xlarge példányhoz.
Hozzon létre egy modellfüggvényt a PyAnnote hangszóró naplózásának eléréséhez a Hugging Face alkalmazásból
A Hugging Face Hub segítségével elérheti a kívánt előképzettet PyAnnote hangszóró naplózási modell. Ugyanazt a szkriptet használja a modellfájl letöltéséhez a SageMaker végpont létrehozásakor.
Lásd a következő kódot:
Csomagolja be a modellkódot
Készítsen elő olyan alapvető fájlokat, mint az inference.py, amely tartalmazza a következtetési kódot:
Készítse elő a requirements.txt
fájl, amely tartalmazza a következtetés futtatásához szükséges Python könyvtárakat:
Végül tömörítse a inference.py
és követelmények.txt fájlokat, és mentse el másként model.tar.gz
:
Konfiguráljon egy SageMaker modellt
Határozzon meg egy SageMaker modell-erőforrást a kép URI-jának megadásával, a modelladatok helyének megadásával Amazon egyszerű tárolási szolgáltatás (S3) és a SageMaker szerepkör:
Töltse fel a modellt az Amazon S3-ra
Töltse fel a tömörített PyAnnote Hugging Face modellfájlt egy S3 tárolóba:
Hozzon létre egy SageMaker aszinkron végpontot
Konfiguráljon egy aszinkron végpontot a modell SageMaker rendszerben történő telepítéséhez a mellékelt aszinkron következtetési konfiguráció segítségével:
Tesztelje a végpontot
Értékelje ki a végpont funkcionalitását úgy, hogy elküld egy hangfájlt naplózásra, és lekéri a megadott S3 kimeneti útvonalon tárolt JSON-kimenetet:
A megoldás nagyarányú üzembe helyezéséhez javasoljuk a használatát AWS Lambda, Amazon Simple Notification Service (Amazon SNS), ill Amazon Simple Queue Service (Amazon SQS). Ezeket a szolgáltatásokat a méretezhetőségre, az eseményvezérelt architektúrákra és az erőforrások hatékony kihasználására tervezték. Segíthetnek leválasztani az aszinkron következtetési folyamatot az eredményfeldolgozásról, lehetővé téve az egyes komponensek független skálázását, és hatékonyabban kezelheti a következtetési kérések sorozatait.
Eredmények
A modell kimenetének tárolása a következő helyen történik: s3://sagemaker-xxxx /async_inference/output/.
A kimenet azt mutatja, hogy a hangfelvétel három oszlopra van szegmentálva:
- Indítás (kezdési idő másodpercben)
- vége (végi idő másodpercben)
- Hangszóró (hangszóró címke)
Az alábbi kód példát mutat az eredményeinkre:
Tisztítsuk meg
A méretezési szabályzatot nullára állíthatja, ha a MinCapacity értéket 0-ra állítja; aszinkron következtetés lehetővé teszi az automatikus nullára skálázást kérések nélkül. Nem kell törölnie a végpontot, azt Mérleg nulláról, amikor ismét szükség van rá, csökkentve a költségeket, ha nincs használatban. Lásd a következő kódot:
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
- PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
- PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
- PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
- Forrás: https://aws.amazon.com/blogs/machine-learning/deploy-a-hugging-face-pyannote-speaker-diarization-model-on-amazon-sagemaker-as-an-asynchronous-endpoint/
- :van
- :is
- :nem
- :ahol
- $ UP
- 1
- 10
- 100
- 11
- 118
- 12
- 13
- 14
- 16
- 17
- 23
- 25
- 26%
- 27
- 28
- 31
- 60
- 7
- 8
- 9
- a
- Rólunk
- hozzáférés
- Hozzáférés
- befogadó
- Fiók
- át
- hozzá
- hozzáadott
- beállítja
- fejlett
- újra
- AI
- AI szolgáltatások
- AI / ML
- lehetővé téve
- lehetővé teszi, hogy
- Is
- amazon
- Amazon SageMaker
- Az Amazon Web Services
- an
- elemzés
- analitika
- és a
- bármilyen
- Alkalmazás
- alkalmazások
- megközelítés
- építészet
- architektúrák
- VANNAK
- körül
- AS
- At
- Kísérletek
- hang-
- auto
- automatikusan
- átlagolás
- AWS
- alapján
- BE
- óta
- haszon
- Előnyök
- között
- üzleti
- vállalkozások
- by
- TUD
- képességek
- eset
- esetek
- Változások
- csatornák
- osztály
- vásárló
- felhő
- csoportosítás
- kód
- Oszlopok
- Hozzászólások
- Közös
- összetevő
- átfogó
- koncepció
- egyidejű
- Configuration
- Konténerek
- tartalmaz
- ellenőrzések
- Költség
- költségmegtakarítás
- kiadások
- számít
- teremt
- létrehozása
- Ügyfelek
- dátum
- foglalkozó
- mély
- mély tanulás
- meghatározott
- szállít
- elmélyül
- demonstráció
- telepíteni
- telepített
- bevezetéséhez
- Design
- tervezett
- kívánatos
- fejlett
- Fejlesztő
- fejlesztők
- Fejlesztés
- diagram
- különböző
- digitális
- digitális átalakítás
- könyvtár
- dokumentumok
- ne
- letöltései
- dinamikusan
- minden
- könnyű
- Hatékony
- hatékonyan
- hatékony
- eredményesen
- lehetővé teszi
- végén
- Endpoint
- hiba
- alapvető
- példa
- Kivéve
- tapasztalat
- feltárása
- Arc
- Jellemzők
- filé
- Fájlok
- következő
- A
- formátum
- ból ből
- funkció
- funkcionalitás
- nemző
- kap
- szerzés
- GitHub
- útmutató
- fogantyú
- Legyen
- he
- segít
- segített
- segít
- övé
- tárhely
- Hogyan
- How To
- azonban
- HTML
- http
- HTTPS
- Kerékagy
- HuggingFace
- Több száz
- Identitás
- if
- illusztrálja
- kép
- végre
- importál
- in
- függetlenül
- India
- példa
- integrálása
- integráció
- bele
- jár
- IT
- utazás
- jpg
- json
- Kulcs
- Címke
- nyelv
- Nyelvek
- nagy
- indít
- tanulás
- Lets
- könyvtárak
- mint
- kiszámításának
- betöltés
- elhelyezkedés
- hosszabb
- gép
- gépi tanulás
- eszközök
- ML
- modell
- modellek
- több
- többszörös
- Természetes
- Természetes nyelvi feldolgozás
- elengedhetetlen
- Szükség
- szükséges
- NLP
- nem
- Egyik sem
- bejelentés
- szám
- tárgy
- of
- Ajánlatok
- on
- nyitva
- nyílt forráskódú
- Optimalizálja
- or
- OS
- Más
- mi
- ki
- teljesítmény
- felett
- átfogó
- saját
- pandák
- rész
- ösvény
- engedélyek
- csővezeték
- emelvény
- Plató
- Platón adatintelligencia
- PlatoData
- politika
- Népszerű
- állás
- powered
- Tippek
- előfeltételek
- folyamat
- feldolgozás
- projektek
- igazolások
- ad
- feltéve,
- biztosít
- amely
- nyilvános
- tesz
- Piton
- pytorch
- Kérdések
- Arány
- el
- real-time
- felvétel
- csökkenti
- csökkentő
- referenciák
- vidék
- Regisztráció
- megbízható
- cserélni
- képviselő
- kéri
- kötelező
- követelmények
- forrás
- Tudástár
- válasz
- eredményez
- Eredmények
- visszatérés
- Szerep
- futás
- futás
- sagemaker
- értékesítés
- azonos
- minta
- Megtakarítás
- Megtakarítás
- skálázhatóság
- skálázható
- Skála
- skálázás
- tudósok
- forgatókönyv
- szkriptek
- sdk
- zökkenőmentes
- zökkenőmentesen
- másodperc
- szektor
- lát
- szegmentáció
- szegmensek
- elküldés
- elválasztó
- szolgáltatás
- Szolgáltatások
- ülés
- ülések
- készlet
- beállítás
- felépítés
- számos
- Alak
- rövid
- kellene
- Műsorok
- Egyszerű
- egyetlen
- szoftver
- szoftverfejlesztés
- megoldások
- Megoldások
- forrás
- Hangszóró
- szakember
- különleges
- meghatározott
- specifikálva
- költ
- osztott
- kezdet
- kezdődött
- tárolás
- memorizált
- egyértelmű
- Stratégiai
- siker
- javasol
- biztos
- rendszer
- tart
- feladatok
- tech
- tensorflow
- mint
- hogy
- A
- Ott.
- Ezek
- ők
- ezt
- ezer
- három
- Keresztül
- idő
- nak nek
- Ma
- eszköztár
- téma
- fáklya
- kiképzett
- Képzések
- Átalakítás
- transzformerek
- megpróbál
- FORDULAT
- upon
- használ
- használt
- használó
- használ
- segítségével
- Változat
- változat
- Videók
- W
- várjon
- akar
- we
- háló
- webes szolgáltatások
- amikor
- ami
- WHO
- lesz
- val vel
- dolgozó
- írott
- év
- te
- A te
- zephyrnet
- nulla