Ses analizinde önemli bir süreç olan konuşmacı günlük kaydı, bir ses dosyasını konuşmacı kimliğine göre bölümlere ayırır. Bu yazı, Hugging Face'in PyAnnote'unun konuşmacı günlüğü oluşturma için entegre edilmesini ele alıyor. Amazon Adaçayı Yapıcı eşzamansız uç noktalar.
AWS Bulut'ta SageMaker'ı kullanarak hoparlör segmentasyonu ve kümeleme çözümlerinin nasıl dağıtılacağına ilişkin kapsamlı bir kılavuz sunuyoruz. Bu çözümü çok hoparlörlü (100'den fazla) ses kaydıyla ilgili uygulamalar için kullanabilirsiniz.
Çözüme genel bakış
Amazon Yazısı AWS'de konuşmacı günlüğü oluşturma için başvurulacak hizmettir. Ancak desteklenmeyen diller için, çıkarım amacıyla SageMaker'da konuşlandırılacak diğer modelleri (bizim durumumuzda PyAnnote) kullanabilirsiniz. Çıkarımın 60 saniyeye kadar sürdüğü kısa ses dosyaları için şunu kullanabilirsiniz: gerçek zamanlı çıkarım. 60 saniyeden uzun süre, eşzamanlı olmayan çıkarım kullanılmalıdır. Eşzamansız çıkarımın ek yararı, işlenecek istek olmadığında örnek sayısını otomatik olarak sıfıra ölçeklendirerek maliyet tasarrufu sağlamasıdır.
Sarılma Yüz makine öğrenimi (ML) modelleri için popüler bir açık kaynak merkezdir. AWS ve Hugging Face'in bir özelliği var: ortaklık Bu, PyTorch veya TensorFlow'da eğitim ve çıkarım için bir dizi AWS Derin Öğrenme Konteyneri (DLC) ve SageMaker Python SDK için Hugging Face tahmin edicileri ve tahmincileri ile SageMaker aracılığıyla sorunsuz bir entegrasyona olanak tanır. SageMaker özellikleri ve yetenekleri, geliştiricilerin ve veri bilimcilerinin AWS'de doğal dil işlemeye (NLP) kolaylıkla başlamalarına yardımcı olur.
Bu çözümün entegrasyonu, Hugging Face'in önceden eğitilmiş konuşmacı günlüğü modelinin kullanılmasını içerir. PyAnnote kütüphanesi. PyAnnote, konuşmacı günlüğü oluşturmak için Python'da yazılmış açık kaynaklı bir araç setidir. Örnek ses veri kümesi üzerinde eğitilen bu model, ses dosyalarında etkili hoparlör bölümlendirmesine olanak tanır. Model, SageMaker'da eşzamansız bir uç nokta kurulumu olarak konuşlandırılarak günlük oluşturma görevlerinin verimli ve ölçeklenebilir şekilde işlenmesini sağlar.
Aşağıdaki şemada çözüm mimarisi gösterilmektedir.
Bu yazı için aşağıdaki ses dosyasını kullanıyoruz.
Stereo veya çok kanallı ses dosyaları, kanalların ortalaması alınarak otomatik olarak monoya dönüştürülür. Farklı bir hızda örneklenen ses dosyaları, yükleme sonrasında otomatik olarak 16kHz'e yeniden örneklenir.
Önkoşullar
Aşağıdaki ön koşulları tamamlayın:
- SageMaker alanı oluşturun.
- Emin olun sizin AWS Kimlik ve Erişim Yönetimi (IAM) kullanıcısı, bir kullanıcı adı oluşturmak için gerekli erişim izinlerine sahiptir. SageMaker rolü.
- AWS hesabının, ml.g5.2xlarge bulut sunucusu için SageMaker uç noktasını barındırmaya yönelik bir hizmet kotasına sahip olduğundan emin olun.
Hugging Face'ten PyAnnote konuşmacı günlüğüne erişmek için bir model işlevi oluşturun
İstediğiniz önceden eğitilmiş içeriğe erişmek için Hugging Face Hub'ı kullanabilirsiniz. PyAnnote konuşmacı günlüğü modeli. SageMaker uç noktasını oluştururken model dosyasını indirmek için aynı komut dosyasını kullanırsınız.
Aşağıdaki koda bakın:
Model kodunu paketleyin
Çıkarım kodunu içeren inference.py gibi temel dosyaları hazırlayın:
Bir ... hazırlamak requirements.txt
Çıkarımı çalıştırmak için gerekli Python kitaplıklarını içeren dosya:
Son olarak sıkıştırın inference.py
ve require.txt dosyalarını seçin ve farklı kaydedin model.tar.gz
:
SageMaker modelini yapılandırma
Görüntü URI'sini ve model veri konumunu belirterek bir SageMaker model kaynağı tanımlayın. Amazon Basit Depolama Hizmeti (S3) ve SageMaker rolü:
Modeli Amazon S3'e yükleyin
Sıkıştırılmış PyAnnote Hugging Face model dosyasını bir S3 klasörüne yükleyin:
SageMaker eşzamansız uç noktası oluşturma
Sağlanan eşzamansız çıkarım yapılandırmasını kullanarak modeli SageMaker'da dağıtmak için eşzamansız bir uç nokta yapılandırın:
Uç noktayı test edin
Günlük oluşturma için bir ses dosyası göndererek ve belirtilen S3 çıkış yolunda depolanan JSON çıkışını alarak uç nokta işlevselliğini değerlendirin:
Bu çözümü geniş ölçekte dağıtmak için kullanmanızı öneririz AWS Lambda, Amazon Basit Bildirim Servisi (Amazon SNS) veya Amazon Basit Kuyruk Hizmeti (Amazon SQS). Bu hizmetler ölçeklenebilirlik, olay odaklı mimariler ve verimli kaynak kullanımı için tasarlanmıştır. Eşzamansız çıkarım sürecini sonuç işlemeden ayırmaya yardımcı olarak her bileşeni bağımsız olarak ölçeklendirmenize ve çıkarım isteklerinin patlamalarını daha etkili bir şekilde ele almanıza olanak tanır.
Sonuçlar
Model çıktısı şurada saklanır: s3://sagemaker-xxxx /async_inference/output/.
Çıktı, ses kaydının üç sütuna bölündüğünü gösterir:
- Başlangıç (saniye cinsinden başlangıç zamanı)
- Bitiş (saniye cinsinden bitiş zamanı)
- Hoparlör (hoparlör etiketi)
Aşağıdaki kod sonuçlarımızın bir örneğini göstermektedir:
Temizlemek
MinCapacity'yi 0'a ayarlayarak bir ölçeklendirme ilkesini sıfıra ayarlayabilirsiniz; asenkron çıkarım hiçbir istek olmadan otomatik olarak sıfıra ölçeklendirmenizi sağlar. Uç noktayı silmenize gerek yok, terazi ihtiyaç duyulduğunda tekrar sıfırdan, kullanılmadığında maliyetleri düşürür. Aşağıdaki koda bakın:
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
- PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
- PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
- PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
- Kaynak: https://aws.amazon.com/blogs/machine-learning/deploy-a-hugging-face-pyannote-speaker-diarization-model-on-amazon-sagemaker-as-an-asynchronous-endpoint/
- :vardır
- :dır-dir
- :olumsuzluk
- :Neresi
- $UP
- 1
- 10
- 100
- 11
- 118
- 12
- 13
- 14
- 16
- 17
- 23
- 25
- %26
- 27
- 28
- 31
- 60
- 7
- 8
- 9
- a
- Hakkımızda
- erişim
- erişme
- uzlaşmacı
- Hesap
- karşısında
- eklemek
- katma
- ayarlanabileceğinden
- ileri
- tekrar
- AI
- AI hizmetleri
- AI / ML
- Izin
- veriyor
- Ayrıca
- Amazon
- Amazon Adaçayı Yapıcı
- Amazon Web Servisleri
- an
- analiz
- analytics
- ve
- herhangi
- Uygulama
- uygulamaları
- yaklaşım
- mimari
- mimarileri
- ARE
- etrafında
- AS
- At
- Denemeler
- ses
- Oto
- otomatik olarak
- ortalama
- AWS
- merkezli
- BE
- olmuştur
- yarar
- faydaları
- arasında
- iş
- işletmeler
- by
- CAN
- yetenekleri
- dava
- durumlarda
- değişiklikler
- kanallar
- sınıf
- müşteri
- bulut
- kümeleme
- kod
- Sütunlar
- yorumlar
- ortak
- bileşen
- kapsamlı
- kavram
- eşzamanlı
- yapılandırma
- Konteynerler
- içeren
- kontroller
- Ücret
- tasarruf
- maliyetler
- saymak
- yaratmak
- Oluşturma
- Müşteriler
- veri
- ilgili
- derin
- derin öğrenme
- tanımlamak
- teslim etmek
- Araştırmalar
- gösteri
- dağıtmak
- konuşlandırılmış
- dağıtma
- Dizayn
- tasarlanmış
- İstediğiniz
- gelişmiş
- Geliştirici
- geliştiriciler
- gelişme
- diyagram
- farklı
- dijital
- dijital Dönüşüm
- rehber
- evraklar
- Dont
- indirme
- dinamik
- her
- kolaylaştırmak
- Etkili
- etkili bir şekilde
- verimli
- verimli biçimde
- sağlar
- son
- Son nokta
- hata
- gerekli
- örnek
- Dışında
- deneyim
- keşfetmek
- Yüz
- Özellikler
- fileto
- dosyalar
- takip etme
- İçin
- biçim
- itibaren
- işlev
- işlevsellik
- üretken
- almak
- alma
- GitHub
- rehberlik
- sap
- Var
- he
- yardım et
- yardım
- yardımcı olur
- onun
- hosting
- Ne kadar
- Nasıl Yapılır
- Ancak
- HTML
- http
- HTTPS
- merkez
- SarılmaYüz
- Yüzlerce
- Kimlik
- if
- göstermektedir
- görüntü
- uygulanan
- ithalat
- in
- bağımsız
- Hindistan
- örnek
- Bütünleştirme
- bütünleşme
- içine
- içerir
- IT
- seyahat
- jpg
- json
- anahtar
- etiket
- dil
- Diller
- büyük
- başlatmak
- öğrenme
- Lets
- kütüphaneler
- sevmek
- yük
- yükleme
- yer
- uzun
- makine
- makine öğrenme
- anlamına geliyor
- ML
- model
- modelleri
- Daha
- çoklu
- Doğal (Madenden)
- Doğal Dil İşleme
- gerekli
- gerek
- gerekli
- nlp
- yok hayır
- Hayır
- tebliğ
- numara
- nesne
- of
- Teklifler
- on
- açık
- açık kaynak
- optimize
- or
- OS
- Diğer
- bizim
- dışarı
- çıktı
- tekrar
- tüm
- kendi
- pandalar
- Bölüm
- yol
- izinleri
- boru hattı
- platform
- Platon
- Plato Veri Zekası
- PlatoVeri
- politika
- Popüler
- Çivi
- powered
- Tahminler
- önkoşullar
- süreç
- işleme
- Projeler
- ispatları
- sağlamak
- sağlanan
- sağlar
- sağlama
- halka açık
- koymak
- Python
- pytorch
- Sorular
- oran
- ulaşmak
- gerçek zaman
- kayıt
- azaltır
- azaltarak
- referanslar
- bölge
- kayıt olmak
- güvenilir
- değiştirmek
- temsil
- isteklerinizi
- gereklidir
- Yer Alan Kurallar
- kaynak
- Kaynaklar
- yanıt
- sonuç
- Sonuçlar
- dönüş
- Rol
- koşmak
- koşu
- sagemaker
- satış
- aynı
- örnek
- İndirim
- Tasarruf
- ölçeklenebilirlik
- ölçeklenebilir
- ölçek
- ölçekleme
- bilim adamları
- senaryo
- scriptler
- sdk
- sorunsuz
- sorunsuz
- saniye
- sektör
- görmek
- bölünme
- segmentler
- gönderme
- ayırma
- hizmet
- Hizmetler
- Oturum
- oturumları
- set
- ayar
- kurulum
- birkaç
- Shape
- kısa
- meli
- Gösteriler
- Basit
- tek
- Yazılım
- yazılım geliştirme
- çözüm
- Çözümler
- Kaynak
- konuşmacı
- uzman
- özel
- Belirtilen
- belirten
- harcıyor
- bölmek
- başlama
- başladı
- hafızası
- saklı
- basit
- Stratejik
- başarı
- önermek
- elbette
- sistem
- alır
- görevleri
- teknoloji
- tensorflow
- göre
- o
- The
- Orada.
- Bunlar
- onlar
- Re-Tweet
- Binlerce
- üç
- İçinden
- zaman
- için
- bugün
- araç
- konu
- meşale
- eğitilmiş
- Eğitim
- Dönüşüm
- transformatörler
- denemek
- DÖNÜŞ
- üzerine
- kullanım
- Kullanılmış
- kullanıcı
- kullanım
- kullanma
- Varyant
- versiyon
- Videolar
- W
- beklemek
- istemek
- we
- ağ
- web hizmetleri
- ne zaman
- hangi
- DSÖ
- irade
- ile
- çalışma
- yazılı
- yıl
- Sen
- zefirnet
- sıfır