اسپیکر ڈائرائزیشن، آڈیو تجزیہ میں ایک ضروری عمل، اسپیکر کی شناخت کی بنیاد پر ایک آڈیو فائل کو الگ کرتا ہے۔ یہ پوسٹ سپیکر کی ڈائرائزیشن کے لیے Hugging Face's PyAnote کو مربوط کرنے پر غور کرتی ہے۔ ایمیزون سیج میکر متضاد اختتامی پوائنٹس
ہم AWS کلاؤڈ پر SageMaker کا استعمال کرتے ہوئے سپیکر سیگمنٹیشن اور کلسٹرنگ سلوشنز کو تعینات کرنے کے بارے میں ایک جامع گائیڈ فراہم کرتے ہیں۔ آپ اس حل کو ملٹی اسپیکر (100 سے زیادہ) آڈیو ریکارڈنگ سے نمٹنے والی ایپلی کیشنز کے لیے استعمال کر سکتے ہیں۔
حل جائزہ
ایمیزون نقل AWS میں اسپیکر ڈائرائزیشن کے لیے جانے والی سروس ہے۔ تاہم، غیر تعاون یافتہ زبانوں کے لیے، آپ دوسرے ماڈلز (ہمارے معاملے میں، PyAnnote) استعمال کر سکتے ہیں جو کہ تخمینہ کے لیے SageMaker میں تعینات کیے جائیں گے۔ مختصر آڈیو فائلوں کے لیے جہاں اندازہ لگانے میں 60 سیکنڈ لگتے ہیں، آپ استعمال کر سکتے ہیں۔ حقیقی وقت کا اندازہ. 60 سیکنڈ سے زیادہ کے لیے، الیکشنروس اندازہ استعمال کیا جانا چاہئے. غیر مطابقت پذیر تخمینہ کا اضافی فائدہ یہ ہے کہ جب کارروائی کی کوئی درخواست نہ ہو تو مثال کی گنتی کو خود بخود اسکیل کرکے لاگت کی بچت ہوتی ہے۔
گلے لگانے والا چہرہ مشین لرننگ (ML) ماڈلز کے لیے ایک مقبول اوپن سورس ہب ہے۔ AWS اور Hugging Face ہے a شراکت داری جو PyTorch یا TensorFlow میں تربیت اور تخمینہ لگانے کے لیے AWS ڈیپ لرننگ کنٹینرز (DLCs) کے سیٹ کے ساتھ SageMaker کے ذریعے بغیر کسی رکاوٹ کے انضمام کی اجازت دیتا ہے، اور SageMaker Python SDK کے لیے چہرے کے تخمینے اور پیشن گوئی کرنے والوں کو گلے لگاتا ہے۔ SageMaker کی خصوصیات اور صلاحیتیں ڈیولپرز اور ڈیٹا سائنسدانوں کو آسانی کے ساتھ AWS پر قدرتی زبان کی پروسیسنگ (NLP) کے ساتھ شروع کرنے میں مدد کرتی ہیں۔
اس حل کے انضمام میں ہگنگ فیس کے پہلے سے تربیت یافتہ اسپیکر ڈائرائزیشن ماڈل کا استعمال شامل ہے۔ PyAnote لائبریری. PyAnnote ایک اوپن سورس ٹول کٹ ہے جو Python میں اسپیکر ڈائرائزیشن کے لیے لکھی گئی ہے۔ یہ ماڈل، نمونہ آڈیو ڈیٹاسیٹ پر تربیت یافتہ، آڈیو فائلوں میں موثر اسپیکر کی تقسیم کو قابل بناتا ہے۔ ماڈل کو SageMaker پر ایک غیر مطابقت پذیر اختتامی نقطہ سیٹ اپ کے طور پر تعینات کیا گیا ہے، جو ڈائرائزیشن کے کاموں کی موثر اور قابل توسیع پروسیسنگ فراہم کرتا ہے۔
مندرجہ ذیل خاکہ حل کے فن تعمیر کی وضاحت کرتا ہے۔
اس پوسٹ کے لیے، ہم درج ذیل آڈیو فائل استعمال کرتے ہیں۔
سٹیریو یا ملٹی چینل آڈیو فائلیں خود بخود چینلز کی اوسط کے ذریعے مونو میں ڈاون مکس ہو جاتی ہیں۔ مختلف شرحوں پر نمونے کی گئی آڈیو فائلوں کو لوڈ ہونے پر خود بخود 16kHz پر دوبارہ نمونہ کیا جاتا ہے۔
شرائط
درج ذیل شرائط کو مکمل کریں:
- سیج میکر ڈومین بنائیں.
- یقینی بنائیں کہ آپ کے AWS شناخت اور رسائی کا انتظام (IAM) صارف کو ایک بنانے کے لیے ضروری رسائی کی اجازت ہے۔ سیج میکر کا کردار.
- یقینی بنائیں کہ AWS اکاؤنٹ میں ml.g5.2xlarge مثال کے لیے SageMaker اینڈ پوائنٹ کی میزبانی کے لیے سروس کوٹہ ہے۔
Hugging Face سے PyAnnote اسپیکر ڈائرائزیشن تک رسائی کے لیے ایک ماڈل فنکشن بنائیں
آپ پہلے سے تربیت یافتہ مطلوبہ تک رسائی کے لیے Hugging Face Hub استعمال کر سکتے ہیں۔ PyAnote اسپیکر ڈائرائزیشن ماڈل. SageMaker اینڈ پوائنٹ بناتے وقت آپ ماڈل فائل کو ڈاؤن لوڈ کرنے کے لیے وہی اسکرپٹ استعمال کرتے ہیں۔
درج ذیل کوڈ دیکھیں:
ماڈل کوڈ کو پیک کریں۔
inference.py جیسی ضروری فائلیں تیار کریں، جس میں inference کوڈ ہوتا ہے:
تیار کرنا a requirements.txt
فائل، جس میں قیاس کو چلانے کے لیے ضروری ازگر لائبریریاں شامل ہیں:
آخر میں، سکیڑیں inference.py
اور requirements.txt فائلیں اور اسے بطور محفوظ کریں۔ model.tar.gz
:
سیج میکر ماڈل کو ترتیب دیں۔
تصویر URI، ماڈل ڈیٹا لوکیشن ان میں بتا کر SageMaker ماڈل ریسورس کی وضاحت کریں۔ ایمیزون سادہ اسٹوریج سروس (S3)، اور سیج میکر کا کردار:
ایمیزون S3 پر ماڈل اپ لوڈ کریں۔
زپ شدہ PyAnnote Hugging Face ماڈل فائل کو S3 بالٹی میں اپ لوڈ کریں:
سیج میکر غیر مطابقت پذیر اختتامی نقطہ بنائیں
فراہم کردہ غیر مطابقت پذیر انفرنس کنفیگریشن کا استعمال کرتے ہوئے SageMaker پر ماڈل کی تعیناتی کے لیے ایک غیر مطابقت پذیر اختتامی نقطہ ترتیب دیں:
اختتامی نقطہ کی جانچ کریں۔
ڈائرائزیشن کے لیے ایک آڈیو فائل بھیج کر اور مخصوص S3 آؤٹ پٹ پاتھ میں ذخیرہ کردہ JSON آؤٹ پٹ کو بازیافت کرکے اینڈ پوائنٹ کی فعالیت کا اندازہ کریں:
اس حل کو پیمانے پر تعینات کرنے کے لیے، ہم استعمال کرنے کا مشورہ دیتے ہیں۔ او ڈبلیو ایس لامبڈا۔, ایمیزون سادہ نوٹیفکیشن سروس (ایمیزون ایس این ایس)، یا ایمیزون سادہ قطار سروس (ایمیزون ایس کیو ایس)۔ یہ خدمات اسکیل ایبلٹی، ایونٹ سے چلنے والے فن تعمیر، اور وسائل کے موثر استعمال کے لیے ڈیزائن کی گئی ہیں۔ وہ نتیجہ کی پروسیسنگ سے غیر مطابقت پذیر تخمینہ کے عمل کو دوگنا کرنے میں مدد کر سکتے ہیں، جس سے آپ کو ہر ایک جزو کو آزادانہ طور پر پیمانہ کرنے اور تخمینہ کی درخواستوں کو زیادہ مؤثر طریقے سے سنبھالنے کی اجازت ملتی ہے۔
نتائج کی نمائش
ماڈل آؤٹ پٹ پر محفوظ ہے۔ s3://sagemaker-xxxx /async_inference/output/.
آؤٹ پٹ سے پتہ چلتا ہے کہ آڈیو ریکارڈنگ کو تین کالموں میں تقسیم کیا گیا ہے۔
- شروع کریں (شروع کا وقت سیکنڈ میں)
- اختتام (سیکنڈ میں اختتامی وقت)
- اسپیکر (اسپیکر لیبل)
درج ذیل کوڈ ہمارے نتائج کی ایک مثال دکھاتا ہے:
صاف کرو
آپ MinCapacity کو 0 پر سیٹ کرکے اسکیلنگ پالیسی کو صفر پر سیٹ کر سکتے ہیں۔ متضاد تخمینہ آپ کو بغیر کسی درخواست کے خودکار پیمانے پر صفر کرنے دیتا ہے۔ آپ کو اختتامی نقطہ کو حذف کرنے کی ضرورت نہیں ہے۔ ترازو دوبارہ ضرورت پڑنے پر صفر سے، استعمال میں نہ ہونے پر لاگت کو کم کرنا۔ درج ذیل کوڈ دیکھیں:
- SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
- پلیٹو ڈیٹا ڈاٹ نیٹ ورک ورٹیکل جنریٹو اے آئی۔ اپنے آپ کو بااختیار بنائیں۔ یہاں تک رسائی حاصل کریں۔
- پلیٹوآئ اسٹریم۔ ویب 3 انٹیلی جنس۔ علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
- پلیٹو ای ایس جی۔ کاربن، کلین ٹیک، توانائی ، ماحولیات، شمسی، ویسٹ مینجمنٹ یہاں تک رسائی حاصل کریں۔
- پلیٹو ہیلتھ۔ بائیوٹیک اینڈ کلینیکل ٹرائلز انٹیلی جنس۔ یہاں تک رسائی حاصل کریں۔
- ماخذ: https://aws.amazon.com/blogs/machine-learning/deploy-a-hugging-face-pyannote-speaker-diarization-model-on-amazon-sagemaker-as-an-asynchronous-endpoint/
- : ہے
- : ہے
- : نہیں
- :کہاں
- $UP
- 1
- 10
- 100
- 11
- 118
- 12
- 13
- 14
- 16
- 17
- 23
- 25
- 26٪
- 27
- 28
- 31
- 60
- 7
- 8
- 9
- a
- ہمارے بارے میں
- تک رسائی حاصل
- تک رسائی حاصل
- ایڈجسٹ
- اکاؤنٹ
- کے پار
- شامل کریں
- شامل کیا
- ایڈجسٹ
- اعلی درجے کی
- پھر
- AI
- AI خدمات
- AI / ML
- اجازت دے رہا ہے
- کی اجازت دیتا ہے
- بھی
- ایمیزون
- ایمیزون سیج میکر
- ایمیزون ویب سروسز
- an
- تجزیہ
- تجزیاتی
- اور
- کوئی بھی
- درخواست
- ایپلی کیشنز
- نقطہ نظر
- فن تعمیر
- آرکیٹیکچرز
- کیا
- ارد گرد
- AS
- At
- کوششیں
- آڈیو
- آٹو
- خود کار طریقے سے
- نگرانی
- AWS
- کی بنیاد پر
- BE
- رہا
- فائدہ
- فوائد
- کے درمیان
- کاروبار
- کاروبار
- by
- کر سکتے ہیں
- صلاحیتوں
- کیس
- مقدمات
- تبدیلیاں
- چینل
- طبقے
- کلائنٹ
- بادل
- clustering کے
- کوڈ
- کالم
- تبصروں
- کامن
- جزو
- وسیع
- تصور
- سمورتی
- ترتیب
- کنٹینر
- پر مشتمل ہے
- کنٹرول
- قیمت
- لاگت کی بچت
- اخراجات
- شمار
- تخلیق
- تخلیق
- گاہکوں
- اعداد و شمار
- معاملہ
- گہری
- گہری سیکھنے
- وضاحت
- نجات
- delves
- مظاہرین
- تعیناتی
- تعینات
- تعینات
- ڈیزائن
- ڈیزائن
- مطلوبہ
- ترقی یافتہ
- ڈیولپر
- ڈویلپرز
- ترقی
- آریھ
- مختلف
- ڈیجیٹل
- ڈیجیٹل تبدیلی
- ڈائرکٹری
- دستاویزات
- نہیں
- ڈاؤن لوڈ کرنے
- متحرک طور پر
- ہر ایک
- کو کم
- موثر
- مؤثر طریقے
- ہنر
- مؤثر طریقے سے
- کے قابل بناتا ہے
- آخر
- اختتام پوائنٹ
- خرابی
- ضروری
- مثال کے طور پر
- اس کے علاوہ
- تجربہ
- تلاش
- چہرہ
- خصوصیات
- فائل
- فائلوں
- کے بعد
- کے لئے
- فارمیٹ
- سے
- تقریب
- فعالیت
- پیداواری
- حاصل
- حاصل کرنے
- GitHub کے
- رہنمائی
- ہینڈل
- ہے
- he
- مدد
- مدد
- مدد کرتا ہے
- ان
- ہوسٹنگ
- کس طرح
- کیسے
- تاہم
- HTML
- HTTP
- HTTPS
- حب
- گلے لگانے والا چہرہ
- سینکڑوں
- شناختی
- if
- وضاحت کرتا ہے
- تصویر
- عملدرآمد
- درآمد
- in
- آزادانہ طور پر
- بھارت
- مثال کے طور پر
- انضمام کرنا
- انضمام
- میں
- شامل ہے
- IT
- سفر
- فوٹو
- JSON
- کلیدی
- لیبل
- زبان
- زبانیں
- بڑے
- شروع
- سیکھنے
- آو ہم
- لائبریریوں
- کی طرح
- لوڈ
- لوڈ کر رہا ہے
- محل وقوع
- اب
- مشین
- مشین لرننگ
- کا مطلب ہے کہ
- ML
- ماڈل
- ماڈل
- زیادہ
- ایک سے زیادہ
- قدرتی
- قدرتی زبان عملیات
- ضروری
- ضرورت ہے
- ضرورت
- ویزا
- نہیں
- کوئی بھی نہیں
- نوٹیفیکیشن
- تعداد
- اعتراض
- of
- تجویز
- on
- کھول
- اوپن سورس
- اصلاح کرتا ہے
- or
- OS
- دیگر
- ہمارے
- باہر
- پیداوار
- پر
- مجموعی طور پر
- خود
- pandas
- حصہ
- راستہ
- اجازتیں
- پائپ لائن
- پلیٹ فارم
- پلاٹا
- افلاطون ڈیٹا انٹیلی جنس
- پلیٹو ڈیٹا
- پالیسی
- مقبول
- پوسٹ
- طاقت
- پیشن گوئی
- ضروریات
- عمل
- پروسیسنگ
- منصوبوں
- ثبوت
- فراہم
- فراہم
- فراہم کرتا ہے
- فراہم کرنے
- عوامی
- ڈال
- ازگر
- pytorch
- سوالات
- شرح
- تک پہنچنے
- اصل وقت
- ریکارڈنگ
- کم
- کو کم کرنے
- حوالہ جات
- خطے
- رجسٹر
- قابل اعتماد
- کی جگہ
- نمائندگی
- درخواستوں
- ضرورت
- ضروریات
- وسائل
- وسائل
- جواب
- نتیجہ
- نتائج کی نمائش
- واپسی
- کردار
- رن
- چل رہا ہے
- sagemaker
- فروخت
- اسی
- نمونہ
- محفوظ کریں
- بچت
- اسکیل ایبلٹی
- توسیع پذیر
- پیمانے
- سکیلنگ
- سائنسدانوں
- اسکرپٹ
- سکرپٹ
- sdk
- ہموار
- بغیر کسی رکاوٹ کے
- سیکنڈ
- شعبے
- دیکھنا
- انقطاع
- حصوں
- بھیجنا
- الگ کرنا
- سروس
- سروسز
- اجلاس
- سیشن
- مقرر
- قائم کرنے
- سیٹ اپ
- کئی
- شکل
- مختصر
- ہونا چاہئے
- شوز
- سادہ
- ایک
- سافٹ ویئر کی
- سوفٹ ویئر کی نشوونما
- حل
- حل
- ماخذ
- اسپیکر
- ماہر
- مخصوص
- مخصوص
- کی وضاحت
- خرچ کرتا ہے
- تقسیم
- شروع کریں
- شروع
- ذخیرہ
- ذخیرہ
- براہ راست
- حکمت عملی
- کامیابی
- مشورہ
- اس بات کا یقین
- کے نظام
- لیتا ہے
- کاموں
- ٹیک
- ٹیسسرور
- سے
- کہ
- ۔
- وہاں.
- یہ
- وہ
- اس
- ہزاروں
- تین
- کے ذریعے
- وقت
- کرنے کے لئے
- آج
- ٹول کٹ
- موضوع
- مشعل
- تربیت یافتہ
- ٹریننگ
- تبدیلی
- ٹرانسفارمرز
- کوشش
- ٹرن
- صلی اللہ علیہ وسلم
- استعمال کی شرائط
- استعمال کیا جاتا ہے
- رکن کا
- استعمال
- کا استعمال کرتے ہوئے
- مختلف
- ورژن
- ویڈیوز
- W
- انتظار
- چاہتے ہیں
- we
- ویب
- ویب خدمات
- جب
- جس
- ڈبلیو
- گے
- ساتھ
- کام کر
- لکھا
- سال
- تم
- اور
- زیفیرنیٹ
- صفر