স্পীকার ডায়েরাইজেশন, অডিও বিশ্লেষণের একটি অপরিহার্য প্রক্রিয়া, স্পিকার পরিচয়ের উপর ভিত্তি করে একটি অডিও ফাইলকে ভাগ করে। এই পোস্টটি স্পিকার ডায়ারাইজেশনের জন্য Hugging Face-এর PyAnote-এর সাথে একীভূত করার বিষয়ে আলোচনা করে আমাজন সেজমেকার অ্যাসিঙ্ক্রোনাস এন্ডপয়েন্ট।
আমরা AWS ক্লাউডে SageMaker ব্যবহার করে কীভাবে স্পিকার সেগমেন্টেশন এবং ক্লাস্টারিং সমাধান স্থাপন করতে হয় সে সম্পর্কে একটি বিস্তৃত নির্দেশিকা প্রদান করি। আপনি মাল্টি-স্পিকার (100 টির বেশি) অডিও রেকর্ডিংয়ের সাথে কাজ করে এমন অ্যাপ্লিকেশনগুলির জন্য এই সমাধানটি ব্যবহার করতে পারেন।
সমাধান ওভারভিউ
আমাজন ট্রান্সক্রাইব AWS-এ স্পীকার ডায়ারাইজেশনের জন্য গো-টু পরিষেবা। যাইহোক, অ-সমর্থিত ভাষাগুলির জন্য, আপনি অন্যান্য মডেলগুলি ব্যবহার করতে পারেন (আমাদের ক্ষেত্রে, PyAnnote) যা অনুমানের জন্য SageMaker-এ স্থাপন করা হবে। ছোট অডিও ফাইলের জন্য যেখানে অনুমান 60 সেকেন্ড পর্যন্ত সময় নেয়, আপনি ব্যবহার করতে পারেন বাস্তব সময়ের অনুমান. 60 সেকেন্ডের বেশি সময় ধরে, অসমনিয়ত অনুমান ব্যবহার করা উচিত। অ্যাসিঙ্ক্রোনাস ইনফারেন্সের অতিরিক্ত সুবিধা হল যখন প্রক্রিয়া করার জন্য কোন অনুরোধ না থাকে তখন স্বয়ংক্রিয়ভাবে দৃষ্টান্তের সংখ্যাকে শূন্যে স্কেল করে খরচ সাশ্রয় হয়।
আলিঙ্গন মুখ মেশিন লার্নিং (ML) মডেলের জন্য একটি জনপ্রিয় ওপেন সোর্স হাব। AWS এবং Hugging Face আছে a অংশীদারিত্ব যেটি PyTorch বা TensorFlow-এ প্রশিক্ষণ এবং অনুমানের জন্য AWS ডিপ লার্নিং কন্টেনার (DLCs) এর একটি সেট সহ SageMaker এর মাধ্যমে একটি নিরবচ্ছিন্ন একীকরণের অনুমতি দেয় এবং SageMaker Python SDK-এর জন্য হাগিং ফেস এস্টিমেটর এবং ভবিষ্যদ্বাণী করে৷ SageMaker বৈশিষ্ট্য এবং ক্ষমতা বিকাশকারী এবং ডেটা বিজ্ঞানীদের AWS-এ প্রাকৃতিক ভাষা প্রক্রিয়াকরণ (NLP) সহজে শুরু করতে সাহায্য করে।
এই সমাধানের জন্য ইন্টিগ্রেশনের সাথে জড়িয়ে আছে হাগিং ফেসের প্রাক-প্রশিক্ষিত স্পিকার ডায়ারাইজেশন মডেল ব্যবহার করে PyAnote লাইব্রেরি. PyAnnote হল একটি ওপেন সোর্স টুলকিট যা স্পীকার ডায়েরাইজেশনের জন্য পাইথনে লেখা। নমুনা অডিও ডেটাসেটে প্রশিক্ষিত এই মডেলটি অডিও ফাইলে কার্যকরী স্পিকার পার্টিশনিং সক্ষম করে। মডেলটি SageMaker-এ একটি অ্যাসিঙ্ক্রোনাস এন্ডপয়েন্ট সেটআপ হিসাবে স্থাপন করা হয়েছে, ডায়ারাইজেশন কাজগুলির দক্ষ এবং মাপযোগ্য প্রক্রিয়াকরণ প্রদান করে।
নিম্নলিখিত চিত্রটি সমাধানের স্থাপত্যকে চিত্রিত করে।
এই পোস্টের জন্য, আমরা নিম্নলিখিত অডিও ফাইল ব্যবহার করি।
স্টেরিও বা মাল্টি-চ্যানেল অডিও ফাইলগুলি চ্যানেলগুলির গড় করে স্বয়ংক্রিয়ভাবে মনোতে মিশ্রিত হয়। একটি ভিন্ন হারে নমুনা করা অডিও ফাইলগুলি লোড হওয়ার পরে স্বয়ংক্রিয়ভাবে 16kHz এ পুনরায় নমুনা করা হয়।
পূর্বশর্ত
নিম্নলিখিত পূর্বশর্তগুলি সম্পূর্ণ করুন:
- একটি SageMaker ডোমেন তৈরি করুন.
- নিশ্চিত করুন যে আপনার এডাব্লুএস আইডেন্টিটি এবং অ্যাক্সেস ম্যানেজমেন্ট (IAM) ব্যবহারকারীর একটি তৈরি করার জন্য প্রয়োজনীয় অ্যাক্সেসের অনুমতি রয়েছে সেজমেকার ভূমিকা.
- নিশ্চিত করুন যে AWS অ্যাকাউন্টে একটি ml.g5.2xlarge উদাহরণের জন্য SageMaker এন্ডপয়েন্ট হোস্ট করার জন্য একটি পরিষেবা কোটা রয়েছে৷
Hugging Face থেকে PyAnnote স্পিকার ডায়েরাইজেশন অ্যাক্সেস করার জন্য একটি মডেল ফাংশন তৈরি করুন
আপনি পছন্দসই প্রাক-প্রশিক্ষিত অ্যাক্সেস করতে Hugging Face Hub ব্যবহার করতে পারেন PyAnote স্পিকার ডায়ারাইজেশন মডেল. SageMaker এন্ডপয়েন্ট তৈরি করার সময় আপনি মডেল ফাইল ডাউনলোড করার জন্য একই স্ক্রিপ্ট ব্যবহার করেন।
নিম্নলিখিত কোডটি দেখুন:
মডেল কোড প্যাকেজ
inference.py এর মত প্রয়োজনীয় ফাইলগুলি প্রস্তুত করুন, যাতে অনুমান কোড থাকে:
প্রস্তুত কর একটি requirements.txt
ফাইল, যাতে অনুমান চালানোর জন্য প্রয়োজনীয় পাইথন লাইব্রেরি রয়েছে:
অবশেষে, কম্প্রেস inference.py
এবং requirements.txt ফাইল এবং এটি হিসাবে সংরক্ষণ করুন model.tar.gz
:
একটি SageMaker মডেল কনফিগার করুন
ইমেজ URI, মডেল ডেটা অবস্থান উল্লেখ করে একটি SageMaker মডেল রিসোর্স সংজ্ঞায়িত করুন আমাজন সিম্পল স্টোরেজ সার্ভিস (S3), এবং SageMaker ভূমিকা:
Amazon S3 এ মডেলটি আপলোড করুন
একটি S3 বালতিতে জিপ করা PyAnote Hugging Face মডেল ফাইলটি আপলোড করুন:
একটি SageMaker অ্যাসিঙ্ক্রোনাস এন্ডপয়েন্ট তৈরি করুন
প্রদত্ত অ্যাসিঙ্ক্রোনাস ইনফারেন্স কনফিগারেশন ব্যবহার করে SageMaker-এ মডেল স্থাপনের জন্য একটি অ্যাসিঙ্ক্রোনাস এন্ডপয়েন্ট কনফিগার করুন:
শেষবিন্দু পরীক্ষা করুন
ডায়েরাইজেশনের জন্য একটি অডিও ফাইল পাঠিয়ে এবং নির্দিষ্ট S3 আউটপুট পাথে সঞ্চিত JSON আউটপুট পুনরুদ্ধার করে শেষ পয়েন্ট কার্যকারিতা মূল্যায়ন করুন:
এই সমাধানটি স্কেলে স্থাপন করতে, আমরা ব্যবহার করার পরামর্শ দিই এডাব্লুএস ল্যাম্বদা, অ্যামাজন সাধারণ বিজ্ঞপ্তি পরিষেবা (আমাজন এসএনএস), বা অ্যামাজন সরল সারি পরিষেবা (Amazon SQS)। এই পরিষেবাগুলি পরিমাপযোগ্যতা, ইভেন্ট-চালিত আর্কিটেকচার এবং দক্ষ সম্পদ ব্যবহারের জন্য ডিজাইন করা হয়েছে। তারা ফলাফল প্রক্রিয়াকরণ থেকে অ্যাসিঙ্ক্রোনাস ইনফারেন্স প্রক্রিয়াটিকে দ্বিগুণ করতে সাহায্য করতে পারে, আপনাকে প্রতিটি উপাদানকে স্বাধীনভাবে স্কেল করতে এবং অনুমানের অনুরোধের বিস্ফোরণগুলিকে আরও কার্যকরভাবে পরিচালনা করতে দেয়।
ফলাফল
মডেল আউটপুট সংরক্ষণ করা হয় s3://sagemaker-xxxx /async_inference/output/.
আউটপুট দেখায় যে অডিও রেকর্ডিং তিনটি কলামে বিভক্ত করা হয়েছে:
- শুরু (সেকেন্ডে শুরুর সময়)
- শেষ (সেকেন্ডে শেষ সময়)
- স্পিকার (স্পিকার লেবেল)
নিম্নলিখিত কোড আমাদের ফলাফলের একটি উদাহরণ দেখায়:
পরিষ্কার কর
আপনি MinCapacity 0 এ সেট করে একটি স্কেলিং নীতি শূন্যে সেট করতে পারেন; অ্যাসিঙ্ক্রোনাস অনুমান কোনো অনুরোধ ছাড়াই আপনাকে স্বয়ংক্রিয়ভাবে শূন্যে স্কেল করতে দেয়। আপনি শেষ বিন্দু মুছে ফেলার প্রয়োজন নেই, এটা দাঁড়িপাল্লা আবার প্রয়োজন হলে শূন্য থেকে, ব্যবহার না হলে খরচ কমানো। নিম্নলিখিত কোড দেখুন:
- এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
- PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
- প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
- প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
- প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
- উত্স: https://aws.amazon.com/blogs/machine-learning/deploy-a-hugging-face-pyannote-speaker-diarization-model-on-amazon-sagemaker-as-an-asynchronous-endpoint/
- : আছে
- : হয়
- :না
- :কোথায়
- $ ইউপি
- 1
- 10
- 100
- 11
- 118
- 12
- 13
- 14
- 16
- 17
- 23
- 25
- 26%
- 27
- 28
- 31
- 60
- 7
- 8
- 9
- a
- সম্পর্কে
- প্রবেশ
- অ্যাক্সেস করা
- মানানসই
- হিসাব
- দিয়ে
- যোগ
- যোগ
- সামঞ্জস্য
- অগ্রসর
- আবার
- AI
- এআই পরিষেবা
- এআই / এমএল
- অনুমতি
- অনুমতি
- এছাড়াও
- মর্দানী স্ত্রীলোক
- আমাজন সেজমেকার
- অ্যামাজন ওয়েব সার্ভিসেস
- an
- বিশ্লেষণ
- বৈশ্লেষিক ন্যায়
- এবং
- কোন
- আবেদন
- অ্যাপ্লিকেশন
- অভিগমন
- স্থাপত্য
- আর্কিটেকচারের
- রয়েছি
- কাছাকাছি
- AS
- At
- প্রচেষ্টা
- অডিও
- গাড়ী
- স্বয়ংক্রিয়ভাবে
- গড়
- ডেস্কটপ AWS
- ভিত্তি
- BE
- হয়েছে
- সুবিধা
- সুবিধা
- মধ্যে
- ব্যবসায়
- ব্যবসা
- by
- CAN
- ক্ষমতা
- কেস
- মামলা
- পরিবর্তন
- চ্যানেল
- শ্রেণী
- মক্কেল
- মেঘ
- থলোথলো
- কোড
- কলাম
- মন্তব্য
- সাধারণ
- উপাদান
- ব্যাপক
- ধারণা
- সহগামী
- কনফিগারেশন
- কন্টেনারগুলি
- ধারণ
- নিয়ন্ত্রণগুলি
- মূল্য
- খরচ বাঁচানো
- খরচ
- গণনা
- সৃষ্টি
- তৈরি করা হচ্ছে
- গ্রাহকদের
- উপাত্ত
- ডিলিং
- গভীর
- গভীর জ্ঞানার্জন
- নির্ধারণ করা
- প্রদান করা
- delves
- প্রদর্শন
- স্থাপন
- মোতায়েন
- মোতায়েন
- নকশা
- পরিকল্পিত
- আকাঙ্ক্ষিত
- উন্নত
- বিকাশকারী
- ডেভেলপারদের
- উন্নয়ন
- নকশা
- বিভিন্ন
- ডিজিটাল
- ডিজিটাল ট্রান্সফরমেসন
- ডিরেক্টরি
- কাগজপত্র
- Dont
- ডাউনলোডিং
- পরিবর্তনশীল
- প্রতি
- আরাম
- কার্যকর
- কার্যকরীভাবে
- দক্ষ
- দক্ষতার
- সম্ভব
- শেষ
- শেষপ্রান্ত
- ভুল
- অপরিহার্য
- উদাহরণ
- ছাড়া
- অভিজ্ঞতা
- অন্বেষণ করুণ
- মুখ
- বৈশিষ্ট্য
- ফাইল
- নথি পত্র
- অনুসরণ
- জন্য
- বিন্যাস
- থেকে
- ক্রিয়া
- কার্যকারিতা
- সৃজক
- পাওয়া
- পেয়ে
- GitHub
- কৌশল
- হাতল
- আছে
- he
- সাহায্য
- সাহায্য
- সাহায্য
- তার
- হোস্টিং
- কিভাবে
- কিভাবে
- যাহোক
- এইচটিএমএল
- HTTP
- HTTPS দ্বারা
- নাভি
- জড়িয়ে আছে
- শত শত
- পরিচয়
- if
- প্রকাশ
- ভাবমূর্তি
- বাস্তবায়িত
- আমদানি
- in
- স্বাধীনভাবে
- ভারত
- উদাহরণ
- একীভূত
- ইন্টিগ্রেশন
- মধ্যে
- জড়িত
- IT
- যাত্রা
- JPG
- JSON
- চাবি
- লেবেল
- ভাষা
- ভাষাসমূহ
- বড়
- শুরু করা
- শিক্ষা
- যাক
- লাইব্রেরি
- মত
- বোঝা
- বোঝাই
- অবস্থান
- আর
- মেশিন
- মেশিন লার্নিং
- মানে
- ML
- মডেল
- মডেল
- অধিক
- বহু
- প্রাকৃতিক
- স্বাভাবিক ভাষা প্রক্রিয়াকরণ
- প্রয়োজনীয়
- প্রয়োজন
- প্রয়োজন
- NLP
- না।
- না
- প্রজ্ঞাপন
- সংখ্যা
- লক্ষ্য
- of
- অফার
- on
- খোলা
- ওপেন সোর্স
- সেরা অনুকূল রূপ
- or
- OS
- অন্যান্য
- আমাদের
- বাইরে
- আউটপুট
- শেষ
- সামগ্রিক
- নিজের
- পান্ডাস
- অংশ
- পথ
- অনুমতি
- পাইপলাইন
- মাচা
- Plato
- প্লেটো ডেটা ইন্টেলিজেন্স
- প্লেটোডাটা
- নীতি
- জনপ্রিয়
- পোস্ট
- চালিত
- ভবিষ্যতবাণী
- পূর্বশর্ত
- প্রক্রিয়া
- প্রক্রিয়াজাতকরণ
- প্রকল্প
- প্রমাণাদি
- প্রদান
- প্রদত্ত
- উপলব্ধ
- প্রদানের
- প্রকাশ্য
- করা
- পাইথন
- পাইটার্চ
- প্রশ্ন
- হার
- নাগাল
- প্রকৃত সময়
- রেকর্ডিং
- হ্রাস
- হ্রাস
- রেফারেন্স
- এলাকা
- খাতা
- বিশ্বাসযোগ্য
- প্রতিস্থাপন করা
- প্রতিনিধিত্বমূলক
- অনুরোধ
- প্রয়োজনীয়
- আবশ্যকতা
- সংস্থান
- Resources
- প্রতিক্রিয়া
- ফল
- ফলাফল
- প্রত্যাবর্তন
- ভূমিকা
- চালান
- দৌড়
- ঋষি নির্মাতা
- বিক্রয়
- একই
- প্রসঙ্গ
- সংরক্ষণ করুন
- জমা
- স্কেলেবিলিটি
- মাপযোগ্য
- স্কেল
- আরোহী
- বিজ্ঞানীরা
- লিপি
- স্ক্রিপ্ট
- SDK
- নির্বিঘ্ন
- নির্বিঘ্নে
- সেকেন্ড
- সেক্টর
- দেখ
- সেগমেন্টেশন
- অংশ
- পাঠানোর
- পৃথক
- সেবা
- সেবা
- সেশন
- সেশন
- সেট
- বিন্যাস
- সেটআপ
- বিভিন্ন
- আকৃতি
- সংক্ষিপ্ত
- উচিত
- শো
- সহজ
- একক
- সফটওয়্যার
- সফটওয়্যার উন্নয়ন
- সমাধান
- সলিউশন
- উৎস
- বক্তা
- বিশেষজ্ঞ
- নির্দিষ্ট
- নিদিষ্ট
- নির্দিষ্ট করা
- ব্যয়
- বিভক্ত করা
- শুরু
- শুরু
- স্টোরেজ
- সঞ্চিত
- অকপট
- কৌশলগত
- সাফল্য
- সুপারিশ
- নিশ্চিত
- পদ্ধতি
- লাগে
- কাজ
- প্রযুক্তি
- tensorflow
- চেয়ে
- যে
- সার্জারির
- সেখানে।
- এইগুলো
- তারা
- এই
- হাজার হাজার
- তিন
- দ্বারা
- সময়
- থেকে
- আজ
- টুলকিট
- বিষয়
- মশাল
- প্রশিক্ষিত
- প্রশিক্ষণ
- রুপান্তর
- ট্রান্সফরমার
- চেষ্টা
- চালু
- উপরে
- ব্যবহার
- ব্যবহৃত
- ব্যবহারকারী
- ব্যবহারসমূহ
- ব্যবহার
- বৈকল্পিক
- সংস্করণ
- Videos
- W
- অপেক্ষা করুন
- প্রয়োজন
- we
- ওয়েব
- ওয়েব সার্ভিস
- কখন
- যে
- হু
- ইচ্ছা
- সঙ্গে
- কাজ
- লিখিত
- বছর
- আপনি
- আপনার
- zephyrnet
- শূন্য