কিভাবে Süddeutsche Zeitung তাদের অডিও বর্ণনা প্রক্রিয়াকে Amazon Polly-এর সাথে অপ্টিমাইজ করেছে

এটি Süddeutsche Zeitung-এর সফ্টওয়্যার বিকাশকারী জ্যাকব কোহলের একটি অতিথি পোস্ট৷ পেইড সাবস্ক্রিপশন এবং অনন্য ব্যবহারকারীদের ক্ষেত্রে Süddeutsche Zeitung হল জার্মানির শীর্ষস্থানীয় মানের দৈনিকগুলির মধ্যে একটি৷ এর ওয়েবসাইট, SZ.de, অক্টোবর 15 পর্যন্ত 2021 মিলিয়নেরও বেশি মাসিক অনন্য ব্যবহারকারীদের কাছে পৌঁছেছে।

স্মার্ট স্পিকার এবং পডকাস্টের জন্য ধন্যবাদ, সাম্প্রতিক বছরগুলিতে অডিও শিল্প একটি সত্যিকারের বুম অনুভব করেছে। এ স্যুডুৎস্কি জিতুং, আমরা আমাদের বৈচিত্র্যময় সাংবাদিকতাকে আরও সহজলভ্য করার জন্য ক্রমাগত নতুন উপায় খুঁজছি। ডিজিটাল সাংবাদিকতায় অগ্রগামী হিসেবে, আমরা এর জন্য আরও সুযোগ খুলতে চাই স্যুডুৎস্কি জিতুং পাঠক নিবন্ধ গ্রাস. আমরা আমাদের নিবন্ধগুলির জন্য উচ্চ মানের অডিও বর্ণনা প্রদান করতে পারে এমন সমাধানগুলি খুঁজতে শুরু করেছি৷ আমাদের চূড়ান্ত লক্ষ্য ছিল একটি "নিবন্ধটি শুনুন" বৈশিষ্ট্যটি চালু করা।

এই পোস্টে, আমরা শেয়ার করি কিভাবে আমরা আমাদের অডিও বর্ণনা প্রক্রিয়াকে Amazon Polly-এর সাথে অপ্টিমাইজ করেছি প্রাণবন্ত বক্তৃতায় পাঠ্য উন্নত গভীর শিক্ষার প্রযুক্তি ব্যবহার করে।

কেন আমাজন পলি?

আমরা বিশ্বাস করি যে ভিকি, জার্মান নিউরাল আমাজন পলি ভয়েস, বর্তমানে বাজারে সেরা জার্মান ভয়েস। আমাজন পলি চিত্তাকর্ষক বৈশিষ্ট্য অফার করে ভাষার মধ্যে স্যুইচ করুন, সঠিকভাবে উচ্চারণ করা যেমন ইংরেজি সিনেমার শিরোনাম এবং বিভিন্ন ভাষায় ব্যক্তিগত নাম (উদাহরণস্বরূপ, নিবন্ধটি শুনুন শ্যাল ও ওয়ান আমাদের ওয়েবসাইটে)।

আমাদের অবকাঠামোর একটি বড় অংশ ইতিমধ্যে AWS-তে চলে, তাই অ্যামাজন পলি ব্যবহার করে একটি নিখুঁত ফিট ছিল. আমরা নিম্নলিখিত উপাদানগুলির সাথে অ্যামাজন পলিকে একত্রিত করতে পারি:

• An অ্যামাজন সাধারণ বিজ্ঞপ্তি পরিষেবা (Amazon SNS) বিষয় যেখানে আমরা নিবন্ধগুলির জন্য সদস্যতা নিতে পারি। নিবন্ধগুলি যখনই কোনও সম্পাদক দ্বারা সংরক্ষণ করা হয় তখনই সিএমএস দ্বারা এই বিষয়ে পাঠানো হয়৷
• An অ্যামাজন মেঘ ফ্রন্ট সঙ্গে বিতরণ Lambda@Edge পেওয়াল প্রিমিয়াম নিবন্ধের জন্য, যা আমরা নিবন্ধগুলির অডিও সংস্করণের জন্য পুনরায় ব্যবহার করতে পারি।

সার্জারির আমাজন পলি এপিআই ব্যবহার করা সহজ এবং ভাল নথিভুক্ত. কাজ করার জন্য আমাদের ধারণার প্রমাণ পেতে আমাদের এক সপ্তাহেরও কম সময় লেগেছে।

চ্যালেঞ্জ

SZ.de-তে প্রতিদিন শত শত নতুন নিবন্ধ প্রকাশিত হয়। প্রাথমিক প্রকাশের পরে, বিভিন্ন কারণে সেগুলি বেশ কয়েকবার আপডেট হতে পারে—সংবাদ-চালিত নিবন্ধগুলিতে নতুন অনুচ্ছেদ যোগ করা হয়, টাইপো সংশোধন করা হয়, টিজার পরিবর্তন করা হয়, বা মেটাডেটা সার্চ ইঞ্জিনের জন্য অপ্টিমাইজ করা হয়।

একটি নিবন্ধের প্রাথমিক প্রকাশনার জন্য বক্তৃতা তৈরি করা সহজ, কারণ পুরো পাঠ্যটি সংশ্লেষিত করা প্রয়োজন। কিন্তু একই বিষয়বস্তুর জন্য দুবার অর্থ প্রদান না করে কীভাবে আমরা নিবন্ধের আপডেট হওয়া সংস্করণগুলির জন্য দ্রুত অডিও তৈরি করতে পারি? আমাদের সবচেয়ে বড় চ্যালেঞ্জ ছিল প্রতিটি একক আপডেটের জন্য বারবার অ্যামাজন পলিতে পুরো পাঠ্য পাঠানো প্রতিরোধ করা।

আমাদের প্রযুক্তিগত সমাধান

যখনই একজন সম্পাদক একটি নিবন্ধ সংরক্ষণ করেন, নিবন্ধটির নতুন সংস্করণ একটি SNS বিষয় প্রকাশ করা হয়। একটি এডাব্লুএস ল্যাম্বদা ফাংশনটি এই বিষয়ে সদস্যতা নিয়েছে এবং একটি নিবন্ধের প্রতিটি নতুন সংস্করণের জন্য বলা হয়েছে। এই ফাংশনটি নিম্নলিখিত পদক্ষেপগুলি চালায়:

1. নিবন্ধের নতুন সংস্করণ ইতিমধ্যে সম্পূর্ণ সংশ্লেষিত হয়েছে কিনা পরীক্ষা করুন। যদি তাই হয়, ফাংশন অবিলম্বে বন্ধ হয়ে যায় (এটি ঘটতে পারে যখন শুধুমাত্র মেটাডেটা পরিবর্তন করা হয় যা অডিওকে প্রভাবিত করে না)।
2. নিবন্ধটিকে একাধিকতে রূপান্তর করুন SSML নথি, প্রতিটি পাঠ্য অনুচ্ছেদের জন্য মোটামুটি একটি।
3. প্রতিটি SSML নথির জন্য, ফাংশন পরীক্ষা করে যে এটি ইতিমধ্যেই গণনা করা হ্যাশ ব্যবহার করে অডিওতে সংশ্লেষিত হয়েছে কিনা। উদাহরণ স্বরূপ:
   1. একটি নিবন্ধ প্রথমবারের জন্য সংরক্ষিত হলে, সমস্ত SSML নথি সংশ্লেষিত করা আবশ্যক।
   2. যদি একটি অনুচ্ছেদে একটি টাইপো সংশোধন করা হয়, তবে এই অনুচ্ছেদের জন্য শুধুমাত্র SSML নথিটি পুনরায় সংশ্লেষিত করা আবশ্যক৷
   3. নিবন্ধে একটি নতুন অনুচ্ছেদ যোগ করা হলে, এই নতুন অনুচ্ছেদের জন্য শুধুমাত্র SSML নথি সংশ্লেষিত করা আবশ্যক।
4. অ্যামাজন পলিতে পৃথকভাবে সমস্ত এখনও-সংশ্লেষিত SSML নথিগুলি পাঠান৷

এই চেকগুলি একটি সম্পূর্ণ নিবন্ধ একাধিকবার সংশ্লেষণ রোধ করে কর্মক্ষমতা অপ্টিমাইজ করতে এবং খরচ কমাতে সাহায্য করে৷ আমরা এসইও কারণে শিরোনাম সম্পাদনা বা মেটাডেটা সামঞ্জস্যের মতো ছোটখাটো পরিবর্তনের কারণে অতিরিক্ত চার্জ এড়াই।

নিম্নলিখিত চিত্রটি সমাধানের কার্যপ্রবাহকে চিত্রিত করে।

অ্যামাজন পলি এসএসএমএল নথিগুলিকে সংশ্লেষণ করার পরে, অডিও ফাইলগুলি একটি আউটপুট বালতিতে পাঠানো হয় আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3)। একটি দ্বিতীয় ল্যাম্বডা ফাংশন সেই বালতিতে অবজেক্ট তৈরির জন্য শুনছে, একটি নিবন্ধের সমস্ত অডিও খণ্ডের সমাপ্তির জন্য অপেক্ষা করছে এবং তাদের ব্যবহার করে একটি চূড়ান্ত অডিও ফাইলে একত্রিত করে একটি Lambda স্তর থেকে FFmpeg. এই চূড়ান্ত অডিওটি অন্য S3 বালতিতে পাঠানো হয়, যা আমাদের ক্লাউডফ্রন্ট বিতরণে উত্স হিসাবে ব্যবহৃত হয়। CloudFront-এ, আমরা সংশ্লিষ্ট অডিও সংস্করণের জন্য প্রিমিয়াম নিবন্ধগুলির জন্য একটি বিদ্যমান পেওয়াল পুনরায় ব্যবহার করি।

আমাদের ফ্রিমিয়াম মডেলের উপর ভিত্তি করে, আমরা প্রিমিয়াম নিবন্ধগুলির একটি সংক্ষিপ্ত অডিও সংস্করণ সরবরাহ করি। অ-সদস্যরা বিনামূল্যে প্রথম অনুচ্ছেদ শুনতে সক্ষম, কিন্তু সম্পূর্ণ নিবন্ধটি অ্যাক্সেস করার জন্য একটি সদস্যতা কিনতে হবে।

উপসংহার

আমাদের বিদ্যমান পরিকাঠামোতে অ্যামাজন পলির একীকরণ খুবই সহজ ছিল। আমাদের সামগ্রীর ন্যূনতম কাস্টমাইজেশন প্রয়োজন কারণ আমরা শুধুমাত্র অনুচ্ছেদ এবং কিছু অতিরিক্ত বিরতি অন্তর্ভুক্ত করি। সবচেয়ে চ্যালেঞ্জিং অংশ ছিল পারফরম্যান্স এবং খরচ অপ্টিমাইজেশান, যা আমরা অনুচ্ছেদের সাথে সম্পর্কিত একাধিক SSML নথিতে নিবন্ধটি বিভক্ত করে, প্রতিটি SSML নথিতে পরিবর্তনগুলি পরীক্ষা করে এবং খণ্ডগুলিকে একত্রিত করে পুরো অডিও ফাইল তৈরি করে অর্জন করেছি। এই অপ্টিমাইজেশানগুলির সাথে, আমরা নিম্নলিখিতগুলি অর্জন করতে সক্ষম হই:

• শুধুমাত্র বাস্তব পরিবর্তনগুলি সংশ্লেষিত করে সংশ্লেষিত অক্ষরের পরিমাণ কমপক্ষে 50% হ্রাস করুন।
• সংশ্লেষিত করার জন্য কম অডিও থাকার কারণে অডিওতে নিবন্ধের পাঠ্যের পরিবর্তনের জন্য যে সময় লাগে তা কমিয়ে দিন।
• পুরো নিবন্ধটি পুনরায় সংশ্লেষণ না করেই অনুচ্ছেদের মধ্যে নির্বিচারে অডিও ফাইল যোগ করুন। উদাহরণস্বরূপ, আমরা একটি প্রিমিয়াম নিবন্ধের সংক্ষিপ্ত অডিও সংস্করণে একটি শব্দ ফাইল অন্তর্ভুক্ত করতে পারি যাতে পরবর্তী নোট থেকে প্রথম অনুচ্ছেদটি আলাদা করা যায় যে সম্পূর্ণ সংস্করণটি শোনার জন্য একটি সাবস্ক্রিপশন প্রয়োজন।

আমাদের SZ.de নিবন্ধগুলিতে "নিবন্ধটি শুনুন" বৈশিষ্ট্যটি চালু করার পর প্রথম মাসে, আমরা অনেক ইতিবাচক ব্যবহারকারীর প্রতিক্রিয়া পেয়েছি৷ লঞ্চের পর প্রথম 30,000 মাসে আমরা প্রায় 2 ব্যবহারকারীদের কাছে পৌঁছাতে সক্ষম হয়েছি। এই ব্যবহারকারীদের থেকে, আনুমানিক 200 শুধুমাত্র আমাদের পেওয়ালের পিছনে একটি নিবন্ধের টিজার শোনা থেকে একটি অর্থপ্রদানের সদস্যতায় রূপান্তরিত হয়েছে৷ "নিবন্ধটি শুনুন" বৈশিষ্ট্যটি আমাদের পেওয়ালের পিছনে নেই, তবে ব্যবহারকারীরা শুধুমাত্র প্রিমিয়াম নিবন্ধগুলি পুরোপুরি শুনতে পারবেন যদি তাদের সদস্যতা থাকে। আমাদের ওয়েবসাইট একটি পেওয়াল ছাড়া বিনামূল্যে নিবন্ধ অফার করে. ভবিষ্যতে, আমরা অন্যান্য SZ প্ল্যাটফর্মগুলিতে বিশেষ করে আমাদের মোবাইল নিউজ অ্যাপগুলিতে বৈশিষ্ট্যটি প্রসারিত করব।

---

লেখক সম্পর্কে

জ্যাকব কোহল তিনি Süddeutsche Zeitung-এর একজন সফ্টওয়্যার বিকাশকারী, যেখানে তিনি একটি চটপটে ওয়েবসাইট দলে আধুনিক প্রযুক্তির সাথে কাজ করা উপভোগ করেন। তিনি "একটি SZ নিবন্ধ শুনুন" বৈশিষ্ট্যটির প্রধান বিকাশকারীদের একজন। অবসর সময়ে, তিনি কাঠের আসবাবপত্র তৈরি করতে পছন্দ করেন, যেখানে প্রযুক্তিগত এবং ভিজ্যুয়াল ডিজাইন ওয়েব ডেভেলপমেন্টের মতোই গুরুত্বপূর্ণ।

• Coinsmart. ইউরোপের সেরা বিটকয়েন এবং ক্রিপ্টো এক্সচেঞ্জ।
• প্লেটোব্লকচেন। Web3 মেটাভার্স ইন্টেলিজেন্স। জ্ঞান প্রসারিত. বিনামূল্যে এক্সেস.
• ক্রিপ্টোহক। Altcoin রাডার। বিনামূল্যে ট্রায়াল.
• সূত্র: https://aws.amazon.com/blogs/machine-learning/how-suddeutsche-zeitung-optimized-their-audio-narration-process-with-amazon-polly/