Kuidas Süddeutsche Zeitung optimeeris oma helijutustusprotsessi Amazon Pollyga

See on Süddeutsche Zeitungi tarkvaraarendaja Jakob Kohli külalispostitus. Süddeutsche Zeitung on tasuliste tellimuste ja unikaalsete kasutajate osas üks juhtivaid kvaliteetseid päevalehti Saksamaal. Selle veebisait, SZ.de, jõuab 15. aasta oktoobri seisuga rohkem kui 2021 miljoni igakuise unikaalse kasutajani.

Tänu nutikatele kõlaritele ja taskuhäälingusaadetele on helitööstus viimastel aastatel kogenud tõelist buumi. Kell Süddeutsche Zeitung, otsime pidevalt uusi viise, kuidas muuta meie mitmekülgne ajakirjandus veelgi kättesaadavamaks. Digiajakirjanduse teerajajatena tahame avada rohkem võimalusi Süddeutsche Zeitung lugejad artikleid tarbima. Hakkasime otsima lahendusi, mis pakuksid meie artiklite jaoks kvaliteetset helijutustust. Meie lõppeesmärk oli käivitada funktsioon "Kuula artiklit".

Selles postituses jagame, kuidas optimeerisime oma helijutustusprotsessi teenusega Amazon Polly, mis pöördub tekst elutruuks kõneks kasutades täiustatud süvaõppe tehnoloogiaid.

Miks Amazon Polly?

Usume, et Vicki, saksa närvi Amazon Polly hääl, on praegu parim saksa hääl turul. Amazon Polly pakub muljetavaldavat funktsiooni keelte vahel vahetada, hääldades õigesti näiteks ingliskeelseid filmide pealkirju ja ka isikunimesid erinevates keeltes (näiteks kuulake artiklit Schall ja Wahn meie veebisaidil).

Nii et suur osa meie infrastruktuurist töötab juba AWS-is kasutades Amazon Pollyt sobis ideaalselt. Amazon Polly saame kombineerida järgmiste komponentidega:

• An Amazoni lihtne teavitusteenus (Amazon SNS) teema, mille artikleid saame tellida. CMS saadab artiklid sellele teemale alati, kui toimetaja on need salvestanud.
• An Amazon CloudFront levitamine koos Lambda@Edge maksemüüri esmaklassilistele artiklitele, mida saame uuesti kasutada artiklite heliversioonide jaoks.

. Amazon Polly API on lihtne kasutada ja hästi dokumenteeritud. Meil kulus vähem kui nädal, enne kui kontseptsiooni tõend tööle sai.

Väljakutse

Iga päev avaldatakse saidil SZ.de sadu uusi artikleid. Pärast esmast avaldamist võidakse neid erinevatel põhjustel mitu korda värskendada – uudistepõhistesse artiklitesse lisatakse uusi lõike, parandatakse kirjavigu, muudetakse tiisereid või optimeeritakse otsingumootorite jaoks metaandmeid.

Artikli esmaseks avaldamiseks kõne genereerimine on lihtne, sest kogu tekst tuleb sünteesida. Kuid kuidas saaksime kiiresti luua heli artiklite värskendatud versioonide jaoks, ilma et maksaksime sama sisu eest kaks korda? Meie suurim väljakutse oli takistada iga värskenduse jaoks kogu teksti korduvalt Amazon Pollyle saatmist.

Meie tehniline lahendus

Iga kord, kui toimetaja artikli salvestab, avaldatakse SNS-i teemal artikli uus versioon. An AWS Lambda funktsioon on selle teema tellitud ja seda kutsutakse iga artikli uue versiooni jaoks. See funktsioon käivitab järgmised sammud:

1. Kontrollige, kas artikli uus versioon on juba täielikult sünteesitud. Kui jah, peatub funktsioon kohe (see võib juhtuda, kui muudetakse ainult metaandmeid, mis heli ei mõjuta).
2. Teisendage artikkel mitmeks SSML-dokumendid, ligikaudu üks iga tekstilõigu kohta.
3. Funktsioon kontrollib iga SSML-dokumendi puhul, kas see on arvutatud räside abil juba heliks sünteesitud. Näiteks:
   1. Kui artikkel salvestatakse esimest korda, tuleb kõik SSML-dokumendid sünteesida.
   2. Kui ühes lõigus on parandatud kirjaviga, tuleb uuesti sünteesida ainult selle lõigu SSML-dokument.
   3. Kui artiklile lisatakse uus lõik, tuleb sünteesida ainult selle uue lõigu SSML-dokument.
4. Saatke kõik veel sünteesimata SSML-dokumendid eraldi Amazon Pollyle.

Need kontrollid aitavad optimeerida jõudlust ja vähendada kulusid, takistades mitu korda terve artikli sünteesi. Väldime lisatasude võtmist väiksematest muudatustest, nagu pealkirja muutmine või SEO põhjustel metaandmete korrigeerimine.

Järgmine diagramm illustreerib lahenduse töövoogu.

Pärast seda, kui Amazon Polly on SSML-dokumendid sünteesinud, saadetakse helifailid väljundi ämbrisse Amazoni lihtne salvestusteenus (Amazon S3). Teine Lambda funktsioon kuulab selles ämbris objektide loomist, ootab artikli kõigi helifragmentide valmimist ja liidab need lõplikuks helifailiks, kasutades FFmpeg lambda kihist. See lõplik heli saadetakse teise S3 ämbrisse, mida kasutatakse meie CloudFronti levitamise lähtekohana. CloudFrontis kasutame vastava heliversiooni jaoks esmaklassiliste artiklite jaoks uuesti olemasolevat tasumüüri.

Meie freemium-mudeli põhjal pakume premium-artiklite lühendatud heliversiooni. Mittetellijad saavad esimest lõiku tasuta kuulata, kuid täieliku artikli juurde pääsemiseks peavad nad ostma tellimuse.

Järeldus

Amazon Polly integreerimine meie olemasolevasse infrastruktuuri oli väga lihtne. Meie sisu vajab minimaalset kohandamist, kuna lisame ainult lõigud ja mõned lisapausid. Kõige keerulisem osa oli jõudluse ja kulude optimeerimine, mille saavutasime, jagades artikli mitmeks lõikudele vastavaks SSML-dokumendiks, kontrollides igas SSML-dokumendis muudatusi ja koostades kogu helifaili fragmentide liitmise teel. Nende optimeerimiste abil suudame saavutada järgmise:

• Vähendage sünteesitud märkide hulka vähemalt 50%, sünteesides ainult tegelikke muudatusi.
• Vähendage aega, mis kulub artikli teksti muudatuse ilmumiseks helis, kuna sünteesimiseks on vähem heli.
• Lisage lõikude vahele suvalised helifailid ilma kogu artiklit uuesti sünteesimata. Näiteks võime lisatasu artiklite lühendatud heliversiooni lisada helifaili, et eraldada esimene lõik sellele järgnevast märkusest, et täisversiooni kuulamiseks on vaja tellimust.

Esimesel kuul pärast funktsiooni „Kuula artiklit” käivitamist meie SZ.de artiklites saime kasutajatelt palju positiivset tagasisidet. Suutsime esimese kahe kuu jooksul pärast käivitamist jõuda peaaegu 30,000 2 kasutajani. Nendest kasutajatest konverteeriti umbes 200 tasuliseks tellimuseks ainult meie maksemüüri taga oleva artikli tiiseri kuulamise tõttu. Funktsioon "Kuula artiklit" pole meie tasulise seina taga, kuid kasutajad saavad tasulisi artikleid täielikult kuulata ainult siis, kui neil on tellimus. Meie veebisait pakub ka tasuta artikleid ilma tasulise seinata. Tulevikus laiendame seda funktsiooni teistele SZ-platvormidele, eriti meie mobiiliuudiste rakendustele.

---

Teave Autor

Jakob Kohl on Süddeutsche Zeitungi tarkvaraarendaja, kus talle meeldib töötada kaasaegsete tehnoloogiatega agiilses veebisaidi meeskonnas. Ta on funktsiooni "Kuula SZ-i artiklit" üks peamisi arendajaid. Vabal ajal meeldib talle puitmööbli ehitamine, kus tehniline ja visuaalne disain on sama olulised kui veebiarenduses.

• Münditark. Euroopa parim Bitcoini ja krüptobörs.
• Platoblockchain. Web3 metaversiooni intelligentsus. Täiustatud teadmised. TASUTA PÄÄS.
• CryptoHawk. Altcoini radar. Tasuta prooviversioon.
• Allikas: https://aws.amazon.com/blogs/machine-learning/how-suddeutsche-zeitung-optimized-their-audio-narration-process-with-amazon-polly/