Hvordan Süddeutsche Zeitung optimaliserte lydfortellingsprosessen deres med Amazon Polly

Dette er et gjesteinnlegg av Jakob Kohl, en programvareutvikler ved Süddeutsche Zeitung. Süddeutsche Zeitung er en av de ledende kvalitetsavisene i Tyskland når det kommer til betalte abonnementer og unike brukere. nettstedet sitt, SZ.de, når mer enn 15 millioner unike månedlige brukere per oktober 2021.

Takket være smarte høyttalere og podcaster har lydindustrien opplevd en skikkelig boom de siste årene. På Süddeutsche Zeitung, leter vi stadig etter nye måter å gjøre vår mangfoldige journalistikk enda mer tilgjengelig. Som pionerer innen digital journalistikk ønsker vi å åpne flere muligheter for Süddeutsche Zeitung lesere til å konsumere artikler. Vi begynte å se etter løsninger som kunne gi lydfortellinger av høy kvalitet for artiklene våre. Vårt endelige mål var å lansere en «lytt til artikkelen»-funksjonen.

I dette innlegget deler vi hvordan vi optimaliserte lydfortellingsprosessen vår med Amazon Polly, en tjeneste som snur tekst til naturtro tale ved hjelp av avanserte dyplæringsteknologier.

Hvorfor Amazon Polly?

Vi tror at Vicki, den tyske nevrale Amazon Polly stemme, er for tiden den beste tyske stemmen på markedet. Amazon Polly tilbyr den imponerende funksjonen til bytte mellom språk, korrekt uttale for eksempel engelske filmtitler så vel som personnavn på forskjellige språk (for eksempel, lytt til artikkelen Schall og Wahn på nettsiden vår).

En stor del av infrastrukturen vår kjører allerede på AWS, så bruker Amazon Polly passet perfekt. Vi kan kombinere Amazon Polly med følgende komponenter:

• An Amazon enkel varslingstjeneste (Amazon SNS) emne som vi kan abonnere på for artikler. Artiklene sendes til dette emnet av CMS når de blir lagret av en redaktør.
• An Amazon CloudFront distribusjon med Lambda@Edge til betalingsmur premium-artikler, som vi kan gjenbruke for lydversjoner av artikler.

De Amazon Polly API er enkel å bruke og godt dokumentert. Det tok oss mindre enn en uke å få proof of concept til å fungere.

Utfordringen

Hundrevis av nye artikler publiseres hver dag på SZ.de. Etter første publisering kan de bli oppdatert flere ganger av ulike årsaker – nye avsnitt legges til i nyhetsdrevne artikler, skrivefeil rettes, teasere endres eller metadata er optimalisert for søkemotorer.

Det er enkelt å generere tale for den første publiseringen av en artikkel, fordi hele teksten må syntetiseres. Men hvordan kan vi raskt generere lyden for oppdaterte versjoner av artikler uten å betale to ganger for det samme innholdet? Vår største utfordring var å unngå å sende hele teksten til Amazon Polly gjentatte ganger for hver enkelt oppdatering.

Vår tekniske løsning

Hver gang en redaktør lagrer en artikkel, publiseres den nye versjonen av artikkelen til et SNS-emne. An AWS Lambda funksjonen abonnerer på dette emnet og kalles for hver ny versjon av en artikkel. Denne funksjonen kjører følgende trinn:

1. Sjekk om den nye versjonen av artikkelen allerede er fullstendig syntetisert. I så fall stopper funksjonen umiddelbart (dette kan skje når bare metadata endres som ikke påvirker lyden).
2. Konverter artikkelen til flere SSML dokumenter, omtrent én for hvert tekstavsnitt.
3. For hvert SSML-dokument sjekker funksjonen om det allerede er syntetisert til lyd ved å bruke beregnede hashes. For eksempel:
   1. Hvis en artikkel lagres for første gang, må alle SSML-dokumenter syntetiseres.
   2. Hvis en skrivefeil er rettet i et enkelt avsnitt, må bare SSML-dokumentet for dette avsnittet syntetiseres på nytt.
   3. Hvis et nytt avsnitt legges til artikkelen, må bare SSML-dokumentet for dette nye avsnittet syntetiseres.
4. Send alle ikke-syntetiserte SSML-dokumenter separat til Amazon Polly.

Disse sjekkene bidrar til å optimalisere ytelsen og redusere kostnadene ved å forhindre syntese av en hel artikkel flere ganger. Vi unngår å pådra oss ekstra kostnader på grunn av mindre endringer som tittelredigering eller metadatajusteringer av SEO-grunner.

Følgende diagram illustrerer arbeidsflyten.

Etter at Amazon Polly har syntetisert SSML-dokumentene, sendes lydfilene til en utdatabøtte i Amazon enkel lagringstjeneste (Amazon S3). En andre Lambda-funksjon lytter etter objektoppretting på den bøtten, venter på fullføringen av alle lydfragmenter av en artikkel, og slår dem sammen til en endelig lydfil ved hjelp av FFmpeg fra et lambdalag. Denne endelige lyden sendes til en annen S3-bøtte, som brukes som opprinnelse i vår CloudFront-distribusjon. I CloudFront gjenbruker vi en eksisterende betalingsmur for premium-artikler for den tilsvarende lydversjonen.

Basert på vår freemium-modell tilbyr vi en forkortet lydversjon av premium-artikler. Ikke-abonnenter kan lytte til første avsnitt gratis, men må kjøpe et abonnement for å få tilgang til hele artikkelen.

konklusjonen

Integrering av Amazon Polly i vår eksisterende infrastruktur var veldig enkel. Innholdet vårt krever minimal tilpasning fordi vi bare inkluderer avsnitt og noen ekstra pauser. Den mest utfordrende delen var ytelses- og kostnadsoptimalisering, som vi oppnådde ved å dele artikkelen opp i flere SSML-dokumenter som tilsvarer avsnitt, se etter endringer i hvert SSML-dokument og bygge hele lydfilen ved å slå sammen fragmentene. Med disse optimaliseringene er vi i stand til å oppnå følgende:

• Reduser mengden syntetiserte tegn med minst 50 % ved kun å syntetisere reelle endringer.
• Reduser tiden det tar før en endring i artikkelteksten vises i lyden fordi det er mindre lyd å syntetisere.
• Legg til vilkårlige lydfiler mellom avsnitt uten å syntetisere hele artikkelen på nytt. For eksempel kan vi inkludere en lydfil i den forkortede lydversjonen av en premium-artikkel for å skille det første avsnittet fra det påfølgende notatet om at et abonnement er nødvendig for å lytte til fullversjonen.

I den første måneden etter lanseringen av "lytt til artikkelen"-funksjonen i SZ.de-artiklene våre, fikk vi mange positive tilbakemeldinger fra brukerne. Vi klarte å nå nesten 30,000 2 brukere i løpet av de første 200 månedene etter lansering. Fra disse brukerne konverterte omtrent XNUMX til et betalt abonnement kun fra å lytte til teaseren til en artikkel bak betalingsmuren vår. «Lytt til artikkelen»-funksjonen er ikke bak betalingsmuren vår, men brukere kan bare lytte til premium-artikler fullt ut hvis de har et abonnement. Vår nettside tilbyr også gratis artikler uten betalingsmur. I fremtiden vil vi utvide funksjonen til andre SZ-plattformer, spesielt våre mobile nyhetsapper.

---

om forfatteren

Jakob Kohl er programvareutvikler ved Süddeutsche Zeitung, hvor han liker å jobbe med moderne teknologi på et smidig nettstedsteam. Han er en av hovedutviklerne av funksjonen "lytt til en SZ-artikkel". På fritiden liker han å bygge tremøbler, hvor teknisk og visuell design er like viktig som i webutvikling.

• Myntsmart. Europas beste Bitcoin og Crypto Exchange.
• Platoblokkkjede. Web3 Metaverse Intelligence. Kunnskap forsterket. FRI TILGANG.
• CryptoHawk. Altcoin Radar. Gratis prøveperiode.
• Kilde: https://aws.amazon.com/blogs/machine-learning/how-suddeutsche-zeitung-optimized-their-audio-narration-process-with-amazon-polly/