Con una moltitudine di articoli, video, registrazioni audio e altri media creati quotidianamente dalle società di informazione, i lettori di tutti i tipi (consumatori individuali, abbonati aziendali e altro) spesso trovano difficile trovare contenuti di notizie che siano più rilevanti per loro. Fornire notizie ed esperienze personalizzate ai lettori può aiutare a risolvere questo problema e creare esperienze più coinvolgenti. Tuttavia, fornire consigli realmente personalizzati presenta diverse sfide chiave:
- Catturare i diversi interessi degli utenti – Le notizie possono abbracciare molti argomenti e anche all’interno di argomenti specifici, i lettori possono avere interessi diversi.
- Affrontare la cronologia limitata dei lettori – Molti lettori di notizie hanno storie di attività sparse. I raccomandatori devono apprendere rapidamente le preferenze da dati limitati per fornire valore.
- Tempestività e trend – I cicli di notizie quotidiane implicano che le raccomandazioni debbano bilanciare i contenuti personalizzati con la scoperta di storie nuove e popolari.
- Cambiare interessi – Gli interessi dei lettori possono evolversi nel tempo. I sistemi devono rilevare i cambiamenti e adattare le raccomandazioni di conseguenza.
- Spiegabilità – Fornire trasparenza sul motivo per cui determinate storie sono consigliate rafforza la fiducia degli utenti. Il sistema ideale di raccomandazione delle notizie comprende l’individuo e risponde al clima e al pubblico delle notizie più ampi. Affrontare queste sfide è fondamentale per connettere in modo efficace i lettori con i contenuti che trovano informativi e coinvolgenti.
In questo post descriviamo come Amazon Personalizza può alimentare un'applicazione scalabile di raccomandazione di notizie. Questa soluzione è stata implementata presso un cliente dei media Fortune 500 nel primo semestre del 1 e può essere riutilizzata per altri clienti interessati a creare consiglieri di notizie.
Panoramica della soluzione
Amazon Personalize è la soluzione ideale per alimentare un motore di consigli sulle notizie grazie alla sua capacità di fornire consigli personalizzati in tempo reale e in batch su larga scala. Amazon Personalize offre una varietà di ricette di consigli (algoritmi), come le ricette Personalizzazione utente e Tendenze attuali, che sono particolarmente adatte per la formazione di modelli di raccomandazione di notizie. La ricetta di personalizzazione dell'utente analizza le preferenze di ciascun utente in base al suo coinvolgimento con i contenuti nel tempo. Ciò si traduce in feed di notizie personalizzati che mostrano gli argomenti e le fonti più rilevanti per un singolo utente. La ricetta Trending Now completa tutto ciò rilevando le tendenze in aumento e le notizie più popolari in tempo reale per tutti gli utenti. La combinazione dei consigli di entrambe le ricette consente al motore dei consigli di bilanciare la personalizzazione con la scoperta di storie tempestive e di grande interesse.
Il diagramma seguente illustra l'architettura di un'applicazione di raccomandazione di notizie basata su Amazon Personalize e che supporta i servizi AWS.
Questa soluzione presenta le seguenti limitazioni:
- Fornire consigli personalizzati per articoli appena pubblicati (articoli pubblicati pochi minuti fa) può essere difficile. Descriviamo come mitigare questa limitazione più avanti in questo post.
- Amazon Personalize dispone di un numero fisso di interazioni e funzionalità del set di dati degli articoli che possono essere utilizzate per addestrare un modello.
- Al momento in cui scrivo, Amazon Personalize non fornisce spiegazioni sui consigli a livello di utente.
Esaminiamo ciascuno dei componenti principali della soluzione.
Prerequisiti
Per implementare questa soluzione, è necessario quanto segue:
- Dati storici e sui clic degli utenti in tempo reale per
interactions
dataset - Metadati di articoli di notizie storici e in tempo reale per
items
dataset
Acquisire e preparare i dati
Per addestrare un modello in Amazon Personalize, devi fornire dati di addestramento. In questa soluzione, utilizzi due tipi di set di dati di addestramento Amazon Personalize: il set di dati sulle interazioni ed set di dati degli elementi. interactions
il set di dati contiene dati sulle interazioni utente-elemento-timestamp e il file items
il set di dati contiene funzionalità sugli articoli consigliati.
Puoi adottare due approcci diversi per acquisire i dati di training:
- Ingestione in batch - Puoi usare Colla AWS per trasformare e acquisire dati su interazioni ed elementi che risiedono in un file Servizio di archiviazione semplice Amazon (Amazon S3) nei set di dati di Amazon Personalize. AWS Glue esegue operazioni di estrazione, trasformazione e caricamento (ETL) per allineare i dati allo schema dei set di dati Amazon Personalize. Una volta completato il processo ETL, il file di output viene reinserito in Amazon S3, pronto per essere importato in Amazon Personalize tramite un processo di importazione del set di dati.
- Ingestione in tempo reale - Puoi usare Flussi di dati di Amazon Kinesis ed AWS Lambda per acquisire dati in tempo reale in modo incrementale. Una funzione Lambda esegue le stesse operazioni di trasformazione dei dati del processo di acquisizione batch a livello di singolo record e acquisisce i dati in Amazon Personalize utilizzando il metodo PutEvents ed PutItems API.
In questa soluzione puoi anche importare determinati elementi e attributi dei dati delle interazioni Amazon DynamoDB. Puoi utilizzare questi attributi durante l'inferenza in tempo reale per filtrare i consigli in base alle regole aziendali. Ad esempio, i metadati dell'articolo possono contenere nomi di aziende e settori nell'articolo. Per consigliare in modo proattivo articoli su aziende o settori di cui gli utenti stanno leggendo, puoi registrare la frequenza con cui i lettori interagiscono con articoli su aziende e settori specifici e utilizzare questi dati con Filtri Amazon Personalizza per personalizzare ulteriormente il contenuto consigliato. Discuteremo più approfonditamente su come utilizzare gli attributi dei dati di elementi e interazioni in DynamoDB più avanti in questo post.
Il diagramma seguente illustra l'architettura di inserimento dei dati.
Allena il modello
La maggior parte dello sforzo di formazione del modello dovrebbe concentrarsi sul modello di personalizzazione dell'utente, poiché può utilizzare tutti e tre i set di dati di Amazon Personalize (mentre il modello Trending Now utilizza solo il modello interactions
insieme di dati). Consigliamo di eseguire esperimenti che varino sistematicamente diversi aspetti del processo di formazione. Per il cliente che ha implementato questa soluzione, il team ha eseguito oltre 30 esperimenti. Ciò includeva la modifica del file interactions
ed items
funzionalità del set di dati, modificando la lunghezza della cronologia delle interazioni fornita al modello, ottimizzando gli iperparametri di Amazon Personalize e valutando se il set di dati di un utente esplicito ha migliorato le prestazioni offline (rispetto all'aumento del tempo di addestramento).
Ogni variazione del modello è stata valutata in base ai parametri riportati da Amazon Personalize sui dati di addestramento, nonché ai parametri offline personalizzati su un set di dati di test di controllo. Le metriche standard da considerare includono la precisione media media (MAP) @ K (dove K è il numero di raccomandazioni presentate a un lettore), il guadagno cumulativo scontato normalizzato, il rango reciproco medio e la copertura. Per ulteriori informazioni su queste metriche, vedere Valutazione di una versione della soluzione con metriche. Consigliamo di dare priorità a MAP @ K tra questi parametri, che catturano il numero medio di articoli su cui un lettore ha fatto clic tra i principali K articoli consigliati, poiché il parametro MAP è un buon proxy per le percentuali di clic (reali) degli articoli. K dovrebbe essere selezionato in base al numero di articoli che un lettore può visualizzare su una pagina web desktop o mobile senza dover scorrere, consentendoti di valutare l'efficacia dei consigli con il minimo sforzo del lettore. L'implementazione di metriche personalizzate, come l'unicità delle raccomandazioni (che descrive quanto unico fosse l'output delle raccomandazioni nel pool di utenti candidati), può anche fornire informazioni sull'efficacia delle raccomandazioni.
Con Amazon Personalize, il processo sperimentale consente di determinare l'insieme ottimale di funzionalità del set di dati per entrambi i modelli Personalizzazione utente e Tendenze attuali. Il modello Trending Now esiste all'interno dello stesso Amazon Personalize gruppo di set di dati come modello di personalizzazione utente, quindi utilizza lo stesso set di interactions
caratteristiche del set di dati.
Genera consigli in tempo reale
Quando un lettore visita la pagina web di una società di notizie, verrà effettuata una chiamata API al consigliere di notizie tramite Gateway API Amazon. Ciò attiva una funzione Lambda che chiama gli endpoint dei modelli Amazon Personalize da ottenere raccomandazioni in tempo reale. Durante l'inferenza, puoi utilizzare filtri per filtrare l'output del consiglio iniziale in base agli attributi di interazione dell'articolo o del lettore. Ad esempio, se "Argomento delle notizie" (come sport, stile di vita o politica) è un attributo di un articolo, puoi limitare i consigli ad argomenti di notizie specifici se questo è un requisito del prodotto. Allo stesso modo, puoi utilizzare filtri sugli eventi di interazione del lettore, ad esempio escludendo gli articoli che un lettore ha già letto.
Una sfida chiave con le raccomandazioni in tempo reale è includere efficacemente gli articoli appena pubblicati (chiamati anche articoli freddi) nell'output della raccomandazione. Gli articoli appena pubblicati non hanno dati storici sull'interazione su cui normalmente fanno affidamento i consiglieri e i sistemi di raccomandazione necessitano di tempo di elaborazione sufficiente per valutare quanto siano rilevanti gli articoli appena pubblicati per un utente specifico (anche se utilizzano solo segnali di relazione utente-elemento).
Amazon Personalize può rilevare automaticamente e consigliare in modo nativo i nuovi articoli inseriti nel file items
set di dati ogni 2 ore. Tuttavia, poiché questo caso d'uso è incentrato sui consigli sulle notizie, è necessario un modo per consigliare nuovi articoli non appena vengono pubblicati e pronti per essere consultati dai lettori.
Un modo per risolvere questo problema è progettare un meccanismo per inserire in modo casuale gli articoli appena pubblicati nell'output finale delle raccomandazioni per ciascun lettore. Puoi aggiungere una funzionalità per controllare quale percentuale di articoli nel set di consigli finale erano articoli appena pubblicati e, analogamente all'output dei consigli originali di Amazon Personalize, puoi filtrare gli articoli appena pubblicati in base agli attributi dell'articolo (come "Argomento delle notizie" ) se si tratta di un requisito del prodotto. Puoi monitorare le interazioni sugli articoli appena pubblicati in DynamoDB non appena iniziano a penetrare nel sistema e dare priorità agli articoli appena pubblicati più popolari durante la postelaborazione dei consigli, finché gli articoli appena pubblicati non vengono rilevati ed elaborati dai modelli Amazon Personalize.
Dopo aver ricevuto la serie finale di articoli consigliati, questo output viene inviato a un'altra funzione Lambda di postelaborazione che controlla l'output per verificare se è in linea con le regole aziendali pre-specificate. Questi possono includere il controllo se gli articoli consigliati soddisfano le specifiche del layout della pagina web, ad esempio se i consigli vengono pubblicati nel frontend di un browser web. Se necessario, gli articoli possono essere riclassificati per garantire il rispetto delle regole aziendali. Consigliamo di riclassificare implementando una funzione che consenta agli articoli di livello più alto di scendere in classifica solo una posizione alla volta fino a quando tutte le regole aziendali non vengono soddisfatte, fornendo una perdita minima di pertinenza per i lettori. L'elenco finale degli articoli postelaborati viene restituito al servizio Web che ha avviato la richiesta di consigli.
Il diagramma seguente illustra l'architettura per questo passaggio della soluzione.
Genera raccomandazioni batch
I dashboard di notizie personalizzati (tramite consigli in tempo reale) richiedono che il lettore cerchi attivamente le notizie, ma nelle nostre vite frenetiche di oggi, a volte è semplicemente più semplice ricevere le notizie principali. Per fornire articoli di notizie personalizzati come riassunto di posta elettronica, puoi utilizzare un file Funzioni AWS Step flusso di lavoro per generare raccomandazioni batch. Il flusso di lavoro dei consigli batch raccoglie e postelabora i consigli dal nostro modello di personalizzazione dell'utente o dagli endpoint del modello Trending Now, offrendo flessibilità per selezionare quale combinazione di articoli personalizzati e di tendenza i team desiderano proporre ai propri lettori. Gli sviluppatori hanno anche la possibilità di utilizzare Amazon Personalize inferenza batch caratteristica; tuttavia, al momento della stesura di questo articolo, la creazione di un processo di inferenza batch di Amazon Personalize non supporta l'inclusione di elementi importati dopo che un modello personalizzato di Amazon Personalize è stato addestrato e non supporta la ricetta Trending Now.
Durante un flusso di lavoro Step Functions di inferenza batch, l'elenco dei lettori viene diviso in batch, elaborato in parallelo e inviato a un livello di postelaborazione e convalida prima di essere inviato al servizio di generazione di posta elettronica. Il diagramma seguente illustra questo flusso di lavoro.
Scalare il sistema di raccomandazione
Per scalare in modo efficace, è inoltre necessario che il Consigliere di notizie possa accogliere un numero crescente di utenti e un aumento del traffico senza creare alcun degrado nell'esperienza del lettore. Endpoint del modello Amazon Personalize in modo nativo scala automatica per far fronte all'aumento del traffico. I tecnici devono solo impostare e monitorare una variabile TPS (transazioni minime fornite al secondo) per ciascun endpoint Amazon Personalize.
Oltre ad Amazon Personalize, l'applicazione di raccomandazione di notizie qui presentata è realizzata utilizzando servizi AWS serverless, consentendo ai team di ingegneri di concentrarsi sulla fornitura della migliore esperienza di lettura senza preoccuparsi della manutenzione dell'infrastruttura.
Conclusione
In questa economia dell’attenzione, è diventato sempre più importante fornire contenuti pertinenti e tempestivi per i consumatori. In questo post, abbiamo discusso di come utilizzare Amazon Personalize per creare un suggeritore di notizie scalabile e delle strategie che le organizzazioni possono implementare per affrontare le sfide uniche legate alla fornitura di consigli sulle notizie.
Per ulteriori informazioni su Amazon Personalize e su come può aiutare la tua organizzazione a creare sistemi di consigli, consulta il Guida per sviluppatori di Amazon Personalize.
Felice costruzione!
Informazioni sugli autori
Bala Krishnamoorthy è Senior Data Scientist presso AWS Professional Services, dove aiuta i clienti a creare e distribuire soluzioni basate sull'intelligenza artificiale per risolvere le loro sfide aziendali. Ha lavorato con clienti in diversi settori, tra cui media e intrattenimento, servizi finanziari, sanità e tecnologia. Nel tempo libero gli piace trascorrere del tempo con la famiglia e gli amici, mantenersi attivo, provare nuovi ristoranti, viaggiare e iniziare la giornata con una tazza di caffè fumante.
Rishi Jala è un architetto di dati NoSQL con AWS Professional Services. Si concentra sull'architettura e sulla creazione di applicazioni altamente scalabili utilizzando database NoSQL come Amazon DynamoDB. Appassionato di risolvere i problemi dei clienti, offre soluzioni su misura per promuovere il successo nel panorama digitale.
- Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
- PlatoData.Network Generativo verticale Ai. Potenzia te stesso. Accedi qui.
- PlatoAiStream. Intelligenza Web3. Conoscenza amplificata. Accedi qui.
- PlatoneESG. Carbonio, Tecnologia pulita, Energia, Ambiente, Solare, Gestione dei rifiuti. Accedi qui.
- Platone Salute. Intelligence sulle biotecnologie e sulle sperimentazioni cliniche. Accedi qui.
- Fonte: https://aws.amazon.com/blogs/machine-learning/build-a-news-recommender-application-with-amazon-personalize/
- :ha
- :È
- :Dove
- 100
- 2023
- 30
- 500
- 7
- 98
- a
- capacità
- WRI
- ospitare
- di conseguenza
- operanti in
- attivo
- attivamente
- attività
- adattare
- aggiungere
- indirizzo
- regolazione
- Dopo shavasana, sedersi in silenzio; saluti;
- fa
- AI-alimentato
- Algoritmi
- allineare
- Allinea
- Tutti
- Consentire
- consente
- già
- anche
- Amazon
- Amazon Personalizza
- Amazon Web Services
- an
- analisi
- ed
- Un altro
- in qualsiasi
- api
- API
- Applicazioni
- applicazioni
- approcci
- architettura
- SONO
- articolo
- news
- AS
- aspetti
- valutare
- At
- attenzione
- gli attributi
- pubblico
- Audio
- auto
- media
- AWS
- Colla AWS
- Servizi professionali AWS
- precedente
- Equilibrio
- basato
- BE
- perché
- diventare
- stato
- prima
- essendo
- MIGLIORE
- entrambi
- più ampia
- del browser
- costruire
- Costruzione
- costruisce
- costruito
- affari
- occupato
- ma
- by
- chiamata
- detto
- Bandi
- Materiale
- candidato
- cattura
- Custodie
- certo
- Challenge
- sfide
- impegnativo
- dai un'occhiata
- verifica
- Controlli
- clicca
- Clima
- Caffè
- freddo
- combinazione
- combinando
- Aziende
- azienda
- Società
- completamento di una
- componenti
- Collegamento
- Prendere in considerazione
- Consumatori
- consumo
- contenere
- contiene
- contenuto
- di controllo
- Aziende
- copertura
- creare
- creato
- Creazione
- Coppa
- costume
- cliente
- Clienti
- personalizzate
- cicli
- alle lezioni
- Le notizie del GIORNO
- cruscotti
- dati
- scienziato di dati
- banche dati
- dataset
- giorno
- consegnare
- consegna
- fornisce un monitoraggio
- schierare
- descrivere
- descrive
- progettazione
- tavolo
- individuare
- rilevato
- Determinare
- Costruttori
- sviluppatori
- diagramma
- diverso
- difficile
- digerire
- digitale
- scontato
- scoperta
- discutere
- discusso
- paesaggio differenziato
- Diviso
- non
- Dont
- giù
- guidare
- durante
- ogni
- più facile
- economia
- in maniera efficace
- efficacia
- sforzo
- endpoint
- Fidanzamento
- impegnandosi
- motore
- Ingegneria
- Ingegneri
- garantire
- Intrattenimento
- valutare
- valutato
- la valutazione
- Anche
- eventi
- Ogni
- evolvere
- esempio
- esclusa
- esiste
- esperienza
- Esperienze
- sperimentale
- esperimenti
- spiegazioni
- estratto
- Autunno
- caratteristica
- Caratteristiche
- pochi
- Compila il
- filtro
- filtri
- finale
- finanziario
- servizi finanziari
- Trovate
- in forma
- fisso
- Flessibilità
- Focus
- concentrato
- si concentra
- i seguenti
- Nel
- Per i consumatori
- Fortune
- Gratis
- frequentemente
- da
- Frontend
- function
- funzioni
- ulteriormente
- Guadagno
- generare
- ELETTRICA
- ottenere
- Dare
- buono
- grande
- Crescita
- Avere
- avendo
- he
- assistenza sanitaria
- Aiuto
- aiuta
- qui
- vivamente
- il suo
- storico
- storie
- storia
- HOT
- ORE
- Come
- Tutorial
- Tuttavia
- HTML
- http
- HTTPS
- ideale
- if
- illustra
- realizzare
- implementato
- Implementazione
- importare
- importante
- migliorata
- in
- includere
- incluso
- Compreso
- Aumento
- è aumentato
- sempre più
- individuale
- industrie
- industria
- informazioni
- informativo
- Infrastruttura
- inizialmente
- avviato
- intuizione
- interazione
- interazioni
- interessato
- interessi
- ai miglioramenti
- IT
- elementi
- SUO
- Lavoro
- jpg
- ad appena
- Le
- paesaggio
- dopo
- strato
- disposizione
- IMPARARE
- Lunghezza
- Livello
- stile di vita
- limitazione
- limiti
- Limitato
- Lista
- Lives
- caricare
- spento
- fatto
- Principale
- manutenzione
- molti
- carta geografica
- Maggio..
- significare
- meccanismo
- Media
- Soddisfare
- di cartone
- Metadati
- metrico
- Metrica
- minimo
- ordine
- Minuti
- Ridurre la perdita dienergia con una
- Mobile
- modello
- modelli
- Monitorare
- Scopri di più
- maggior parte
- Più popolare
- moltitudine
- devono obbligatoriamente:
- nomi
- nativamente
- Bisogno
- di applicazione
- New
- notizie
- normalmente
- adesso
- numero
- of
- Offerte
- offline
- on
- ONE
- esclusivamente
- Operazioni
- ottimale
- Opzione
- or
- organizzazione
- organizzazioni
- i
- Altro
- nostro
- su
- produzione
- ancora
- Parallel
- particolarmente
- appassionato
- per
- per cento
- performance
- esegue
- personalizzazione
- personalizzare
- Personalizzata
- posto
- Platone
- Platone Data Intelligence
- PlatoneDati
- politica
- pool
- Popolare
- Post
- energia
- alimentato
- Precisione
- preferenze
- Preparare
- presentata
- presents
- Dare priorità
- prioritizzazione
- Problema
- problemi
- processi
- Elaborato
- lavorazione
- Prodotto
- professionale
- fornire
- purché
- fornitura
- delega
- pubblicato
- Spingi
- rapidamente
- classifica
- Posizione
- Leggi
- Lettore
- lettori
- Lettura
- pronto
- di rose
- tempo reale
- dati in tempo reale
- ricetta
- raccomandare
- Consigli
- raccomandazioni
- raccomandato
- record
- rapporto
- parente
- pertinente
- fare affidamento
- Segnalati
- richiesta
- richiedere
- requisito
- Ristoranti
- limitare
- Risultati
- crescita
- norme
- running
- stesso
- scalabile
- Scala
- Scienziato
- scorrere
- Cerca
- Secondo
- Settori
- vedere
- select
- selezionato
- anziano
- inviato
- servito
- serverless
- servizio
- Servizi
- set
- alcuni
- Turni
- dovrebbero
- Segnali
- simile
- Allo stesso modo
- Un'espansione
- So
- soluzione
- Soluzioni
- RISOLVERE
- Soluzione
- a volte
- presto
- fonti
- campata
- specifico
- Specifiche tecniche
- Spendere
- Sports
- Standard
- inizia a
- soggiorno
- step
- conservazione
- Storie
- strategie
- presentata
- iscritti
- il successo
- tale
- sufficiente
- adatto
- supporto
- Supporto
- superficie
- sistema
- sistematicamente
- SISTEMI DI TRATTAMENTO
- Affronto
- sarto
- su misura
- Fai
- team
- le squadre
- Tecnologia
- test
- che
- Il
- loro
- Li
- Strumenti Bowman per analizzare le seguenti finiture:
- di
- questo
- tre
- Attraverso
- tempo
- tempestivo
- a
- oggi
- top
- Argomenti
- tps
- pista
- traffico
- Treni
- allenato
- Training
- Novità sulla formazione
- Le transazioni
- Trasformare
- Trasformazione
- Trasparenza
- viaggiare
- trend
- tendenze
- veramente
- Affidati ad
- cerca
- sintonia
- seconda
- Tipi di
- capisce
- unico
- unicità
- fino a quando
- uso
- caso d'uso
- utilizzato
- Utente
- utenti
- usa
- utilizzando
- convalida
- APPREZZIAMO
- variabile
- vario
- varietà
- variare
- versione
- via
- Video
- Visualizza
- Visite
- camminare
- volere
- Prima
- Modo..
- we
- sito web
- browser web
- servizi web
- WELL
- sono stati
- Che
- quando
- mentre
- se
- quale
- perché
- volere
- con
- entro
- senza
- lavorato
- flusso di lavoro
- preoccupante
- scrittura
- Tu
- Trasferimento da aeroporto a Sharm
- zefiro