Izboljšanje tega, kako uporabniki odkrivajo nove vsebine, je ključnega pomena za povečanje angažiranosti in zadovoljstva uporabnikov na medijskih platformah. Samo iskanje po ključnih besedah ima težave pri zajemanju semantike in namena uporabnika, kar vodi do rezultatov brez ustreznega konteksta; na primer iskanje večernih zmenkov ali filmov z božično tematiko. To lahko povzroči nižje stopnje zadrževanja, če uporabniki ne morejo zanesljivo najti želene vsebine. Vendar pa s veliki jezikovni modeli (LLM), obstaja priložnost za rešitev teh semantičnih izzivov in izzivov namena uporabnika. S kombiniranjem vgradnje ki zajemajo semantiko s tehniko, imenovano Retrieval Augmented Generation (RAG), lahko ustvarite ustreznejše odgovore na podlagi pridobljenega konteksta iz lastnih podatkovnih virov.
V tej objavi vam pokažemo, kako varno ustvarite filmski chatbot z implementacijo RAG z uporabo lastnih podatkov Baze znanja za Amazon Bedrock. Uporabljamo nabor podatkov IMDb in Box Office Mojo za simulacijo kataloga za stranke v medijih in zabavi ter predstavimo, kako lahko zgradite svojo lastno rešitev RAG v samo nekaj korakih.
Pregled rešitev
O IMDb in Box Office Mojo Movies/TV/OTT licenčni podatkovni paket ponuja širok nabor zabavnih metapodatkov, vključno z več kot 1.6 milijardo uporabniških ocen; zasluge za več kot 13 milijonov igralcev in članov ekipe; 10 milijonov filmov, TV in razvedrilnih naslovov; in podatki o svetovnih blagajnah iz več kot 60 držav. Številne stranke medijev in zabave AWS licencirajo podatke IMDb Izmenjava podatkov AWS izboljšati odkrivanje vsebine ter povečati sodelovanje in zadrževanje strank.
Uvod v baze znanja za Amazon Bedrock
Da bi LLM opremili s posodobljenimi lastniškimi informacijami, organizacije uporabljajo RAG, tehniko, ki vključuje pridobivanje podatkov iz podatkovnih virov podjetja in obogatitev poziva s temi podatki za zagotavljanje ustreznejših in natančnejših odgovorov. Baze znanja za Amazon Bedrock omogočajo popolnoma upravljano zmogljivost RAG, ki vam omogoča prilagajanje LLM odzivov s kontekstualnimi in ustreznimi podatki podjetja. Baze znanja avtomatizirajo potek dela RAG od konca do konca, vključno z zaužitjem, priklicem, hitrim dopolnjevanjem in navedbami, pri čemer vam ni treba pisati kode po meri za integracijo virov podatkov in upravljanje poizvedb. Baze znanja za Amazon Bedrock omogočajo tudi večkratne pogovore, tako da lahko LLM odgovori na zapletena uporabniška vprašanja s pravilnim odgovorom.
Kot del te rešitve uporabljamo naslednje storitve:
Sprehodimo se skozi naslednje korake na visoki ravni:
- Vnaprej obdelajte podatke IMDb, da ustvarite dokumente iz vsakega filmskega zapisa in naložite podatke v Preprosta storitev shranjevanja Amazon (Amazon S3) vedro.
- Ustvarite bazo znanja.
- Sinhronizirajte svojo bazo znanja z virom podatkov.
- Uporabite bazo znanja, da odgovorite na semantične poizvedbe o filmskem katalogu.
Predpogoji
Podatki IMDb, uporabljeni v tej objavi, zahtevajo licenco za komercialno vsebino in plačano naročnino na IMDb in licenčni paket Box Office Mojo Movies/TV/OTT na AWS Data Exchange. Za povpraševanje o licenci in dostop do vzorčnih podatkov obiščite developer.imdb.com. Za dostop do nabora podatkov glejte Priporočilo moči in iskanje z uporabo grafikona znanja IMDb – 1. del in sledite navodilom Dostop do podatkov IMDb oddelek.
Vnaprej obdelajte podatke IMDb
Preden ustvarimo bazo znanja, moramo vnaprej obdelati nabor podatkov IMDb v besedilne datoteke in jih naložiti v vedro S3. V tej objavi simuliramo katalog strank z uporabo nabora podatkov IMDb. Za katalog vzamemo 10,000 priljubljenih filmov iz nabora podatkov IMDb in sestavimo nabor podatkov.
Uporabite naslednje prenosnik ustvarite nabor podatkov z dodatnimi informacijami, kot so imena igralcev, režiserjev in producentov. Z naslednjo kodo ustvarimo eno datoteko za film z vsemi informacijami, shranjenimi v datoteki, v nestrukturiranem besedilu, ki ga lahko razumejo LLM:
Ko imate podatke v formatu .txt, jih lahko naložite v Amazon S3 z naslednjim ukazom:
Ustvari bazo znanja IMDb
Izvedite naslednje korake, da ustvarite svojo bazo znanja:
- Na konzoli Amazon Bedrock izberite Baza znanja v podoknu za krmarjenje.
- Izberite Ustvarite bazo znanja.
- za Ime baze znanja, vnesite
imdb
. - za Opis baze znanja, vnesite izbirni opis, kot je baza znanja za vnos in shranjevanje podatkov imdb.
- za IAM dovoljenjatako, da izberete Ustvarite in uporabite novo storitveno vlogo, nato pa vnesite ime za svojo novo storitveno vlogo.
- Izberite Naslednji.
- za Ime vira podatkov, vnesite
imdb-s3
. - za S3 URI, vnesite URI S3, v katerega ste naložili podatke.
- v Napredne nastavitve – neobvezno odsek, za Strategija drobljenja, izberite Brez drobljenja.
- Izberite Naslednji.
Baze znanja vam omogočajo, da svoje dokumente razdelite na manjše segmente, da vam olajša obdelavo velikih dokumentov. V našem primeru smo podatke že razdelili v dokument manjše velikosti (po enega na film).
- v Vektorska baza podatkov izberite, izberite Hitro ustvarite novo vektorsko trgovino.
Amazon Bedrock bo samodejno ustvaril popolnoma upravljano zbirko vektorskega iskanja OpenSearch Serverless in konfiguriral nastavitve za vdelavo vaših virov podatkov z uporabo izbranega modela Titan Embedding G1 – Text embedding.
- Izberite Naslednji.
- Preglejte svoje nastavitve in izberite Ustvarite bazo znanja.
Sinhronizirajte svoje podatke z bazo znanja
Zdaj, ko ste ustvarili bazo znanja, jo lahko sinhronizirate s svojimi podatki.
- Na konzoli Amazon Bedrock se pomaknite do svoje baze znanja.
- v Vir podatkov oddelek, izberite Sinhronizacija.
Ko je vir podatkov sinhroniziran, ste pripravljeni na poizvedbo po podatkih.
Izboljšajte iskanje z uporabo semantičnih rezultatov
Izvedite naslednje korake, da preizkusite rešitev in izboljšate iskanje z uporabo semantičnih rezultatov:
- Na konzoli Amazon Bedrock se pomaknite do svoje baze znanja.
- Izberite svojo bazo znanja in izberite Preizkusite bazo znanja.
- Izberite Izberite model, in izberite Antropični Claude v2.1.
- Izberite Uporabi.
Zdaj ste pripravljeni na poizvedovanje po podatkih.
Postavimo lahko nekaj semantičnih vprašanj, na primer "Priporočite mi nekaj filmov z božično tematiko."
Odgovori baze znanja vsebujejo citate, ki jih lahko raziščete za pravilnost in dejanskost odgovorov.
Iz teh filmov se lahko tudi poglobite v informacije, ki jih potrebujete. V naslednjem primeru se vprašamo "kdo je režiral nočno moro pred božičem?"
Postavite lahko tudi bolj specifična vprašanja v zvezi z žanri in ocenami, na primer »pokaži mi klasične animirane filme z ocenami nad 7?«
Povečajte svojo bazo znanja z agenti
Zastopniki za Amazon Bedrock vam pomaga avtomatizirati zapletene naloge. Agenti lahko uporabniško poizvedbo razdelijo na manjše naloge in pokličejo API-je po meri ali baze znanja, da dopolnijo informacije za izvajanje dejanj. Z agenti za Amazon Bedrock lahko razvijalci integrirajo inteligentne agente v svoje aplikacije, pospešijo dostavo aplikacij, ki jih poganja AI in prihranijo tedne časa za razvoj. Z agenti lahko razširite svojo bazo znanja tako, da dodate več funkcij, kot so priporočila iz Amazonska prilagoditev za priporočila za posamezne uporabnike ali izvajanje dejanj, kot je filtriranje filmov glede na potrebe uporabnikov.
zaključek
V tej objavi smo pokazali, kako z uporabo Amazon Bedrock v nekaj korakih zgraditi pogovornega filmskega klepetalnika za odgovor na semantično iskanje in pogovorne izkušnje na podlagi vaših lastnih podatkov ter nabora podatkov IMDb in Box Office Mojo Movies/TV/OTT. V naslednji objavi bomo šli skozi postopek dodajanja več funkcionalnosti vaši rešitvi z uporabo agentov za Amazon Bedrock. Če želite začeti z bazami znanja na Amazon Bedrock, glejte Baze znanja za Amazon Bedrock.
O avtorjih
Gaurav Rele je višji podatkovni znanstvenik v Generative AI Innovation Center, kjer sodeluje s strankami AWS v različnih vertikalah, da bi pospešil njihovo uporabo generativne umetne inteligence in storitev AWS Cloud za reševanje njihovih poslovnih izzivov.
Divya Bhargavi je višja vodja uporabnih znanstvenikov v Generative AI Innovation Center, kjer rešuje pomembne poslovne probleme za stranke AWS z uporabo generativnih metod AI. Ukvarja se z razumevanjem in iskanjem slik/videoposnetkov, velikimi jezikovnimi modeli z razširjenim grafom znanja in prilagojenimi primeri uporabe oglaševanja.
Suren Gunturu je Data Scientist, ki dela v Generative AI Innovation Center, kjer sodeluje z različnimi strankami AWS pri reševanju poslovnih problemov visoke vrednosti. Specializiran je za gradnjo cevovodov ML z uporabo velikih jezikovnih modelov, predvsem prek Amazon Bedrock in drugih storitev AWS Cloud.
Vidya Sagar Ravipati je znanstveni vodja v Generative AI Innovation Center, kjer izkorišča svoje bogate izkušnje v obsežnih porazdeljenih sistemih in svojo strast do strojnega učenja, da pomaga strankam AWS v različnih industrijskih vertikalah pospešiti njihovo umetno inteligenco in sprejemanje v oblaku.
- Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
- PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
- PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
- PlatoESG. Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
- PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
- vir: https://aws.amazon.com/blogs/machine-learning/build-a-movie-chatbot-for-tv-ott-platforms-using-retrieval-augmented-generation-in-amazon-bedrock/
- :ima
- : je
- :kje
- $ 10 milijonov
- 000
- 1
- 10
- 100
- 11
- 118
- 12
- 13
- 360
- 385
- 60
- 7
- a
- O meni
- pospeši
- pospeševanje
- dostop
- natančna
- čez
- dejavnosti
- akterji
- dodajanje
- Dodatne
- Sprejetje
- Oglaševanje
- agenti
- AI
- Z AI napajanjem
- vsi
- omogoča
- sam
- že
- Prav tako
- Amazon
- Amazon Web Services
- an
- in
- odgovor
- odgovori
- kaj
- API-ji
- aplikacije
- uporabna
- aplikacije
- SE
- AS
- vprašati
- At
- povečanje
- Povečana
- avtomatizirati
- samodejno
- AWS
- Izmenjava podatkov AWS
- baza
- temeljijo
- BE
- pred
- Billion
- Pasovi
- blagajna
- Break
- izgradnjo
- Building
- poslovni
- by
- klic
- se imenuje
- CAN
- zmožnost
- zajemanje
- Zajemanje
- primeru
- primeri
- Katalog
- center
- izzivi
- chatbot
- Izberite
- izbran
- Božič
- klasična
- Cloud
- sprejem v oblak
- storitev v oblaku
- Koda
- zbirka
- združevanje
- komercialna
- podjetje
- kompleksna
- Konzole
- vsebujejo
- vsebina
- ozadje
- kontekstualno
- pogovorni
- pogovorov
- popravi
- države
- par
- ustvarjajo
- ustvaril
- krediti
- posadka
- kritično
- po meri
- stranka
- Angažiranje strank
- Stranke, ki so
- prilagodite
- datum
- Izmenjava podatkov
- podatkovni znanstvenik
- Datum
- poda
- dostava
- opis
- Podrobnosti
- Razvijalci
- Razvoj
- drugačen
- usmerjen
- Direktor
- Direktorji
- odkriti
- Odkritje
- porazdeljena
- porazdeljeni sistemi
- dokument
- Dokumenti
- navzdol
- pogon
- odstranjevanje
- vdelava
- omogočajo
- konec koncev
- sodelovanje
- bogatenje
- Vnesite
- Zabava
- Tudi vsak
- Primer
- Izmenjava
- izkušnje
- Doživetja
- raziskuje
- Nekaj
- file
- datoteke
- filtriranje
- Najdi
- iskanje
- sledi
- po
- za
- format
- iz
- v celoti
- funkcionalnost
- g1
- ustvarjajo
- generacija
- generativno
- Generativna AI
- zvrsti
- dobili
- Globalno
- Go
- graf
- več
- Imajo
- he
- pomoč
- na visoki ravni
- njegov
- Kako
- Kako
- Vendar
- HTML
- http
- HTTPS
- if
- izvajanja
- izboljšanje
- in
- Vključno
- Povečajte
- Industrija
- info
- Podatki
- Inovacije
- Povpraševanje
- integrirati
- Inteligentna
- namen
- v
- vključuje
- IT
- jpg
- samo
- znanje
- Graf znanja
- Pomanjkanje
- jezik
- velika
- obsežne
- vodi
- vodi
- učenje
- Leverages
- Licenca
- Licencirano
- licenciranje
- kot
- LLM
- lokalna
- kraj aktivnosti
- nižje
- stroj
- strojno učenje
- Znamka
- upravljanje
- upravlja
- upravitelj
- več
- me
- mediji
- člani
- metapodatki
- Metode
- milijonov
- ML
- Model
- modeli
- več
- Film
- filmi
- Ime
- Imena
- Krmarjenje
- ostalo
- Nimate
- potrebe
- Novo
- Naslednja
- noč
- of
- Office
- on
- ONE
- Priložnost
- or
- organizacije
- Ostalo
- naši
- več
- lastne
- paket
- Stran
- plačana
- podokno
- del
- strast
- pot
- za
- izvajati
- Prilagojene
- Platforme
- platon
- Platonova podatkovna inteligenca
- PlatoData
- parcela
- Popular
- Prispevek
- v prvi vrsti
- Težave
- Postopek
- Proizvajalec
- Proizvajalci
- lastniško
- zagotavlja
- poizvedbe
- poizvedba
- vprašanja
- krpa
- območje
- Cene
- ocena
- ocen
- pripravljen
- Priporočamo
- Priporočilo
- Priporočila
- zapis
- glejte
- povezane
- pomembno
- Poročanje
- zahteva
- Odgovor
- odgovorov
- Rezultati
- zadrževanje
- iskanje
- vrnitev
- vloga
- ROW
- tek
- Zadovoljstvo
- shranjevanje
- Znanost
- Znanstvenik
- Iskalnik
- Oddelek
- Varno
- segmentih
- izberite
- pomensko
- semantika
- višji
- Brez strežnika
- Storitev
- Storitve
- nastavitve
- je
- shot
- Prikaži
- predstavitev
- je pokazala,
- Enostavno
- simulirati
- sam
- Velikosti
- manj
- So
- Rešitev
- SOLVE
- Rešuje
- nekaj
- vir
- Viri
- specializirano
- specifična
- začel
- Koraki
- shranjevanje
- trgovina
- shranjeni
- shranjevanje
- naravnost
- naročnina
- taka
- dopolnjujejo
- sinhronizacijo.
- sistemi
- Bodite
- Naloge
- tehnika
- Test
- besedilo
- kot
- da
- O
- informacije
- njihove
- Njih
- Tematsko
- POTEM
- Tukaj.
- te
- jih
- ta
- skozi
- čas
- titan
- naslove
- do
- tv
- razumevanje
- razumel
- nestrukturirano
- up-to-date
- naložili
- URL
- uporaba
- Rabljeni
- uporabnik
- Uporabniki
- uporabo
- različnih
- Popravljeno
- vertikale
- obisk
- W
- sprehod
- želeli
- je
- we
- web
- spletne storitve
- Weeks
- široka
- Širok spekter
- bo
- z
- potek dela
- deluje
- deluje
- pisati
- X
- leto
- Vi
- Vaša rutina za
- zefirnet