A felhasználók új tartalom felfedezésének javítása kulcsfontosságú a felhasználók elköteleződésének és elégedettségének növelése érdekében a médiaplatformokon. A kulcsszavas keresés önmagában is kihívást jelent a szemantika és a felhasználói szándék megragadásában, ami olyan eredményekhez vezet, amelyekből hiányzik a releváns kontextus; például randevúra vagy karácsonyi témájú filmek keresése. Ez alacsonyabb megőrzési arányt eredményezhet, ha a felhasználók nem találják megbízhatóan a kívánt tartalmat. Azonban azzal nagy nyelvi modellek (LLM-ek), lehetőség nyílik ezeknek a szemantikai és felhasználói szándékokkal kapcsolatos kihívásoknak a megoldására. Kombinációval beágyazások amelyek az úgynevezett technikával ragadják meg a szemantikát Retrieval Augmented Generation (RAG), relevánsabb válaszokat hozhat létre a saját adatforrásaiból lekért kontextus alapján.
Ebben a bejegyzésben megmutatjuk, hogyan hozhat létre biztonságosan filmes chatbotot a RAG megvalósításával saját adataival Tudásbázisok mert Amazon alapkőzet. Az IMDb és a Box Office Mojo adatkészletet használjuk egy katalógus szimulálására a média és szórakoztató ügyfelek számára, és bemutatjuk, hogyan hozhatja létre saját RAG-megoldását néhány lépésben.
Megoldás áttekintése
A IMDb és Box Office Mojo Movies/TV/OTT licencelhető adatcsomag a szórakoztató metaadatok széles skáláját kínálja, beleértve több mint 1.6 milliárd felhasználói értékelést; hitelek több mint 13 millió szereplőnek és stábtagnak; 10 millió film, TV és szórakoztató műsor; és több mint 60 ország globális kasszajelentési adatai. Sok AWS média- és szórakoztatóügyfél licenccel az IMDb-adatokon keresztül AWS adatcsere a tartalomfelfedezés javítása, valamint az ügyfelek elkötelezettségének és megtartásának növelése.
Bevezetés az Amazon Bedrock tudásbázisaiba
Ahhoz, hogy egy LLM-et naprakész, védett információkkal láthassanak el, a szervezetek a RAG-t használják, egy olyan technikát, amely magában foglalja az adatok lekérését a vállalati adatforrásokból, és a prompt ezen adatokkal való gazdagítását, hogy relevánsabb és pontosabb válaszokat adjanak. Az Amazon Bedrock tudásbázisai teljes körűen felügyelt RAG-képességet tesznek lehetővé, amely lehetővé teszi az LLM-válaszok testreszabását a környezeti és releváns vállalati adatokkal. A tudásbázisok automatizálják a teljes RAG-munkafolyamatot, beleértve a feldolgozást, a visszakeresést, az azonnali kiegészítést és a hivatkozásokat, így nincs szükség egyéni kód írására az adatforrások integrálásához és a lekérdezések kezeléséhez. Az Amazon Bedrock tudásbázisai többfordulós beszélgetéseket is lehetővé tesznek, így az LLM a bonyolult felhasználói kérdésekre a megfelelő válasszal válaszolhat.
A megoldás részeként az alábbi szolgáltatásokat használjuk:
A következő magas szintű lépéseken megyünk keresztül:
- Az IMDb adatok előfeldolgozása minden filmfelvételből dokumentumok létrehozásához és az adatok feltöltéséhez egy Amazon egyszerű tárolási szolgáltatás (Amazon S3) vödör.
- Hozzon létre egy tudásbázist.
- Szinkronizálja tudásbázisát az adatforrással.
- Használja a tudásbázist a filmkatalógussal kapcsolatos szemantikai lekérdezések megválaszolásához.
Előfeltételek
Az ebben a bejegyzésben használt IMDb-adatokhoz kereskedelmi tartalomlicenc és fizetett előfizetés szükséges az IMDb-hez és a Box Office Mojo Movies/TV/OTT licenccsomaghoz az AWS Data Exchange szolgáltatásban. A licencről érdeklődni és a mintaadatok eléréséhez látogasson el a következő oldalra developer.imdb.com. Az adatkészlet eléréséhez lásd: Teljesítményjavaslat és keresés IMDb tudásgráf segítségével – 1. rész és kövesse a Hozzáférés az IMDb adatokhoz szakasz.
Az IMDb adatok előfeldolgozása
Mielőtt tudásbázist hoznánk létre, elő kell dolgoznunk az IMDb adatkészletet szöveges fájlokká, és fel kell töltenünk egy S3 tárolóba. Ebben a bejegyzésben egy ügyfélkatalógust szimulálunk az IMDb adatkészlet használatával. 10,000 XNUMX népszerű filmet veszünk az IMDb adatkészletből a katalógusba, és elkészítjük az adatkészletet.
Használja a következőket jegyzetfüzet az adatkészlet létrehozásához további információkkal, például színészek, rendezők és producerek neveivel. A következő kódot használjuk, hogy egyetlen fájlt hozzunk létre egy filmhez, amelyben a fájlban tárolt összes információ olyan strukturálatlan szöveget tartalmaz, amely az LLM-ek számára is érthető:
Miután megvannak az adatok .txt formátumban, feltöltheti az adatokat az Amazon S3-ba a következő paranccsal:
Hozd létre az IMDb tudásbázist
A tudásbázis létrehozásához kövesse az alábbi lépéseket:
- Az Amazon Bedrock konzolon válassza a lehetőséget Blog a navigációs ablaktáblában.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Tudásbázis létrehozása.
- A Tudásbázis neve, belép
imdb
. - A Tudásbázis leírása, adjon meg egy opcionális leírást, például a Tudásbázist az imdb adatok feldolgozásához és tárolásához.
- A IAM engedélyekválassza Hozzon létre és használjon új szolgáltatási szerepet, majd adja meg az új szolgáltatási szerepkör nevét.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Következő.
- A Adatforrás neve, belép
imdb-s3
. - A S3 URI, írja be az S3 URI-t, amelyre feltöltötte az adatokat.
- A Speciális beállítások – opcionális szakasz, for Darabolási stratégia, választ Nincs darabolás.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Következő.
A tudásbázisok lehetővé teszik a dokumentumok kisebb szegmensekre történő felosztását, hogy egyszerűbbé tegyék a nagy dokumentumok feldolgozását. A mi esetünkben az adatokat már egy kisebb méretű dokumentumba bontottuk (filmenként egyet).
- A Vektoros adatbázis válasszon Hozzon létre gyorsan egy új vektortárat.
Az Amazon Bedrock automatikusan létrehoz egy teljesen felügyelt OpenSearch Serverless vektorkeresési gyűjteményt, és konfigurálja az adatforrások beágyazásának beállításait a kiválasztott Titan Embedding G1 – Szövegbeágyazási modell használatával.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Következő.
- Tekintse át beállításait, és válasszon Tudásbázis létrehozása.
Szinkronizálja adatait a tudásbázissal
Most, hogy létrehozta tudásbázisát, szinkronizálhatja a tudásbázist adataival.
- Az Amazon Bedrock konzolon navigáljon a tudásbázisához.
- A Adatforrás szakaszban válassza Szinkronizálás.
Az adatforrás szinkronizálása után készen áll az adatok lekérdezésére.
Javítsa a keresést a szemantikai eredmények segítségével
Hajtsa végre a következő lépéseket a megoldás teszteléséhez, és a szemantikai eredmények segítségével javítsa a keresést:
- Az Amazon Bedrock konzolon navigáljon a tudásbázisához.
- Válassza ki tudásbázisát, és válasszon Teszt tudásbázis.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Válassza ki a modellt, és válasszon Antropikus Claude v2.1.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a alkalmaz.
Most készen áll az adatok lekérdezésére.
Feltehetünk néhány szemantikai kérdést, például: „Ajánljon néhány karácsonyi témájú filmet”.
A tudásbázis válaszai idézeteket tartalmaznak, amelyekből megtudhatja a válaszok helyességét és tényszerűségét.
Ezen túlmenően ezekből a filmekből kimerítheti azokat az információkat, amelyekre szüksége van. A következő példában azt kérdezzük: „ki rendezte a karácsony előtti rémálmot?”
Konkrétabb kérdéseket is feltehet a műfajokkal és besorolással kapcsolatban, például „mutasson klasszikus animációs filmeket 7-nél nagyobb értékeléssel?”
Bővítse tudásbázisát ügynökök segítségével
Az Amazon Bedrock ügynökei segít az összetett feladatok automatizálásában. Az ügynökök kisebb feladatokra bonthatják a felhasználói lekérdezést, és egyéni API-kat vagy tudásbázisokat hívhatnak a műveletek futtatásához szükséges információk kiegészítésére. Az Agents for Amazon Bedrock segítségével a fejlesztők intelligens ügynököket integrálhatnak alkalmazásaikba, felgyorsítva az AI-alapú alkalmazások szállítását, és hetekig tartó fejlesztési időt takaríthatnak meg. Az ügynökök segítségével bővítheti tudásbázisát azáltal, hogy további funkciókat, például ajánlásokat ad hozzá Az Amazon testreszabása felhasználóspecifikus ajánlásokhoz vagy műveletek végrehajtásához, például filmek szűréséhez a felhasználói igények alapján.
Következtetés
Ebben a bejegyzésben bemutattuk, hogyan lehet néhány lépésben felépíteni egy beszélgetős filmes chatbotot az Amazon Bedrock használatával, hogy megválaszolhassa a szemantikus keresést és a beszélgetési élményeket saját adatai, valamint az IMDb és Box Office Mojo Movies/TV/OTT licenccel rendelkező adatkészlete alapján. A következő bejegyzésben az Agents for Amazon Bedrock segítségével további funkciókkal bővítjük a megoldást. Az Amazon Bedrock tudásbázisainak használatának megkezdéséhez tekintse meg a Tudásbázisok az Amazon Bedrock számára.
A szerzőkről
Gaurav Rele a Generative AI Innovation Center vezető adattudósa, ahol az AWS-ügyfelekkel dolgozik különböző ágazatokban, hogy felgyorsítsa a generatív AI és AWS felhőszolgáltatások használatát üzleti kihívásaik megoldása érdekében.
Divya Bhargavi vezető alkalmazott tudós a Generatív AI Innovációs Központban, ahol generatív AI-módszerekkel old meg nagy értékű üzleti problémákat az AWS-ügyfelek számára. A képek/videók megértésével és visszakeresésével, a tudásgrafikonnal kiegészített nagy nyelvi modellekkel és a személyre szabott hirdetéshasználati esetekkel foglalkozik.
Suren Gunturu Data Scientist a Generative AI Innovation Centerben dolgozik, ahol különböző AWS-ügyfelekkel dolgozik nagy értékű üzleti problémák megoldásán. ML-folyamatok építésére specializálódott Large Language Models segítségével, elsősorban az Amazon Bedrock és más AWS Cloud szolgáltatásokon keresztül.
Vidya Sagar Ravipati a Generative AI Innovation Center tudományos menedzsere, ahol a nagyszabású elosztott rendszerek terén szerzett hatalmas tapasztalatát és a gépi tanulás iránti szenvedélyét hasznosítja, hogy segítse az AWS ügyfeleit a különböző iparágakban az AI és a felhő alkalmazásának felgyorsításában.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
- PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
- PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
- PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
- Forrás: https://aws.amazon.com/blogs/machine-learning/build-a-movie-chatbot-for-tv-ott-platforms-using-retrieval-augmented-generation-in-amazon-bedrock/
- :van
- :is
- :ahol
- 10 millió $
- 000
- 1
- 10
- 100
- 11
- 118
- 12
- 13
- 360
- 385
- 60
- 7
- a
- Rólunk
- gyorsul
- gyorsuló
- hozzáférés
- pontos
- át
- cselekvések
- szereplők
- hozzáadásával
- További
- Örökbefogadás
- Hirdetés
- szerek
- AI
- AI-hajtású
- Minden termék
- lehetővé teszi, hogy
- kizárólag
- már
- Is
- amazon
- Az Amazon Web Services
- an
- és a
- válasz
- válaszok
- bármilyen
- API-k
- alkalmazások
- alkalmazott
- alkalmazások
- VANNAK
- AS
- kérdez
- At
- fokozza
- bővített
- automatizált
- automatikusan
- AWS
- AWS adatcsere
- bázis
- alapján
- BE
- előtt
- Billió
- Doboz
- jegyiroda
- szünet
- épít
- Épület
- üzleti
- by
- hívás
- hívott
- TUD
- képesség
- elfog
- Rögzítése
- eset
- esetek
- katalógus
- Központ
- kihívások
- chatbot
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a
- választott
- Karácsony
- klasszikus
- felhő
- felhő elfogadása
- felhő szolgáltatások
- kód
- gyűjtemény
- kombinálása
- kereskedelmi
- vállalat
- bonyolult
- Konzol
- tartalmaz
- tartalom
- kontextus
- szövegre vonatkozó
- társalgó
- beszélgetések
- kijavítására
- országok
- Pár
- teremt
- készítette
- Credits
- legénység
- kritikai
- szokás
- vevő
- Ügyfél-elkötelezettség
- Ügyfelek
- testre
- dátum
- Adatcsere
- adattudós
- találka
- szállít
- kézbesítés
- leírás
- részletek
- fejlesztők
- Fejlesztés
- különböző
- irányított
- Igazgató
- igazgatók
- felfedez
- felfedezés
- megosztott
- elosztott rendszerek
- dokumentum
- dokumentumok
- le-
- hajtás
- megszüntetése
- beágyazás
- lehetővé
- végtől végig
- eljegyzés
- gazdagító
- belép
- Szórakozás
- Minden
- példa
- csere
- tapasztalat
- Tapasztalatok
- feltárása
- kevés
- filé
- Fájlok
- szűrő
- Találjon
- megtalálása
- következik
- következő
- A
- formátum
- ból ből
- teljesen
- funkcionalitás
- g1
- generál
- generáció
- nemző
- Generatív AI
- Műfajok
- kap
- Globális
- Go
- grafikon
- nagyobb
- Legyen
- he
- segít
- magas szinten
- övé
- Hogyan
- How To
- azonban
- HTML
- http
- HTTPS
- if
- végrehajtási
- javul
- in
- Beleértve
- Növelje
- ipar
- info
- információ
- Innováció
- érdeklődik
- integrálni
- Intelligens
- A szándék
- bele
- jár
- IT
- jpg
- éppen
- tudás
- Tudás Graph
- hiány
- nyelv
- nagy
- nagyarányú
- vezet
- vezető
- tanulás
- kihasználja
- Engedély
- Engedélyezett
- Engedélyezés
- mint
- LLM
- helyi
- elhelyezkedés
- alacsonyabb
- gép
- gépi tanulás
- csinál
- kezelése
- sikerült
- menedzser
- sok
- me
- Média
- Partnerek
- Metaadatok
- mód
- millió
- ML
- modell
- modellek
- több
- film
- Filmek
- név
- nevek
- Keresse
- Navigáció
- Szükség
- igények
- Új
- következő
- éjszaka
- of
- Office
- on
- ONE
- Alkalom
- or
- szervezetek
- Más
- mi
- felett
- saját
- csomag
- oldal
- fizetett
- üvegtábla
- rész
- szenvedély
- ösvény
- mert
- előadó
- Személyre
- Platformok
- Plató
- Platón adatintelligencia
- PlatoData
- cselekmény
- Népszerű
- állás
- elsősorban
- problémák
- folyamat
- termelő
- Termelők
- szabadalmazott
- biztosít
- lekérdezések
- kérdés
- Kérdések
- rongy
- hatótávolság
- Az árak
- értékelés
- értékelés
- kész
- ajánl
- Ajánlást
- ajánlások
- rekord
- utal
- összefüggő
- Jelentő
- megköveteli,
- válasz
- válaszok
- Eredmények
- visszatartás
- visszakeresés
- visszatérés
- Szerep
- SOR
- futás
- elégedettség
- megtakarítás
- Tudomány
- Tudós
- Keresés
- Rész
- biztosan
- szegmensek
- válasszuk
- szemantikus
- szemantika
- idősebb
- vagy szerver
- szolgáltatás
- Szolgáltatások
- beállítások
- ő
- lövés
- előadás
- kirakat
- kimutatta,
- Egyszerű
- szimulálni
- egyetlen
- Méret
- kisebb
- So
- megoldások
- SOLVE
- Megoldja
- néhány
- forrás
- Források
- specializálódott
- különleges
- kezdődött
- Lépései
- tárolás
- tárolni
- memorizált
- tárolása
- egyértelmű
- előfizetés
- ilyen
- kiegészítés
- szinkronizál.
- Systems
- Vesz
- feladatok
- technika
- teszt
- szöveg
- mint
- hogy
- A
- az információ
- azok
- Őket
- témájú
- akkor
- Ott.
- Ezek
- ők
- ezt
- Keresztül
- idő
- titán-
- címei
- nak nek
- tv
- megértés
- megértett
- strukturálatlan
- up-to-date
- feltöltve
- URL
- használ
- használt
- használó
- Felhasználók
- segítségével
- különféle
- Hatalmas
- függőlegesek
- Látogat
- W
- séta
- akar
- volt
- we
- háló
- webes szolgáltatások
- Hetek
- széles
- Széleskörű
- lesz
- val vel
- munkafolyamat
- dolgozó
- művek
- ír
- X
- év
- te
- A te
- zephyrnet