Die Verbesserung der Art und Weise, wie Benutzer neue Inhalte entdecken, ist entscheidend, um das Engagement und die Zufriedenheit der Benutzer auf Medienplattformen zu steigern. Allein die Suche nach Schlüsselwörtern stellt die Erfassung von Semantik und Benutzerabsicht vor Herausforderungen und führt zu Ergebnissen, denen der relevante Kontext fehlt. Suchen Sie zum Beispiel nach einem Date-Abend oder nach Filmen zum Thema Weihnachten. Dies kann zu niedrigeren Bindungsraten führen, wenn Benutzer die gewünschten Inhalte nicht zuverlässig finden können. Allerdings mit große Sprachmodelle (LLMs) besteht die Möglichkeit, diese semantischen und Benutzerabsichtsherausforderungen zu lösen. Durch Kombinieren Einbettungen die Semantik mit einer Technik namens erfassen Retrieval Augmented Generation (RAG)können Sie relevantere Antworten basierend auf dem abgerufenen Kontext aus Ihren eigenen Datenquellen generieren.
In diesem Beitrag zeigen wir Ihnen, wie Sie einen Film-Chatbot sicher erstellen, indem Sie RAG mit Ihren eigenen Daten implementieren Wissensbasen für Amazonas Grundgestein. Wir verwenden den IMDb- und Box Office Mojo-Datensatz, um einen Katalog für Medien- und Unterhaltungskunden zu simulieren und zeigen, wie Sie in nur wenigen Schritten Ihre eigene RAG-Lösung erstellen können.
Lösungsüberblick
Das IMDb und Box Office Mojo Movies/TV/OTT lizenzierbares Datenpaket bietet eine breite Palette von Unterhaltungsmetadaten, darunter über 1.6 Milliarde Benutzerbewertungen; Credits für mehr als 13 Millionen Besetzungs- und Crewmitglieder; 10 Millionen Film-, Fernseh- und Unterhaltungstitel; und globale Kassenberichtsdaten aus mehr als 60 Ländern. Viele AWS-Kunden aus den Bereichen Medien und Unterhaltung lizenzieren IMDb-Daten durch AWS-Datenaustausch um das Auffinden von Inhalten zu verbessern und die Kundenbindung und -bindung zu erhöhen.
Einführung in Wissensdatenbanken für Amazon Bedrock
Um ein LLM mit aktuellen proprietären Informationen auszustatten, verwenden Unternehmen RAG, eine Technik, bei der Daten aus Unternehmensdatenquellen abgerufen und die Eingabeaufforderung mit diesen Daten angereichert werden, um relevantere und genauere Antworten zu liefern. Wissensdatenbanken für Amazon Bedrock ermöglichen eine vollständig verwaltete RAG-Funktion, mit der Sie LLM-Antworten mit kontextbezogenen und relevanten Unternehmensdaten anpassen können. Wissensdatenbanken automatisieren den End-to-End-RAG-Workflow, einschließlich Aufnahme, Abruf, Eingabeaufforderungserweiterung und Zitierungen, sodass Sie keinen benutzerdefinierten Code schreiben müssen, um Datenquellen zu integrieren und Abfragen zu verwalten. Wissensdatenbanken für Amazon Bedrock ermöglichen auch Multi-Turn-Konversationen, sodass das LLM komplexe Benutzeranfragen mit der richtigen Antwort beantworten kann.
Wir verwenden die folgenden Dienste im Rahmen dieser Lösung:
Wir durchlaufen die folgenden High-Level-Schritte:
- Verarbeiten Sie die IMDb-Daten vor, um Dokumente aus jeder Filmaufzeichnung zu erstellen, und laden Sie die Daten in eine hoch Amazon Simple Storage-Service (Amazon S3) Eimer.
- Erstellen Sie eine Wissensdatenbank.
- Synchronisieren Sie Ihre Wissensdatenbank mit Ihrer Datenquelle.
- Nutzen Sie die Wissensdatenbank, um semantische Fragen zum Filmkatalog zu beantworten.
Voraussetzungen:
Die in diesem Beitrag verwendeten IMDb-Daten erfordern eine kommerzielle Inhaltslizenz und ein kostenpflichtiges Abonnement für IMDb und das Box Office Mojo Movies/TV/OTT-Lizenzpaket auf AWS Data Exchange. Um sich nach einer Lizenz zu erkundigen und auf Beispieldaten zuzugreifen, besuchen Sie Developer.imdb.com. Informationen zum Zugriff auf den Datensatz finden Sie unter Leistungsempfehlung und Suche mit einem IMDb Knowledge Graph – Teil 1 und folgen Sie den Greifen Sie auf die IMDb-Daten zu .
Verarbeiten Sie die IMDb-Daten vor
Bevor wir eine Wissensdatenbank erstellen, müssen wir den IMDb-Datensatz in Textdateien vorverarbeiten und diese in einen S3-Bucket hochladen. In diesem Beitrag simulieren wir einen Kundenkatalog mithilfe des IMDb-Datensatzes. Wir nehmen 10,000 beliebte Filme aus dem IMDb-Datensatz für den Katalog und erstellen den Datensatz.
Verwenden Sie Folgendes Notizbuch um den Datensatz mit zusätzlichen Informationen wie Namen von Schauspielern, Regisseuren und Produzenten zu erstellen. Wir verwenden den folgenden Code, um eine einzelne Datei für einen Film zu erstellen, in der alle in der Datei gespeicherten Informationen in einem unstrukturierten Text gespeichert sind, der von LLMs verstanden werden kann:
Nachdem Sie die Daten im TXT-Format haben, können Sie sie mit dem folgenden Befehl in Amazon S3 hochladen:
Erstellen Sie die IMDb-Wissensdatenbank
Führen Sie die folgenden Schritte aus, um Ihre Wissensdatenbank zu erstellen:
- Wählen Sie auf der Amazon Bedrock-Konsole Wissensbasis im Navigationsbereich.
- Auswählen Wissensbasis schaffen.
- Aussichten für Name der Wissensdatenbank, eingeben
imdb
. - Aussichten für Beschreibung der WissensdatenbankGeben Sie eine optionale Beschreibung ein, z. B. Wissensdatenbank zum Erfassen und Speichern von IMDB-Daten.
- Aussichten für IAM-BerechtigungenWählen Erstellen und verwenden Sie eine neue Servicerolleund geben Sie dann einen Namen für Ihre neue Servicerolle ein.
- Auswählen Weiter.
- Aussichten für Name der Datenquelle, eingeben
imdb-s3
. - Aussichten für S3-URIGeben Sie den S3-URI ein, auf den Sie die Daten hochgeladen haben.
- Im Erweiterte Einstellungen – optional Abschnitt, für Chunking-Strategie, wählen Kein Chunking.
- Auswählen Weiter.
Mithilfe von Wissensdatenbanken können Sie Ihre Dokumente in kleinere Segmente unterteilen, um die Verarbeitung großer Dokumente einfacher zu gestalten. In unserem Fall haben wir die Daten bereits in ein kleineres Dokument aufgeteilt (eins pro Film).
- Im Vektordatenbank Abschnitt auswählen Erstellen Sie schnell einen neuen Vektorspeicher.
Amazon Bedrock erstellt automatisch eine vollständig verwaltete OpenSearch Serverless-Vektorsuchsammlung und konfiguriert die Einstellungen für die Einbettung Ihrer Datenquellen mithilfe des ausgewählten Titan Embedding G1 – Texteinbettungsmodells.
- Auswählen Weiter.
- Überprüfen Sie Ihre Einstellungen und wählen Sie Wissensbasis schaffen.
Synchronisieren Sie Ihre Daten mit der Wissensdatenbank
Nachdem Sie nun Ihre Wissensdatenbank erstellt haben, können Sie die Wissensdatenbank mit Ihren Daten synchronisieren.
- Navigieren Sie in der Amazon Bedrock-Konsole zu Ihrer Wissensdatenbank.
- Im Datenquelle Wählen Sie im Abschnitt Synchronisierung.
Nachdem die Datenquelle synchronisiert wurde, können Sie die Daten abfragen.
Verbessern Sie die Suche mithilfe semantischer Ergebnisse
Führen Sie die folgenden Schritte aus, um die Lösung zu testen und Ihre Suche mithilfe semantischer Ergebnisse zu verbessern:
- Navigieren Sie in der Amazon Bedrock-Konsole zu Ihrer Wissensdatenbank.
- Wählen Sie Ihre Wissensdatenbank aus und wählen Sie Testen Sie die Wissensdatenbank.
- Auswählen Modell auswählen, und wähle Anthropischer Claude v2.1.
- Auswählen Bewerben.
Jetzt können Sie die Daten abfragen.
Wir können einige semantische Fragen stellen, wie zum Beispiel „Empfehlen Sie mir ein paar Weihnachtsfilme.“
Antworten in der Wissensdatenbank enthalten Zitate, die Sie auf Richtigkeit und Sachlichkeit der Antworten untersuchen können.
Sie können auch alle benötigten Informationen aus diesen Filmen aufschlüsseln. Im folgenden Beispiel fragen wir: „Wer hat bei Nightmare Before Christmas Regie geführt?“
Sie können auch spezifischere Fragen zu den Genres und Bewertungen stellen, z. B. „Zeigen Sie mir klassische Animationsfilme mit Bewertungen über 7?“
Erweitern Sie Ihre Wissensdatenbank mit Agenten
Agenten für Amazon Bedrock helfen Ihnen, komplexe Aufgaben zu automatisieren. Agenten können die Benutzerabfrage in kleinere Aufgaben aufteilen und benutzerdefinierte APIs oder Wissensdatenbanken aufrufen, um Informationen für die Ausführung von Aktionen zu ergänzen. Mit Agents for Amazon Bedrock können Entwickler intelligente Agenten in ihre Apps integrieren, wodurch die Bereitstellung KI-gestützter Anwendungen beschleunigt und wochenlange Entwicklungszeit eingespart wird. Mit Agenten können Sie Ihre Wissensdatenbank erweitern, indem Sie weitere Funktionen wie Empfehlungen von hinzufügen Amazon personalisieren für benutzerspezifische Empfehlungen oder die Durchführung von Aktionen wie das Filtern von Filmen basierend auf Benutzeranforderungen.
Zusammenfassung
In diesem Beitrag haben wir gezeigt, wie Sie mit Amazon Bedrock in wenigen Schritten einen Konversationsfilm-Chatbot erstellen, um semantische Such- und Konversationserlebnisse basierend auf Ihren eigenen Daten und dem von IMDb und Box Office Mojo Movies/TV/OTT lizenzierten Datensatz zu beantworten. Im nächsten Beitrag gehen wir den Prozess durch, wie Sie Ihrer Lösung mithilfe von Agents für Amazon Bedrock weitere Funktionen hinzufügen. Informationen zu den ersten Schritten mit Wissensdatenbanken auf Amazon Bedrock finden Sie unter Wissensdatenbanken für Amazon Bedrock.
Über die Autoren
Gaurav Rele ist Senior Data Scientist am Generative AI Innovation Center, wo er mit AWS-Kunden aus verschiedenen Branchen zusammenarbeitet, um deren Nutzung generativer KI und AWS Cloud-Services zur Lösung ihrer geschäftlichen Herausforderungen zu beschleunigen.
Divya Bhargavi ist Senior Applied Scientist Lead am Generative AI Innovation Center, wo sie hochwertige Geschäftsprobleme für AWS-Kunden mithilfe generativer KI-Methoden löst. Sie beschäftigt sich mit dem Verstehen und Abrufen von Bildern/Videos, mit Wissensgraphen erweiterten großen Sprachmodellen und Anwendungsfällen für personalisierte Werbung.
Suren Gunturu ist ein Datenwissenschaftler, der im Generative AI Innovation Center arbeitet, wo er mit verschiedenen AWS-Kunden an der Lösung hochwertiger Geschäftsprobleme arbeitet. Er ist auf den Aufbau von ML-Pipelines mithilfe großer Sprachmodelle spezialisiert, hauptsächlich über Amazon Bedrock und andere AWS Cloud-Dienste.
Vidya Sagar Ravipati ist Wissenschaftsmanager am Generative AI Innovation Center, wo er seine umfangreiche Erfahrung mit großen verteilten Systemen und seine Leidenschaft für maschinelles Lernen nutzt, um AWS-Kunden in verschiedenen Branchen dabei zu helfen, ihre KI- und Cloud-Einführung zu beschleunigen.
- SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
- PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
- PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
- PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
- PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
- Quelle: https://aws.amazon.com/blogs/machine-learning/build-a-movie-chatbot-for-tv-ott-platforms-using-retrieval-augmented-generation-in-amazon-bedrock/
- :hast
- :Ist
- :Wo
- 10 Mio. US$
- 000
- 1
- 10
- 100
- 11
- 118
- 12
- 13
- 360
- 385
- 60
- 7
- a
- LiveBuzz
- beschleunigen
- beschleunigend
- Zugang
- genau
- über
- Aktionen
- Akteure
- Hinzufügen
- Zusätzliche
- Adoption
- Marketings
- Agenten
- AI
- AI-powered
- Alle
- erlaubt
- allein
- bereits
- ebenfalls
- Amazon
- Amazon Web Services
- an
- und
- beantworten
- Antworten
- jedem
- APIs
- Anwendungen
- angewandt
- Apps
- SIND
- AS
- fragen
- At
- vermehren
- Augmented
- automatisieren
- Im Prinzip so, wie Sie es von Google Maps kennen.
- AWS
- AWS-Datenaustausch
- Base
- basierend
- BE
- Bevor
- Milliarde
- Box
- Abendkasse
- Break
- bauen
- Building
- Geschäft
- by
- rufen Sie uns an!
- namens
- CAN
- capability
- Erfassung
- Capturing
- Häuser
- Fälle
- Katalog
- Center
- Herausforderungen
- Chatbot
- Auswählen
- gewählt
- Weihnachten
- klassisch
- Cloud
- Cloud-Einführung
- Cloud-Services
- Code
- Sammlung
- Vereinigung
- kommerziell
- Unternehmen
- Komplex
- Konsul (Console)
- enthalten
- Inhalt
- Kontext
- kontextuelle
- Konversations
- Gespräche
- und beseitigen Muskelschwäche
- Ländern
- Paar
- erstellen
- erstellt
- Credits
- Crew
- kritischem
- Original
- Kunde
- Kundenbindung
- Kunden
- anpassen
- technische Daten
- Data Exchange
- Datenwissenschaftler
- Datum
- Übergeben
- Lieferanten
- Beschreibung
- Details
- Entwickler
- Entwicklung
- anders
- gerichtet
- Direktor
- Geschäftsführung
- entdeckt,
- Entdeckung
- verteilt
- verteilte Systeme
- Dokument
- Unterlagen
- nach unten
- Antrieb
- eliminieren
- Einbettung
- ermöglichen
- End-to-End
- Engagement
- bereichernd
- Enter
- Unterhaltung
- Jedes
- Beispiel
- Austausch-
- ERFAHRUNGEN
- Erfahrungen
- ERKUNDEN
- wenige
- Reichen Sie das
- Mappen
- Filterung
- Finden Sie
- Suche nach
- folgen
- Folgende
- Aussichten für
- Format
- für
- voll
- Funktionalität
- g1
- erzeugen
- Generation
- generativ
- Generative KI
- Genres
- bekommen
- Global
- Go
- Graph
- mehr
- Haben
- he
- Hilfe
- High-Level
- seine
- Ultraschall
- Hilfe
- aber
- HTML
- http
- HTTPS
- if
- Umsetzung
- zu unterstützen,
- in
- Einschließlich
- Erhöhung
- Energiegewinnung
- Info
- Information
- Innovation
- Holen Sie unser Angebot ein
- integrieren
- Intelligent
- Absicht
- in
- beinhaltet
- IT
- jpg
- nur
- Wissen
- Wissen Graph
- Mangel
- Sprache
- grosse
- großflächig
- führen
- führenden
- lernen
- Hebelwirkungen
- Lizenz
- Zugelassen
- Lizenzierung
- Gefällt mir
- LLM
- aus einer regionalen
- Standorte
- senken
- Maschine
- Maschinelles Lernen
- um
- verwalten
- verwaltet
- Manager
- viele
- me
- Medien
- Mitglieder
- Metadaten
- Methoden
- Million
- ML
- Modell
- für
- mehr
- Film
- Filme
- Name
- Namen
- Navigieren
- Menü
- Need
- Bedürfnisse
- Neu
- weiter
- Nacht-
- of
- Office
- on
- EINEM
- Gelegenheit
- or
- Organisationen
- Andere
- UNSERE
- übrig
- besitzen
- Paket
- Seite
- bezahlt
- Brot
- Teil
- Leidenschaft & KREATIVITÄT
- Weg
- für
- Durchführung
- Personalisiert
- Plattformen
- Plato
- Datenintelligenz von Plato
- PlatoData
- Grundstück
- Beliebt
- Post
- in erster Linie
- Probleme
- Prozessdefinierung
- Hersteller
- Producers
- Eigentums-
- bietet
- Abfragen
- query
- Fragen
- Lappen
- Angebot
- Honorar
- Wertung
- Bewertungen
- bereit
- empfehlen
- Software Empfehlungen
- Empfehlungen
- Rekord
- siehe
- bezogene
- relevant
- Reporting
- erfordert
- Antwort
- Antworten
- Die Ergebnisse
- Beibehaltung
- Abruf
- Rückkehr
- Rollen
- REIHE
- Laufen
- Zufriedenheit
- Einsparung
- Wissenschaft
- Wissenschaftler
- Suche
- Abschnitt
- sicher
- Segmente
- wählen
- semantisch
- Semantik
- Senior
- Serverlos
- Lösungen
- Einstellungen
- sie
- Schuss
- erklären
- Vitrine
- zeigte
- Einfacher
- simulieren
- Single
- Größe
- kleinere
- So
- Lösung
- LÖSEN
- Löst
- einige
- Quelle
- Quellen
- spezialisiert
- spezifisch
- begonnen
- Shritte
- Lagerung
- speichern
- gelagert
- Speicherung
- einfach
- Abonnement
- so
- ergänzen
- synchronisieren
- Systeme und Techniken
- Nehmen
- und Aufgaben
- Technik
- Test
- Text
- als
- zur Verbesserung der Gesundheitsgerechtigkeit
- Das
- die Informationen
- ihr
- Sie
- Unter dem Motto
- dann
- Dort.
- Diese
- vom Nutzer definierten
- fehlen uns die Worte.
- Durch
- Zeit
- Titan
- Titel
- zu
- tv
- Verständnis
- verstanden
- unstrukturiert
- auf dem neusten Stand
- hochgeladen
- URL
- -
- benutzt
- Mitglied
- Nutzer
- Verwendung von
- verschiedene
- riesig
- Vertikalen
- Besuchen Sie
- W
- Spaziergang
- wollen
- wurde
- we
- Netz
- Web-Services
- Wochen
- breit
- Große Auswahl
- werden wir
- mit
- Arbeitsablauf.
- arbeiten,
- Werk
- schreiben
- X
- Jahr
- Du
- Ihr
- Zephyrnet