Wenn Sie die Gelegenheit hatten, eine Suchanwendung für unstrukturierte Daten (z. B. Wiki, Informationswebsites, Selbstbedienungshilfeseiten, interne Dokumentation usw.) mit Open-Source- oder kommerziellen Standardsuchmaschinen zu erstellen, dann sind Sie wahrscheinlich mit den inhärenten Genauigkeitsherausforderungen vertraut, die mit dem Erhalten relevanter Suchergebnisse verbunden sind. Die beabsichtigte Bedeutung sowohl der Abfrage als auch des Dokuments kann verloren gehen, da die Suche auf übereinstimmende Komponentenschlüsselwörter und -begriffe reduziert wird. Folglich erhalten Sie zwar Ergebnisse, die möglicherweise die richtigen Wörter enthalten, diese sind jedoch nicht immer für den Benutzer relevant. Ihre Suchmaschine muss intelligenter sein, damit sie Dokumente basierend auf der Übereinstimmung der Bedeutung oder Semantik des Inhalts mit der Absicht der Benutzeranfrage einordnen kann.
Amazon Kendra bietet einen vollständig verwalteten intelligenten Suchdienst, der die Dokumentenaufnahme automatisiert und hochpräzise Such- und FAQ-Ergebnisse basierend auf Inhalten aus vielen Datenquellen liefert. Wenn Sie nicht zu Amazon Kendra migriert sind und die Qualität der Suchergebnisse verbessern möchten, können Sie Amazon Kendra Intelligent Ranking für selbstverwaltetes OpenSearch in Ihrer bestehenden Suchlösung verwenden.
Wir freuen uns, Ihnen das Neue vorzustellen Amazon Kendra Intelligent Ranking für selbstverwaltete OpenSearch, und sein begleitendes Plugin für die Öffnet die Suche Suchmaschine! Jetzt können Sie Ihren OpenSearch-Dokumentabfragen ganz einfach ein intelligentes Ranking hinzufügen, ohne dass Sie Ihre OpenSearch-Indizes migrieren, duplizieren oder Ihre Anwendungen neu schreiben müssen. Der Unterschied zwischen Amazon Kendra Intelligent Ranking für selbstverwaltetes OpenSearch und dem vollständig verwalteten Amazon Kendra-Dienst besteht darin, dass ersterer zwar eine leistungsstarke semantische Neubewertung der Suchergebnisse bietet, letzterer jedoch zusätzliche Suchgenauigkeitsverbesserungen und Funktionen wie inkrementelles Lernen und Fragen bietet Beantwortung, FAQ-Abgleich und integrierte Konnektoren. Weitere Informationen zum vollständig verwalteten Dienst finden Sie unter Amazon Kendra-Serviceseite.
Mit Amazon Kendra Intelligent Ranking für selbstverwaltete OpenSearch, frühere Ergebnisse wie diese:
Abfrage: Wie lautet die Adresse des Weißen Hauses?
Hit1 (am besten): Der Präsident hielt heute eine Ansprache aus dem Weißen Haus an die Nation.
Treffer2: Das Weiße Haus befindet sich in: 1600 Pennsylvania Avenue NW, Washington, DC 20500
werde so:
Abfrage: Wie lautet die Adresse des Weißen Hauses?
Hit1 (am besten): Das Weiße Haus befindet sich in: 1600 Pennsylvania Avenue NW, Washington, DC 20500
Treffer2: Der Präsident hielt heute eine Ansprache aus dem Weißen Haus an die Nation.
In diesem Beitrag zeigen wir Ihnen, wie Sie mit Amazon Kendra Intelligent Ranking für selbstverwaltete OpenSearch beginnen können, und wir stellen einige Beispiele zur Verfügung, die die Leistungsfähigkeit und den Wert dieser Funktion demonstrieren.
Komponenten von Amazon Kendra Intelligent Ranking für selbstverwaltete OpenSearch
Voraussetzungen:
Für dieses Tutorial benötigen Sie ein Bash-Terminal Linux, Mac, oder Windows-Subsystem für LinuxUnd ein AWS-Konto. Hinweis: Erwägen Sie die Verwendung einer Amazon Cloud9-Instanz oder einer Amazon Elastic Compute-Cloud (Amazon EC2)-Instanz.
Du wirst:
- Installieren Sie Docker, falls es noch nicht auf Ihrem System installiert ist.
- Installieren Sie die neueste AWS-Befehlszeilenschnittstelle (AWS CLI), sofern noch nicht installiert.
- Erstellen und starten Sie OpenSearch-Container mit aktiviertem Amazon Kendra Intelligent Ranking-Plugin.
- Erstellen Sie Testindizes und laden Sie einige Beispieldokumente.
- Führen Sie einige Abfragen mit und ohne intelligentes Ranking durch und lassen Sie sich von den Unterschieden angemessen beeindrucken!
Installieren Sie Docker
Wenn Docker (d. h. docker
und docker-compose
) in Ihrer Umgebung noch nicht installiert ist, installieren Sie es. Sehen Holen Sie sich Docker für Richtungen.
Installieren Sie die AWS-CLI
Wenn Sie die neueste Version der AWS CLI noch nicht installiert haben, installieren und konfigurieren Sie sie jetzt (siehe AWS CLI Erste Schritte). Ihre standardmäßigen AWS-Benutzeranmeldeinformationen müssen über Administratorzugriff verfügen, oder bitten Sie Ihren AWS-Administrator, die folgende Richtlinie zu Ihren Benutzerberechtigungen hinzuzufügen:
Erstellen und starten Sie OpenSearch mit dem Quickstart-Skript
Laden Sie die search_processing_kendra_quickstart.sh
Skript:
Das Quickstart-Skript:
- Erstellt einen Amazon Kendra Intelligent Ranking Rescore Execution Plan in Ihrem AWS-Konto.
- Erstellt Docker-Container für OpenSearch und seine Dashboards.
- Konfiguriert OpenSearch für die Verwendung des Kendra Intelligent Ranking Service.
- Startet die OpenSearch-Dienste.
- Bietet hilfreiche Anleitungen zur Verwendung des Dienstes.
Verwenden Sie das --help
Option, um die Befehlszeilenoptionen anzuzeigen:
Führen Sie nun das Skript aus, um die Einrichtung von Amazon Kendra und OpenSearch zu automatisieren:
Das ist es! OpenSearch- und OpenSearch-Dashboard-Container sind jetzt betriebsbereit.
Lesen Sie die Ausgabenachricht des Quickstart-Skripts und notieren Sie sich das Verzeichnis, in dem Sie das Handy ausführen können docker-compose
Befehle und die cleanup_resources.sh
Skripte.
Probieren Sie eine Testabfrage aus, um zu überprüfen, ob Sie eine Verbindung zu Ihrem OpenSearch-Container herstellen können:
Beachten Sie, dass, wenn Sie den Fehler erhalten curl(35):OpenSSL SSL_connect: SSL_ERROR_SYSCALL in connection to localhost:9200
, bedeutet dies, dass OpenSearch noch im Kommen ist. Bitte warten Sie ein paar Minuten, bis OpenSearch bereit ist, und versuchen Sie es erneut.
Erstellen Sie Testindizes und laden Sie Beispieldokumente
Das folgende Skript wird verwendet, um einen Index zu erstellen und Beispieldokumente zu laden. Speichern Sie es auf Ihrem Computer als bulk_post.sh:
Speichern Sie die unten stehenden Datendateien als tinydocs.jsonl:
Und speichern Sie die folgende Datendatei als dstinfo.jsonl:
(Diese Daten sind angepasst von Artikel zur Sommerzeit).
Machen Sie das Skript ausführbar:
Jetzt benutze die bulk_post.sh Skript, um Indizes zu erstellen und die Daten zu laden, indem Sie die beiden folgenden Befehle ausführen:
Führen Sie Beispielabfragen aus
Bereiten Sie Abfrageskripts vor
OpenSearch-Abfragen werden in JSON mithilfe von OpenSearch definiert Abfrage domänenspezifischer Sprache (DSL). Für diesen Beitrag verwenden wir die Linux-Curl Befehl zum Senden von Abfragen an unseren lokalen OpenSearch-Server über HTTPS.
Um dies zu vereinfachen, haben wir zwei kleine Skripte definiert, um unsere Abfrage-DSL zu erstellen und an OpenSearch zu senden.
Das erste Skript erstellt eine reguläre OpenSearch-Textübereinstimmungsabfrage für zwei Dokumentfelder – Titel und Körper. Weitere Informationen finden Sie in der OpenSearch-Dokumentation Multi-Match-Abfragesyntax. Wir haben die Abfrage sehr einfach gehalten, aber Sie können später mit der Definition alternativer Abfragetypen experimentieren.
Speichern Sie das folgende Skript unter query_nokendra.sh:
Das zweite Skript ähnelt dem ersten, aber dieses Mal fügen wir eine Abfrageerweiterung hinzu, um OpenSearch anzuweisen, das Amazon Kendra Intelligent Ranking-Plug-in als Nachbearbeitungsschritt aufzurufen, um die ursprünglichen Ergebnisse mithilfe des Amazon Kendra Intelligent Ranking-Dienstes neu einzustufen.
Das size
-Eigenschaft bestimmt, wie viele OpenSearch-Ergebnisdokumente zur Neubewertung an Kendra gesendet werden. Hier geben wir maximal 20 Ergebnisse für das Reranking an. Zwei Eigenschaften, title_field
(optional) und body_field
(erforderlich), geben Sie die Dokumentfelder an, die für das intelligente Ranking verwendet werden.
Speichern Sie das folgende Skript unter query_kendra.sh:
Machen Sie beide Skripte ausführbar:
Führen Sie anfängliche Abfragen aus
Beginnen Sie mit einer einfachen Abfrage auf der Tinydocs index, um das in der Post-Einleitung verwendete Beispiel zu reproduzieren.
Verwenden Sie das query_nokendra.sh
Skript zur Suche nach der Adresse des Weißen Hauses:
Sie sehen die unten gezeigten Ergebnisse. Beachten Sie die Reihenfolge der beiden Ergebnisse, die nach der von der OpenSearch-Textübereinstimmungsabfrage zugewiesenen Punktzahl geordnet sind. Obwohl das Ergebnis mit der höchsten Punktzahl die Schlüsselwörter enthält Adresse und Weißen Haus, es ist klar, dass die Bedeutung nicht mit der Absicht der Frage übereinstimmt. Die Schlüsselwörter stimmen überein, die Semantik jedoch nicht.
Lassen Sie uns nun die Abfrage mit Amazon Kendra Intelligent Ranking ausführen, indem Sie die query_kendra.sh
Skript:
Dieses Mal sehen Sie die Ergebnisse in einer anderen Reihenfolge, wie unten gezeigt. Der Amazon Kendra Intelligent Ranking-Service hat die Bewertungswerte neu zugewiesen und dem Dokument, das der Absicht der Abfrage besser entspricht, eine höhere Bewertung zugewiesen. Aus Keyword-Perspektive ist dies eine schlechtere Übereinstimmung, da es das Wort nicht enthält Adresse; aus semantischer Sicht ist es jedoch die bessere Antwort. Jetzt sehen Sie den Vorteil der Verwendung des Amazon Kendra Intelligent Ranking-Plugins!
Führen Sie zusätzliche Abfragen durch und vergleichen Sie die Suchergebnisse
Probieren Sie jetzt den dstinfo-Index aus, um zu sehen, wie dasselbe Konzept mit unterschiedlichen Daten und Abfragen funktioniert. Während Sie die Skripte verwenden können query_nokendra.sh und query_kendra.sh Um Abfragen über die Befehlszeile durchzuführen, verwenden wir stattdessen die OpenSearch Dashboards Plugin zum Vergleichen von Suchergebnissen um Abfragen auszuführen und Suchergebnisse zu vergleichen.
Fügen Sie die lokale Dashboards-URL in Ihren Browser ein: http://localhost:5601/app/searchRelevance – / um auf das Dashboard-Vergleichstool zuzugreifen. Verwenden Sie die Standardanmeldeinformationen: Benutzername: Administrator, Passwort: Administrator.
Geben Sie in der Suchleiste Folgendes ein: what is daylight saving time?
Für Abfrage 1 und Abfrage 2 IndexWählen dstinfo.
Kopieren Sie die folgende DSL-Abfrage und fügen Sie sie in die ein Abfrage unter Abfrage 1. Dies ist eine Schlüsselwortsuchabfrage.
Kopieren Sie nun die unten stehende DSL-Abfrage und fügen Sie sie in die ein Abfrage Panel unter Abfrage 2. Diese Abfrage ruft das Amazon Kendra Intelligent Ranking-Plugin für selbstverwaltetes OpenSearch auf, um eine semantische Neubewertung der Suchergebnisse durchzuführen.
Wähle die Suche Schaltfläche, um die Abfragen auszuführen und die Suchergebnisse zu beobachten. In Ergebnis 1 ist der zuletzt gerankte Treffer wahrscheinlich tatsächlich die relevanteste Antwort auf diese Suchanfrage. In Ergebnis 2 hat die Ausgabe von Amazon Kendra Intelligent Ranking die relevanteste Antwort korrekterweise an erster Stelle.
Nachdem Sie nun Amazon Kendra Intelligent Ranking für selbstverwaltete OpenSearch kennengelernt haben, experimentieren Sie mit ein paar eigenen Abfragen. Verwenden Sie die Daten, die wir bereits geladen haben, oder verwenden Sie die bulk_post.sh Skript zum Laden eigener Daten.
Erkunden Sie die Amazon Kendra Ranking Rescore API
Wie Sie in diesem Beitrag gesehen haben, kann das Amazon Kendra Intelligent Ranking-Plugin für OpenSearch bequem für die semantische Neubewertung Ihrer Suchergebnisse verwendet werden. Wenn Sie jedoch einen Suchdienst verwenden, der das Amazon Kendra Intelligent Ranking-Plug-in für selbstverwaltete OpenSearch nicht unterstützt, können Sie den verwenden Erneuern Funktion direkt von der Amazon Kendra Intelligent Ranking API.
Probieren Sie diese API mit den Suchergebnissen aus der Beispielabfrage aus, die wir oben verwendet haben: Wie lautet die Adresse des Weißen Hauses?
Suchen Sie zuerst Ihre Ausführungsplan-ID, indem Sie Folgendes ausführen:
Der JSON unten enthält die Suchabfrage und die beiden Ergebnisse, die von der ursprünglichen OpenSearch-Übereinstimmungsabfrage zurückgegeben wurden, mit ihren ursprünglichen OpenSearch-Ergebnissen. Ersetzen {kendra-execution-plan_id}
mit Ihrer Ausführungsplan-ID (von oben) und speichern Sie sie unter rescore_input.json:
Führen Sie den folgenden CLI-Befehl aus, um diese Dokumentenliste mit dem Amazon Kendra Intelligent Ranking-Service neu zu bewerten:
Die Ausgabe einer erfolgreichen Ausführung sieht wie folgt aus.
Wie erwartet, das Dokument tdoc2 (enthält die Textkörper "Das Weiße Haus befindet sich in: 1600 Pennsylvania Avenue NW, Washington, DC 20500“) hat jetzt den höheren Rang, da es die semantisch relevantere Antwort auf die Anfrage ist. Die ResultItems
list in der Ausgabe enthält jede Eingabe DocumentId
mit seinem neuen Score
, sortiert in absteigender Reihenfolge von Score
.
Aufräumen
Wenn Sie mit dem Experimentieren fertig sind, fahren Sie Ihre Docker-Container herunter und entfernen Sie sie und den Rescore Execution Plan, indem Sie die ausführen cleanup_resources.sh
Skript, das vom Quickstart-Skript erstellt wurde, z. B.:
Zusammenfassung
In diesem Beitrag haben wir Ihnen gezeigt, wie Sie das Amazon Kendra Intelligent Ranking-Plug-In für selbstverwaltete OpenSearch verwenden können, um Ihren OpenSearch-Dokumentabfragen auf einfache Weise ein intelligentes Ranking hinzuzufügen, um das Relevanz-Ranking der Ergebnisse erheblich zu verbessern, während Sie Ihre vorhandenen OpenSearch-Suchmaschinenbereitstellungen verwenden.
Sie können auch das Amazon Kendra Intelligent Ranking verwenden API neu bewerten DIREKT AN Ergebnisse intelligent neu bewerten und einordnen aus Ihren eigenen Anwendungen.
Lesen Sie das Amazon Kendra Intelligent Ranking für selbstverwaltete OpenSearch Dokumentation um mehr über diese Funktion zu erfahren und mit der Planung ihrer Anwendung in Ihren Produktionsanwendungen zu beginnen.
Über die Autoren
Abhinav Jawadekar ist Principal Solutions Architect mit Fokus auf Amazon Kendra im AI/ML-Sprachdienstteam bei AWS. Abhinav arbeitet mit AWS-Kunden und -Partnern zusammen, um ihnen beim Aufbau intelligenter Suchlösungen auf AWS zu helfen.
Bob Strahan ist Principal Solutions Architect im AWS Language AI Services-Team.
- SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
- Platoblockkette. Web3-Metaverse-Intelligenz. Wissen verstärkt. Hier zugreifen.
- Quelle: https://aws.amazon.com/blogs/machine-learning/get-smarter-search-results-with-the-amazon-kendra-intelligent-ranking-and-opensearch-plugin/
- 1
- 10
- 100
- 11
- 7
- 70
- 9
- a
- bin
- Über uns
- oben
- Zugang
- Unfälle
- Nach
- Konto
- Genauigkeit
- genau
- über
- Action
- berührt das Schneidwerkzeug
- Zusätzliche
- Adresse
- Administrator
- Nach der
- voraus
- AI
- KI-Dienste
- AI / ML
- bereits
- Obwohl
- immer
- Amazon
- Amazon EC2
- Amazon Kendra
- und
- beantworten
- Bienen
- Anwendung
- Anwendungen
- Jetzt bewerben
- April
- Arizona
- zugewiesen
- automatisieren
- Automatisches Erfassen:
- Avenue
- AWS
- Zurück
- Bar
- basierend
- bash
- weil
- hinter
- unten
- Nutzen
- Vorteile
- Christoph
- BESTE
- Besser
- zwischen
- Körper
- Gehirn
- Briten
- British Columbia
- Browser
- bauen
- eingebaut
- Büro
- Kanada
- Herausforderungen
- Übernehmen
- klar
- Uhren
- eng
- Cloud9
- COLUMBIA
- Kommen
- vergleichen
- Vergleich
- Komponente
- Berechnen
- Computer
- konzept
- Kongress
- Kongress-
- Vernetz Dich
- Verbindung
- Folglich
- Geht davon
- konstruieren
- Container
- Behälter
- enthält
- Inhalt
- Länder
- Paar
- erstellen
- erstellt
- schafft
- Referenzen
- Kunden
- Zyklen
- Armaturenbrett
- technische Daten
- Tag
- Tage
- dc
- Standard
- Definition
- Erfreut
- geliefert
- zeigen
- Implementierungen
- entschlossen
- Unterschied
- anders
- Direkt
- Docker
- Dokument
- Dokumentation
- Unterlagen
- Tut nicht
- Domain
- Nicht
- nach unten
- Dramatisch
- jeder
- leicht
- bewirken
- freigegeben
- endet
- Motor
- Motor (en)
- Enter
- Arbeitsumfeld
- Fehler
- etc
- Beispiel
- Beispiele
- ausführen
- Ausführung
- vorhandenen
- erwartet
- erfahrensten
- Experiment
- Erweiterung
- Gescheitert
- vertraut
- FAQ
- Favor
- Merkmal
- wenige
- Felder
- Reichen Sie das
- Mappen
- Finden Sie
- Vorname
- konzentriert
- folgen
- Folgende
- unten stehende Formular
- Früher
- Gründung
- für
- voll
- Funktion
- Funktionalität
- geographisch
- bekommen
- bekommen
- praktisch
- Hilfe
- hilfreich
- hier
- höher
- hoch
- Geschichte
- Hit
- Treffer
- Häuser
- Ultraschall
- Hilfe
- aber
- HTML
- HTTPS
- beeindruckt
- zu unterstützen,
- Verbesserungen
- in
- Steigert
- Index
- Indizes
- Individuell
- Information
- Informational
- inhärent
- Anfangs-
- Varianten des Eingangssignals:
- installieren
- Instanz
- beantragen müssen
- Intelligent
- Absicht
- Absicht
- intern
- einführen
- Einleitung
- ruft auf
- beteiligt
- Inseln
- Probleme
- IT
- JSON
- Behalten
- Sprache
- Nachname
- neueste
- LERNEN
- lernen
- Brief
- Line
- Liste
- Belastung
- aus einer regionalen
- located
- Lang
- länger
- aussehen
- um
- verwaltet
- viele
- März
- Spiel
- Abstimmung
- maximal
- Bedeutung
- Mittel
- Nachricht
- migriert
- Minuten
- Monat
- mehr
- vor allem warme
- Nation gemacht haben
- National
- Need
- Neu
- November
- beobachten
- Oktober
- EINEM
- XNUMXh geöffnet
- Open-Source-
- openssl
- Gelegenheit
- Option
- Optionen
- Auftrag
- Original
- Andere
- im Freien
- besitzen
- Teilnehmer
- Teile
- Passwort
- Pennsylvania
- Personen
- Ausführen
- vielleicht
- dauerhaft
- Berechtigungen
- Perspektive
- Länder/Regionen
- Plan
- Planung
- Plato
- Datenintelligenz von Plato
- PlatoData
- Bitte
- Plugin
- Datenschutzrichtlinien
- Post
- Werkzeuge
- größte treibende
- Präsident
- ziemlich
- früher
- Principal
- wahrscheinlich
- Produktion
- immobilien
- Resorts
- die
- bietet
- Öffentlichkeit
- Puerto
- Puerto Rico
- Qualität
- Frage
- Platz
- Rangliste
- bereit
- Reduziert
- regulär
- Beziehung
- Relevanz
- relevant
- entfernen
- ersetzen
- falls angefordert
- Forschungsprojekte
- Ressourcen
- Antwort
- Folge
- Die Ergebnisse
- RICO
- Führen Sie
- Laufen
- gleich
- Speichern
- Einsparung
- SC
- Wertung
- Skripte
- Suche
- Suchmaschine
- Suchmaschinen
- Zweite
- Selbstbedienung
- Semantik
- Leistungen
- kompensieren
- Setup
- erklären
- gezeigt
- schließen
- ähnlich
- Einfacher
- einfach
- Seiten
- Größe
- klein
- schlauer
- So
- SOFT
- Lösung
- Lösungen
- LÖSEN
- einige
- Quelle
- Quellen
- spezifisch
- Anfang
- begonnen
- Erklärung
- Staaten
- Schritt
- Immer noch
- erfolgreich
- so
- Support
- System
- Team
- Terminal
- AGB
- Test
- Das
- ihr
- Zeit
- Zeitplan
- Titel
- zu
- heute
- Werkzeug
- Top
- Gesamt
- Tourismus
- , des Transports
- Lernprogramm
- Typen
- uns
- für
- Vereinigt
- USA
- URL
- -
- Mitglied
- BESTÄTIGEN
- Wert
- Werte
- Version
- Virgin
- warten
- Washington
- Netz
- Was
- Was ist
- ob
- welche
- während
- Weiß
- Weißen Haus
- werden wir
- ohne
- Word
- Worte
- Werk
- weltweit wie ausgehandelt und gekauft ausgeführt wird.
- würde
- Du
- Ihr
- Zephyrnet