Jeśli miałeś okazję zbudować aplikację wyszukującą nieustrukturyzowane dane (tj. wiki, informacyjne strony internetowe, samoobsługowe strony pomocy, dokumentację wewnętrzną itp.) przy użyciu wyszukiwarek typu open source lub gotowych komercyjnych wyszukiwarek, to prawdopodobnie znasz nieodłączne wyzwania związane z dokładnością związane z uzyskiwaniem trafnych wyników wyszukiwania. Zamierzone znaczenie zarówno zapytania, jak i dokumentu może zostać utracone, ponieważ wyszukiwanie ogranicza się do pasujących składowych słów kluczowych i terminów. W rezultacie, chociaż otrzymujesz wyniki, które mogą zawierać właściwe słowa, nie zawsze są one odpowiednie dla użytkownika. Potrzebujesz inteligentniejszej wyszukiwarki, aby mogła klasyfikować dokumenty na podstawie dopasowania znaczenia lub semantyki treści do intencji zapytania użytkownika.
Amazonka Kendra zapewnia w pełni zarządzaną inteligentną usługę wyszukiwania, która automatyzuje pozyskiwanie dokumentów i zapewnia bardzo dokładne wyniki wyszukiwania i często zadawanych pytań na podstawie treści z wielu źródeł danych. Jeśli nie przeprowadziłeś migracji do Amazon Kendra i chciałbyś poprawić jakość wyników wyszukiwania, możesz użyć Amazon Kendra Intelligent Ranking do samodzielnego zarządzania OpenSearch w swoim istniejącym rozwiązaniu wyszukiwania.
Z przyjemnością przedstawiamy nowość Inteligentny ranking Amazon Kendra dla samodzielnie zarządzanego OpenSearchi towarzysząca mu wtyczka dla Otwórz wyszukiwanie wyszukiwarka! Teraz możesz łatwo dodawać inteligentne rankingi do zapytań dotyczących dokumentów OpenSearch, bez konieczności migracji, duplikowania indeksów OpenSearch lub ponownego pisania aplikacji. Różnica między Amazon Kendra Intelligent Ranking dla samodzielnie zarządzanego OpenSearch a w pełni zarządzaną usługą Amazon Kendra polega na tym, że podczas gdy ta pierwsza zapewnia potężną semantyczną zmianę rankingu wyników wyszukiwania, druga zapewnia dodatkowe ulepszenia dokładności wyszukiwania i funkcje, takie jak uczenie się przyrostowe, zadawanie pytań odpowiadanie, dopasowywanie często zadawanych pytań i wbudowane łączniki. Aby uzyskać więcej informacji na temat w pełni zarządzanej usługi, odwiedź stronę Strona usługi Amazon Kendra.
Z Amazon Kendra Intelligent Ranking dla samodzielnie zarządzanego OpenSearch, poprzednie wyniki wyglądały tak:
zapytanie: Jaki jest adres Białego Domu?
Trafienie 1 (najlepsze): Prezydent wygłosił dziś orędzie do narodu z Białego Domu.
Trafienie 2: Biały Dom znajduje się pod adresem: 1600 Pennsylvania Avenue NW, Washington, DC 20500
stać się takim:
zapytanie: Jaki jest adres Białego Domu?
Trafienie 1 (najlepsze): Biały Dom znajduje się pod adresem: 1600 Pennsylvania Avenue NW, Washington, DC 20500
Trafienie 2: Prezydent wygłosił dziś orędzie do narodu z Białego Domu.
W tym poście pokazujemy, jak zacząć korzystać z inteligentnego rankingu Amazon Kendra dla samodzielnie zarządzanego OpenSearch, a także przedstawiamy kilka przykładów demonstrujących moc i wartość tej funkcji.
Komponenty Amazon Kendra Intelligent Ranking dla samodzielnie zarządzanego OpenSearch
Wymagania wstępne
W tym samouczku będziesz potrzebować terminala bash Linux, Maclub Podsystem Windows dla systemu Linux, Oraz Konto AWS. Wskazówka: rozważ użycie instancji Amazon Cloud9 lub Elastyczna chmura obliczeniowa Amazon (Amazon EC2) instancja.
Będziesz mogl:
- Zainstaluj Dockera, jeśli nie jest jeszcze zainstalowany w twoim systemie.
- Zainstaluj najnowszą wersję Interfejs wiersza poleceń AWS (AWS CLI), jeśli nie jest jeszcze zainstalowany.
- Twórz i uruchamiaj kontenery OpenSearch z włączoną wtyczką Amazon Kendra Intelligent Ranking.
- Utwórz indeksy testowe i załaduj przykładowe dokumenty.
- Uruchom kilka zapytań, z inteligentnym rankingiem i bez niego, i bądź pod wrażeniem różnic!
Zainstaluj Docker
Jeśli Docker (tj. docker
i docker-compose
) nie jest jeszcze zainstalowany w twoim środowisku, zainstaluj go. Widzieć Pobierz Dockera po wskazówki.
Zainstaluj AWS CLI
Jeśli nie masz jeszcze zainstalowanej najnowszej wersji AWS CLI, zainstaluj ją i skonfiguruj teraz (zobacz AWS Rozpoczęcie pracy z interfejsem CLI). Twoje domyślne poświadczenia użytkownika AWS muszą mieć dostęp administratora lub poproś administratora AWS o dodanie następującej zasady do uprawnień użytkownika:
Utwórz i uruchom OpenSearch za pomocą skryptu Quickstart
Pobierz search_processing_kendra_quickstart.sh
scenariusz:
Skrypt szybkiego startu:
- Tworzy plan realizacji inteligentnego rankingu Amazon Kendra Rescore Execution na Twoim koncie AWS.
- Tworzy kontenery Docker dla OpenSearch i jego pulpitów nawigacyjnych.
- Konfiguruje OpenSearch do korzystania z usługi Kendra Intelligent Ranking Service.
- Uruchamia usługi OpenSearch.
- Zawiera pomocne wskazówki dotyczące korzystania z usługi.
Użyj --help
opcja, aby zobaczyć opcje wiersza poleceń:
Teraz uruchom skrypt, aby zautomatyzować konfigurację Amazon Kendra i OpenSearch:
Otóż to! Kontenery OpenSearch i OpenSearch Dashboard są już uruchomione.
Przeczytaj komunikat wyjściowy ze skryptu szybkiego startu i zanotuj katalog, w którym możesz uruchomić przydatne narzędzie docker-compose
polecenia, a cleanup_resources.sh
skrypt.
Wypróbuj zapytanie testowe, aby sprawdzić, czy możesz połączyć się z kontenerem OpenSearch:
Zauważ, że jeśli pojawi się błąd curl(35):OpenSSL SSL_connect: SSL_ERROR_SYSCALL in connection to localhost:9200
, oznacza to, że OpenSearch wciąż się pojawia. Poczekaj kilka minut, aż OpenSearch będzie gotowe, i spróbuj ponownie.
Twórz indeksy testowe i ładuj przykładowe dokumenty
Poniższy skrypt służy do tworzenia indeksu i ładowania przykładowych dokumentów. Zapisz go na swoim komputerze jako zbiorcze_post.sh:
Zapisz poniższe pliki danych jako tinydocs.jsonl:
I zapisz plik danych poniżej jako dstinfo.jsonl:
(Dane te zaadaptowano z Artykuł dotyczący czasu letniego).
Uczyń skrypt wykonywalnym:
Teraz użyj zbiorcze_post.sh skrypt do tworzenia indeksów i ładowania danych, uruchamiając dwa poniższe polecenia:
Uruchom przykładowe zapytania
Przygotuj skrypty zapytań
Zapytania OpenSearch są definiowane w formacie JSON przy użyciu OpenSearch język specyficzny dla domeny zapytań (DSL). W tym poście używamy Zwijanie Linuksa polecenie wysyłania zapytań do naszego lokalnego serwera OpenSearch za pomocą protokołu HTTPS.
Aby to ułatwić, zdefiniowaliśmy dwa małe skrypty do konstruowania zapytania DSL i wysyłania go do OpenSearch.
Pierwszy skrypt tworzy zwykłe zapytanie dopasowujące tekst OpenSearch w dwóch polach dokumentu — tytuł i ciało. Zobacz dokumentację OpenSearch, aby uzyskać więcej informacji na temat składnia zapytania z wieloma dopasowaniami. Utrzymaliśmy zapytanie bardzo proste, ale możesz później poeksperymentować ze zdefiniowaniem alternatywnych typów zapytań.
Zapisz poniższy skrypt jako zapytanie_nokendra.sh:
Drugi skrypt jest podobny do pierwszego, ale tym razem dodaliśmy rozszerzenie zapytania, aby poinstruować OpenSearch, aby wywołał wtyczkę Amazon Kendra Intelligent Ranking jako krok przetwarzania końcowego w celu zmiany rankingu oryginalnych wyników za pomocą usługi Amazon Kendra Intelligent Ranking.
Połączenia size
określa, ile dokumentów wyników OpenSearch jest wysyłanych do Kendry w celu zmiany rankingu. Tutaj określamy maksymalnie 20 wyników do ponownego rankingu. Dwie właściwości, title_field
(opcjonalnie) i body_field
(wymagane), określ pola dokumentu używane do inteligentnego rankingu.
Zapisz poniższy skrypt jako zapytanie_kendra.sh:
Spraw, aby oba skrypty były wykonywalne:
Uruchom wstępne zapytania
Zacznij od prostego zapytania dot malutkie dokumenty index, aby odtworzyć przykład użyty we wstępie do posta.
Użyj query_nokendra.sh
skrypt do wyszukiwania adresu Białego Domu:
Zobaczysz wyniki pokazane poniżej. Zwróć uwagę na kolejność dwóch wyników, które są uszeregowane według wyniku przypisanego przez zapytanie dopasowujące tekst OpenSearch. Chociaż wynik z najwyższą punktacją zawiera słowa kluczowe adres i Biały Dom, jasne jest, że znaczenie nie odpowiada intencji pytania. Słowa kluczowe pasują, ale semantyka nie.
Teraz uruchommy zapytanie z Amazon Kendra Intelligent Ranking, używając query_kendra.sh
scenariusz:
Tym razem zobaczysz wyniki w innej kolejności, jak pokazano poniżej. Usługa Amazon Kendra Intelligent Ranking ponownie przypisała wartości punktowe i przypisała wyższy wynik dokumentowi, który bardziej odpowiada intencji zapytania. Z punktu widzenia słowa kluczowego jest to gorsze dopasowanie, ponieważ nie zawiera tego słowa adres; jednak z semantycznego punktu widzenia jest to lepsza odpowiedź. Teraz widzisz korzyści płynące z używania wtyczki Amazon Kendra Intelligent Ranking!
Uruchom dodatkowe zapytania i porównaj wyniki wyszukiwania
Wypróbuj indeks dstinfo już teraz, aby zobaczyć, jak ta sama koncepcja działa z różnymi danymi i zapytaniami. Chociaż możesz używać skryptów zapytanie_nokendra.sh i zapytanie_kendra.sh aby tworzyć zapytania z wiersza poleceń, użyjmy zamiast tego Pulpity nawigacyjne OpenSearch Wtyczka do porównywania wyników wyszukiwania uruchamiać zapytania i porównywać wyniki wyszukiwania.
Wklej adres URL lokalnych pulpitów nawigacyjnych w przeglądarce: http://localhost:5601/app/searchRelevance – / aby uzyskać dostęp do narzędzia do porównywania pulpitów nawigacyjnych. Użyj domyślnych poświadczeń: Nazwa użytkownika: Admin, Hasło: Admin.
W pasku wyszukiwania wpisz: what is daylight saving time?
Dla zapytania 1 i zapytania 2 wskaźnik, Wybierz informacje o dst.
Skopiuj poniższe zapytanie DSL i wklej je w pliku Pytanie w panelu Zapytanie 1. To jest zapytanie wyszukiwania według słowa kluczowego.
Teraz skopiuj poniższe zapytanie DSL i wklej je w pliku Pytanie pod zapytaniem 2. To zapytanie wywołuje wtyczkę Amazon Kendra Intelligent Ranking dla samozarządzanego OpenSearch w celu semantycznego przeklasyfikowania wyników wyszukiwania.
Wybierz Szukaj przycisk, aby uruchomić zapytania i obserwować wyniki wyszukiwania. W Wyniku 1 ostatnie trafienie jest prawdopodobnie najtrafniejszą odpowiedzią na to zapytanie. W Result 2 dane wyjściowe z Amazon Kendra Intelligent Ranking mają najbardziej odpowiednią odpowiedź poprawnie uszeregowaną jako pierwsza.
Teraz, gdy znasz już Amazon Kendra Intelligent Ranking dla samodzielnie zarządzanego OpenSearch, poeksperymentuj z kilkoma własnymi zapytaniami. Użyj danych, które już załadowaliśmy lub skorzystaj z zbiorcze_post.sh skrypt do ładowania własnych danych.
Poznaj API rescore rankingu Amazon Kendra
Jak widać z tego posta, wtyczka Amazon Kendra Intelligent Ranking dla OpenSearch może być wygodnie używana do semantycznej zmiany rankingu wyników wyszukiwania. Jeśli jednak korzystasz z usługi wyszukiwania, która nie obsługuje wtyczki Amazon Kendra Intelligent Ranking dla samodzielnie zarządzanego OpenSearch, możesz użyć Wynik ponownie bezpośrednio z API Amazon Kendra Intelligent Ranking.
Wypróbuj ten interfejs API, korzystając z wyników wyszukiwania z przykładowego zapytania, którego użyliśmy powyżej: jaki jest adres Białego Domu?
Najpierw znajdź swój identyfikator planu wykonania, uruchamiając:
Poniższy kod JSON zawiera zapytanie wyszukiwania oraz dwa wyniki, które zostały zwrócone przez oryginalne zapytanie dopasowujące OpenSearch, wraz z ich oryginalnymi wynikami OpenSearch. Zastąpić {kendra-execution-plan_id}
z identyfikatorem planu wykonania (z góry) i zapisz go jako rescore_input.json:
Uruchom poniższe polecenie CLI, aby ponownie ocenić tę listę dokumentów za pomocą usługi Amazon Kendra Intelligent Ranking:
Dane wyjściowe pomyślnego wykonania tego będą wyglądać jak poniżej.
Zgodnie z oczekiwaniami dokument tdoc2 (zawierający treść tekstu "Biały Dom znajduje się pod adresem: 1600 Pennsylvania Avenue NW, Washington, DC 20500”) ma teraz wyższy ranking, ponieważ jest semantycznie bardziej trafną odpowiedzią na zapytanie. The ResultItems
lista na wyjściu zawiera każde wejście DocumentId
z nowym Score
, w kolejności malejącej od Score
.
Sprzątać
Kiedy skończysz eksperymentować, zamknij i usuń kontenery Dockera oraz Rescore Execution Plan, uruchamiając cleanup_resources.sh
skrypt utworzony przez skrypt Quickstart, np.:
Wnioski
W tym poście pokazaliśmy, jak używać wtyczki Amazon Kendra Intelligent Ranking do samodzielnie zarządzanego OpenSearch, aby łatwo dodać inteligentny ranking do zapytań dotyczących dokumentów OpenSearch, aby radykalnie poprawić ranking trafności wyników, korzystając z istniejących wdrożeń w wyszukiwarkach OpenSearch.
Możesz także skorzystać z inteligentnego rankingu Amazon Kendra API ponownej oceny bezpośrednio inteligentnie ponownie oceniaj i klasyfikuj wyniki z własnych aplikacji.
Przeczytaj Inteligentny ranking Amazon Kendra dla samodzielnie zarządzanego OpenSearch dokumentacja aby dowiedzieć się więcej o tej funkcji i rozpocząć planowanie zastosowania jej w aplikacjach produkcyjnych.
O autorach
Abhinava Jawadekara jest głównym architektem rozwiązań skupionym na Amazon Kendra w zespole usług językowych AI/ML w AWS. Abhinav współpracuje z klientami i partnerami AWS, aby pomóc im w tworzeniu inteligentnych rozwiązań wyszukiwania w AWS.
Boba Strahana jest głównym architektem rozwiązań w zespole AWS Language AI Services.
- Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
- Platoblockchain. Web3 Inteligencja Metaverse. Wzmocniona wiedza. Dostęp tutaj.
- Źródło: https://aws.amazon.com/blogs/machine-learning/get-smarter-search-results-with-the-amazon-kendra-intelligent-ranking-and-opensearch-plugin/
- 1
- 10
- 100
- 11
- 7
- 70
- 9
- a
- jestem
- O nas
- powyżej
- dostęp
- wypadki
- Stosownie
- Konto
- precyzja
- dokładny
- w poprzek
- Działania
- faktycznie
- Dodatkowy
- adres
- Admin
- Po
- przed
- AI
- Usługi AI
- AI / ML
- już
- Chociaż
- zawsze
- Amazonka
- Amazon EC2
- Amazonka Kendra
- i
- odpowiedź
- api
- Zastosowanie
- aplikacje
- Aplikuj
- kwiecień
- Arizona
- przydzielony
- zautomatyzować
- automaty
- Aleja
- AWS
- z powrotem
- bar
- na podstawie
- bash
- bo
- za
- poniżej
- korzyści
- Korzyści
- Beniaminek
- BEST
- Ulepsz Swój
- pomiędzy
- ciało
- Mózg
- Brytyjski
- Kolumbia Brytyjska
- przeglądarka
- budować
- wbudowany
- Biuro
- Kanada
- wyzwania
- zmiana
- jasny
- Zegary
- dokładnie
- Cloud9
- COLUMBIA
- przyjście
- porównać
- porównanie
- składnik
- obliczać
- komputer
- pojęcie
- Kongres
- Kongresowy
- Skontaktuj się
- połączenie
- w konsekwencji
- Rozważać
- skonstruować
- Pojemnik
- Pojemniki
- zawiera
- zawartość
- kraje
- Para
- Stwórz
- stworzony
- tworzy
- Listy uwierzytelniające
- Klientów
- Cykle
- tablica rozdzielcza
- dane
- dzień
- Dni
- dc
- Domyślnie
- definiowanie
- zachwycony
- dostarczona
- wykazać
- wdrożenia
- określa
- różnica
- różne
- bezpośrednio
- Doker
- dokument
- dokumentacja
- dokumenty
- Nie
- domena
- nie
- na dół
- dramatycznie
- każdy
- z łatwością
- efekt
- włączony
- kończy się
- silnik
- silniki
- Wchodzę
- Środowisko
- błąd
- itp
- przykład
- przykłady
- wykonać
- egzekucja
- Przede wszystkim system został opracowany
- spodziewany
- doświadczony
- eksperyment
- rozbudowa
- Failed
- znajomy
- FAQ
- faworyzować
- Cecha
- kilka
- Łąka
- filet
- Akta
- Znajdź
- i terminów, a
- koncentruje
- obserwuj
- następujący
- Nasz formularz
- Dawny
- założenie
- od
- w pełni
- funkcjonować
- Funkcjonalność
- geograficzny
- otrzymać
- miejsce
- poręczny
- pomoc
- pomocny
- tutaj
- wyższy
- wysoko
- historia
- Dobranie (Hit)
- Odsłon
- dom
- W jaki sposób
- How To
- Jednak
- HTML
- HTTPS
- Pod wrażeniem
- podnieść
- ulepszenia
- in
- Zwiększenia
- wskaźnik
- indeksy
- Indywidualnie
- Informacja
- Informacyjna
- nieodłączny
- początkowy
- wkład
- zainstalować
- przykład
- zamiast
- Inteligentny
- zamiar
- Zamiar
- wewnętrzny
- przedstawiać
- Wprowadzenie
- inwokuje
- zaangażowany
- Wyspy
- problemy
- IT
- json
- Trzymać
- język
- Nazwisko
- firmy
- UCZYĆ SIĘ
- nauka
- list
- Linia
- Lista
- załadować
- miejscowy
- usytuowany
- długo
- dłużej
- Popatrz
- robić
- zarządzane
- wiele
- March
- Mecz
- dopasowywanie
- maksymalny
- znaczenie
- znaczy
- wiadomość
- migrować
- minut
- miesięcy
- jeszcze
- większość
- naród
- narodowy
- Potrzebować
- Nowości
- listopad
- obserwować
- październik
- ONE
- koncepcja
- open source
- openssl
- Okazja
- Option
- Opcje
- zamówienie
- oryginalny
- Inne
- na zewnątrz
- własny
- Uczestnicy
- wzmacniacz
- strony
- Hasło
- Pensylwania
- Ludzie
- wykonać
- może
- stały
- uprawnienia
- perspektywa
- Miejsca
- krok po kroku
- planowanie
- plato
- Analiza danych Platona
- PlatoDane
- Proszę
- wtyczka
- polityka
- Post
- power
- mocny
- prezydent
- bardzo
- poprzedni
- Główny
- prawdopodobnie
- Produkcja
- niska zabudowa
- własność
- zapewniać
- zapewnia
- publiczny
- Puerto
- Portoryko
- jakość
- pytanie
- w rankingu
- Ranking
- gotowy
- Zredukowany
- regularny
- relacja
- mających znaczenie
- usunąć
- obsługi produkcji rolnej, która zastąpiła
- wymagany
- Badania naukowe
- Zasób
- odpowiedź
- dalsze
- Efekt
- RICO
- run
- bieganie
- taki sam
- Zapisz
- oszczędność
- SC
- punktacji
- skrypty
- Szukaj
- Wyszukiwarka
- Wyszukiwarki
- druga
- Samoobsługa
- semantyka
- usługa
- Usługi
- zestaw
- ustawienie
- pokazać
- pokazane
- zamknąć
- podobny
- Prosty
- po prostu
- Witryny
- Rozmiar
- mały
- mądrzejszy
- So
- Miękki
- rozwiązanie
- Rozwiązania
- ROZWIĄZANIA
- kilka
- Źródło
- Źródła
- specyficzny
- początek
- rozpoczęty
- Zestawienie sprzedaży
- Zjednoczone
- Ewolucja krok po kroku
- Nadal
- udany
- taki
- wsparcie
- system
- zespół
- terminal
- REGULAMIN
- test
- Połączenia
- ich
- czas
- ramy czasowe
- Tytuł
- do
- już dziś
- narzędzie
- Top
- Kwota produktów:
- Turystyka
- transport
- Tutorial
- typy
- nas
- dla
- Zjednoczony
- United States
- URL
- posługiwać się
- Użytkownik
- UPRAWOMOCNIĆ
- wartość
- Wartości
- wersja
- Dziewica
- czekać
- Waszyngton
- sieć
- Co
- Co to jest
- czy
- który
- Podczas
- biały
- Biały Dom
- będzie
- bez
- słowo
- słowa
- działa
- świat
- by
- You
- Twój
- zefirnet