Popraw dokładność wyszukiwania dzięki modułowi sprawdzania pisowni w Amazon Kendra

Opublikowane ponownie przez Plato

Obserwuje: 0

Amazonka Kendra to inteligentna usługa wyszukiwania oparta na uczeniu maszynowym. Możesz otrzymywać sugestie dotyczące pisowni błędnie napisanych terminów w swoich zapytaniach, korzystając z opcji Sprawdzanie pisowni Amazon Kendra. Sprawdzanie pisowni pomaga zmniejszyć częstotliwość zapytań zwracających nieistotne wyniki, udostępniając sugestie dotyczące pisowni nierozpoznanych terminów.

W tym poście opisujemy, jak używać modułu sprawdzania pisowni Amazon Kendra na komputerze Konsola zarządzania AWS, a także jak włączyć moduł sprawdzania pisowni w aplikacji wyszukiwania obsługiwanej przez Amazon Kendra za pośrednictwem Interfejs wiersza poleceń AWS (AWS CLI) i AWS SDK.

Użyj modułu sprawdzania pisowni Amazon Kendra na konsoli

Możesz automatycznie otrzymywać sugestie pisowni dla błędnie napisanych zapytań Amazon Kendra podczas wysyłania zapytań za pośrednictwem konsoli.

Na konsoli Amazon Kendra wybierz żądany indeks, a następnie wybierz Wyszukaj zindeksowaną treść w panelu nawigacji. Upewnij się, że wybrany indeks zawiera dokumenty; w tym poście korzystamy z przykładowej dokumentacji AWS znajdującej się w Źródła danych część panelu nawigacji.

W konsoli wyszukiwania Amazon Kendra po prostu prześlij zapytanie w zwykły sposób. Terminy błędnie wpisane w zapytaniu zostaną zastąpione sugerowanymi terminami w sekcji „Czy miałeś na myśli” w konsoli wyszukiwania.

Wybranie sugerowanego zapytania powoduje przesłanie nowego zapytania z poprawioną pisownią.

Jak widać, wyniki zapytania podane w sugerowanym zapytaniu są znacznie trafniejsze dzięki modułowi sprawdzania pisowni!

Użyj modułu sprawdzania pisowni Amazon Kendra w aplikacjach wyszukujących

Aplikacje wyszukujące obsługiwane przez Amazon Kendra mogą szybko i łatwo włączyć moduł sprawdzania pisowni za pośrednictwem interfejsu CLI AWS lub zestawu SDK AWS, które omówimy w tej sekcji. Dodatkowo omówimy przykład przetwarzania odpowiedzi modułu sprawdzania pisowni.

AWS CLI .

Przyjrzyjmy się, jak użytkownicy AWS CLI mogą włączyć moduł sprawdzania pisowni Amazon Kendra, aby otrzymywać sugestie dotyczące pisowni w przypadku błędnie napisanych terminów w zapytaniu. Używamy interfejsu CLI AWS do wysyłania zapytań do Amazon Kendra jak zwykle, z tylko jedną małą zmianą: dodajemy --spell-correction-configuration IncludeQuerySpellCheckSuggestions=true Argument:

$ aws kendra query --query-text "what is knedar" --index-id [YOUR_INDEX_ID] --spell-correction-configuration IncludeQuerySpellCheckSuggestions=true

Oprócz normalnych wyników zapytania odpowiedź od Amazon Kendra zawiera teraz plik SpellCorrectedQueries obiekt, jeśli są jakieś sugestie dotyczące pisowni zapytania. Aby uzyskać więcej informacji, zobacz Zapytanie z poprawioną pisownią.

// Full query response omitted for brevity "SpellCorrectedQueries": [ { "SuggestedQueryText": "what is kendra", "Corrections": [ { "BeginOffset": 8, "EndOffset": 14, "Term": "knedar", "CorrectedTerm": "kendra" } ] }
]

Pakiet AWS

Następnie przyjrzyjmy się, jak Amazon Kendra zapewnia funkcję sprawdzania pisowni użytkownikom AWS SDK. W tym przykładzie używamy Pythona 3. Przesyłamy zapytanie z kilkoma błędami ortograficznymi i drukujemy SpellCorrectedQueries obiekt w odpowiedzi:

import boto3 kendra = boto3.client('kendra') index_id = '[YOUR_INDEX_ID]'
query_text = 'kendra fre teir hours'
spell_correction_configuration = { 'IncludeQuerySpellCheckSuggestions': True } response = kendra.query( IndexId = index_id, QueryText = query_text, SpellCorrectionConfiguration = spell_correction_configuration
) print(response['SpellCorrectedQueries'])

Odpowiedź od Amazon Kendra zawiera teraz oczekiwane sugestie dotyczące pisowni:

[ { 'SuggestedQueryText': 'kendra free tier hours', 'Corrections': [ { 'BeginOffset': 7, 'EndOffset': 11, 'Term': 'fre', 'CorrectedTerm': 'free' }, { 'BeginOffset': 12, 'EndOffset': 16, 'Term': 'teir', 'CorrectedTerm': 'tier' } ] }
]

Przetwórz odpowiedź dotyczącą sprawdzania pisowni Amazon Kendra

Teraz, gdy omówiliśmy, jak programowo uzyskać sugestie dotyczące pisowni za pośrednictwem interfejsu CLI AWS lub zestawu SDK AWS, możemy sprawdzić, jak przekształcić odpowiedź w sugerowane zapytanie czytelne dla człowieka. W tym przykładzie używamy przykładowych wyników z poprzedniej sekcji:

[ { 'SuggestedQueryText': 'kendra free tier hours', 'Corrections': [ { 'BeginOffset': 7, 'EndOffset': 11, 'Term': 'fre', 'CorrectedTerm': 'free' }, { 'BeginOffset': 12, 'EndOffset': 16, 'Term': 'teir', 'CorrectedTerm': 'tier' } ] }
]

Każdy SpellCorrectedQuery posiada dwa klucze: SuggestedQueryText i Corrections.

SuggestedQueryText mapuje na ciąg zawierający zaktualizowane zapytanie z sugerowanymi poprawkami pisowni.
Corrections mapy do listy Correction obiektów, który zawiera początkowe i końcowe przesunięcie korekty, a także oryginalny termin z zapytania i sugestię pisowni dla tego terminu.

W naszym przykładzie chcemy wyświetlić sugerowany tekst zapytania z nowo sugerowanymi terminami kursywą, podobnie jak w konsoli Amazon Kendra. Aby to osiągnąć, możemy dodać znaczniki otwierające kursywę HTML <i> na BeginOffset każdego Correction i kursywa HTML zamykająca znaczniki </i> na EndOffset każdego Correction Corrections lista. Zauważ to BeginOffset i EndOffset opierają się na długości poprawionych warunków, a nie na warunkach oryginalnych.

Dodanie znaczników kursywy do SuggestedQueryText daje nam następujący sugerowany tekst zapytania:

kendra <i>free</i> <i>tier</i> hours

Jak widać, moduł sprawdzania pisowni Amazon Kendra ułatwia dodanie funkcji sprawdzania pisowni do aplikacji wyszukującej.

Wnioski

Sprawdzanie pisowni to nowa, zaawansowana funkcja oferowana przez Amazon Kendra. Sprawdzanie pisowni to prosty i skuteczny sposób szybkiego zmniejszenia liczby nieprzydatnych zapytań poprzez dostarczanie użytkownikom końcowym sugestii pisowni w przypadku błędnie napisanych terminów.

Sprawdzanie pisowni jest dostępne we wszystkich Regiony AWS gdzie dostępna jest usługa Amazon Kendra i obsługuje wszystkie języki aktualnie obsługiwane przez usługę Amazon Kendra.

Aby dowiedzieć się więcej o Amazon Kendra, odwiedź Strona produktu Amazon Kendra.

O autorze

Mateusz Peretik jest inżynierem ds. rozwoju oprogramowania w Amazon Web Services z siedzibą w Nowym Jorku. Matthew jest członkiem zespołu Amazon Kendra, który koncentruje się na ulepszaniu obsługi zapytań Amazon Kendra.