Om du har haft möjlighet att bygga ett sökprogram för ostrukturerad data (t.ex. wiki, informationswebbplatser, självbetjäningshjälpsidor, intern dokumentation etc.) med öppen källkod eller kommersiella sökmotorer, då är du förmodligen bekant med de inneboende precisionsutmaningarna som är involverade i att få relevanta sökresultat. Den avsedda innebörden av både fråga och dokument kan gå förlorad eftersom sökningen reduceras till matchande komponentsökord och termer. Följaktligen, även om du får resultat som kan innehålla rätt ord, är de inte alltid relevanta för användaren. Du behöver att din sökmotor är smartare så att den kan rangordna dokument baserat på att matcha innehållets betydelse eller semantik med avsikten med användarens fråga.
Amazon Kendra tillhandahåller en fullt hanterad intelligent söktjänst som automatiserar dokumentinmatning och ger mycket exakta sök- och FAQ-resultat baserat på innehåll från många datakällor. Om du inte har migrerat till Amazon Kendra och vill förbättra kvaliteten på sökresultaten kan du använda Amazon Kendra Intelligent Ranking för självhanterad OpenSearch på din befintliga söklösning.
Vi är glada över att kunna presentera det nya Amazon Kendra Intelligent Ranking för självhanterad OpenSearch, och dess kompletterande plugin för Opensearch sökmotor! Nu kan du enkelt lägga till intelligent rangordning till dina OpenSearch-dokumentfrågor, utan att behöva migrera, duplicera dina OpenSearch-index eller skriva om dina applikationer. Skillnaden mellan Amazon Kendra Intelligent Ranking för självhanterad OpenSearch och den helt hanterade Amazon Kendra-tjänsten är att medan den förra ger kraftfull semantisk omrangering av sökresultaten, ger den senare ytterligare förbättringar av söknoggrannhet och funktionalitet såsom inkrementell inlärning, frågeställning svar, FAQ-matchning och inbyggda kontakter. För mer information om den helt hanterade tjänsten, besök Amazon Kendra servicesida.
Med Amazon Kendra Intelligent Ranking för självhanterad OpenSearch, tidigare resultat så här:
Fråga: Vad är adressen till Vita huset?
Träff 1 (bäst): Presidenten höll ett tal till nationen från Vita huset i dag.
Träff 2: Vita huset ligger på: 1600 Pennsylvania Avenue NW, Washington, DC 20500
bli så här:
Fråga: Vad är adressen till Vita huset?
Träff 1 (bäst): Vita huset ligger på: 1600 Pennsylvania Avenue NW, Washington, DC 20500
Träff 2: Presidenten höll ett tal till nationen från Vita huset i dag.
I det här inlägget visar vi dig hur du kommer igång med Amazon Kendra Intelligent Ranking för självstyrd OpenSearch, och vi ger några exempel som visar kraften och värdet av denna funktion.
Komponenter i Amazon Kendra Intelligent Ranking för självstyrd OpenSearch
Förutsättningar
För den här handledningen behöver du en bash-terminal på Linux, Mac, eller Windows delsystem för Linux, Och en AWS-konto. Tips: överväg att använda en Amazon Cloud9-instans eller en Amazon Elastic Compute Cloud (Amazon EC2) instans.
Du kommer:
- Installera Docker, om det inte redan är installerat på ditt system.
- Installera det senaste AWS-kommandoradsgränssnitt (AWS CLI), om det inte redan är installerat.
- Skapa och starta OpenSearch-behållare, med Amazon Kendra Intelligent Ranking-plugin aktiverat.
- Skapa testindex och ladda några exempeldokument.
- Kör några frågor, med och utan intelligent rangordning, och bli passande imponerad av skillnaderna!
Installera Docker
Om Docker (dvs. docker
och docker-compose
) inte redan är installerad i din miljö, installera den sedan. Ser Skaffa Docker för vägbeskrivning.
Installera AWS CLI
Om du inte redan har den senaste versionen av AWS CLI installerad, installera och konfigurera den nu (se AWS CLI Komma igång). Dina standardanvändaruppgifter för AWS måste ha administratörsåtkomst, eller be din AWS-administratör att lägga till följande policy till dina användarbehörigheter:
Skapa och starta OpenSearch med snabbstartsskriptet
ladda ner search_processing_kendra_quickstart.sh
manus:
Snabbstartsskriptet:
- Skapar en Amazon Kendra Intelligent Ranking Rescore Execution Plan i ditt AWS-konto.
- Skapar Docker-behållare för OpenSearch och dess instrumentpaneler.
- Konfigurerar OpenSearch för att använda Kendra Intelligent Ranking Service.
- Startar OpenSearch-tjänsterna.
- Ger användbar vägledning för att använda tjänsten.
Använd --help
alternativ för att se kommandoradsalternativen:
Kör nu skriptet för att automatisera Amazon Kendra och OpenSearch-installationen:
Det är allt! OpenSearch och OpenSearch Dashboard-behållare är nu igång.
Läs utdatameddelandet från snabbstartsskriptet och anteckna katalogen där du kan köra den praktiska docker-compose
kommandon och cleanup_resources.sh
skript.
Prova en testfråga för att verifiera att du kan ansluta till din OpenSearch-behållare:
Observera att om du får felet curl(35):OpenSSL SSL_connect: SSL_ERROR_SYSCALL in connection to localhost:9200
, betyder det att OpenSearch fortfarande kommer upp. Vänta ett par minuter tills OpenSearch är redo och försök igen.
Skapa testindex och ladda exempeldokument
Skriptet nedan används för att skapa ett index och ladda exempeldokument. Spara det på din dator som bulk_post.sh:
Spara datafilerna nedan som tinydocs.jsonl:
Och spara datafilen nedan som dstinfo.jsonl:
(Denna data är anpassad från Sommartid artikel).
Gör skriptet körbart:
Använd nu bulk_post.sh skript för att skapa index och ladda data genom att köra de två kommandona nedan:
Kör exempelfrågor
Förbered frågeskript
OpenSearch-frågor definieras i JSON med hjälp av OpenSearch frågedomänspecifikt språk (DSL). För det här inlägget använder vi Linux curl kommando för att skicka frågor till vår lokala OpenSearch-server med HTTPS.
För att göra detta enkelt har vi definierat två små skript för att konstruera vår DSL-fråga och skicka den till OpenSearch.
Det första skriptet skapar en vanlig OpenSearch-textmatchningsfråga på två dokumentfält – rubricerade och kropp. Se OpenSearch-dokumentationen för mer om flermatchningsfrågesyntax. Vi har hållit frågan väldigt enkel, men du kan experimentera senare med att definiera alternativa typer av frågor.
Spara skriptet nedan som query_nokendra.sh:
Det andra skriptet liknar det första, men den här gången lägger vi till en frågetillägg för att instruera OpenSearch att anropa Amazon Kendra Intelligent Ranking-plugin som ett efterbearbetningssteg för att omrangera de ursprungliga resultaten med Amazon Kendra Intelligent Ranking-tjänsten.
Smakämnen size
egenskapen avgör hur många OpenSearch-resultatdokument som skickas till Kendra för omrangering. Här anger vi maximalt 20 resultat för omplacering. Två fastigheter, title_field
(valfritt) och body_field
(obligatoriskt), ange de dokumentfält som används för intelligent rangordning.
Spara skriptet nedan som query_kendra.sh:
Gör båda skripten körbara:
Kör inledande frågor
Börja med en enkel fråga på tinydocs index, för att återskapa exemplet som användes i efterinledningen.
Använd query_nokendra.sh
manus för att söka efter adressen till Vita huset:
Du ser resultaten som visas nedan. Observera ordningen för de två resultaten, som rankas efter poängen som tilldelas av OpenSearch-textmatchningsfrågan. Även om det bästa resultatet innehåller nyckelorden adress och VITA HUSET, det är uppenbart att innebörden inte stämmer överens med frågans syfte. Sökorden matchar, men semantiken inte.
Låt oss nu köra frågan med Amazon Kendra Intelligent Ranking, med hjälp av query_kendra.sh
manus:
Den här gången ser du resultaten i en annan ordning som visas nedan. Amazon Kendra Intelligent Ranking-tjänsten har omtilldelat poängvärdena och tilldelat dokumentet en högre poäng som bättre matchar avsikten med frågan. Ur ett sökordsperspektiv är detta en sämre matchning eftersom det inte innehåller ordet adress; ur ett semantiskt perspektiv är det dock det bättre svaret. Nu ser du fördelen med att använda Amazon Kendra Intelligent Ranking-plugin!
Kör ytterligare frågor och jämför sökresultat
Prova dstinfo-indexet nu för att se hur samma koncept fungerar med olika data och frågor. Medan du kan använda skripten query_nokendra.sh och query_kendra.sh för att göra frågor från kommandoraden, låt oss istället använda Plugin för OpenSearch Dashboards Jämför sökresultat för att köra frågor och jämföra sökresultat.
Klistra in den lokala Dashboards URL i din webbläsare: http://localhost:5601/app/searchRelevance – / för att komma åt instrumentpanelens jämförelseverktyg. Använd standardinloggningsuppgifterna: Användarnamn: administration, Lösenord: administration.
I sökfältet anger du: what is daylight saving time?
För fråga 1 och fråga 2 index, Välj dstinfo.
Kopiera DSL-frågan nedan och klistra in den i Fråga panelen under Fråga 1. Detta är en sökordsfråga.
Kopiera nu DSL-frågan nedan och klistra in den i Fråga panelen under Fråga 2. Den här frågan anropar Amazon Kendra Intelligent Ranking-plugin för självhanterad OpenSearch för att utföra semantisk omrangering av sökresultaten.
Välj Sök knappen för att köra frågorna och observera sökresultaten. I resultat 1 är träffen som rankades sist förmodligen faktiskt det mest relevanta svaret på denna fråga. I resultat 2 har resultatet från Amazon Kendra Intelligent Ranking det mest relevanta svaret rankats korrekt först.
Nu när du har upplevt Amazon Kendra Intelligent Ranking för självstyrd OpenSearch, experimentera med några egna frågor. Använd den data vi redan har laddat eller använd bulk_post.sh skript för att ladda din egen data.
Utforska Amazon Kendra ranking rescore API
Som du har sett från det här inlägget kan Amazon Kendra Intelligent Ranking-plugin för OpenSearch enkelt användas för semantisk omrangering av dina sökresultat. Men om du använder en söktjänst som inte stöder Amazon Kendra Intelligent Ranking-plugin för självhanterad OpenSearch, kan du använda Rescore funktion från Amazon Kendra Intelligent Ranking API direkt.
Prova detta API med hjälp av sökresultaten från exempelfrågan vi använde ovan: vad är adressen till Vita huset?
Hitta först ditt exekveringsplan-id genom att köra:
JSON nedan innehåller sökfrågan och de två resultat som returnerades av den ursprungliga OpenSearch-matchningsfrågan, med deras ursprungliga OpenSearch-resultat. Byta ut {kendra-execution-plan_id}
med ditt exekveringsplan-ID (från ovan) och spara det som rescore_input.json:
Kör CLI-kommandot nedan för att göra om den här listan över dokument med Amazon Kendra Intelligent Ranking-tjänsten:
Resultatet av en framgångsrik exekvering av detta kommer att se ut som nedan.
Som väntat, dokumentet tdoc2 (innehållande textens brödtext "Vita huset ligger på: 1600 Pennsylvania Avenue NW, Washington, DC 20500”) har nu den högre rankningen, eftersom det är det semantiskt mer relevanta svaret för frågan. De ResultItems
listan i utgången innehåller varje ingång DocumentId
med sin nya Score
, rankad i fallande ordning Score
.
Städa upp
När du är klar med att experimentera, stäng av och ta bort dina Docker-behållare och Rescore Execution Plan genom att köra cleanup_resources.sh
skript skapat av snabbstartsskriptet, t.ex.:
Slutsats
I det här inlägget visade vi dig hur du använder Amazon Kendra Intelligent Ranking-plugin för självhanterad OpenSearch för att enkelt lägga till intelligent rankning till dina OpenSearch-dokumentfrågor för att dramatiskt förbättra relevansrankningen av resultaten, samtidigt som du använder dina befintliga OpenSearch-sökmotorinstallationer.
Du kan också använda Amazon Kendra Intelligent Ranking Rescore API direkt till intelligent ompoäng och rangordna resultat från dina egna applikationer.
Läs Amazon Kendra Intelligent Ranking för självhanterad OpenSearch dokumentation för att lära dig mer om den här funktionen och börja planera för att tillämpa den i dina produktionsapplikationer.
Om författarna
Abhinav Jawadekar är en Principal Solutions Architect med fokus på Amazon Kendra i AI/ML-språktjänstteamet på AWS. Abhinav arbetar med AWS-kunder och partners för att hjälpa dem att bygga intelligenta söklösningar på AWS.
Bob Strahan är en huvudlösningsarkitekt i AWS Language AI Services-teamet.
- SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
- Platoblockchain. Web3 Metaverse Intelligence. Kunskap förstärkt. Tillgång här.
- Källa: https://aws.amazon.com/blogs/machine-learning/get-smarter-search-results-with-the-amazon-kendra-intelligent-ranking-and-opensearch-plugin/
- 1
- 10
- 100
- 11
- 7
- 70
- 9
- a
- am
- Om oss
- ovan
- tillgång
- olyckor
- Enligt
- Konto
- noggrannhet
- exakt
- tvärs
- Handling
- faktiskt
- Annat
- adress
- administration
- Efter
- framåt
- AI
- AI-tjänster
- AI / ML
- redan
- Även
- alltid
- amason
- Amazon EC2
- Amazon Kendra
- och
- svara
- api
- Ansökan
- tillämpningar
- Ansök
- April
- arizona
- delad
- automatisera
- automatiserar
- Avenue
- AWS
- tillbaka
- bar
- baserat
- bash
- därför att
- bakom
- nedan
- fördel
- Fördelarna
- Benjamin
- BÄST
- Bättre
- mellan
- kropp
- Hjärna
- Brittiska
- British Columbia
- webbläsare
- SLUTRESULTAT
- inbyggd
- office
- Kanada
- utmaningar
- byta
- klar
- Klockor
- nära
- Cloud9
- COLUMBIA
- kommande
- jämföra
- jämförelse
- komponent
- Compute
- dator
- begrepp
- Kongressen
- Kongress
- Kontakta
- anslutning
- Följaktligen
- Tänk
- konstruera
- Behållare
- Behållare
- innehåller
- innehåll
- länder
- Par
- skapa
- skapas
- skapar
- referenser
- Kunder
- cykler
- instrumentbräda
- datum
- dag
- Dagar
- dc
- Standard
- definierande
- förtjust
- levereras
- demonstrera
- distributioner
- bestämd
- Skillnaden
- olika
- direkt
- Hamnarbetare
- dokumentera
- dokumentation
- dokument
- inte
- domän
- inte
- ner
- dramatiskt
- varje
- lätt
- effekt
- aktiverad
- slutar
- Motor
- Motorer
- ange
- Miljö
- fel
- etc
- exempel
- exempel
- exekvera
- utförande
- befintliga
- förväntat
- erfaren
- experimentera
- förlängning
- Misslyckades
- bekant
- FAQ
- gynna
- Leverans
- få
- Fält
- Fil
- Filer
- hitta
- Förnamn
- fokuserade
- följer
- efter
- formen
- Tidigare
- grundande
- från
- fullständigt
- fungera
- funktionalitet
- geografisk
- skaffa sig
- få
- praktisk
- hjälpa
- hjälp
- här.
- högre
- höggradigt
- historia
- Träffa
- träffar
- Huset
- Hur ser din drömresa ut
- How To
- Men
- html
- HTTPS
- imponerad
- förbättra
- förbättringar
- in
- Ökar
- index
- index
- Individuellt
- informationen
- Upplysande
- inneboende
- inledande
- ingång
- installera
- exempel
- istället
- Intelligent
- uppsåt
- Avsikt
- inre
- införa
- Beskrivning
- anropar
- involverade
- Öar
- problem
- IT
- json
- Ha kvar
- språk
- Efternamn
- senaste
- LÄRA SIG
- inlärning
- brev
- linje
- Lista
- läsa in
- lokal
- belägen
- Lång
- längre
- se
- göra
- förvaltade
- många
- Mars
- Match
- matchande
- maximal
- betyder
- betyder
- meddelande
- migrera
- minuter
- månader
- mer
- mest
- nation
- nationell
- Behöver
- Nya
- November
- observera
- oktober
- ONE
- öppet
- öppen källkod
- openssl
- Möjlighet
- Alternativet
- Tillbehör
- beställa
- ursprungliga
- Övriga
- utomhus
- egen
- deltagare
- partner
- reservdelar till din klassiker
- Lösenord
- Pennsylvania sylvania~~POS=HEADCOMP
- Personer
- Utföra
- kanske
- permanenta
- behörigheter
- perspektiv
- platser
- Planen
- planering
- plato
- Platon Data Intelligence
- PlatonData
- snälla du
- plugin
- policy
- Inlägg
- kraft
- den mäktigaste
- VD
- pretty
- föregående
- Principal
- förmodligen
- Produktion
- egenskaper
- egenskapen
- ge
- ger
- allmän
- Port
- Puerto Rico
- kvalitet
- fråga
- rankad
- Rankning
- redo
- Minskad
- regelbunden
- förhållande
- relevans
- relevanta
- ta bort
- ersätta
- Obligatorisk
- forskning
- resurs
- respons
- resultera
- Resultat
- RICO
- Körning
- rinnande
- Samma
- Save
- sparande
- SC
- poäng
- skript
- Sök
- sökmotor
- Sökmotorer
- Andra
- Självbetjäning
- semantik
- service
- Tjänster
- in
- inställning
- show
- visas
- stänga
- liknande
- Enkelt
- helt enkelt
- Områden
- Storlek
- Small
- smartare
- So
- Mjuk
- lösning
- Lösningar
- LÖSA
- några
- Källa
- Källor
- specifik
- starta
- igång
- .
- Stater
- Steg
- Fortfarande
- framgångsrik
- sådana
- stödja
- system
- grupp
- terminal
- villkor
- testa
- Smakämnen
- deras
- tid
- tidsram
- Titel
- till
- i dag
- verktyg
- topp
- Totalt
- Turism
- transport
- handledning
- typer
- oss
- under
- United
- USA
- URL
- användning
- Användare
- BEKRÄFTA
- värde
- Värden
- version
- Jungfru
- vänta
- washington
- webb
- Vad
- Vad är
- om
- som
- medan
- vit
- VITA HUSET
- kommer
- utan
- ord
- ord
- fungerar
- världen
- skulle
- Om er
- Din
- zephyrnet