Hvis du har hatt muligheten til å bygge et søkeprogram for ustrukturerte data (f.eks. wiki, informasjonsnettsteder, selvbetjente hjelpesider, intern dokumentasjon osv.) ved å bruke åpen kildekode eller kommersielle søkemotorer, da er du sannsynligvis kjent med de iboende nøyaktighetsutfordringene som er involvert i å få relevante søkeresultater. Den tiltenkte betydningen av både spørringen og dokumentet kan gå tapt fordi søket reduseres til samsvarende komponentsøkeord og termer. Følgelig, mens du får resultater som kan inneholde de riktige ordene, er de ikke alltid relevante for brukeren. Du trenger at søkemotoren din er smartere, slik at den kan rangere dokumenter basert på å matche betydningen eller semantikken til innholdet med intensjonen til brukerens søk.
Amazon Kendra tilbyr en fullstendig administrert intelligent søketjeneste som automatiserer dokumentinntak og gir svært nøyaktige søke- og FAQ-resultater basert på innhold på tvers av mange datakilder. Hvis du ikke har migrert til Amazon Kendra og ønsker å forbedre kvaliteten på søkeresultatene, kan du bruke Amazon Kendra Intelligent Ranking for selvadministrert OpenSearch på din eksisterende søkeløsning.
Vi er glade for å introdusere det nye Amazon Kendra Intelligent Ranking for selvstyrt OpenSearch, og tilhørende plugin for OpenSearch søkemotor! Nå kan du enkelt legge til intelligent rangering til dine OpenSearch-dokumentsøk, uten å måtte migrere, duplisere OpenSearch-indeksene dine eller omskrive applikasjonene dine. Forskjellen mellom Amazon Kendra Intelligent Ranking for selvadministrert OpenSearch og den fullstendig administrerte Amazon Kendra-tjenesten er at mens førstnevnte gir kraftig semantisk omrangering for søkeresultatene, gir den senere ytterligere forbedringer av søkenøyaktighet og funksjonalitet som inkrementell læring, spørsmål svar, FAQ-matching og innebygde kontakter. For mer informasjon om den fullstendig administrerte tjenesten, vennligst besøk Amazon Kendra-tjenesteside.
Med Amazon Kendra Intelligent Ranking for selvstyrt OpenSearch, tidligere resultater som dette:
Spørsmål: Hva er adressen til Det hvite hus?
Treff 1 (best): Presidenten holdt en tale til nasjonen fra Det hvite hus i dag.
Treff 2: Det hvite hus ligger på: 1600 Pennsylvania Avenue NW, Washington, DC 20500
bli slik:
Spørsmål: Hva er adressen til Det hvite hus?
Treff 1 (best): Det hvite hus ligger på: 1600 Pennsylvania Avenue NW, Washington, DC 20500
Treff 2: Presidenten holdt en tale til nasjonen fra Det hvite hus i dag.
I dette innlegget viser vi deg hvordan du kommer i gang med Amazon Kendra Intelligent Ranking for selvstyrt OpenSearch, og vi gir noen eksempler som viser kraften og verdien av denne funksjonen.
Komponenter av Amazon Kendra Intelligent Ranking for selvadministrert OpenSearch
Forutsetninger
For denne opplæringen trenger du en bash-terminal på Linux, Maceller Windows Subsystem for Linux, Og en AWS-konto. Hint: vurder å bruke en Amazon Cloud9-forekomst eller en Amazon Elastic Compute Cloud (Amazon EC2) forekomst.
Du vil:
- Installer Docker, hvis det ikke allerede er installert på systemet ditt.
- Installer det siste AWS kommandolinjegrensesnitt (AWS CLI), hvis den ikke allerede er installert.
- Opprett og start OpenSearch-beholdere med Amazon Kendra Intelligent Ranking-plugin aktivert.
- Lag testindekser og last inn noen eksempeldokumenter.
- Kjør noen spørringer, med og uten intelligent rangering, og bli passelig imponert over forskjellene!
Installer Docker
Hvis Docker (dvs. docker
og docker-compose
) ikke allerede er installert i miljøet ditt, så installer det. Se Skaff deg Docker for retninger.
Installer AWS CLI
Hvis du ikke allerede har den nyeste versjonen av AWS CLI installert, installer og konfigurer den nå (se AWS CLI Komme i gang). Din standard AWS-brukerlegitimasjon må ha administratortilgang, eller be AWS-administratoren om å legge til følgende policy i brukertillatelsene dine:
Opprett og start OpenSearch ved å bruke hurtigstartskriptet
Last ned search_processing_kendra_quickstart.sh
manus:
Hurtigstartskriptet:
- Oppretter en Amazon Kendra Intelligent Ranking Rescore Execution Plan i AWS-kontoen din.
- Oppretter Docker-beholdere for OpenSearch og dets instrumentbord.
- Konfigurerer OpenSearch til å bruke Kendra Intelligent Ranking Service.
- Starter OpenSearch-tjenestene.
- Gir nyttig veiledning for bruk av tjenesten.
Bruke --help
alternativ for å se kommandolinjealternativene:
Kjør nå skriptet for å automatisere Amazon Kendra og OpenSearch-oppsettet:
Det er det! OpenSearch og OpenSearch Dashboard-beholdere er nå oppe og kjører.
Les utdatameldingen fra hurtigstartskriptet, og noter katalogen der du kan kjøre den praktiske docker-compose
kommandoer, og cleanup_resources.sh
skript.
Prøv en testspørring for å bekrefte at du kan koble til OpenSearch-beholderen din:
Merk at hvis du får feilen curl(35):OpenSSL SSL_connect: SSL_ERROR_SYSCALL in connection to localhost:9200
, betyr det at OpenSearch fortsatt kommer opp. Vent et par minutter til OpenSearch er klar, og prøv igjen.
Lag testindekser og last inn eksempeldokumenter
Skriptet nedenfor brukes til å lage en indeks og laste inn eksempeldokumenter. Lagre den på datamaskinen som bulk_post.sh:
Lagre datafilene nedenfor som tinydocs.jsonl:
Og lagre datafilen nedenfor som dstinfo.jsonl:
(Disse dataene er tilpasset fra Sommertid-artikkel).
Gjør skriptet kjørbart:
Bruk nå bulk_post.sh skript for å lage indekser og laste dataene ved å kjøre de to kommandoene nedenfor:
Kjør eksempelspørringer
Forbered spørringsskript
OpenSearch-spørringer er definert i JSON ved hjelp av OpenSearch spørredomenespesifikt språk (DSL). For dette innlegget bruker vi Linux-krøll kommando for å sende spørringer til vår lokale OpenSearch-server ved hjelp av HTTPS.
For å gjøre dette enkelt har vi definert to små skript for å konstruere DSL-søket vårt og sende det til OpenSearch.
Det første skriptet oppretter et vanlig OpenSearch-tekstsamsvar på to dokumentfelt – tittel og kroppen. Se OpenSearch-dokumentasjonen for mer om søkesyntaks for flere samsvar. Vi har holdt søket veldig enkelt, men du kan eksperimentere senere med å definere alternative typer søk.
Lagre skriptet nedenfor som query_nokendra.sh:
Det andre skriptet ligner det første, men denne gangen legger vi til en spørringsutvidelse for å instruere OpenSearch om å påkalle Amazon Kendra Intelligent Ranking-plugin som et etterbehandlingstrinn for å omrangere de originale resultatene ved å bruke Amazon Kendra Intelligent Ranking-tjenesten.
De size
egenskapen bestemmer hvor mange OpenSearch-resultatdokumenter som sendes til Kendra for omrangering. Her spesifiserer vi maksimalt 20 resultater for omrangering. To eiendommer, title_field
(valgfritt) og body_field
(obligatorisk), spesifiser dokumentfeltene som brukes for intelligent rangering.
Lagre skriptet nedenfor som query_kendra.sh:
Gjør begge skriptene kjørbare:
Kjør innledende spørringer
Start med en enkel spørring på tinydocs indeks, for å gjengi eksemplet som ble brukt i postintroduksjonen.
Bruke query_nokendra.sh
skript for å søke etter adressen til Det hvite hus:
Du ser resultatene vist nedenfor. Observer rekkefølgen av de to resultatene, som er rangert etter poengsummen tildelt av OpenSearch-tekstsamsvarsspørringen. Selv om toppscoringsresultatet inneholder nøkkelordene adresse og White House, det er tydelig at betydningen ikke samsvarer med hensikten med spørsmålet. Søkeordene samsvarer, men semantikken stemmer ikke.
La oss nå kjøre spørringen med Amazon Kendra Intelligent Ranking, ved å bruke query_kendra.sh
manus:
Denne gangen ser du resultatene i en annen rekkefølge som vist nedenfor. Amazon Kendra Intelligent Ranking-tjenesten har tildelt poengverdiene på nytt, og tildelt en høyere poengsum til dokumentet som samsvarer mer med intensjonen med spørringen. Fra et søkeordperspektiv er dette et dårligere samsvar fordi det ikke inneholder ordet adresse; fra et semantisk perspektiv er det imidlertid den beste responsen. Nå ser du fordelen med å bruke Amazon Kendra Intelligent Ranking-plugin!
Kjør flere søk og sammenlign søkeresultater
Prøv dstinfo-indeksen nå for å se hvordan det samme konseptet fungerer med forskjellige data og spørringer. Mens du kan bruke skriptene query_nokendra.sh og query_kendra.sh for å gjøre spørringer fra kommandolinjen, la oss bruke i stedet OpenSearch Dashboards Sammenlign søkeresultater Plugin for å kjøre søk og sammenligne søkeresultater.
Lim inn den lokale Dashboards URL i nettleseren din: http://localhost:5601/app/searchRelevance – / for å få tilgang til dashbordsammenligningsverktøyet. Bruk standard påloggingsinformasjon: Brukernavn: admin, Passord: admin.
I søkefeltet skriver du inn: what is daylight saving time?
For spørring 1 og spørring 2 indeks, plukke ut dstinfo.
Kopier DSL-søket nedenfor og lim det inn i Query panel under Spørring 1. Dette er et nøkkelordsøk.
Kopier nå DSL-spørsmålet nedenfor og lim det inn i Query panel under Query 2. Denne spørringen påkaller Amazon Kendra Intelligent Ranking-plugin for selvadministrert OpenSearch for å utføre semantisk omrangering av søkeresultatene.
Velg Søk for å kjøre søkene og se søkeresultatene. I resultat 1 er treffet rangert sist sannsynligvis faktisk det mest relevante svaret på denne spørringen. I resultat 2 har utdataene fra Amazon Kendra Intelligent Ranking det mest relevante svaret riktig rangert først.
Nå som du har opplevd Amazon Kendra Intelligent Ranking for selvadministrert OpenSearch, kan du eksperimentere med noen få egne spørringer. Bruk dataene vi allerede har lastet inn eller bruk bulk_post.sh skript for å laste inn dine egne data.
Utforsk Amazon Kendra ranking rescore API
Som du har sett fra dette innlegget, kan Amazon Kendra Intelligent Ranking-plugin for OpenSearch enkelt brukes til semantisk omrangering av søkeresultatene dine. Men hvis du bruker en søketjeneste som ikke støtter Amazon Kendra Intelligent Ranking-plugin for selvadministrert OpenSearch, kan du bruke Rescore funksjon fra Amazon Kendra Intelligent Ranking API direkte.
Prøv denne API-en ved å bruke søkeresultatene fra eksempelsøket vi brukte ovenfor: hva er adressen til Det hvite hus?
Finn først utførelsesplan-IDen din ved å kjøre:
JSON-en nedenfor inneholder søket og de to resultatene som ble returnert av det opprinnelige OpenSearch-treffet, med deres opprinnelige OpenSearch-poengsum. Erstatte {kendra-execution-plan_id}
med din utførelsesplan-ID (fra oven) og lagre den som rescore_input.json:
Kjør CLI-kommandoen nedenfor for å score denne listen over dokumenter på nytt ved å bruke Amazon Kendra Intelligent Ranking-tjenesten:
Resultatet av en vellykket utførelse av dette vil se ut som nedenfor.
Som forventet, dokumentet tdoc2 (inneholdende tekstbrødtekst "Det hvite hus ligger på: 1600 Pennsylvania Avenue NW, Washington, DC 20500”) har nå høyere rangering, siden det er det semantisk mer relevante svaret for spørringen. De ResultItems
listen i utgangen inneholder hver inngang DocumentId
med sitt nye Score
, rangert i synkende rekkefølge Score
.
Rydd opp
Når du er ferdig med å eksperimentere, slå av og fjern Docker-beholderne og Rescore Execution Plan ved å kjøre cleanup_resources.sh
skript opprettet av hurtigstartskriptet, f.eks:
konklusjonen
I dette innlegget viste vi deg hvordan du bruker Amazon Kendra Intelligent Ranking-plugin for selvadministrert OpenSearch for enkelt å legge til intelligent rangering til dine OpenSearch-dokumentforespørsler for å dramatisk forbedre relevansrangeringen av resultatene, mens du bruker dine eksisterende OpenSearch-søkemotorimplementeringer.
Du kan også bruke Amazon Kendra Intelligent Ranking Rescore API direkte til intelligent re-score og ranger resultater fra dine egne applikasjoner.
Les Amazon Kendra Intelligent Ranking for selvstyrt OpenSearch dokumentasjon for å lære mer om denne funksjonen, og begynne å planlegge å bruke den i produksjonsapplikasjonene dine.
Om forfatterne
Abhinav Jawadekar er en hovedløsningsarkitekt med fokus på Amazon Kendra i AI/ML-språktjenesteteamet hos AWS. Abhinav jobber med AWS-kunder og partnere for å hjelpe dem med å bygge intelligente søkeløsninger på AWS.
Bob Strahan er en hovedløsningsarkitekt i AWS Language AI Services-teamet.
- SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
- Platoblokkkjede. Web3 Metaverse Intelligence. Kunnskap forsterket. Tilgang her.
- kilde: https://aws.amazon.com/blogs/machine-learning/get-smarter-search-results-with-the-amazon-kendra-intelligent-ranking-and-opensearch-plugin/
- 1
- 10
- 100
- 11
- 7
- 70
- 9
- a
- er
- Om oss
- ovenfor
- adgang
- ulykker
- Ifølge
- Logg inn
- nøyaktighet
- nøyaktig
- tvers
- Handling
- faktisk
- Ytterligere
- adresse
- admin
- Etter
- fremover
- AI
- AI-tjenester
- AI / ML
- allerede
- Selv
- alltid
- Amazon
- Amazon EC2
- Amazon Kendra
- og
- besvare
- api
- Søknad
- søknader
- Påfør
- April
- Arizona
- tildelt
- automatisere
- automatiserer
- Avenue
- AWS
- tilbake
- Bar
- basert
- bash
- fordi
- bak
- under
- nytte
- Fordeler
- Benjamin
- BEST
- Bedre
- mellom
- kroppen
- Brain
- British
- British Columbia
- nett~~POS=TRUNC leseren~~POS=HEADCOMP
- bygge
- innebygd
- kontor
- Canada
- utfordringer
- endring
- fjerne
- Klokker
- tett
- Cloud9
- COLUMBIA
- kommer
- sammenligne
- sammenligning
- komponent
- Beregn
- datamaskin
- konsept
- Kongressen
- Congressional
- Koble
- tilkobling
- Følgelig
- Vurder
- konstruere
- Container
- Containere
- inneholder
- innhold
- land
- Par
- skape
- opprettet
- skaper
- Credentials
- Kunder
- sykluser
- dashbord
- dato
- dag
- Dager
- dc
- Misligholde
- definere
- glad
- levert
- demonstrere
- distribusjoner
- bestemmes
- forskjell
- forskjellig
- direkte
- Docker
- dokument
- dokumentasjon
- dokumenter
- ikke
- domene
- ikke
- ned
- dramatisk
- hver enkelt
- lett
- effekt
- aktivert
- slutter
- Motor
- Motorer
- Enter
- Miljø
- feil
- etc
- eksempel
- eksempler
- henrette
- gjennomføring
- eksisterende
- forventet
- erfaren
- eksperiment
- forlengelse
- Mislyktes
- kjent
- FAQ
- favorisere
- Trekk
- Noen få
- Felt
- filet
- Filer
- Finn
- Først
- fokuserte
- følge
- etter
- skjema
- Tidligere
- grunnleggelsen
- fra
- fullt
- funksjon
- funksjonalitet
- geografisk
- få
- få
- praktisk
- hjelpe
- nyttig
- her.
- høyere
- svært
- historie
- hit
- Hits
- hus
- Hvordan
- Hvordan
- Men
- HTML
- HTTPS
- imponert
- forbedre
- forbedringer
- in
- øker
- indeks
- indekser
- individuelt
- informasjon
- Informativ
- iboende
- innledende
- inngang
- installere
- f.eks
- i stedet
- Intelligent
- hensikt
- Intensjon
- intern
- introdusere
- Introduksjon
- påkaller
- involvert
- Islands
- saker
- IT
- JSON
- Hold
- Språk
- Siste
- siste
- LÆRE
- læring
- brev
- linje
- Liste
- laste
- lokal
- ligger
- Lang
- lenger
- Se
- gjøre
- fikk til
- mange
- Mars
- Match
- matchende
- maksimal
- betyr
- midler
- melding
- migrere
- minutter
- måneder
- mer
- mest
- nasjon
- nasjonal
- Trenger
- Ny
- November
- observere
- oktober
- ONE
- åpen
- åpen kildekode
- openssl
- Opportunity
- Alternativ
- alternativer
- rekkefølge
- original
- Annen
- utendørs
- egen
- deltakere
- partnere
- deler
- Passord
- Pennsylvania
- Ansatte
- Utfør
- kanskje
- permanent
- tillatelser
- perspektiv
- steder
- fly
- planlegging
- plato
- Platon Data Intelligence
- PlatonData
- vær så snill
- plugg inn
- politikk
- Post
- makt
- kraftig
- president
- pen
- forrige
- Principal
- sannsynligvis
- Produksjon
- egenskaper
- eiendom
- gi
- gir
- offentlig
- Port
- Puerto Rico
- kvalitet
- spørsmål
- rangert
- Ranking
- klar
- Redusert
- regelmessig
- forhold
- relevans
- relevant
- fjerne
- erstatte
- påkrevd
- forskning
- ressurs
- svar
- resultere
- Resultater
- RICO
- Kjør
- rennende
- samme
- Spar
- besparende
- SC
- scoring
- skript
- Søk
- søkemotor
- Søkemotorer
- Sekund
- Selvbetjening
- semantikk
- tjeneste
- Tjenester
- sett
- oppsett
- Vis
- vist
- Slå
- lignende
- Enkelt
- ganske enkelt
- Nettsteder
- Størrelse
- liten
- smartere
- So
- Soft
- løsning
- Solutions
- LØSE
- noen
- kilde
- Kilder
- spesifikk
- Begynn
- startet
- Uttalelse
- Stater
- Trinn
- Still
- vellykket
- slik
- støtte
- system
- lag
- terminal
- vilkår
- test
- De
- deres
- tid
- tidsramme
- Tittel
- til
- i dag
- verktøy
- topp
- Totalt
- Turisme
- transport
- tutorial
- typer
- oss
- etter
- forent
- Forente Stater
- URL
- bruke
- Bruker
- VALIDERE
- verdi
- Verdier
- versjon
- Jomfru
- vente
- washington
- web
- Hva
- Hva er
- om
- hvilken
- mens
- hvit
- White House
- vil
- uten
- ord
- ord
- virker
- verden
- ville
- Du
- Din
- zephyrnet