Če ste imeli priložnost izdelati iskalno aplikacijo za nestrukturirane podatke (tj. wiki, informativne spletne strani, samopostrežne strani za pomoč, interno dokumentacijo itd.) z uporabo odprtokodnih ali komercialnih že pripravljenih iskalnikov, potem ste verjetno seznanjeni z inherentnimi izzivi natančnosti pri pridobivanju ustreznih rezultatov iskanja. Predvideni pomen tako poizvedbe kot dokumenta se lahko izgubi, ker je iskanje zmanjšano na ujemanje komponentnih ključnih besed in izrazov. Posledično, čeprav dobite rezultate, ki morda vsebujejo prave besede, niso vedno ustrezni za uporabnika. Vaš iskalnik mora biti pametnejši, da lahko razvršča dokumente na podlagi ujemanja pomena ali semantike vsebine z namenom uporabnikove poizvedbe.
Amazonska Kendra zagotavlja popolnoma upravljano storitev inteligentnega iskanja, ki avtomatizira vnos dokumentov in zagotavlja zelo natančne rezultate iskanja in pogostih vprašanj na podlagi vsebine v številnih virih podatkov. Če še niste prešli na Amazon Kendra in bi radi izboljšali kakovost rezultatov iskanja, lahko uporabite Amazon Kendra Intelligent Ranking za samoupravljano OpenSearch v svoji obstoječi iskalni rešitvi.
Z veseljem predstavljamo novost Amazon Kendra Intelligent Ranking za samoupravljano OpenSearchin njegov spremljevalni vtičnik za Opensearch iskalnik! Zdaj lahko svojim poizvedbam po dokumentih OpenSearch preprosto dodate inteligentno razvrščanje, ne da bi vam bilo treba preseliti, podvojiti indekse OpenSearch ali prepisati svoje aplikacije. Razlika med Amazon Kendra Intelligent Ranking za samoupravljano OpenSearch in popolnoma upravljano storitvijo Amazon Kendra je v tem, da medtem ko prva zagotavlja zmogljivo semantično prerazvrščanje rezultatov iskanja, druga zagotavlja dodatne izboljšave natančnosti iskanja in funkcionalnosti, kot so postopno učenje, vprašanja odgovarjanje, ujemanje pogostih vprašanj in vgrajeni priključki. Za več informacij o popolnoma upravljani storitvi obiščite Stran storitve Amazon Kendra.
Z Amazon Kendra Intelligent Ranking za samoupravljano OpenSearch, prejšnji rezultati, kot je ta:
Poizvedba: Kakšen je naslov Bele hiše?
Hit1 (najboljši): Predsednik je danes iz Bele hiše podal nagovor narodu.
Hit2: Bela hiša se nahaja na naslovu: 1600 Pennsylvania Avenue NW, Washington, DC 20500
postane takole:
Poizvedba: Kakšen je naslov Bele hiše?
Hit1 (najboljši): Bela hiša se nahaja na naslovu: 1600 Pennsylvania Avenue NW, Washington, DC 20500
Hit2: Predsednik je danes iz Bele hiše podal nagovor narodu.
V tej objavi vam pokažemo, kako začeti uporabljati Amazon Kendra Intelligent Ranking za samoupravljano OpenSearch, in nudimo nekaj primerov, ki prikazujejo moč in vrednost te funkcije.
Komponente Amazon Kendra Intelligent Ranking za samoupravljano OpenSearch
Predpogoji
Za to vadnico boste potrebovali vklopljen bash terminal Linux, Macali Podsistem Windows za Linux, Ter AWS račun. Namig: razmislite o uporabi primerka Amazon Cloud9 ali Amazonski elastični računalniški oblak (Amazon EC2) primerek.
Ti boš:
- Namestite Docker, če še ni nameščen v vašem sistemu.
- Namestite najnovejšo Vmesnik ukazne vrstice AWS (AWS CLI), če še ni nameščen.
- Ustvarite in zaženite vsebnike OpenSearch z omogočenim vtičnikom Amazon Kendra Intelligent Ranking.
- Ustvarite testne indekse in naložite nekaj vzorčnih dokumentov.
- Izvedite nekaj poizvedb z in brez inteligentnega razvrščanja in bodite primerno navdušeni nad razlikami!
Namestite Docker
Če Docker (tj. docker
in docker-compose
) še ni nameščen v vašem okolju, potem ga namestite. glej Pridobite Docker za navodila.
Namestite AWS CLI
Če še nimate nameščene najnovejše različice AWS CLI, jo namestite in konfigurirajte zdaj (glejte AWS CLI Kako začeti). Vaše privzete uporabniške poverilnice AWS morajo imeti skrbniški dostop ali pa prosite svojega skrbnika AWS, da vašim uporabniškim dovoljenjem doda ta pravilnik:
Ustvarite in zaženite OpenSearch s skriptom Quickstart
Prenos search_processing_kendra_quickstart.sh
skript:
Skript za hitri zagon:
- Ustvari načrt izvajanja Amazon Kendra Intelligent Ranking Rescore v vašem računu AWS.
- Ustvari vsebnike Docker za OpenSearch in njegove nadzorne plošče.
- Konfigurira OpenSearch za uporabo Kendra Intelligent Ranking Service.
- Zažene storitve OpenSearch.
- Zagotavlja koristne napotke za uporabo storitve.
Uporaba --help
možnost za ogled možnosti ukazne vrstice:
Zdaj izvedite skript za avtomatizacijo nastavitev Amazon Kendra in OpenSearch:
To je to! Vsebnika OpenSearch in nadzorne plošče OpenSearch zdaj delujeta.
Preberite izhodno sporočilo skripta za hitri zagon in si zabeležite imenik, kjer lahko zaženete priročni docker-compose
ukaze in cleanup_resources.sh
skripta.
Poskusite preizkusno poizvedbo, da preverite, ali se lahko povežete s svojim vsebnikom OpenSearch:
Upoštevajte, da če dobite napako curl(35):OpenSSL SSL_connect: SSL_ERROR_SYSCALL in connection to localhost:9200
, to pomeni, da se OpenSearch še pojavlja. Počakajte nekaj minut, da bo OpenSearch pripravljen, in poskusite znova.
Ustvarite testne indekse in naložite vzorčne dokumente
Spodnji skript se uporablja za ustvarjanje indeksa in nalaganje vzorčnih dokumentov. Shranite ga v svoj računalnik kot bulk_post.sh:
Shranite spodnje podatkovne datoteke kot tinydocs.jsonl:
In shranite spodnjo podatkovno datoteko kot dstinfo.jsonl:
(Ti podatki so prilagojeni iz Članek o poletnem času).
Naj bo skript izvršljiv:
Zdaj uporabite bulk_post.sh skript za ustvarjanje indeksov in nalaganje podatkov z zagonom spodnjih dveh ukazov:
Izvedite vzorčne poizvedbe
Pripravite skripte poizvedb
Poizvedbe OpenSearch so definirane v JSON z uporabo OpenSearch poizvedbeni jezik, specifičen za domeno (DSL). Za to objavo uporabljamo Linux curl ukaz za pošiljanje poizvedb našemu lokalnemu strežniku OpenSearch prek HTTPS.
Da bi to olajšali, smo definirali dva majhna skripta za izdelavo naše poizvedbe DSL in pošiljanje v OpenSearch.
Prvi skript ustvari običajno poizvedbo za ujemanje besedila OpenSearch na dveh poljih dokumenta – Naslov in telo. Glejte dokumentacijo OpenSearch za več o sintaksa poizvedbe z več ujemanji. Poizvedbo smo ohranili zelo preprosto, vendar lahko pozneje eksperimentirate z definiranjem alternativnih vrst poizvedb.
Shranite spodnji skript kot query_nokendra.sh:
Drugi skript je podoben prvemu, toda tokrat dodamo razširitev poizvedbe, ki OpenSearchu naroči, naj prikliče vtičnik Amazon Kendra Intelligent Ranking kot korak naknadne obdelave za ponovno razvrščanje prvotnih rezultatov s storitvijo Amazon Kendra Intelligent Ranking.
O size
lastnost določa, koliko dokumentov z rezultati OpenSearch je poslanih Kendri za ponovno razvrščanje. Tukaj določimo največ 20 rezultatov za ponovno razvrščanje. Dve lastnosti, title_field
(neobvezno) in body_field
(obvezno), določite polja dokumenta, ki se uporabljajo za pametno razvrščanje.
Shranite spodnji skript kot poizvedba_kendra.sh:
Oba skripta naredite izvršljiva:
Izvedite začetne poizvedbe
Začnite s preprosto poizvedbo na tinydocs kazalo, za reprodukcijo primera, uporabljenega v uvodu objave.
Uporaba query_nokendra.sh
skript za iskanje naslova Bele hiše:
Spodaj vidite prikazane rezultate. Upoštevajte vrstni red obeh rezultatov, ki sta razvrščena glede na rezultat, ki ga dodeli poizvedba za ujemanje besedila OpenSearch. Čeprav najboljši rezultat vsebuje ključne besede Naslov in Bela hiša, jasno je, da se pomen ne ujema z namenom vprašanja. Ključne besede se ujemajo, semantika pa ne.
Zdaj pa zaženimo poizvedbo z Amazon Kendra Intelligent Ranking z uporabo query_kendra.sh
skript:
Tokrat vidite rezultate v drugačnem vrstnem redu, kot je prikazano spodaj. Storitev Amazon Kendra Intelligent Ranking je ponovno dodelila vrednosti rezultatov in dodelila višjo oceno dokumentu, ki se bolj ujema z namenom poizvedbe. Z vidika ključne besede je to slabše ujemanje, ker ne vsebuje besede Naslov; vendar je s semantične perspektive to boljši odgovor. Zdaj vidite prednosti uporabe vtičnika Amazon Kendra Intelligent Ranking!
Izvedite dodatne poizvedbe in primerjajte rezultate iskanja
Preizkusite zdaj indeks dstinfo, da vidite, kako isti koncept deluje z različnimi podatki in poizvedbami. Medtem ko lahko uporabite skripte query_nokendra.sh in poizvedba_kendra.sh za izdelavo poizvedb iz ukazne vrstice namesto tega uporabimo Vtičnik za primerjavo rezultatov iskanja za nadzorne plošče OpenSearch za izvajanje poizvedb in primerjavo rezultatov iskanja.
Prilepite URL lokalnih nadzornih plošč v brskalnik: http://localhost:5601/app/searchRelevance – / za dostop do orodja za primerjavo nadzorne plošče. Uporabite privzete poverilnice: Uporabniško ime: admin, Geslo: admin.
V iskalno vrstico vnesite: what is daylight saving time?
Za poizvedbo 1 in poizvedbo 2 Indekstako, da izberete dstinfo.
Kopirajte spodnjo poizvedbo DSL in jo prilepite v Poizvedba pod poizvedbo 1. To je iskalna poizvedba po ključnih besedah.
Zdaj kopirajte spodnjo poizvedbo DSL in jo prilepite v Poizvedba plošča pod poizvedbo 2. Ta poizvedba prikliče vtičnik Amazon Kendra Intelligent Ranking za samoupravljano OpenSearch za izvedbo semantičnega prerazvrščanja rezultatov iskanja.
Izberite Iskalnik gumb za zagon poizvedb in opazovanje rezultatov iskanja. Pri rezultatu 1 je zadnji zadetek verjetno dejansko najbolj relevanten odgovor na to poizvedbo. V 2. rezultatu ima rezultat Amazon Kendra Intelligent Ranking najustreznejši odgovor pravilno uvrščen na prvo mesto.
Zdaj, ko ste izkusili Amazon Kendra Intelligent Ranking za samoupravljano OpenSearch, poskusite z nekaj lastnimi poizvedbami. Uporabite podatke, ki smo jih že naložili, ali uporabite bulk_post.sh skript za nalaganje lastnih podatkov.
Raziščite API za rezultate razvrstitve Amazon Kendra
Kot ste videli v tej objavi, lahko vtičnik Amazon Kendra Intelligent Ranking za OpenSearch priročno uporabite za semantično prerazvrščanje rezultatov iskanja. Če pa uporabljate iskalno storitev, ki ne podpira vtičnika Amazon Kendra Intelligent Ranking za samoupravljano OpenSearch, lahko uporabite Rescore neposredno iz Amazon Kendra Intelligent Ranking API.
Preizkusite ta API z rezultati iskanja iz primera poizvedbe, ki smo ga uporabili zgoraj: kakšen je naslov Bele hiše?
Najprej poiščite svoj ID izvedbenega načrta tako, da zaženete:
Spodnji JSON vsebuje iskalno poizvedbo in dva rezultata, ki ju je vrnila izvirna ujemajoča se poizvedba OpenSearch, z izvirnimi rezultati OpenSearch. Zamenjati {kendra-execution-plan_id}
z ID-jem izvedbenega načrta (od zgoraj) in ga shranite kot rescore_input.json:
Zaženite spodnji ukaz CLI, da ponovno ocenite ta seznam dokumentov s storitvijo Amazon Kendra Intelligent Ranking:
Rezultat uspešne izvedbe tega bo videti kot spodaj.
Kot je bilo pričakovano, dokument tdoc2 (ki vsebuje telo besedila "Bela hiša se nahaja na naslovu: 1600 Pennsylvania Avenue NW, Washington, DC 20500”) ima zdaj višjo uvrstitev, saj je semantično ustreznejši odgovor za poizvedbo. The ResultItems
seznam v izhodu vsebuje vsak vnos DocumentId
s svojo novo Score
, razvrščenih po padajočem vrstnem redu Score
.
Čiščenje
Ko končate z eksperimentiranjem, zaustavite in odstranite svoje vsebnike Docker in Rescore Execution Plan tako, da zaženete cleanup_resources.sh
skript, ustvarjen s skriptom Quickstart, npr.
zaključek
V tej objavi smo vam pokazali, kako uporabiti vtičnik Amazon Kendra Intelligent Ranking za samoupravljani OpenSearch za preprosto dodajanje inteligentnega razvrščanja vašim poizvedbam po dokumentih OpenSearch, da dramatično izboljšate ustreznost razvrščanja rezultatov, medtem ko uporabljate svoje obstoječe uvedbe iskalnika OpenSearch.
Uporabite lahko tudi Amazon Kendra Intelligent Ranking Rescore API neposredno na inteligentno ponovno točkovanje in razvrščanje rezultatov iz lastnih aplikacij.
Preberite Amazon Kendra Intelligent Ranking za samoupravljano OpenSearch Dokumentacija če želite izvedeti več o tej funkciji in začeti načrtovati njeno uporabo v svojih produkcijskih aplikacijah.
O avtorjih
Abhinav Jawadekar je glavni arhitekt rešitev, osredotočen na Amazon Kendra v ekipi za jezikovne storitve AI/ML pri AWS. Abhinav sodeluje s strankami in partnerji AWS, da bi jim pomagal zgraditi inteligentne iskalne rešitve na AWS.
Bob Strahan je glavni arhitekt rešitev v skupini AWS Language AI Services.
- Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
- Platoblockchain. Web3 Metaverse Intelligence. Razširjeno znanje. Dostopite tukaj.
- vir: https://aws.amazon.com/blogs/machine-learning/get-smarter-search-results-with-the-amazon-kendra-intelligent-ranking-and-opensearch-plugin/
- 1
- 10
- 100
- 11
- 7
- 70
- 9
- a
- sem
- O meni
- nad
- dostop
- nesreče
- Po
- Račun
- natančnost
- natančna
- čez
- Ukrep
- dejansko
- Dodatne
- Naslov
- admin
- po
- naprej
- AI
- Storitve AI
- AI / ML
- že
- Čeprav
- vedno
- Amazon
- Amazon EC2
- Amazonska Kendra
- in
- odgovor
- API
- uporaba
- aplikacije
- Uporabi
- april
- Arizona
- dodeljena
- avtomatizirati
- avtomatizira
- Avenue
- AWS
- nazaj
- bar
- temeljijo
- bash
- ker
- zadaj
- spodaj
- koristi
- Prednosti
- Benjamin
- BEST
- Boljše
- med
- telo
- Brain
- Britanski
- British Columbia
- brskalnik
- izgradnjo
- vgrajeno
- Predsedstvo
- Kanada
- izzivi
- spremenite
- jasno
- Ure
- tesno
- Cloud9
- COLUMBIA
- prihajajo
- primerjate
- Primerjava
- komponenta
- Izračunajte
- računalnik
- Koncept
- Kongres
- Kongresno
- Connect
- povezava
- Posledično
- Razmislite
- gradnjo
- Posoda
- Zabojniki
- Vsebuje
- vsebina
- države
- par
- ustvarjajo
- ustvaril
- ustvari
- Mandatno
- Stranke, ki so
- ciklov
- Armaturna plošča
- datum
- dan
- Dnevi
- dc
- privzeto
- definiranje
- vesel
- dostavi
- izkazati
- razmestitve
- določa
- Razlika
- drugačen
- neposredno
- Lučki delavec
- dokument
- Dokumentacija
- Dokumenti
- Ne
- domena
- dont
- navzdol
- dramatično
- vsak
- enostavno
- učinek
- omogočena
- konča
- Motor
- Motorji
- Vnesite
- okolje
- Napaka
- itd
- Primer
- Primeri
- izvršiti
- izvedba
- obstoječih
- Pričakuje
- izkušen
- poskus
- razširitev
- ni uspelo
- seznanjeni
- FAQ
- prednost
- Feature
- Nekaj
- Področja
- file
- datoteke
- Najdi
- prva
- osredotočena
- sledi
- po
- obrazec
- Nekdanji
- ustanovitve
- iz
- v celoti
- funkcija
- funkcionalnost
- geografsko
- dobili
- pridobivanje
- priročen
- pomoč
- pomoč
- tukaj
- več
- zelo
- zgodovina
- hit
- Hits
- Hiša
- Kako
- Kako
- Vendar
- HTML
- HTTPS
- navdušeni
- izboljšanje
- Izboljšave
- in
- Poveča
- Indeks
- indekse
- Posamezno
- Podatki
- Informacijsko
- inherentno
- začetna
- vhod
- namestitev
- primer
- Namesto
- Inteligentna
- namen
- Namen
- notranji
- uvesti
- Predstavitev
- prikliče
- vključeni
- Otoki
- Vprašanja
- IT
- json
- Imejte
- jezik
- Zadnja
- Zadnji
- UČITE
- učenje
- pismo
- vrstica
- Seznam
- obremenitev
- lokalna
- nahaja
- Long
- več
- Poglej
- Znamka
- upravlja
- več
- marec
- Stave
- ujemanje
- največja
- kar pomeni,
- pomeni
- Sporočilo
- selitev
- Minute
- mesecev
- več
- Najbolj
- Narod
- nacionalni
- Nimate
- Novo
- november
- opazujejo
- oktober
- ONE
- odprite
- open source
- openssl
- Priložnost
- Možnost
- možnosti
- Da
- izvirno
- Ostalo
- na prostem
- lastne
- Udeleženci
- partnerji
- deli
- Geslo
- Pennsylvania
- ljudje
- Izvedite
- mogoče
- trajna
- Dovoljenja
- perspektiva
- Mesta
- Načrt
- načrtovanje
- platon
- Platonova podatkovna inteligenca
- PlatoData
- prosim
- vključiti
- politika
- Prispevek
- moč
- močan
- Predsednik
- precej
- prejšnja
- , ravnateljica
- verjetno
- proizvodnja
- Lastnosti
- nepremičnine
- zagotavljajo
- zagotavlja
- javnega
- Port
- Portoriko
- kakovost
- vprašanje
- uvrstitev
- Lestvica
- pripravljen
- Zmanjšana
- redni
- Razmerje
- ustreznost
- pomembno
- odstrani
- zamenjajte
- obvezna
- Raziskave
- vir
- Odgovor
- povzroči
- Rezultati
- RICO
- Run
- tek
- Enako
- Shrani
- shranjevanje
- SC
- točkovanje
- skripte
- Iskalnik
- iskalnik
- Iskalniki
- drugi
- Samopostrežba
- semantika
- Storitev
- Storitve
- nastavite
- nastavitev
- Prikaži
- pokazale
- Zaustavite
- Podoben
- Enostavno
- preprosto
- Spletna mesta
- Velikosti
- majhna
- pametnejši
- So
- Soft
- Rešitev
- rešitve
- SOLVE
- nekaj
- vir
- Viri
- specifična
- Začetek
- začel
- Izjava
- Države
- Korak
- Še vedno
- uspešno
- taka
- podpora
- sistem
- skupina
- terminal
- Pogoji
- Test
- O
- njihove
- čas
- časovni okvir
- Naslov
- do
- danes
- orodje
- vrh
- Skupaj za plačilo
- Turizem
- Prevoz
- Navodila
- Vrste
- nas
- pod
- Velika
- Združene države Amerike
- URL
- uporaba
- uporabnik
- POTRDI
- vrednost
- Vrednote
- različica
- Virgin
- Počakaj
- washington
- web
- Kaj
- Kaj je
- ali
- ki
- medtem
- bele
- Bela hiša
- bo
- brez
- beseda
- besede
- deluje
- svet
- bi
- Vi
- Vaša rutina za
- zefirnet