Kui teil on olnud võimalus luua struktureerimata andmete (nt wiki, teabeveebisaitide, iseteeninduse abilehed, sisedokumentatsioon jne) otsingurakendus, kasutades avatud lähtekoodiga või kaubanduslikke valmisotsingumootoreid, siis olete ilmselt tuttav asjakohaste otsingutulemuste hankimisega kaasnevate täpsusega seotud väljakutsetega. Nii päringu kui ka dokumendi kavandatud tähendus võib kaduda, kuna otsing taandub komponentide märksõnadele ja terminitele. Järelikult, kuigi saate tulemusi, mis võivad sisaldada õigeid sõnu, ei ole need alati kasutaja jaoks asjakohased. Peate oma otsingumootor olema nutikam, et see saaks dokumente järjestada vastavalt sisu tähendusele või semantikale ja kasutaja päringu kavatsusele.
Amazon Kendra pakub täielikult hallatavat intelligentset otsinguteenust, mis automatiseerib dokumentide sissevõtmist ning pakub väga täpseid otsingu- ja KKK-tulemusi, mis põhinevad paljudes andmeallikates sisalduval sisul. Kui te pole Amazon Kendrasse üle läinud ja soovite parandada otsingutulemuste kvaliteeti, saate oma olemasolevas otsingulahenduses kasutada isehallatava OpenSearchi jaoks teenust Amazon Kendra Intelligent Ranking.
Meil on hea meel uut tutvustada Amazon Kendra intelligentne edetabel isehallatava OpenSearchi jaoks, ja selle kaaspistikprogrammi jaoks OpenSearch otsingumootor! Nüüd saate hõlpsasti lisada oma OpenSearchi dokumendipäringutele intelligentse järjestuse, ilma et oleks vaja migreerida, OpenSearchi indekseid kopeerida ega rakendusi ümber kirjutada. Erinevus isehallatava OpenSearchi Amazon Kendra intelligentse järjestuse ja täielikult hallatava Amazon Kendra teenuse vahel seisneb selles, et kui esimene pakub otsingutulemuste jaoks võimsat semantilist ümberjärjestamist, siis teine pakub täiendavaid otsingutäpsuse täiustusi ja funktsioone, nagu näiteks järkjärguline õppimine, küsimus. vastamine, KKK sobitamine ja sisseehitatud pistikud. Täielikult hallatava teenuse kohta lisateabe saamiseks külastage aadressi Amazon Kendra teenuse leht.
Amazon Kendra Intelligent Ranking isehallatava OpenSearchi jaoks on varasemad tulemused sellised:
Päring: Mis on Valge Maja aadress?
Hit1 (parim): President pidas täna Valgest Majast rahvale pöördumise.
Löök2: Valge Maja asub aadressil: 1600 Pennsylvania Avenue NW, Washington, DC 20500
muutuda selliseks:
Päring: Mis on Valge Maja aadress?
Hit1 (parim): Valge Maja asub aadressil: 1600 Pennsylvania Avenue NW, Washington, DC 20500
Löök2: President pidas täna Valgest Majast rahvale pöördumise.
Selles postituses näitame teile, kuidas alustada Amazon Kendra Intelligent Rankingu kasutamist isehallatava OpenSearchi jaoks, ja toome mõned näited, mis näitavad selle funktsiooni võimsust ja väärtust.
Amazon Kendra intelligentse edetabeli komponendid isehallatava OpenSearchi jaoks
Eeldused
Selle õpetuse jaoks peab teil olema sisse lülitatud bash-terminal Linux, moonvõi Windowsi alamsüsteem LinuxileJa AWS-i konto. Vihje: kaaluge Amazon Cloud9 eksemplari või Amazon Elastic Compute Cloud (Amazon EC2) näide.
Te saate:
- Installige Docker, kui see pole teie süsteemi veel installitud.
- Installige uusim AWS-i käsurea liides (AWS CLI), kui see pole veel installitud.
- Looge ja käivitage OpenSearchi konteinerid, kui pistikprogramm Amazon Kendra Intelligent Ranking on lubatud.
- Looge testindeksid ja laadige mõned näidisdokumendid.
- Käivitage mõned päringud, intelligentse järjestamisega ja ilma, ja muljetage erinevustest sobival viisil!
Installige Docker
Kui Docker (st docker
ja docker-compose
) pole teie keskkonda veel installitud, siis installige see. Vaata Hankige Docker juhiste saamiseks.
Installige AWS CLI
Kui teil pole veel AWS-i CLI uusimat versiooni installitud, installige ja konfigureerige see kohe (vt AWS CLI alustamine). Teie AWS-i vaikemandaatidel peab olema administraatorijuurdepääs või paluge oma AWS-i administraatoril lisada teie kasutajaõigustele järgmine reegel.
Looge ja käivitage OpenSearch, kasutades kiirkäivitusskripti
Lae alla search_processing_kendra_quickstart.sh
skript:
Kiirkäivitusskript:
- Loob teie AWS-i kontol Amazon Kendra Intelligent Ranking Rescore'i täitmise plaani.
- Loob Dockeri konteinerid OpenSearchi ja selle armatuurlaudade jaoks.
- Seadistab OpenSearchi kasutama Kendra intelligentset järjestamise teenust.
- Käivitab OpenSearchi teenused.
- Annab kasulikke juhiseid teenuse kasutamiseks.
Kasuta --help
käsurea valikute kuvamiseks:
Nüüd käivitage Amazon Kendra ja OpenSearchi seadistamise automatiseerimiseks skript:
See on kõik! OpenSearchi ja OpenSearchi juhtpaneeli konteinerid on nüüd valmis ja töötavad.
Lugege kiirkäivitusskripti väljundsõnumit ja märkige üles kataloog, kus saate selle käepärase käivitada docker-compose
käsud ja cleanup_resources.sh
skript.
Proovige testpäringut, et kinnitada, kas saate oma OpenSearchi konteineriga ühenduse luua:
Pange tähele, et kui saate vea curl(35):OpenSSL SSL_connect: SSL_ERROR_SYSCALL in connection to localhost:9200
, tähendab see, et OpenSearch on endiselt tulemas. Oodake mõni minut, kuni OpenSearch on valmis, ja proovige uuesti.
Looge testindekseid ja laadige näidisdokumente
Allolevat skripti kasutatakse indeksi loomiseks ja näidisdokumentide laadimiseks. Salvestage see oma arvutisse nimega bulk_post.sh:
Salvestage allolevad andmefailid nimega tinydocs.jsonl:
Ja salvestage allolev andmefail nimega dstinfo.jsonl:
(Need andmed on kohandatud Suveaja artikkel).
Muutke skript käivitatavaks:
Nüüd kasutage bulk_post.sh skript indeksite loomiseks ja andmete laadimiseks, käivitades kaks allolevat käsku:
Käivitage näidispäringud
Valmistage ette päringu skriptid
OpenSearchi päringud määratakse JSON-is OpenSearchi abil päringu domeenipõhine keel (DSL). Selle postituse jaoks kasutame Linux curl käsk päringute saatmiseks meie kohalikku OpenSearchi serverisse HTTPS-i abil.
Selle lihtsaks muutmiseks oleme defineerinud kaks väikest skripti, et luua päring DSL ja saata see OpenSearchile.
Esimene skript loob tavalise OpenSearchi tekstivaste päringu kahel dokumendiväljal – pealkiri ja keha. Selle kohta lisateabe saamiseks vaadake OpenSearchi dokumentatsiooni mitme vastega päringu süntaks. Oleme muutnud päringu väga lihtsaks, kuid saate hiljem katsetada alternatiivsete päringutüüpide määratlemisega.
Salvestage allolev skript nimega query_nokendra.sh:
Teine skript sarnaneb esimesega, kuid seekord lisame päringulaiendi, et anda OpenSearchile käsk käivitada Amazon Kendra intelligentse järjestamise pistikprogramm järeltöötluse sammuna, et reastada algsed tulemused Amazon Kendra intelligentse järjestamise teenuse abil.
. size
atribuut määrab, mitu OpenSearchi tulemuste dokumenti saadetakse Kendrale ümberpaigutamiseks. Siin määrame ümberpaigutamiseks maksimaalselt 20 tulemust. Kaks kinnisvara, title_field
(valikuline) ja body_field
(nõutav), määrake intelligentseks järjestamiseks kasutatavad dokumendiväljad.
Salvestage allolev skript nimega query_kendra.sh:
Muutke mõlemad skriptid käivitatavaks:
Käivitage esialgsed päringud
Alustage lihtsa päringuga pisikesed dokumendid indeks, et korrata sissejuhatuses kasutatud näidet.
Kasuta query_nokendra.sh
skript Valge Maja aadressi otsimiseks:
Näete allpool näidatud tulemusi. Jälgige kahe tulemuse järjestust, mis on järjestatud OpenSearchi tekstivaste päringuga määratud skoori järgi. Kuigi parimad punktitulemused sisaldavad märksõnu aadress ja Valge Maja, on selge, et tähendus ei vasta küsimuse kavatsusele. Märksõnad ühtivad, aga semantika mitte.
Nüüd käivitame päringu rakendusega Amazon Kendra Intelligent Ranking, kasutades query_kendra.sh
skript:
Seekord näete tulemusi teises järjekorras, nagu allpool näidatud. Teenus Amazon Kendra Intelligent Ranking on skoori väärtused uuesti määranud ja määranud dokumendile kõrgema hinde, mis vastab paremini päringu eesmärgile. Märksõna vaatenurgast on see kehvem vaste, kuna see ei sisalda seda sõna aadress; Semantilisest vaatenurgast on see aga parem vastus. Nüüd näete Amazon Kendra Intelligent Ranking pistikprogrammi kasutamise eeliseid!
Käivitage täiendavaid päringuid ja võrrelge otsingutulemusi
Proovige kohe dstinfo indeksit, et näha, kuidas sama kontseptsioon erinevate andmete ja päringutega töötab. Kuigi saate skripte kasutada query_nokendra.sh ja query_kendra.sh käsurealt päringute tegemiseks kasutame selle asemel OpenSearchi armatuurlauad Otsingutulemuste võrdlemise pistikprogramm päringute esitamiseks ja otsingutulemuste võrdlemiseks.
Kleepige kohaliku armatuurlaua URL oma brauserisse: http://localhost:5601/app/searchRelevance – / et pääseda juurde armatuurlaua võrdlustööriistale. Kasutage vaikemandaate: Kasutajanimi: admin, Parool: admin.
Sisestage otsinguribale: what is daylight saving time?
Päringu 1 ja päringu 2 jaoks indeksvalige dstinfo.
Kopeerige allolev DSL-päring ja kleepige see kausta Query paneelil Päring 1. See on märksõnaotsingu päring.
Nüüd kopeerige allolev DSL-päring ja kleepige see kausta Query paneelil päringu 2 all. See päring kutsub välja Amazon Kendra Intelligent Ranking pistikprogrammi isehallatava OpenSearchi jaoks, et teostada otsingutulemuste semantilist ümberjärjestamist.
Vali Otsing nuppu päringute käivitamiseks ja otsingutulemuste jälgimiseks. 1. tulemuses on viimasel kohal olev tabamus tõenäoliselt sellele päringule kõige asjakohasem vastus. 2. tulemuses on Amazon Kendra Intelligent Ranking väljundis kõige asjakohasem vastus õigesti asetatud esimeseks.
Nüüd, kui olete kogenud isehallatava OpenSearchi jaoks Amazon Kendra intelligentset järjestamist, katsetage mõne oma päringuga. Kasutage meie poolt juba laaditud andmeid või kasutage bulk_post.sh skript oma andmete laadimiseks.
Tutvuge Amazon Kendra edetabeli taasskoorimise API-ga
Nagu sellest postitusest nägite, saab OpenSearchi jaoks mõeldud Amazon Kendra Intelligent Ranking pluginat mugavalt kasutada otsingutulemuste semantiliseks ümberjärjestamiseks. Kui aga kasutate otsinguteenust, mis ei toeta isehallatava OpenSearchi jaoks pistikprogrammi Amazon Kendra Intelligent Ranking, saate kasutada Rescore funktsioon Amazon Kendra Intelligent Ranking API kaudu otse.
Proovige seda API-d, kasutades ülaltoodud näidispäringu otsingutulemusi: mis on Valge Maja aadress?
Esmalt leidke oma täitmisplaani ID, käivitades:
Allolev JSON sisaldab otsingupäringut ja kahte tulemust, mille algne OpenSearchi vastepäring tagastas, koos nende algsete OpenSearchi skooridega. Asenda {kendra-execution-plan_id}
koos oma täitmisplaani ID-ga (ülevalt) ja salvestage see nimega rescore_input.json:
Käivitage allolev CLI-käsk, et selle dokumentide loendi uuesti hinnata, kasutades teenust Amazon Kendra Intelligent Ranking:
Selle eduka täitmise väljund näeb välja järgmine.
Nagu oodatud, dokument tdoc2 (sisaldava teksti keha "Valge Maja asub aadressil: 1600 Pennsylvania Avenue NW, Washington, DC 20500”) on nüüd kõrgema asetusega, kuna see on päringu jaoks semantiliselt asjakohasem vastus. The ResultItems
väljundi loend sisaldab iga sisendit DocumentId
oma uuega Score
, järjestatud kahanevas järjekorras Score
.
Koristage
Kui olete katsetamise lõpetanud, sulgege ja eemaldage Dockeri konteinerid ja taasesitamise täitmisplaan, käivitades cleanup_resources.sh
Kiirkäivitusskripti abil loodud skript, nt:
Järeldus
Selles postituses näitasime teile, kuidas kasutada Amazon Kendra intelligentse järjestamise pistikprogrammi isehallatava OpenSearchi jaoks, et hõlpsasti lisada oma OpenSearchi dokumendipäringutele intelligentne järjestus, et oluliselt parandada tulemuste asjakohasuse asetust, kasutades samal ajal teie olemasolevaid OpenSearchi otsingumootori juurutusi.
Võite kasutada ka Amazon Kendra intelligentset edetabelit Rescore API otse tulemuste arukalt uuesti hindama ja järjestama teie enda rakendustest.
Lugege isehallatava OpenSearchi jaoks Amazon Kendra intelligentset edetabelit dokumentatsioon selle funktsiooni kohta lisateabe saamiseks ja selle oma tootmisrakendustes rakendamise kavandamiseks.
Autoritest
Abhinav Jawadekar on peamine lahenduste arhitekt, kes keskendub Amazon Kendrale AWS-i AI/ML keeleteenuste meeskonnas. Abhinav teeb koostööd AWS-i klientide ja partneritega, et aidata neil AWS-is intelligentseid otsingulahendusi luua.
Bob Strahan on AWS Language AI Services meeskonna peamine lahenduste arhitekt.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- Platoblockchain. Web3 metaversiooni intelligentsus. Täiustatud teadmised. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/machine-learning/get-smarter-search-results-with-the-amazon-kendra-intelligent-ranking-and-opensearch-plugin/
- 1
- 10
- 100
- 11
- 7
- 70
- 9
- a
- olen
- MEIST
- üle
- juurdepääs
- õnnetused
- Vastavalt
- konto
- täpsus
- täpne
- üle
- tegevus
- tegelikult
- Täiendavad lisad
- aadress
- admin
- pärast
- eespool
- AI
- AI teenused
- AI / ML
- juba
- Kuigi
- alati
- Amazon
- Amazon EC2
- Amazon Kendra
- ja
- vastus
- API
- taotlus
- rakendused
- kehtima
- Aprill
- arizona
- määratud
- automatiseerima
- automatiseerib
- Puiestee
- AWS
- tagasi
- baar
- põhineb
- sisse lööma
- sest
- taga
- alla
- kasu
- Kasu
- Benjamin
- BEST
- Parem
- vahel
- keha
- Aju
- Briti
- Briti Columbia
- brauseri
- ehitama
- sisseehitatud
- Juhatus
- Kanada
- väljakutseid
- muutma
- selge
- Kellad
- lähedalt
- Cloud9
- COLUMBIA
- tulevad
- võrdlema
- võrdlus
- komponent
- Arvutama
- arvuti
- mõiste
- Kongress
- Kongressi liige
- Võta meiega ühendust
- ühendus
- Järelikult
- Arvestama
- ehitama
- Konteiner
- Konteinerid
- sisaldab
- sisu
- riikides
- Paar
- looma
- loodud
- loob
- volikiri
- Kliendid
- tsüklit
- armatuurlaud
- andmed
- päev
- Päeva
- dc
- vaikimisi
- määratlemisel
- rõõmus
- esitatud
- näitama
- kasutuselevõtt
- määrab
- erinevus
- erinev
- otse
- laevalaadija
- dokument
- dokumentatsioon
- dokumendid
- Ei tee
- domeen
- Ära
- alla
- dramaatiliselt
- iga
- kergesti
- mõju
- lubatud
- lõppeb
- Mootor
- Mootorid
- sisene
- keskkond
- viga
- jms
- näide
- näited
- täitma
- täitmine
- olemasolevate
- oodatav
- kogenud
- eksperiment
- laiendamine
- Ebaõnnestunud
- tuttav
- FAQ
- soodustama
- tunnusjoon
- vähe
- Valdkonnad
- fail
- Faile
- leidma
- esimene
- keskendunud
- järgima
- Järel
- vorm
- endine
- asutamine
- Alates
- täielikult
- funktsioon
- funktsionaalsus
- geograafiline
- saama
- saamine
- mugav
- aitama
- kasulik
- siin
- rohkem
- kõrgelt
- ajalugu
- Tulemus
- Hits
- maja
- Kuidas
- Kuidas
- aga
- HTML
- HTTPS
- muljet avaldatud
- parandama
- parandusi
- in
- Tõstab
- indeks
- indeksid
- Üksikult
- info
- Informatsiooniline
- omane
- esialgne
- sisend
- paigaldama
- Näiteks
- selle asemel
- Intelligentne
- tahtlus
- Kavatsus
- sisemine
- kehtestama
- Sissejuhatus
- kutsub
- seotud
- Saared
- küsimustes
- IT
- Json
- hoidma
- keel
- viimane
- hiljemalt
- Õppida
- õppimine
- kiri
- joon
- nimekiri
- koormus
- kohalik
- asub
- Pikk
- enam
- Vaata
- tegema
- juhitud
- palju
- Märts
- Vastama
- sobitamine
- maksimaalne
- tähendus
- vahendid
- sõnum
- rännanud
- protokoll
- kuu
- rohkem
- kõige
- rahvas
- riiklik
- Vajadus
- Uus
- November
- jälgima
- oktoober
- ONE
- avatud
- avatud lähtekoodiga
- openssl
- Võimalus
- valik
- Valikud
- et
- originaal
- Muu
- väljas
- enda
- osalejad
- partnerid
- osad
- Parool
- Pennsylvania
- Inimesed
- täitma
- ehk
- püsiv
- Õigused
- perspektiiv
- Kohad
- kava
- planeerimine
- Platon
- Platoni andmete intelligentsus
- PlatoData
- palun
- plugin
- poliitika
- post
- võim
- võimas
- president
- ilus
- eelmine
- Peamine
- tõenäoliselt
- Produktsioon
- omadused
- kinnisvara
- anda
- annab
- avalik
- Puerto
- Puerto Rico
- kvaliteet
- küsimus
- reastatud
- Edetabel
- valmis
- Lühendatud
- regulaarne
- seos
- asjakohasus
- asjakohane
- kõrvaldama
- asendama
- nõutav
- teadustöö
- ressurss
- vastus
- kaasa
- Tulemused
- RICO
- jooks
- jooksmine
- sama
- Säästa
- säästmine
- SC
- Hinded
- skripte
- Otsing
- otsingumootor
- Otsingumootorid
- Teine
- Iseteenindus
- semantika
- teenus
- Teenused
- komplekt
- seade
- näitama
- näidatud
- sulgema
- sarnane
- lihtne
- lihtsalt
- Saidid
- SUURUS
- väike
- targemaks
- So
- Pehme
- lahendus
- Lahendused
- LAHENDAGE
- mõned
- allikas
- Allikad
- konkreetse
- algus
- alustatud
- väljavõte
- Ühendriigid
- Samm
- Veel
- edukas
- selline
- toetama
- süsteem
- meeskond
- terminal
- tingimused
- test
- .
- oma
- aeg
- ajakava
- Kapslid
- et
- täna
- tööriist
- ülemine
- Summa
- Turism
- transportimine
- juhendaja
- liigid
- meie
- all
- Ühendatud
- Ühendriigid
- URL
- kasutama
- Kasutaja
- KINNITAGE
- väärtus
- Väärtused
- versioon
- Neitsi
- ootama
- Washington
- web
- M
- Mis on
- kas
- mis
- kuigi
- valge
- Valge Maja
- will
- ilma
- sõna
- sõnad
- töötab
- maailm
- oleks
- sa
- Sinu
- sephyrnet