Jos sinulla on ollut mahdollisuus rakentaa hakusovellus jäsentämättömälle tiedolle (esim. wiki, informatiiviset web-sivustot, itsepalvelun ohjesivut, sisäinen dokumentaatio jne.) käyttämällä avoimen lähdekoodin tai kaupallisia valmiita hakukoneita, silloin olet todennäköisesti perehtynyt osuvien hakutulosten saamiseen liittyviin tarkkuushaasteisiin. Sekä kyselyn että asiakirjan tarkoitettu merkitys voi kadota, koska haku rajoittuu vastaamaan komponenttien avainsanoja ja termejä. Näin ollen vaikka saat tuloksia, jotka saattavat sisältää oikeat sanat, ne eivät aina ole käyttäjän kannalta olennaisia. Hakukoneesi on oltava älykkäämpi, jotta se voi luokitella asiakirjoja sen perusteella, että se vastaa sisällön merkitystä tai semantiikkaa käyttäjän kyselyn tarkoitukseen.
Amazon Kendra tarjoaa täysin hallitun älykkään hakupalvelun, joka automatisoi asiakirjojen käsittelyn ja tarjoaa erittäin tarkat haku- ja UKK-tulokset monien tietolähteiden sisältöön perustuen. Jos et ole siirtynyt Amazon Kendraan ja haluat parantaa hakutulosten laatua, voit käyttää Amazon Kendra Intelligent Rankingia itsehallittavaan OpenSearchiin olemassa olevassa hakuratkaisussasi.
Meillä on ilo esitellä uusi Amazon Kendra Intelligent Ranking itsehallittavalle OpenSearchille, ja sen kumppanilaajennus tiedostolle opensearch hakukone! Nyt voit helposti lisätä älykkään sijoituksen OpenSearch-asiakirjakyselyihisi ilman, että sinun tarvitsee siirtää, kopioida OpenSearch-hakemistojasi tai kirjoittaa sovelluksiasi uudelleen. Ero Amazon Kendra Intelligent Rankingin itsehallinnolle OpenSearchin ja täysin hallitun Amazon Kendra -palvelun välillä on se, että kun edellinen tarjoaa tehokkaan semanttisen uudelleensijoituksen hakutuloksille, jälkimmäinen tarjoaa lisäparannuksia haun tarkkuuteen ja toimintoja, kuten inkrementaalista oppimista, kysymystä. vastaaminen, FAQ-sovitus ja sisäänrakennetut liittimet. Lisätietoja täysin hallinnoidusta palvelusta on osoitteessa Amazon Kendra -palvelusivu.
Itsehallitun OpenSearchin Amazon Kendra Intelligent Ranking -luokituksen avulla aiemmat tulokset ovat tämänkaltaisia:
kysely: Mikä on Valkoisen talon osoite?
Osuma1 (paras): Presidentti piti tänään puheen kansalle Valkoisesta talosta.
Osuma2: Valkoinen talo sijaitsee osoitteessa: 1600 Pennsylvania Avenue NW, Washington, DC 20500
muuttua tällaiseksi:
kysely: Mikä on Valkoisen talon osoite?
Osuma1 (paras): Valkoinen talo sijaitsee osoitteessa: 1600 Pennsylvania Avenue NW, Washington, DC 20500
Osuma2: Presidentti piti tänään puheen kansalle Valkoisesta talosta.
Tässä viestissä näytämme sinulle, kuinka pääset alkuun Amazon Kendra Intelligent Rankingin käyttämisessä itsehallittavalle OpenSearchille, ja tarjoamme muutamia esimerkkejä, jotka osoittavat tämän ominaisuuden tehon ja arvon.
Amazon Kendra Intelligent Rankingin komponentit itsehallittavalle OpenSearchille
Edellytykset
Tätä opetusohjelmaa varten tarvitset bash-päätteen Linux, Mactai Windows-alijärjestelmä LinuxilleJa AWS-tili. Vihje: harkitse Amazon Cloud9 -esiintymän tai Amazonin elastinen laskentapilvi (Amazon EC2) esimerkki.
Sinä:
- Asenna Docker, jos sitä ei ole jo asennettu järjestelmääsi.
- Asenna uusin AWS-komentoriviliitäntä (AWS CLI), jos sitä ei ole jo asennettu.
- Luo ja käynnistä OpenSearch-säilöjä Amazon Kendra Intelligent Ranking -laajennuksen ollessa käytössä.
- Luo testihakemistoja ja lataa joitain esimerkkiasiakirjoja.
- Suorita kyselyitä älykkäällä sijoituksella tai ilman, ja vaikuta eroista sopivasti!
Asenna Docker
Jos Docker (ts. docker
ja docker-compose
) ei ole vielä asennettu ympäristöösi, asenna se. Katso Hanki Docker ohjeita varten.
Asenna AWS CLI
Jos sinulla ei vielä ole AWS CLI:n uusinta versiota asennettuna, asenna ja määritä se nyt (katso AWS CLI Aloitus). Oletus-AWS-käyttäjätiedoillasi on oltava järjestelmänvalvojan käyttöoikeudet tai pyydä AWS-järjestelmänvalvojaa lisäämään seuraava käytäntö käyttöoikeuksiisi:
Luo ja käynnistä OpenSearch Quickstart-skriptin avulla
Lataa search_processing_kendra_quickstart.sh
käsikirjoitus:
Pika-aloitusskripti:
- Luo Amazon Kendra Intelligent Ranking Rescore -suoritussuunnitelman AWS-tilillesi.
- Luo Docker-säilöjä OpenSearchille ja sen hallintapaneeleille.
- Määrittää OpenSearchin käyttämään Kendra Intelligent Ranking Service -palvelua.
- Käynnistää OpenSearch-palvelut.
- Tarjoaa hyödyllisiä ohjeita palvelun käyttöön.
Käytä --help
vaihtoehto nähdäksesi komentorivin vaihtoehdot:
Suorita nyt komentosarja Amazon Kendran ja OpenSearchin asennuksen automatisoimiseksi:
Se siitä! OpenSearch- ja OpenSearch Dashboard -säilöt ovat nyt käytössä.
Lue pika-aloituskomentosarjan lähtöviesti ja merkitse muistiin hakemisto, jossa voit suorittaa kätevän ohjelman docker-compose
komennot ja cleanup_resources.sh
skriptejä.
Kokeile testikyselyä vahvistaaksesi, voitko muodostaa yhteyden OpenSearch-säilöön:
Huomaa, että jos saat virheilmoituksen curl(35):OpenSSL SSL_connect: SSL_ERROR_SYSCALL in connection to localhost:9200
, se tarkoittaa, että OpenSearch on edelleen tulossa. Odota muutama minuutti, jotta OpenSearch on valmis, ja yritä uudelleen.
Luo testiindeksejä ja lataa näyteasiakirjoja
Alla olevaa komentosarjaa käytetään indeksin luomiseen ja esimerkkiasiakirjojen lataamiseen. Tallenna se tietokoneellesi nimellä bulk_post.sh:
Tallenna alla olevat datatiedostot nimellä tinydocs.jsonl:
Ja tallenna alla oleva datatiedosto nimellä dstinfo.jsonl:
(Tämä data on mukautettu Kesäajan artikkeli).
Tee komentosarjasta suoritettava:
Käytä nyt bulk_post.sh komentosarja indeksien luomiseksi ja tietojen lataamiseksi suorittamalla kaksi alla olevaa komentoa:
Suorita esimerkkikyselyitä
Valmistele kyselykomentosarjat
OpenSearch-kyselyt määritellään JSONissa OpenSearchin avulla kyselyn verkkotunnuskohtainen kieli (DSL). Tässä viestissä käytämme Linux curl komento lähettää kyselyitä paikalliselle OpenSearch-palvelimellemme HTTPS:n avulla.
Tämän helpottamiseksi olemme määrittäneet kaksi pientä komentosarjaa DSL-kyselymme muodostamiseksi ja lähettämiseksi OpenSearchiin.
Ensimmäinen komentosarja luo tavallisen OpenSearch-tekstihakukyselyn kahdelle asiakirjakentälle – otsikko ja elin. Katso OpenSearch-dokumentaatiosta lisätietoja usean haun kyselyn syntaksi. Olemme pitäneet kyselyn hyvin yksinkertaisena, mutta voit kokeilla myöhemmin vaihtoehtoisten kyselytyyppien määrittelemistä.
Tallenna alla oleva skripti nimellä query_nokendra.sh:
Toinen komentosarja on samanlainen kuin ensimmäinen, mutta tällä kertaa lisäämme kyselylaajennuksen, joka käskee OpenSearchia käynnistämään Amazon Kendra Intelligent Ranking -laajennuksen jälkikäsittelyvaiheena alkuperäisten tulosten uudelleensijoittamiseksi Amazon Kendra Intelligent Ranking -palvelun avulla.
- size
ominaisuus määrittää, kuinka monta OpenSearch-tulosasiakirjaa lähetetään Kendralle uudelleensijoitusta varten. Tässä määritämme enintään 20 tulosten uudelleensijoittamista varten. Kaksi kiinteistöä, title_field
(valinnainen) ja body_field
(pakollinen), määritä älykkääseen luokitukseen käytetyt asiakirjakentät.
Tallenna alla oleva skripti nimellä query_kendra.sh:
Tee molemmat skriptit suoritettaviksi:
Suorita ensimmäiset kyselyt
Aloita yksinkertaisella kyselyllä pikkuasiat hakemisto, joka toistaa johdannossa käytetyn esimerkin.
Käytä query_nokendra.sh
käsikirjoitus Valkoisen talon osoitteen etsimiseen:
Näet alla näkyvät tulokset. Tarkkaile kahden tuloksen järjestystä, jotka on järjestetty OpenSearch-tekstihakukyselyn antaman pistemäärän mukaan. Vaikka paras pisteytystulos sisältää avainsanat osoite ja Valkoinen talo, on selvää, että merkitys ei vastaa kysymyksen tarkoitusta. Avainsanat vastaavat, mutta semantiikka ei.
Suoritetaan nyt kysely Amazon Kendra Intelligent Ranking -sovelluksella käyttämällä query_kendra.sh
käsikirjoitus:
Tällä kertaa näet tulokset eri järjestyksessä alla olevan kuvan mukaisesti. Amazon Kendra Intelligent Ranking -palvelu on määrittänyt pistemäärät uudelleen ja antanut asiakirjalle korkeamman pistemäärän, joka vastaa paremmin kyselyn tarkoitusta. Avainsanojen näkökulmasta tämä on huonompi haku, koska se ei sisällä sanaa osoite; Semanttisesta näkökulmasta se on kuitenkin parempi vastaus. Nyt näet Amazon Kendra Intelligent Ranking -laajennuksen hyödyn!
Suorita lisäkyselyitä ja vertaa hakutuloksia
Kokeile dstinfo-indeksiä nyt nähdäksesi, kuinka sama konsepti toimii eri tietojen ja kyselyiden kanssa. Vaikka voit käyttää skriptejä query_nokendra.sh ja query_kendra.sh Jos haluat tehdä kyselyitä komentoriviltä, käytä sen sijaan OpenSearch Dashboards Vertaa hakutuloksia Plugin suorittaa kyselyitä ja vertailla hakutuloksia.
Liitä paikallisten hallintapaneelien URL-osoite selaimeesi: http://localhost:5601/app/searchRelevance – / päästäksesi kojelaudan vertailutyökaluun. Käytä oletustunnuksia: Käyttäjätunnus: admin, Salasana: admin.
Kirjoita hakupalkkiin: what is daylight saving time?
Kyselylle 1 ja kyselylle 2 indeksivalitse dstinfo.
Kopioi alla oleva DSL-kysely ja liitä se Kysymys Kysely 1 -paneelissa. Tämä on avainsanahakukysely.
Kopioi nyt alla oleva DSL-kysely ja liitä se Kysymys Tämä kysely käynnistää Amazon Kendra Intelligent Ranking -laajennuksen itsehallittavalle OpenSearchille suorittaakseen hakutulosten semanttisen uudelleensijoituksen.
Valitse Haku -painiketta suorittaaksesi kyselyt ja tarkkaillaksesi hakutuloksia. Tuloksessa 1 viimeiseksi sijoittuva osuma on luultavasti itse asiassa osuvin vastaus tähän kyselyyn. Tuloksessa 2 Amazon Kendra Intelligent Rankingin tulosten osuvin vastaus on asetettu oikein ensimmäiseksi.
Nyt kun olet kokenut Amazon Kendra Intelligent Rankingin itsehallittavalle OpenSearchille, kokeile muutamalla omalla kyselylläsi. Käytä jo ladattuja tietoja tai käytä bulk_post.sh komentosarja omien tietojesi lataamiseen.
Tutustu Amazon Kendra ranking rescore API
Kuten tästä viestistä näet, OpenSearchin Amazon Kendra Intelligent Ranking -laajennusta voidaan kätevästi käyttää hakutulostesi semanttiseen uudelleensijoitukseen. Jos kuitenkin käytät hakupalvelua, joka ei tue Amazon Kendra Intelligent Ranking -laajennusta itsehallittuun OpenSearchiin, voit käyttää Rescore toiminto suoraan Amazon Kendra Intelligent Ranking API:sta.
Kokeile tätä APIa käyttämällä yllä käyttämämme esimerkkikyselyn hakutuloksia: mikä on Valkoisen talon osoite?
Etsi ensin suoritussuunnitelmasi tunnuksesi suorittamalla:
Alla oleva JSON sisältää hakukyselyn ja kaksi tulosta, jotka alkuperäinen OpenSearch-hakukysely palautti alkuperäisine OpenSearch-pisteineen. Korvata {kendra-execution-plan_id}
toteutussuunnitelman tunnuksellasi (ylhäältä) ja tallenna se nimellä rescore_input.json:
Suorita alla oleva CLI-komento pisteyttääksesi tämän asiakirjaluettelon Amazon Kendra Intelligent Ranking -palvelun avulla:
Tämän onnistuneen suorituksen tulos näyttää seuraavalta.
Kuten odotettiin, asiakirja tdoc2 (Joka sisältää tekstin runko "Valkoinen talo sijaitsee osoitteessa: 1600 Pennsylvania Avenue NW, Washington, DC 20500”) on nyt korkeampi sijoitus, koska se on semanttisesti osuvampi vastaus kyselyyn. The ResultItems
tulosteen luettelo sisältää jokaisen tulon DocumentId
uuden kanssa Score
, laskevassa järjestyksessä Score
.
Puhdistaa
Kun olet lopettanut kokeilun, sammuta ja poista Docker-säilösi ja Rescore Execution Plan suorittamalla cleanup_resources.sh
Quickstart-skriptillä luotu skripti, esim.
Yhteenveto
Tässä viestissä näytimme sinulle, kuinka voit käyttää Amazon Kendra Intelligent Ranking -laajennusta itsehallittavaan OpenSearchiin, jotta voit helposti lisätä älykkään sijoituksen OpenSearch-asiakirjakyselyihisi ja parantaa merkittävästi tulosten osuvuutta, kun käytät olemassa olevia OpenSearch-hakukoneesi käyttöönottoja.
Voit myös käyttää Amazon Kendra Intelligent Rankingia Rescore API suoraan pisteytä ja luokittele tulokset älykkäästi omista sovelluksistasi.
Lue itsehallinnoidun OpenSearchin Amazon Kendra Intelligent Ranking dokumentointi saadaksesi lisätietoja tästä ominaisuudesta ja alkaa suunnitella sen käyttöä tuotantosovelluksissasi.
Tietoja Tekijät
Abhinav Jawadekar on Amazon Kendraan keskittynyt pääratkaisuarkkitehti AWS:n AI/ML-kielipalvelutiimissä. Abhinav työskentelee AWS-asiakkaiden ja kumppaneiden kanssa auttaakseen heitä rakentamaan älykkäitä hakuratkaisuja AWS:lle.
Bob Strahan on johtava ratkaisuarkkitehti AWS Language AI Services -tiimissä.
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- Platoblockchain. Web3 Metaverse Intelligence. Tietoa laajennettu. Pääsy tästä.
- Lähde: https://aws.amazon.com/blogs/machine-learning/get-smarter-search-results-with-the-amazon-kendra-intelligent-ranking-and-opensearch-plugin/
- 1
- 10
- 100
- 11
- 7
- 70
- 9
- a
- olen
- Meistä
- edellä
- pääsy
- onnettomuudet
- Mukaan
- Tili
- tarkkuus
- tarkka
- poikki
- Toiminta
- todella
- lisä-
- osoite
- admin
- Jälkeen
- eteenpäin
- AI
- Tekoälyn palvelut
- AI / ML
- jo
- Vaikka
- aina
- Amazon
- Amazon EC2
- Amazon Kendra
- ja
- vastaus
- api
- Hakemus
- sovellukset
- käyttää
- huhtikuu
- arizona
- osoitettu
- automatisoida
- automaatti
- Katu
- AWS
- takaisin
- baari
- perustua
- kemut
- koska
- takana
- alle
- hyödyttää
- Hyödyt
- Benjamin
- PARAS
- Paremmin
- välillä
- elin
- Aivot
- Brittiläinen
- British Columbia
- selain
- rakentaa
- sisäänrakennettu
- toimisto
- Kanada
- haasteet
- muuttaa
- selkeä
- Kellot
- tarkasti
- Cloud9
- COLUMBIA
- tuleva
- verrata
- vertailu
- komponentti
- Laskea
- tietokone
- käsite
- Kongressi
- Kongressin
- kytkeä
- liitäntä
- siis
- Harkita
- rakentaa
- Kontti
- Kontit
- sisältää
- pitoisuus
- maahan
- Pari
- luoda
- luotu
- luo
- Valtakirja
- Asiakkaat
- jaksoa
- kojelauta
- tiedot
- päivä
- päivää
- dc
- oletusarvo
- määrittelemällä
- iloinen
- toimitettu
- osoittaa
- käyttöönotot
- määrittää
- ero
- eri
- suoraan
- Satamatyöläinen
- asiakirja
- dokumentointi
- asiakirjat
- ei
- verkkotunnuksen
- Dont
- alas
- dramaattisesti
- kukin
- helposti
- vaikutus
- käytössä
- päättyy
- Moottori
- Moottorit
- enter
- ympäristö
- virhe
- jne.
- esimerkki
- Esimerkit
- suorittaa
- teloitus
- olemassa
- odotettu
- kokenut
- kokeilu
- laajentaminen
- Epäonnistui
- tuttu
- FAQ
- suosivat
- Ominaisuus
- harvat
- Fields
- filee
- Asiakirjat
- Löytää
- Etunimi
- keskityttiin
- seurata
- jälkeen
- muoto
- Entinen
- perustamisen
- alkaen
- täysin
- toiminto
- toiminnallisuus
- maantieteellinen
- saada
- saada
- kätevä
- auttaa
- hyödyllinen
- tätä
- korkeampi
- erittäin
- historia
- Osuma
- Osumien
- Talo
- Miten
- Miten
- Kuitenkin
- HTML
- HTTPS
- vaikuttunut
- parantaa
- parannuksia
- in
- Lisäykset
- indeksi
- indeksit
- Erikseen
- tiedot
- Tiedotteet
- luontainen
- ensimmäinen
- panos
- asentaa
- esimerkki
- sen sijaan
- Älykäs
- tahallisuus
- Tarkoitus
- sisäinen
- esitellä
- esittely
- vedotaan
- osallistuva
- Islands
- kysymykset
- IT
- json
- Pitää
- Kieli
- Sukunimi
- uusin
- OPPIA
- oppiminen
- kirjain
- linja
- Lista
- kuormitus
- paikallinen
- sijaitsevat
- Pitkät
- kauemmin
- katso
- tehdä
- onnistui
- monet
- maaliskuu
- ottelu
- matching
- maksimi
- merkitys
- välineet
- viesti
- vaeltaa
- minuuttia
- kk
- lisää
- eniten
- kansakunta
- kansallinen
- Tarve
- Uusi
- marraskuu
- tarkkailla
- lokakuu
- ONE
- avata
- avoimen lähdekoodin
- openssl
- Tilaisuus
- Vaihtoehto
- Vaihtoehdot
- tilata
- alkuperäinen
- Muut
- ulkona
- oma
- osallistujat
- kumppani
- osat
- Salasana
- Pennsylvania
- Ihmiset
- Suorittaa
- ehkä
- pysyvä
- Oikeudet
- näkökulma
- paikat
- suunnitelma
- suunnittelu
- Platon
- Platonin tietotieto
- PlatonData
- Ole hyvä
- kytkeä
- politiikka
- Kirje
- teho
- voimakas
- puheenjohtaja
- aika
- edellinen
- Pääasiallinen
- todennäköisesti
- tuotanto
- ominaisuudet
- omaisuus
- toimittaa
- tarjoaa
- julkinen
- Portti
- Puerto Rico
- laatu
- kysymys
- sijoittui
- Sijoitus
- valmis
- Vähentynyt
- säännöllinen
- suhde
- Merkitys
- merkityksellinen
- poistaa
- korvata
- tarvitaan
- tutkimus
- resurssi
- vastaus
- johtua
- tulokset
- RICO
- ajaa
- juoksu
- sama
- Säästä
- tallentaa
- SC
- pisteytys
- skriptejä
- Haku
- hakukone
- Hakukoneet
- Toinen
- Itsepalvelu
- semantiikka
- palvelu
- Palvelut
- setti
- setup
- näyttää
- esitetty
- sulkea
- samankaltainen
- Yksinkertainen
- yksinkertaisesti
- Sivustot
- Koko
- pieni
- fiksummin
- So
- Pehmeä
- ratkaisu
- Ratkaisumme
- SOLVE
- jonkin verran
- lähde
- Lähteet
- erityinen
- Alkaa
- alkoi
- Lausunto
- Valtiot
- Vaihe
- Yhä
- onnistunut
- niin
- tuki
- järjestelmä
- joukkue-
- terminaali
- ehdot
- testi
- -
- heidän
- aika
- aikaikkuna
- Otsikko
- että
- tänään
- työkalu
- ylin
- Yhteensä
- matkailu
- kuljetus
- oppitunti
- tyypit
- meille
- varten
- Yhtenäinen
- Yhdysvallat
- URL
- käyttää
- käyttäjä
- VAHVISTA
- arvo
- arvot
- versio
- Neitsyt
- odottaa
- Washington
- verkko
- Mitä
- Mikä on
- onko
- joka
- vaikka
- valkoinen
- Valkoinen talo
- tulee
- ilman
- sana
- sanoja
- toimii
- maailman-
- olisi
- Voit
- Sinun
- zephyrnet