Ha volt lehetősége nyílt forráskódú vagy kereskedelmi forgalomban kapható keresőmotorok segítségével strukturálatlan adatokhoz keresőalkalmazást készíteni (pl. wiki, információs webhelyek, önkiszolgáló súgóoldalak, belső dokumentáció stb.), akkor valószínűleg ismeri a releváns keresési eredmények elérésével járó pontossági kihívásokat. Mind a lekérdezés, mind a dokumentum szándékolt jelentése elveszhet, mert a keresés az összetevő kulcsszavaira és kifejezéseire redukálódik. Következésképpen, bár olyan eredményeket kap, amelyek tartalmazhatják a megfelelő szavakat, azok nem mindig relevánsak a felhasználó számára. Intelligensebbnek kell lennie keresőmotorjának, hogy rangsorolhassa a dokumentumokat a tartalom jelentésének vagy szemantikájának és a felhasználó lekérdezésének szándékának megfeleltetése alapján.
Amazon Kendra teljes körűen felügyelt intelligens keresési szolgáltatást biztosít, amely automatizálja a dokumentumok feldolgozását, és rendkívül pontos keresési és GYIK-eredményeket biztosít számos adatforrásból származó tartalom alapján. Ha még nem költözött át az Amazon Kendrára, és szeretné javítani a keresési eredmények minőségét, használhatja az Amazon Kendra Intelligent Ranking szolgáltatást az önállóan kezelt OpenSearch szolgáltatáshoz a meglévő keresési megoldásán.
Örömmel mutatjuk be az újdonságot Amazon Kendra intelligens rangsor az önállóan kezelt OpenSearch-hez, és a hozzá tartozó kiegészítő bővítmény a OpenSearch keresőmotor! Mostantól könnyedén hozzáadhat intelligens rangsorolást OpenSearch dokumentumlekérdezéseihez anélkül, hogy migrálnia, megkettőznie az OpenSearch indexeit vagy átírnia alkalmazásait. Az Amazon Kendra intelligens rangsorolása az önállóan menedzselt OpenSearch és a teljesen felügyelt Amazon Kendra szolgáltatás között az a különbség, hogy míg az előbbi hatékony szemantikai átsorolást biztosít a keresési eredményekhez, a későbbi további javításokat és funkciókat biztosít a keresési pontosság terén, például növekményes tanulást, kérdéseket. válaszadás, GYIK egyeztetés és beépített csatlakozók. A teljes körűen felügyelt szolgáltatással kapcsolatos további információkért látogassa meg a Amazon Kendra szolgáltatási oldal.
Az Amazon Kendra Intelligent Ranking segítségével az önállóan kezelt OpenSearch-hez a korábbi eredmények, mint például:
Keresés: Mi a Fehér Ház címe?
Hit1 (legjobb): Az elnök ma beszédet mondott a nemzethez a Fehér Házból.
Hit2: A Fehér Ház címe: 1600 Pennsylvania Avenue NW, Washington, DC 20500
ilyenné váljon:
Keresés: Mi a Fehér Ház címe?
Hit1 (legjobb): A Fehér Ház címe: 1600 Pennsylvania Avenue NW, Washington, DC 20500
Hit2: Az elnök ma beszédet mondott a nemzethez a Fehér Házból.
Ebben a bejegyzésben bemutatjuk, hogyan kezdje meg az Amazon Kendra Intelligent Ranking használatát az önállóan kezelt OpenSearch rendszerhez, és mutatunk néhány példát, amelyek bemutatják ennek a funkciónak az erejét és értékét.
Az Amazon Kendra Intelligent Ranking összetevői az önállóan kezelt OpenSearch számára
Előfeltételek
Ehhez az oktatóanyaghoz egy bash terminálra lesz szüksége Linux, Macvagy Windows alrendszer Linux alatt, Valamint egy AWS-fiók. Tipp: fontolja meg egy Amazon Cloud9 példány vagy egy Amazon rugalmas számítási felhő (Amazon EC2) példány.
Fogsz:
- Telepítse a Dockert, ha még nincs telepítve a rendszerére.
- Telepítse a legújabbat AWS parancssori interfész (AWS CLI), ha még nincs telepítve.
- Hozzon létre és indítson OpenSearch konténereket az Amazon Kendra Intelligent Ranking bővítmény engedélyezésével.
- Hozzon létre tesztindexeket, és töltsön be néhány mintadokumentumot.
- Futtasson le néhány lekérdezést intelligens rangsorolással és anélkül, és kellően lenyűgözi a különbségeket!
Telepítse a Dockert
Ha a Docker (pl. docker
és a docker-compose
) még nincs telepítve a környezetében, akkor telepítse. Lát Szerezd meg a Dockert irányokhoz.
Telepítse az AWS CLI-t
Ha még nincs telepítve az AWS CLI legújabb verziója, telepítse és konfigurálja most (lásd: AWS CLI Kezdő lépések). Az alapértelmezett AWS-felhasználói hitelesítési adatoknak rendszergazdai hozzáféréssel kell rendelkezniük, vagy kérje meg az AWS-rendszergazdát, hogy adja hozzá a következő házirendet felhasználói engedélyeihez:
Hozzon létre és indítsa el az OpenSearch programot a Quickstart szkript segítségével
Töltse le a search_processing_kendra_quickstart.sh
forgatókönyv:
A gyorsindítási szkript:
- Létrehoz egy Amazon Kendra Intelligent Ranking Rescore végrehajtási tervet az AWS-fiókjában.
- Docker-tárolókat hoz létre az OpenSearch-hez és irányítópultjaihoz.
- Beállítja az OpenSearch-t a Kendra Intelligent Ranking Service használatára.
- Elindítja az OpenSearch szolgáltatásokat.
- Hasznos útmutatást ad a szolgáltatás használatához.
Használja a --help
opciót a parancssori opciók megtekintéséhez:
Most futtassa a szkriptet az Amazon Kendra és az OpenSearch beállításának automatizálásához:
Ez az! Az OpenSearch és az OpenSearch irányítópult tárolói már üzemelnek és futnak.
Olvassa el a gyorsindítási parancsfájl kimeneti üzenetét, és jegyezze fel azt a könyvtárat, ahol futtathatja a praktikát docker-compose
parancsokat, és a cleanup_resources.sh
szkripteket.
Próbáljon meg egy tesztlekérdezést annak ellenőrzésére, hogy csatlakozhat-e az OpenSearch tárolójához:
Vegye figyelembe, hogy ha a hibaüzenetet kapja curl(35):OpenSSL SSL_connect: SSL_ERROR_SYSCALL in connection to localhost:9200
, ez azt jelenti, hogy az OpenSearch még mindig jön. Kérjük, várjon néhány percet, hogy az OpenSearch készen álljon, majd próbálja újra.
Hozzon létre tesztindexeket és töltsön be mintadokumentumokat
Az alábbi parancsfájl index létrehozására és mintadokumentumok betöltésére szolgál. Mentse el a számítógépére más néven bulk_post.sh:
Mentse el az alábbi adatfájlokat másként tinydocs.jsonl:
És mentse el az alábbi adatfájlt mint dstinfo.jsonl:
(Ez az adat ebből származik Nyári időszámítás cikk).
Tegye végrehajthatóvá a szkriptet:
Most használja a bulk_post.sh szkript az indexek létrehozásához és az adatok betöltéséhez az alábbi két parancs futtatásával:
Futtasson mintalekérdezéseket
Készítsen lekérdezési szkripteket
Az OpenSearch lekérdezések a JSON-ban az OpenSearch használatával vannak meghatározva domain-specifikus nyelv lekérdezése (DSL). Ehhez a bejegyzéshez a Linux curl parancs segítségével lekérdezéseket küldhet a helyi OpenSearch szerverünknek HTTPS használatával.
Ennek megkönnyítése érdekében két kis szkriptet definiáltunk a lekérdezés DSL létrehozásához, és elküldéséhez az OpenSearch-nek.
Az első szkript normál OpenSearch szövegegyezési lekérdezést hoz létre két dokumentummezőben – cím és a test. További információért tekintse meg az OpenSearch dokumentációját több egyezésű lekérdezés szintaxisa. A lekérdezést nagyon egyszerűnek tartottuk, de később kísérletezhet az alternatív lekérdezési típusok meghatározásával.
Mentse el az alábbi szkriptet másként query_nokendra.sh:
A második szkript hasonló az elsőhöz, de ezúttal hozzáadunk egy lekérdezési kiterjesztést, amely arra utasítja az OpenSearch-t, hogy utófeldolgozási lépésként hívja meg az Amazon Kendra Intelligent Ranking beépülő modult, hogy az Amazon Kendra Intelligent Ranking szolgáltatás segítségével újra besorolja az eredeti eredményeket.
A size
A tulajdonság határozza meg, hogy hány OpenSearch eredménydokumentumot küldenek el Kendrának az újrarangsorolás céljából. Itt maximum 20 eredményt adunk meg az újrarangsoroláshoz. Két ingatlan, title_field
(nem kötelező) és body_field
(kötelező), adja meg az intelligens rangsoroláshoz használt dokumentummezőket.
Mentse el az alábbi szkriptet másként query_kendra.sh:
Mindkét szkriptet tegye futtathatóvá:
Kezdő lekérdezések futtatása
Kezdje egy egyszerű lekérdezéssel a tinydocs index, a bevezetőben használt példa reprodukálásához.
Használja a query_nokendra.sh
script a Fehér Ház címének megkereséséhez:
Az alábbiakban láthatja az eredményeket. Figyelje meg a két eredmény sorrendjét, amelyeket az OpenSearch szövegegyezési lekérdezés által adott pontszám alapján rangsorolnak. Bár a legjobb pontszámot elért eredmény tartalmazza a kulcsszavakat cím és a Fehér Ház, egyértelmű, hogy a jelentés nem egyezik a kérdés céljával. A kulcsszavak egyeznek, de a szemantika nem.
Most futtassuk le a lekérdezést az Amazon Kendra Intelligent Ranking segítségével, a query_kendra.sh
forgatókönyv:
Ezúttal az eredményeket más sorrendben láthatja, mint az alább látható. Az Amazon Kendra Intelligent Ranking szolgáltatás újra hozzárendelte a pontszámértékeket, és magasabb pontszámot rendelt a dokumentumhoz, amely jobban megfelel a lekérdezés szándékának. A kulcsszó szempontjából ez gyengébb egyezés, mert nem tartalmazza a szót cím; azonban szemantikai szempontból ez a jobb válasz. Most már látja az Amazon Kendra Intelligent Ranking bővítmény használatának előnyeit!
Futtasson további lekérdezéseket, és hasonlítsa össze a keresési eredményeket
Próbálja ki most a dstinfo indexet, hogy megtudja, hogyan működik ugyanaz a fogalom különböző adatokkal és lekérdezésekkel. Miközben használhatja a szkripteket query_nokendra.sh és a query_kendra.sh parancssorból történő lekérdezéshez használjuk helyette a OpenSearch irányítópultok Keresési eredmények összehasonlítása beépülő modul lekérdezések futtatásához és a keresési eredmények összehasonlításához.
Illessze be a helyi irányítópultok URL-jét a böngészőbe: http://localhost:5601/app/searchRelevance – / az irányítópult-összehasonlító eszköz eléréséhez. Használja az alapértelmezett hitelesítő adatokat: Felhasználónév: admin, Jelszó: admin.
A keresősávba írja be: what is daylight saving time?
Az 1. és a 2. lekérdezéshez indexválassza dstinfo.
Másolja ki az alábbi DSL-lekérdezést, és illessze be a Kérdés panelen az 1. lekérdezés alatt. Ez egy kulcsszavas keresési lekérdezés.
Most másolja ki az alábbi DSL-lekérdezést, és illessze be a Kérdés Ez a lekérdezés meghívja az Amazon Kendra Intelligent Ranking beépülő modult az önállóan kezelt OpenSearch-hez a keresési eredmények szemantikai újrarangsorolásához.
Válassza a Keresés gombot a lekérdezések futtatásához és a keresési eredmények megfigyeléséhez. Az 1. eredményben az utolsó helyen lévő találat valószínűleg a legrelevánsabb válasz erre a lekérdezésre. A 2. eredményben az Amazon Kendra Intelligent Ranking kimenetében a legrelevánsabb válasz szerepel az első helyen.
Most, hogy megtapasztalta az Amazon Kendra intelligens rangsorolását az önállóan kezelt OpenSearch-hez, kísérletezzen néhány saját lekérdezéssel. Használja a már betöltött adatokat, vagy használja a bulk_post.sh szkript a saját adatainak betöltéséhez.
Fedezze fel az Amazon Kendra ranking rescore API-t
Amint ebből a bejegyzésből láthatta, az OpenSearch Amazon Kendra Intelligent Ranking beépülő modulja kényelmesen használható a keresési eredmények szemantikai átsorolására. Ha azonban olyan keresőszolgáltatást használ, amely nem támogatja az Amazon Kendra Intelligent Ranking beépülő modult a saját maga által kezelt OpenSearch-hez, akkor használhatja a Rescore funkciót közvetlenül az Amazon Kendra Intelligent Ranking API-ból.
Próbálja ki ezt az API-t a fent használt példalekérdezés keresési eredményeivel: mi a Fehér Ház címe?
Először keresse meg a végrehajtási terv azonosítóját a következő futtatásával:
Az alábbi JSON tartalmazza a keresési lekérdezést és az eredeti OpenSearch egyezési lekérdezés által visszaadott két eredményt az eredeti OpenSearch pontszámokkal. Cserélje ki {kendra-execution-plan_id}
a végrehajtási terv azonosítójával (felülről), és mentse el másként rescore_input.json:
Futtassa az alábbi CLI parancsot, hogy újra pontozza ezt a dokumentumlistát az Amazon Kendra Intelligent Ranking szolgáltatással:
Ennek sikeres végrehajtásának eredménye az alábbiak szerint fog kinézni.
Ahogy az várható volt, a dokumentum tdoc2 (tartalmazó szövegtörzs "A Fehér Ház címe: 1600 Pennsylvania Avenue NW, Washington, DC 20500”) most a magasabb rangú, mivel szemantikailag relevánsabb válasz a lekérdezésre. Az ResultItems
A kimenet listája minden bemenetet tartalmaz DocumentId
újjával Score
, csökkenő sorrendben Score
.
Tisztítsuk meg
Ha végzett a kísérlettel, állítsa le, és távolítsa el a Docker-tárolókat és a Rescore végrehajtási tervet a cleanup_resources.sh
a Quickstart szkript által létrehozott szkript, pl.:
Következtetés
Ebben a bejegyzésben bemutattuk, hogyan használhatja az Amazon Kendra Intelligent Ranking beépülő modult az önállóan kezelt OpenSearch-hez, hogy egyszerűen intelligens rangsorolást adhasson OpenSearch dokumentumlekérdezéseihez, hogy drámai módon javítsa az eredmények relevancia szerinti rangsorolását, miközben használja a meglévő OpenSearch keresőmotorokat.
Használhatja az Amazon Kendra intelligens rangsort is Rescore API közvetlenül a intelligensen újrapontozhatja és rangsorolja az eredményeket saját alkalmazásaiból.
Olvassa el az Amazon Kendra Intelligens Rangsort az önállóan kezelt OpenSearch-hez dokumentáció hogy többet megtudjon erről a funkcióról, és elkezdje tervezni az alkalmazását az éles alkalmazásokban.
A szerzőkről
Abhinav Jawadekar az AWS AI/ML nyelvi szolgáltatások csapatában az Amazon Kendrára összpontosító fő megoldások építésze. Az Abhinav együttműködik az AWS-ügyfelekkel és -partnerekkel, hogy segítsen nekik intelligens keresési megoldásokat kiépíteni az AWS-en.
Bob Strahan az AWS Language AI Services csapatának fő megoldástervezője.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- Platoblockchain. Web3 metaverzum intelligencia. Felerősített tudás. Hozzáférés itt.
- Forrás: https://aws.amazon.com/blogs/machine-learning/get-smarter-search-results-with-the-amazon-kendra-intelligent-ranking-and-opensearch-plugin/
- 1
- 10
- 100
- 11
- 7
- 70
- 9
- a
- am
- Rólunk
- felett
- hozzáférés
- balesetek
- Szerint
- Fiók
- pontosság
- pontos
- át
- Akció
- tulajdonképpen
- További
- cím
- admin
- Után
- előre
- AI
- AI szolgáltatások
- AI / ML
- már
- Bár
- mindig
- amazon
- Amazon EC2
- Amazon Kendra
- és a
- válasz
- api
- Alkalmazás
- alkalmazások
- alkalmaz
- április
- arizona
- kijelölt
- automatizált
- automaták
- Sugárút
- AWS
- vissza
- bár
- alapján
- horpadás
- mert
- mögött
- lent
- haszon
- Előnyök
- Benjámin
- BEST
- Jobb
- között
- test
- Agy
- Brit
- Brit Columbia
- böngésző
- épít
- beépített
- Hivatal
- Kanada
- kihívások
- változik
- világos
- Órák
- szorosan
- Cloud9
- KOLUMBIA
- érkező
- összehasonlítani
- összehasonlítás
- összetevő
- Kiszámít
- számítógép
- koncepció
- Kongresszus
- Kongresszusi
- Csatlakozás
- kapcsolat
- Következésképpen
- Fontolja
- konstrukció
- Konténer
- Konténerek
- tartalmaz
- tartalom
- országok
- Pár
- teremt
- készítette
- teremt
- Hitelesítő adatok
- Ügyfelek
- ciklusok
- műszerfal
- dátum
- nap
- Nap
- dc
- alapértelmezett
- meghatározó
- elragadtatva
- szállított
- bizonyítani
- bevetések
- meghatározza
- különbség
- különböző
- közvetlenül
- Dokkmunkás
- dokumentum
- dokumentáció
- dokumentumok
- Nem
- domain
- ne
- le-
- drámaian
- minden
- könnyen
- hatás
- engedélyezve
- vége
- Motor
- Motorok
- belép
- Környezet
- hiba
- stb.
- példa
- példák
- kivégez
- végrehajtás
- létező
- várható
- tapasztalt
- kísérlet
- kiterjesztés
- Sikertelen
- ismerős
- FAQ
- kedvez
- Funkció
- kevés
- Fields
- filé
- Fájlok
- Találjon
- vezetéknév
- összpontosított
- következik
- következő
- forma
- Korábbi
- alapító
- ból ből
- teljesen
- funkció
- funkcionalitás
- földrajzi
- kap
- szerzés
- ügyes
- segít
- hasznos
- itt
- <p></p>
- nagyon
- történelem
- Találat
- Találat
- Ház
- Hogyan
- How To
- azonban
- HTML
- HTTPS
- lenyűgözött
- javul
- fejlesztések
- in
- Növeli
- index
- indexek
- Egyénileg
- információ
- Tájékoztató
- velejáró
- kezdetben
- bemenet
- telepíteni
- példa
- helyette
- Intelligens
- A szándék
- Szándék
- belső
- bevezet
- Bevezetés
- behívja
- részt
- -szigetek
- kérdések
- IT
- json
- Tart
- nyelv
- keresztnév
- legutolsó
- TANUL
- tanulás
- levél
- vonal
- Lista
- kiszámításának
- helyi
- található
- Hosszú
- hosszabb
- néz
- csinál
- sikerült
- sok
- március
- Mérkőzés
- egyező
- maximális
- jelenti
- eszközök
- üzenet
- vándorol
- Perc
- hónap
- több
- a legtöbb
- nemzet
- nemzeti
- Szükség
- Új
- november
- megfigyelni
- október
- ONE
- nyitva
- nyílt forráskódú
- openssl
- Alkalom
- opció
- Opciók
- érdekében
- eredeti
- Más
- szabadban
- saját
- résztvevők
- partnerek
- alkatrészek
- Jelszó
- Pennsylvania
- Emberek (People)
- Teljesít
- talán
- állandó
- engedélyek
- perspektíva
- Helyek
- terv
- tervezés
- Plató
- Platón adatintelligencia
- PlatoData
- kérem
- csatlakoztat
- politika
- állás
- hatalom
- erős
- elnök
- szép
- előző
- Fő
- valószínűleg
- Termelés
- ingatlanait
- ingatlan
- ad
- biztosít
- nyilvános
- Kikötő
- Puerto Rico
- világítás
- kérdés
- rangsorolt
- Ranking
- kész
- Csökkent
- szabályos
- kapcsolat
- relevancia
- eltávolítása
- cserélni
- kötelező
- kutatás
- forrás
- válasz
- eredményez
- Eredmények
- RICO
- futás
- futás
- azonos
- Megtakarítás
- megtakarítás
- SC
- pontozás
- szkriptek
- Keresés
- kereső
- Keresők
- Második
- Önkiszolgáló
- szemantika
- szolgáltatás
- Szolgáltatások
- készlet
- felépítés
- előadás
- mutatott
- Állítsa le
- hasonló
- Egyszerű
- egyszerűen
- Webhely (ek)
- Méret
- kicsi
- intelligensebb
- So
- Puha
- megoldások
- Megoldások
- SOLVE
- néhány
- forrás
- Források
- különleges
- kezdet
- kezdődött
- nyilatkozat
- Államok
- Lépés
- Még mindig
- sikeres
- ilyen
- támogatás
- rendszer
- csapat
- terminál
- feltételek
- teszt
- A
- azok
- idő
- időkeret
- Cím
- nak nek
- Ma
- szerszám
- felső
- Végösszeg
- Idegenforgalom
- szállítás
- oktatói
- típusok
- nekünk
- alatt
- Egyesült
- Egyesült Államok
- URL
- használ
- használó
- ÉRVÉNYESÍT
- érték
- Értékek
- változat
- Szűz
- várjon
- washington
- háló
- Mit
- Mi
- vajon
- ami
- míg
- fehér
- Fehér Ház
- lesz
- nélkül
- szó
- szavak
- művek
- világ
- lenne
- te
- A te
- zephyrnet