Jika Anda memiliki kesempatan untuk membangun aplikasi pencarian untuk data tidak terstruktur (yaitu, wiki, situs web informasi, halaman bantuan layanan mandiri, dokumentasi internal, dll.) menggunakan sumber terbuka atau mesin pencari komersial, maka Anda mungkin akrab dengan tantangan akurasi yang melekat yang terlibat dalam mendapatkan hasil pencarian yang relevan. Arti yang dimaksud dari kueri dan dokumen dapat hilang karena pencarian direduksi menjadi kata kunci dan istilah komponen yang cocok. Akibatnya, meskipun Anda mendapatkan hasil yang mungkin berisi kata yang tepat, hasil tersebut tidak selalu relevan bagi pengguna. Anda membutuhkan mesin pencari Anda untuk menjadi lebih pintar sehingga dapat memeringkat dokumen berdasarkan pencocokan makna atau semantik konten dengan maksud permintaan pengguna.
AmazonKendra menyediakan layanan pencarian cerdas terkelola sepenuhnya yang mengotomatiskan penyerapan dokumen dan memberikan hasil pencarian dan FAQ yang sangat akurat berdasarkan konten di banyak sumber data. Jika Anda belum bermigrasi ke Amazon Kendra dan ingin meningkatkan kualitas hasil pencarian, Anda dapat menggunakan Amazon Kendra Intelligent Ranking untuk OpenSearch yang dikelola sendiri pada solusi pencarian yang ada.
Kami senang memperkenalkan yang baru Peringkat Cerdas Amazon Kendra untuk OpenSearch yang dikelola sendiri, dan plugin pendampingnya untuk Pencarian Terbuka mesin pencari! Sekarang Anda dapat dengan mudah menambahkan peringkat cerdas ke kueri dokumen OpenSearch, tanpa perlu bermigrasi, menggandakan indeks OpenSearch, atau menulis ulang aplikasi Anda. Perbedaan antara Amazon Kendra Intelligent Ranking untuk OpenSearch yang dikelola sendiri dan layanan Amazon Kendra yang dikelola sepenuhnya adalah bahwa sementara yang pertama memberikan peringkat ulang semantik yang kuat untuk hasil pencarian, yang berikutnya memberikan peningkatan dan fungsi akurasi pencarian tambahan seperti pembelajaran inkremental, pertanyaan penjawab, pencocokan FAQ, dan konektor bawaan. Untuk informasi lebih lanjut tentang layanan yang dikelola sepenuhnya, silakan kunjungi halaman layanan Amazon Kendra.
Dengan Amazon Kendra Intelligent Ranking untuk OpenSearch yang dikelola sendiri, hasil sebelumnya seperti ini:
Query: Di mana alamat Gedung Putih?
Hit1 (terbaik): Presiden menyampaikan pidato kenegaraan dari Gedung Putih hari ini.
Pukulan 2: Gedung Putih terletak di: 1600 Pennsylvania Avenue NW, Washington, DC 20500
menjadi seperti ini:
Query: Di mana alamat Gedung Putih?
Hit1 (terbaik): Gedung Putih terletak di: 1600 Pennsylvania Avenue NW, Washington, DC 20500
Pukulan 2: Presiden menyampaikan pidato kenegaraan dari Gedung Putih hari ini.
Dalam postingan ini, kami menunjukkan kepada Anda cara memulai Amazon Kendra Intelligent Ranking untuk OpenSearch yang dikelola sendiri, dan kami menyediakan beberapa contoh yang menunjukkan kekuatan dan nilai fitur ini.
Komponen Peringkat Cerdas Amazon Kendra untuk OpenSearch yang dikelola sendiri
Prasyarat
Untuk tutorial ini, Anda memerlukan terminal bash Linux, Mac, atau Windows Subsystem untuk Linux, Dan Akun AWS. Petunjuk: pertimbangkan untuk menggunakan instans Amazon Cloud9 atau Cloud komputasi elastis Amazon (Amazon EC2) contoh.
Kamu akan:
- Instal Docker, jika belum terinstal di sistem Anda.
- Instal yang terbaru Antarmuka Baris Perintah AWS (AWS CLI), jika belum diinstal.
- Buat dan mulai wadah OpenSearch, dengan plugin Amazon Kendra Intelligent Ranking diaktifkan.
- Buat indeks pengujian, dan muat beberapa dokumen sampel.
- Jalankan beberapa kueri, dengan dan tanpa peringkat yang cerdas, dan kagumi perbedaannya!
Instal Docker
Jika Docker (yaitu, docker
dan docker-compose
) belum terinstal di lingkungan Anda, lalu instal. Lihat Dapatkan Docker untuk petunjuk arah.
Instal AWS CLI
Jika Anda belum menginstal AWS CLI versi terbaru, instal dan konfigurasikan sekarang (lihat AWS CLI Memulai). Kredensial pengguna AWS default Anda harus memiliki akses administrator, atau minta administrator AWS Anda untuk menambahkan kebijakan berikut ke izin pengguna Anda:
Buat dan mulai OpenSearch menggunakan skrip Quickstart
Download search_processing_kendra_quickstart.sh
naskah:
Skrip quickstart:
- Membuat Rencana Eksekusi Skor Amazon Kendra Intelligent Ranking di akun AWS Anda.
- Membuat wadah Docker untuk OpenSearch dan Dasbornya.
- Mengonfigurasi OpenSearch untuk menggunakan Kendra Intelligent Ranking Service.
- Memulai layanan OpenSearch.
- Memberikan panduan bermanfaat untuk menggunakan layanan ini.
Gunakan --help
opsi untuk melihat opsi baris perintah:
Sekarang, jalankan skrip untuk mengotomatiskan pengaturan Amazon Kendra dan OpenSearch:
Itu dia! Kontainer OpenSearch dan OpenSearch Dashboard sekarang aktif dan berjalan.
Baca pesan keluaran dari skrip quickstart, dan catat direktori tempat Anda dapat menjalankan handy docker-compose
perintah, dan cleanup_resources.sh
Script.
Coba kueri pengujian untuk memvalidasi Anda dapat terhubung ke wadah OpenSearch Anda:
Perhatikan bahwa jika Anda mendapatkan kesalahan curl(35):OpenSSL SSL_connect: SSL_ERROR_SYSCALL in connection to localhost:9200
, artinya OpenSearch masih akan datang. Harap tunggu beberapa menit hingga OpenSearch siap dan coba lagi.
Buat indeks pengujian dan muat dokumen sampel
Skrip di bawah ini digunakan untuk membuat indeks dan memuat contoh dokumen. Simpan di komputer Anda sebagai bulk_post.sh:
Simpan file data di bawah ini sebagai tinydocs.jsonl:
Dan simpan file data di bawah ini sebagai dstinfo.jsonl:
(Data ini diadaptasi dari Artikel Daylight Saving Time).
Jadikan skrip dapat dieksekusi:
Sekarang gunakan bulk_post.sh skrip untuk membuat indeks dan memuat data dengan menjalankan dua perintah di bawah ini:
Jalankan kueri sampel
Siapkan skrip kueri
Kueri OpenSearch ditentukan dalam JSON menggunakan OpenSearch permintaan bahasa khusus domain (DSL). Untuk posting ini, kami menggunakan keriting Linux perintah untuk mengirim kueri ke server OpenSearch lokal kami menggunakan HTTPS.
Untuk membuatnya mudah, kami telah menetapkan dua skrip kecil untuk menyusun DSL kueri kami dan mengirimkannya ke OpenSearch.
Skrip pertama membuat kueri pencocokan teks OpenSearch biasa pada dua bidang dokumen โ judul dan tubuh. Lihat dokumentasi OpenSearch untuk lebih lanjut tentang sintaks kueri multi-kecocokan. Kami membuat kueri sangat sederhana, tetapi Anda dapat bereksperimen nanti dengan menentukan jenis kueri alternatif.
Simpan skrip di bawah ini sebagai query_nokendra.sh:
Skrip kedua mirip dengan yang pertama, tetapi kali ini kami menambahkan ekstensi kueri untuk menginstruksikan OpenSearch untuk mengaktifkan plugin Amazon Kendra Intelligent Ranking sebagai langkah pasca-pemrosesan untuk memberi peringkat ulang hasil asli menggunakan layanan Amazon Kendra Intelligent Ranking.
Grafik size
properti menentukan berapa banyak dokumen hasil OpenSearch yang dikirim ke Kendra untuk pemeringkatan ulang. Di sini, kami menentukan maksimal 20 hasil untuk pemeringkatan ulang. Dua properti, title_field
(opsional) dan body_field
(wajib), tentukan bidang dokumen yang digunakan untuk pemeringkatan cerdas.
Simpan skrip di bawah ini sebagai query_kendra.sh:
Jadikan kedua skrip dapat dieksekusi:
Jalankan kueri awal
Mulailah dengan kueri sederhana di tinydocs indeks, untuk mereproduksi contoh yang digunakan dalam pengantar posting.
Gunakan query_nokendra.sh
script untuk mencari alamat Gedung Putih:
Anda melihat hasil yang ditunjukkan di bawah ini. Amati urutan kedua hasil, yang diberi peringkat berdasarkan skor yang diberikan oleh kueri pencocokan teks OpenSearch. Meskipun hasil skor teratas memang mengandung kata kunci alamat dan Gedung Putih, jelas artinya tidak sesuai dengan maksud pertanyaannya. Kata kuncinya cocok, tetapi semantiknya tidak.
Sekarang mari jalankan kueri dengan Amazon Kendra Intelligent Ranking, menggunakan query_kendra.sh
naskah:
Kali ini, Anda melihat hasilnya dalam urutan yang berbeda seperti yang ditunjukkan di bawah ini. Layanan Amazon Kendra Intelligent Ranking telah menetapkan ulang nilai skor, dan menetapkan skor yang lebih tinggi ke dokumen yang lebih cocok dengan maksud kueri. Dari perspektif kata kunci, ini adalah pencocokan yang lebih buruk karena tidak mengandung kata tersebut alamat; namun, dari perspektif semantik, ini adalah respons yang lebih baik. Sekarang Anda melihat manfaat menggunakan plugin Amazon Kendra Intelligent Ranking!
Jalankan kueri tambahan dan bandingkan hasil penelusuran
Coba indeks dstinfo sekarang, untuk melihat bagaimana konsep yang sama bekerja dengan data dan kueri yang berbeda. Meskipun Anda dapat menggunakan skrip query_nokendra.sh dan query_kendra.sh untuk membuat kueri dari baris perintah, mari kita gunakan Dasbor OpenSearch Bandingkan Plugin Hasil Pencarian untuk menjalankan kueri dan membandingkan hasil penelusuran.
Rekatkan URL Dasbor lokal ke browser Anda: http://localhost:5601/app/searchRelevance โ / untuk mengakses alat perbandingan dasbor. Gunakan kredensial default: Nama pengguna: admin, Kata sandi: admin.
Di bilah pencarian, masukkan: what is daylight saving time?
Untuk Kueri 1 dan Kueri 2 indeks, pilih infodst.
Salin kueri DSL di bawah dan tempel di Pertanyaan panel di bawah Kueri 1. Ini adalah kueri penelusuran kata kunci.
Sekarang salin kueri DSL di bawah dan tempel di Pertanyaan panel di bawah Kueri 2. Kueri ini memanggil plugin Amazon Kendra Intelligent Ranking untuk OpenSearch yang dikelola sendiri untuk melakukan peringkat ulang semantik dari hasil pencarian.
Pilih Pencarian tombol untuk menjalankan kueri dan mengamati hasil pencarian. Di Hasil 1, peringkat hit terakhir mungkin sebenarnya adalah respons paling relevan untuk kueri ini. Di Hasil 2, keluaran dari Amazon Kendra Intelligent Ranking memiliki jawaban yang paling relevan dengan peringkat pertama yang benar.
Sekarang Anda telah mengalami Amazon Kendra Intelligent Ranking untuk OpenSearch yang dikelola sendiri, bereksperimenlah dengan beberapa kueri Anda sendiri. Gunakan data yang sudah kami muat atau gunakan bulk_post.sh skrip untuk memuat data Anda sendiri.
Jelajahi API skor ulang peringkat Amazon Kendra
Seperti yang telah Anda lihat dari postingan ini, plugin Amazon Kendra Intelligent Ranking untuk OpenSearch dapat dengan mudah digunakan untuk pemeringkatan ulang semantik hasil pencarian Anda. Namun, jika Anda menggunakan layanan pencarian yang tidak mendukung plugin Amazon Kendra Intelligent Ranking untuk OpenSearch yang dikelola sendiri, Anda dapat menggunakan Skor ulang fungsi dari Amazon Kendra Intelligent Ranking API secara langsung.
Coba API ini menggunakan hasil pencarian dari kueri contoh yang kami gunakan di atas: di mana alamat Gedung Putih?
Pertama, temukan ID Rencana Eksekusi Anda dengan menjalankan:
JSON di bawah berisi kueri penelusuran, dan dua hasil yang dikembalikan oleh kueri pencocokan OpenSearch asli, dengan skor OpenSearch aslinya. Mengganti {kendra-execution-plan_id}
dengan Id Rencana Eksekusi Anda (dari atas) dan simpan sebagai skor_input.json:
Jalankan perintah CLI di bawah untuk menskor ulang daftar dokumen ini menggunakan layanan Amazon Kendra Intelligent Ranking:
Output dari eksekusi yang berhasil akan terlihat seperti di bawah ini.
Seperti yang diharapkan, dokumen tdoc2 (yang berisi badan teks "Gedung Putih terletak di: 1600 Pennsylvania Avenue NW, Washington, DC 20500โ) sekarang memiliki peringkat yang lebih tinggi, karena ini adalah respons semantik yang lebih relevan untuk kueri. Itu ResultItems
list di output berisi setiap input DocumentId
dengan yang baru Score
, peringkat dalam urutan menurun dari Score
.
Membersihkan
Setelah selesai bereksperimen, matikan, dan hapus kontainer Docker dan Rescore Execution Plan dengan menjalankan cleanup_resources.sh
skrip yang dibuat oleh skrip Quickstart, misalnya:
Kesimpulan
Dalam postingan ini, kami menunjukkan kepada Anda cara menggunakan plugin Amazon Kendra Intelligent Ranking untuk OpenSearch yang dikelola sendiri agar dapat dengan mudah menambahkan peringkat cerdas ke kueri dokumen OpenSearch Anda untuk secara dramatis meningkatkan relevansi peringkat hasil, saat menggunakan penerapan mesin pencari OpenSearch yang ada.
Anda juga dapat menggunakan Amazon Kendra Intelligent Ranking API Skor Ulang langsung ke dengan cerdas menilai ulang dan memberi peringkat hasil dari aplikasi Anda sendiri.
Baca Amazon Kendra Intelligent Ranking untuk OpenSearch yang dikelola sendiri dokumentasi untuk mempelajari lebih lanjut tentang fitur ini, dan mulai merencanakan untuk menerapkannya di aplikasi produksi Anda.
Tentang Penulis
Abhinav Jawadekar adalah Arsitek Solusi Utama yang berfokus pada Amazon Kendra dalam tim layanan bahasa AI/ML di AWS. Abhinav bekerja dengan pelanggan dan mitra AWS untuk membantu mereka membangun solusi pencarian cerdas di AWS.
Bob Strahan adalah Arsitek Solusi Utama di tim Layanan AI Bahasa AWS.
- Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
- Platoblockchain. Intelijen Metaverse Web3. Pengetahuan Diperkuat. Akses Di Sini.
- Sumber: https://aws.amazon.com/blogs/machine-learning/get-smarter-search-results-with-the-amazon-kendra-intelligent-ranking-and-opensearch-plugin/
- 1
- 10
- 100
- 11
- 7
- 70
- 9
- a
- saya
- Tentang Kami
- atas
- mengakses
- kecelakaan
- Menurut
- Akun
- ketepatan
- tepat
- di seluruh
- Tindakan
- sebenarnya
- Tambahan
- alamat
- admin
- Setelah
- di depan
- AI
- Layanan AI
- AI / ML
- sudah
- Meskipun
- selalu
- Amazon
- Amazon EC2
- AmazonKendra
- dan
- menjawab
- api
- Aplikasi
- aplikasi
- Mendaftar
- April
- arizona
- ditugaskan
- mengotomatisasikan
- mengotomatiskan
- kesempatan
- AWS
- kembali
- bar
- berdasarkan
- menampar
- karena
- di belakang
- di bawah
- manfaat
- Manfaat
- Benyamin
- TERBAIK
- Lebih baik
- antara
- tubuh
- Otak
- Inggris
- British Columbia
- Browser
- membangun
- built-in
- Biro
- Kanada
- tantangan
- perubahan
- jelas
- Jam
- rapat
- Cloud9
- COLUMBIA
- kedatangan
- membandingkan
- perbandingan
- komponen
- menghitung
- komputer
- konsep
- Kongres
- Kongres
- Terhubung
- koneksi
- Karena itu
- Mempertimbangkan
- membangun
- Wadah
- Wadah
- mengandung
- Konten
- negara
- sepasang
- membuat
- dibuat
- menciptakan
- Surat kepercayaan
- pelanggan
- siklus
- dasbor
- data
- hari
- Hari
- dc
- Default
- mendefinisikan
- gembira
- disampaikan
- mendemonstrasikan
- penyebaran
- ditentukan
- perbedaan
- berbeda
- langsung
- Buruh pelabuhan
- dokumen
- dokumentasi
- dokumen
- Tidak
- domain
- Dont
- turun
- secara dramatis
- setiap
- mudah
- efek
- diaktifkan
- berakhir
- Mesin
- Mesin
- Enter
- Lingkungan Hidup
- kesalahan
- dll
- contoh
- contoh
- menjalankan
- eksekusi
- ada
- diharapkan
- berpengalaman
- eksperimen
- perpanjangan
- Gagal
- akrab
- FAQ
- mendukung
- Fitur
- beberapa
- Fields
- File
- File
- Menemukan
- Pertama
- terfokus
- mengikuti
- berikut
- bentuk
- Bekas
- pembinaan
- dari
- sepenuhnya
- fungsi
- fungsi
- geografis
- mendapatkan
- mendapatkan
- berguna
- membantu
- bermanfaat
- di sini
- lebih tinggi
- sangat
- sejarah
- Memukul
- Hits
- Rumah
- Seterpercayaapakah Olymp Trade? Kesimpulan
- How To
- Namun
- HTML
- HTTPS
- terkesan
- memperbaiki
- perbaikan
- in
- Meningkatkan
- indeks
- indeks
- Secara individual
- informasi
- Informational
- inheren
- mulanya
- memasukkan
- install
- contoh
- sebagai gantinya
- Cerdas
- maksud
- Niat
- intern
- memperkenalkan
- Pengantar
- memanggil
- terlibat
- Kepulauan
- masalah
- IT
- json
- Menjaga
- bahasa
- Terakhir
- Terbaru
- BELAJAR
- pengetahuan
- surat
- baris
- Daftar
- memuat
- lokal
- terletak
- Panjang
- lagi
- melihat
- membuat
- berhasil
- banyak
- March
- Cocok
- sesuai
- maksimum
- makna
- cara
- pesan
- bermigrasi
- menit
- bulan
- lebih
- paling
- bangsa
- nasional
- Perlu
- New
- November
- mengamati
- Oktober
- ONE
- Buka
- open source
- openssl
- Kesempatan
- pilihan
- Opsi
- urutan
- asli
- Lainnya
- di luar rumah
- sendiri
- peserta
- rekan
- bagian
- Kata Sandi
- Pennsylvania
- Konsultan Ahli
- Melakukan
- mungkin
- permanen
- Izin
- perspektif
- Tempat
- rencana
- perencanaan
- plato
- Kecerdasan Data Plato
- Data Plato
- silahkan
- Plugin
- kebijaksanaan
- Pos
- kekuasaan
- kuat
- presiden
- cukup
- sebelumnya
- Utama
- mungkin
- Produksi
- properties
- milik
- memberikan
- menyediakan
- publik
- Pelabuhan
- Puerto Rico
- kualitas
- pertanyaan
- peringkat
- Peringkat
- siap
- mengurangi
- reguler
- hubungan
- relevansi
- relevan
- menghapus
- menggantikan
- wajib
- penelitian
- sumber
- tanggapan
- mengakibatkan
- Hasil
- RICO
- Run
- berjalan
- sama
- Save
- penghematan
- SC
- mencetak gol
- script
- Pencarian
- mesin pencari
- Mesin pencari
- Kedua
- Swalayan
- semantik
- layanan
- Layanan
- set
- penyiapan
- Menunjukkan
- ditunjukkan
- menutup
- mirip
- Sederhana
- hanya
- Situs
- Ukuran
- kecil
- cerdas
- So
- Lunak
- larutan
- Solusi
- MEMECAHKAN
- beberapa
- sumber
- sumber
- tertentu
- awal
- mulai
- Pernyataan
- Negara
- Langkah
- Masih
- sukses
- seperti itu
- mendukung
- sistem
- tim
- terminal
- istilah
- uji
- Grafik
- mereka
- waktu
- jangka waktu
- Judul
- untuk
- hari ini
- alat
- puncak
- Total
- Pariwisata
- angkutan
- tutorial
- jenis
- kami
- bawah
- Serikat
- Amerika Serikat
- URL
- menggunakan
- Pengguna
- MENGESAHKAN
- nilai
- Nilai - Nilai
- versi
- Perawan
- menunggu
- Washington
- jaringan
- Apa
- Apa itu
- apakah
- yang
- sementara
- putih
- Gedung Putih
- akan
- tanpa
- Word
- kata
- bekerja
- dunia
- akan
- Kamu
- Anda
- zephyrnet.dll