Buka Wawasan dari data Amazon S3 Anda dengan pencarian cerdas | Layanan Web Amazon

AmazonKendra adalah layanan pencarian cerdas yang didukung oleh pembelajaran mesin (ML). Amazon Kendra menata ulang pencarian perusahaan untuk situs web dan aplikasi Anda sehingga karyawan dan pelanggan Anda dapat dengan mudah menemukan konten yang mereka cari, meskipun tersebar di berbagai lokasi dan penyimpanan konten dalam organisasi Anda. Kata kunci atau pertanyaan bahasa alami dapat digunakan untuk mencari dokumen paling relevan yang diberdayakan oleh ML untuk memberikan jawaban dan memberi peringkat pada dokumen. Amazon Kendra dapat mengindeks data dari Layanan Penyimpanan Sederhana Amazon (Amazon S3) atau dari gudang dokumen pihak ketiga. Amazon S3 adalah layanan penyimpanan objek yang menawarkan skalabilitas dan ketersediaan tempat Anda dapat menyimpan data dalam jumlah besar, termasuk manual produk, dokumen proyek dan penelitian, dan banyak lagi.

Dalam posting ini, Anda dapat mempelajari cara menggunakan yang disediakan Formasi AWS Cloud template untuk mengindeks dokumen Anda di bucket Amazon S3. Template membuat sumber data Amazon Kendra untuk indeks dan menyinkronkan sumber data Anda sesuai dengan kebutuhan Anda: sesuai permintaan, per jam, harian, mingguan, atau bulanan. AWS CloudFormation memungkinkan kami menyediakan infrastruktur sebagai kode (IaC) sehingga Anda dapat menghabiskan lebih sedikit waktu untuk mengelola sumber daya, mereplikasi infrastruktur Anda dengan cepat, serta mengontrol dan melacak perubahan dalam infrastruktur.

Gambaran umum solusinya

Template CloudFormation menyiapkan sumber data Amazon Kendra dengan koneksi ke Amazon S3. Template juga membuat satu peran untuk layanan sumber data Amazon Kendra. Anda dapat menentukan bucket S3, jadwal sinkronisasi, dan pola penyertaan/pengecualian. Saat pekerjaan sinkronisasi selesai, Anda dapat mencari konten yang diindeks melalui Search Console. Diagram berikut mengilustrasikan alur kerja ini.

Posting ini memandu Anda ke langkah-langkah berikut:

1. Terapkan template yang disediakan.
2. Unggah dokumen ke bucket S3 yang Anda buat. Jika Anda menyediakan keranjang berisi dokumen, Anda dapat mengabaikan langkah ini.
3. Tunggu hingga indeks selesai merayapi sumber data.

Prasyarat

Untuk penelusuran ini, Anda harus memiliki prasyarat berikut:

• An Akun AWS di mana solusi yang diusulkan dapat digunakan.
• Indeks Amazon Kendra untuk melampirkan sumber data ke tumpukan.
• Kumpulan dokumen yang digunakan untuk membuat indeks Amazon Kendra. Dalam solusi ini, Anda menggunakan file terkompresi dari whitepaper AWS.

Terapkan solusi dengan AWS CloudFormation

Untuk menerapkan template CloudFormation, selesaikan langkah-langkah berikut:

1. Pilih
   

Anda dialihkan ke konsol AWS CloudFormation.

2. Anda dapat memodifikasi parameter atau menggunakan nilai default:
   • Nama sumber data Amazon Kendra diatur secara otomatis menggunakan nama stack dan nama bucket terkait.
   • Untuk KendraIndexId, masukkan ID indeks Amazon Kendra tempat Anda akan melampirkan sumber data.
   • Anda juga dapat memilih kapan Anda ingin menjalankan sinkronisasi sumber data menggunakan Jadwal KendraSync. Secara default, ini diatur ke Permintaan.
   • Untuk S3Nama Bucket, Anda dapat memasukkan keranjang yang telah Anda buat atau membiarkannya kosong. Jika Anda membiarkannya kosong, keranjang akan dibuat untuk Anda. Bagaimanapun, bucket digunakan sebagai sumber data Amazon Kendra. Untuk postingan ini kita biarkan kosong.

Dibutuhkan sekitar 5 menit untuk tumpukan untuk menerapkan sumber data Amazon Kendra yang dilampirkan ke indeks Amazon Kendra.

3. pada Output tab tumpukan CloudFormation, salin nama keranjang yang dibuat, nama sumber data, dan ID.

Tumpukan yang dibuat menyebarkan satu peran: <stack-name>-KendraDataSourceRole. Menerapkan peran untuk setiap sumber data yang Anda buat merupakan praktik terbaik. Peran ini memberikan sumber data Amazon Kendra untuk menambahkan atau menghapus file dari indeks Amazon Kendra, untuk mendapatkan objek dari bucket Amazon S3.

Unggah file ke bucket S3

Amazon Kendra dapat menangani beberapa jenis dokumen, seperti .html, .pdf, .csv, .json, .docx, dan .ppt. Anda juga dapat memiliki kombinasi dokumen pada satu indeks. Teks yang terkandung dalam dokumen tersebut diindeks ke indeks Amazon Kendra yang disediakan. Anda dapat mencari kata kunci pada topik AWS tentang praktik terbaik, database, pembelajaran mesin, keamanan, dan lainnya menggunakan lebih dari 60 file pdf yang dapat Anda Download. Misalnya, jika Anda ingin mengetahui di mana Anda dapat menemukan lebih banyak informasi tentang caching di whitepaper AWS, Amazon Kendra dapat membantu Anda menemukan dokumen yang terkait dengan database dan praktik terbaik.

Saat Anda mengunduh Kertas Putih AWS.zip file dan uncompress file, Anda melihat enam folder ini: Best_Practices, Databases, General, Machine_Learning, Security, Well_Architected. Unggah folder ini ke bucket S3 Anda.

Sinkronkan sumber data Amazon Kendra

Data sumber data Amazon Kendra dapat menyinkronkan data Anda berdasarkan jadwal yang telah dikonfigurasi sebelumnya atau dapat dipicu secara manual sesuai permintaan. Secara default, template CloudFormation mengonfigurasi sumber data ke jadwal sinkronisasi sesuai permintaan untuk dipicu secara manual sesuai kebutuhan.

Untuk memicu tugas sinkronisasi secara manual dari konsol AWS Amazon Kendra, navigasikan ke indeks Amazon Kendra yang digunakan sebagai bagian dari penerapan tumpukan CloudFormation, di bawah Manajemen data di panel navigasi, pilih Sumber data lalu pilih Sync sekarang. Hal ini membuat bucket S3 tersinkronisasi dengan sumber data.

Saat sumber data Amazon Kendra mulai disinkronkan, Anda akan melihat Status sinkronisasi saat ini as Menyinkronkan.

Ketika sumber data telah selesai, file Status sinkronisasi terakhir muncul sebagai Berhasil dan Status sinkronisasi saat ini as Siaga. Anda sekarang dapat mencari konten yang diindeks.

Konfigurasikan jadwal sinkronisasi

Template memungkinkan Anda menjalankan jadwal setiap jam pada menit 0, misalnya, 13:00, 14:00, atau 15:00. Anda juga memiliki opsi untuk menjalankannya setiap hari pada pukul 00:00 UTC. Itu Mingguan pengaturan berjalan pada hari Senin pukul 00:00 UTC, dan Bulanan pengaturan berjalan setiap hari pertama setiap bulan pada pukul 00:00 UTC.

Untuk mengubah jadwal setelah sumber data Amazon Kendra dibuat, di tindakan menu, pilih Edit. Dibawah Konfigurasikan pengaturan sinkronisasi, Anda menemukan Jadwal aturan sinkronisasi bagian.

Bawah Frekuensi, Anda bisa pilih per jam, harian, mingguan, bulanan, atau adat, yang semuanya memungkinkan Anda untuk menjadwalkan sinkronisasi hingga ke menit.

Tambahkan pola pengecualian

Template CloudFormation yang disediakan memungkinkan Anda menambahkan pola pengecualian. Secara default, file .png dan .jpg akan ditambahkan ke Pola Pengecualian parameter. Format file tambahan dapat ditambahkan sebagai daftar yang dipisahkan koma ke pola pengecualian. Demikian pula, Pola Inklusi parameter dapat digunakan menambahkan format file daftar koma untuk mengatur pola inklusi. Jika Anda tidak memberikan pola penyertaan, semua file akan diindeks kecuali yang termasuk dalam parameter pengecualian.

Membersihkan

Untuk menghindari biaya, Anda dapat menghapus tumpukan dari konsol AWS CloudFormation. Di Tumpukan halaman, pilih tumpukan yang Anda buat, pilih Delete, dan konfirmasi penghapusan tumpukan.

Jika Anda belum menyediakan bucket S3, tumpukan akan membuat bucket. Jika keranjang kosong, otomatis dihapus. Jika tidak, Anda perlu mengosongkan folder dan menghapusnya secara manual. Jika Anda memberikan keranjang, meskipun kosong, itu tidak akan dihapus. Indeks Amazon Kendra tidak akan dihapus. Hanya sumber data Amazon Kendra yang dibuat oleh tumpukan yang akan dihapus.

Kesimpulan

Dalam postingan ini, kami menyediakan template CloudFormation untuk menyinkronkan dokumen teks Anda dengan mudah pada bucket S3 ke indeks Amazon Kendra Anda. Solusi ini bermanfaat jika Anda memiliki beberapa bucket S3 yang ingin diindeks karena Anda dapat membuat semua komponen yang diperlukan untuk mengkueri dokumen dengan beberapa klik secara konsisten dan berulang. Anda juga dapat melihat bagaimana dokumen teks berbasis gambar dapat ditangani di Amazon Kendra. Untuk mempelajari lebih lanjut tentang pola jadwal tertentu, lihat Jadwalkan Ekspresi untuk Aturan.

Tinggalkan komentar dan pelajari selengkapnya tentang pembuatan indeks Amazon Kendra berikut ini Lokakarya Amazon Kendra Essentials+.

Terima kasih khusus kepada Jose Mauricio Mani Yanez atas bantuannya membuat kode contoh dan menyusun konten untuk posting ini.

---

Tentang Penulis

Rajesh Kumar Ravi adalah Arsitek Solusi Spesialis AI/ML di Amazon Web Services yang berspesialisasi dalam pencarian dokumen cerdas dengan Amazon Kendra dan AI generatif. Dia adalah pembangun dan pemecah masalah, dan memberikan kontribusi untuk pengembangan ide-ide baru. Dia suka berjalan-jalan dan suka melakukan perjalanan hiking singkat di luar pekerjaan.

• Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
• PlatoAiStream. Kecerdasan Data Web3. Pengetahuan Diperkuat. Akses Di Sini.
• Mencetak Masa Depan bersama Adryenn Ashley. Akses Di Sini.
• Beli dan Jual Saham di Perusahaan PRE-IPO dengan PREIPO®. Akses Di Sini.
• Sumber: https://aws.amazon.com/blogs/machine-learning/unlock-insights-from-your-amazon-s3-data-with-intelligent-search/