Berdayakan pengguna bisnis Anda untuk mengekstrak wawasan dari dokumen perusahaan menggunakan Amazon SageMaker Canvas dan Generative AI | Layanan Web Amazon

Perusahaan berupaya memanfaatkan potensi Machine Learning (ML) untuk memecahkan masalah kompleks dan meningkatkan hasil. Sampai saat ini, membangun dan menerapkan model ML memerlukan keterampilan teknis dan coding tingkat tinggi, termasuk menyempurnakan model ML dan memelihara alur operasional. Sejak diperkenalkan pada tahun 2021, Kanvas Amazon SageMaker telah memungkinkan analis bisnis untuk membangun, menerapkan, dan menggunakan berbagai model ML – termasuk tabel, visi komputer, dan pemrosesan bahasa alami – tanpa menulis sebaris kode pun. Hal ini telah mempercepat kemampuan perusahaan dalam menerapkan ML pada kasus-kasus penggunaan seperti perkiraan rangkaian waktu, prediksi churn pelanggan, analisis sentimen, deteksi cacat industri, dan banyak lainnya.

Seperti yang diumumkan Oktober 5, 2023, SageMaker Canvas memperluas dukungannya terhadap model hingga model dasar (FM) – model bahasa besar yang digunakan untuk menghasilkan dan meringkas konten. Dengan Rilis 12 Oktober 2023, SageMaker Canvas memungkinkan pengguna mengajukan pertanyaan dan mendapatkan tanggapan berdasarkan data perusahaan mereka. Hal ini memastikan bahwa hasilnya spesifik pada konteks, sehingga membuka kasus penggunaan tambahan di mana ML tanpa kode dapat diterapkan untuk memecahkan masalah bisnis. Misalnya, tim bisnis kini dapat merumuskan respons yang konsisten dengan kosa kata dan prinsip spesifik organisasi, dan dapat lebih cepat menanyakan dokumen yang panjang untuk mendapatkan respons yang spesifik dan sesuai dengan konten dokumen tersebut. Semua konten ini dilakukan dengan cara yang pribadi dan aman, memastikan bahwa semua data sensitif diakses dengan tata kelola dan pengamanan yang tepat.

Untuk memulai, administrator cloud mengonfigurasi dan mengisi AmazonKendra indeks dengan data perusahaan sebagai sumber data untuk SageMaker Canvas. Pengguna Canvas memilih indeks di mana dokumen mereka berada, dan dapat membuat ide, meneliti, dan mengeksplorasi dengan mengetahui bahwa keluarannya akan selalu didukung oleh sumber kebenaran mereka. SageMaker Canvas menggunakan FM canggih dari Batuan Dasar Amazon dan Mulai Lompatan Amazon SageMaker. Percakapan dapat dimulai dengan beberapa FM secara berdampingan, membandingkan keluarannya dan membuat AI generatif dapat diakses oleh semua orang.

Dalam postingan ini, kami akan meninjau fitur yang baru dirilis, mendiskusikan arsitekturnya, dan menyajikan panduan langkah demi langkah untuk mengaktifkan SageMaker Canvas untuk menanyakan dokumen dari basis pengetahuan Anda, seperti yang ditunjukkan dalam tangkapan layar berikut.

Ikhtisar solusi

Model dasar dapat menghasilkan halusinasi – respons yang bersifat umum, tidak jelas, tidak berhubungan, atau salah secara faktual. Pengambilan Augmented Generation (RAG) adalah pendekatan yang sering digunakan untuk mengurangi halusinasi. Arsitektur RAG digunakan untuk mengambil data dari luar FM, yang kemudian digunakan untuk melakukan pembelajaran dalam konteks untuk menjawab pertanyaan pengguna. Hal ini memastikan bahwa FM dapat menggunakan data dari basis pengetahuan tepercaya dan menggunakan pengetahuan tersebut untuk menjawab pertanyaan pengguna, sehingga mengurangi risiko halusinasi.

Dengan RAG, data di luar FM dan digunakan untuk menambah permintaan pengguna dapat berasal dari berbagai sumber data yang berbeda, seperti repositori dokumen, database, atau API. Langkah pertama adalah mengonversi dokumen Anda dan pertanyaan pengguna apa pun ke dalam format yang kompatibel untuk melakukan pencarian semantik yang relevan. Agar formatnya kompatibel, kumpulan dokumen, atau pustaka pengetahuan, dan kueri yang dikirimkan pengguna diubah menjadi representasi numerik menggunakan model penyematan.

Dengan rilis ini, fungsionalitas RAG disediakan tanpa kode dan lancar. Perusahaan dapat memperkaya pengalaman obrolan di Canvas dengan Amazon Kendra sebagai sistem manajemen pengetahuan yang mendasarinya. Diagram berikut menggambarkan arsitektur solusi.

Menghubungkan SageMaker Canvas ke Amazon Kendra memerlukan pengaturan satu kali. Kami menjelaskan proses pengaturan secara detail di Menyiapkan Canvas untuk mengkueri dokumen. Jika Anda belum menyiapkan Domain SageMaker Anda, lihat Masuk ke Domain Amazon SageMaker.

Sebagai bagian dari konfigurasi domain, administrator cloud dapat memilih satu atau lebih indeks Kendra yang dapat ditanyakan oleh analis bisnis saat berinteraksi dengan FM melalui SageMaker Canvas.

Setelah indeks Kendra dihidrasi dan dikonfigurasi, analis bisnis menggunakannya dengan SageMaker Canvas dengan memulai obrolan baru dan memilih tombol “Dokumen Kueri”. SageMaker Canvas kemudian akan mengelola komunikasi mendasar antara Amazon Kendra dan FM pilihan untuk melakukan operasi berikut:

1. Kueri indeks Kendra dengan pertanyaan yang datang dari pengguna.
2. Ambil cuplikan (dan sumbernya) dari indeks Kendra.
3. Rancang prompt dengan cuplikan dengan kueri asli sehingga model dasar dapat menghasilkan jawaban dari dokumen yang diambil.
4. Memberikan jawaban yang dihasilkan kepada pengguna, bersama dengan referensi ke halaman/dokumen yang digunakan untuk merumuskan tanggapan.

Menyiapkan Canvas untuk menanyakan dokumen

Di bagian ini, kami akan memandu Anda melalui langkah-langkah menyiapkan Canvas untuk mengkueri dokumen yang disajikan melalui indeks Kendra. Anda harus memiliki prasyarat berikut:

• Penyiapan Domain SageMaker – Masuk ke Domain Amazon SageMaker
• Membuat Indeks Kendra (atau lebih dari satu)
• Siapkan konektor Kendra Amazon S3 – ikuti Konektor Amazon S3 – dan unggah file PDF dan dokumen lainnya ke bucket Amazon S3 yang terkait dengan indeks Kendra
• Siapkan IAM agar Canvas memiliki izin yang sesuai, termasuk izin yang diperlukan untuk memanggil titik akhir Amazon Bedrock dan/atau SageMaker – ikuti petunjuknya Siapkan Obrolan Kanvas dokumentasi

Sekarang Anda dapat memperbarui Domain agar dapat mengakses indeks yang diinginkan. Di konsol SageMaker, untuk Domain tertentu, pilih Edit di bawah tab Pengaturan Domain. Aktifkan sakelar “Aktifkan dokumen kueri dengan Amazon Kendra” yang dapat ditemukan di langkah Pengaturan Kanvas. Setelah diaktifkan, pilih satu atau lebih indeks Kendra yang ingin Anda gunakan dengan Canvas.

Hanya itu yang diperlukan untuk mengonfigurasi fitur dokumen kueri Canvas. Pengguna sekarang dapat masuk ke obrolan dalam Canvas dan mulai menggunakan basis pengetahuan yang telah dilampirkan ke Domain melalui indeks Kendra. Pengelola basis pengetahuan dapat terus memperbarui sumber kebenaran dan dengan kemampuan sinkronisasi di Kendra, pengguna obrolan secara otomatis dapat menggunakan informasi terkini dengan lancar.

Menggunakan fitur Dokumen Kueri untuk mengobrol

Sebagai pengguna SageMaker Canvas, fitur Dokumen Kueri dapat diakses dari dalam obrolan. Untuk memulai sesi obrolan, klik atau cari tombol “Buat, ekstrak, dan rangkum konten” dari tab Model siap pakai di SageMaker Canvas.

Sesampai di sana, Anda dapat menghidupkan dan mematikan Dokumen Kueri dengan tombol di bagian atas layar. Lihat informasi yang diminta untuk mempelajari lebih lanjut tentang fitur ini.

Saat Dokumen Kueri diaktifkan, Anda dapat memilih di antara daftar indeks Kendra yang diaktifkan oleh administrator cloud.

Anda dapat memilih indeks saat memulai obrolan baru. Anda kemudian dapat mengajukan pertanyaan di UX dengan pengetahuan yang secara otomatis bersumber dari indeks yang dipilih. Perhatikan bahwa setelah percakapan terhadap indeks tertentu dimulai, tidak mungkin untuk beralih ke indeks lain.

Untuk pertanyaan yang diajukan, chat akan menampilkan jawaban yang dihasilkan oleh FM beserta dokumen sumber yang berkontribusi dalam menghasilkan jawaban tersebut. Saat mengklik salah satu dokumen sumber, Canvas membuka pratinjau dokumen, menyorot kutipan yang digunakan oleh FM.

Kesimpulan

AI Percakapan memiliki potensi besar untuk mengubah pengalaman pelanggan dan karyawan dengan menyediakan asisten mirip manusia dengan interaksi alami dan intuitif seperti:

• Melakukan penelitian terhadap suatu topik atau mencari dan menelusuri basis pengetahuan organisasi
• Meringkas volume konten untuk mengumpulkan wawasan dengan cepat
• Mencari Entitas, Sentimen, PII dan data berguna lainnya, serta meningkatkan nilai bisnis dari konten tidak terstruktur
• Menghasilkan draft untuk dokumen dan korespondensi bisnis
• Membuat artikel pengetahuan dari sumber internal yang berbeda (insiden, log obrolan, wiki)

Integrasi inovatif antarmuka obrolan, pengambilan pengetahuan, dan FM memungkinkan perusahaan memberikan respons yang akurat dan relevan terhadap pertanyaan pengguna dengan menggunakan pengetahuan domain dan sumber kebenaran mereka.

Dengan menghubungkan SageMaker Canvas ke basis pengetahuan di Amazon Kendra, organisasi dapat menyimpan data kepemilikan mereka dalam lingkungan mereka sendiri sambil tetap memanfaatkan kemampuan bahasa alami FM yang canggih. Dengan peluncuran fitur Dokumen Kueri SageMaker Canvas, kami memudahkan perusahaan mana pun untuk menggunakan LLM dan pengetahuan perusahaan mereka sebagai sumber kebenaran untuk mendukung pengalaman obrolan yang aman. Semua fungsi ini tersedia dalam format tanpa kode, memungkinkan bisnis menghindari penanganan tugas yang berulang dan tidak terspesialisasi.

Untuk mempelajari lebih lanjut tentang SageMaker Canvas dan bagaimana hal ini membantu mempermudah semua orang untuk memulai Machine Learning, lihat Pengumuman Kanvas SageMaker. Pelajari lebih lanjut tentang bagaimana SageMaker Canvas membantu mendorong kolaborasi antara ilmuwan data dan analis bisnis dengan membaca Bangun, Bagikan & Terapkan postingan. Terakhir, untuk mempelajari cara membuat alur kerja Retrieval Augmented Generation Anda sendiri, lihat SageMaker JumpStart RAG.

Referensi

Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., Küttler, H., Lewis, M., Yih, W., Rocktäschel, T., Riedel, S., Kiela, D. (2020). Generasi Pengambilan Augmented untuk Tugas NLP Intensif Pengetahuan. Kemajuan dalam Sistem Pemrosesan Informasi Neural, 33, 9459-9474.

---

Tentang Penulis

Davide Gallitelli adalah Arsitek Solusi Spesialis Senior untuk AI/ML. Dia berbasis di Brussels dan bekerja sama dengan pelanggan di seluruh dunia yang ingin mengadopsi teknologi Pembelajaran Mesin Kode Rendah/Tanpa Kode, dan AI Generatif. Dia telah menjadi seorang pengembang sejak masih sangat muda, mulai membuat kode pada usia 7 tahun. Dia mulai mempelajari AI/ML di universitas, dan mulai jatuh cinta padanya sejak saat itu.

Bilal Alam adalah Arsitek Solusi Perusahaan di AWS dengan fokus pada industri Jasa Keuangan. Hampir setiap hari Bilal membantu pelanggan membangun, meningkatkan, dan mengamankan lingkungan AWS mereka untuk menerapkan beban kerja paling penting. Beliau memiliki pengalaman luas di bidang Telco, jaringan, dan pengembangan perangkat lunak. Baru-baru ini, dia sedang mempertimbangkan penggunaan AI/ML untuk memecahkan masalah bisnis.

Mistry pashmeen adalah Manajer Produk Senior di AWS. Di luar pekerjaan, Pashmeen menikmati pendakian yang penuh petualangan, fotografi, dan menghabiskan waktu bersama keluarganya.

Dan Sinnreich adalah Manajer Produk Senior di AWS, yang membantu mendemokratisasikan pembelajaran mesin berkode rendah/tanpa kode. Sebelum menggunakan AWS, Dan membangun dan mengkomersialkan platform SaaS perusahaan dan model rangkaian waktu yang digunakan oleh investor institusi untuk mengelola risiko dan membangun portofolio yang optimal. Di luar pekerjaan, dia sering bermain hoki, menyelam scuba, dan membaca fiksi ilmiah.

• Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
• PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
• PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
• PlatoESG. Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
• PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
• Sumber: https://aws.amazon.com/blogs/machine-learning/empower-your-business-users-to-extract-insights-from-company-documents-using-amazon-sagemaker-canvas-generative-ai/