Sederhanakan akses ke informasi internal menggunakan Retrieval Augmented Generation dan Agen LangChain | Layanan Web Amazon

Sederhanakan akses ke informasi internal menggunakan Retrieval Augmented Generation dan Agen LangChain | Layanan Web Amazon

Postingan ini akan membawa Anda melewati tantangan paling umum yang dihadapi pelanggan saat mencari dokumen internal, dan memberi Anda panduan konkret tentang bagaimana layanan AWS dapat digunakan untuk membuat bot percakapan AI generatif yang menjadikan informasi internal lebih berguna.

Data tidak terstruktur menyumbang 80% dari seluruh data ditemukan dalam organisasi, terdiri dari repositori manual, PDF, FAQ, email, dan dokumen lain yang berkembang setiap hari. Bisnis saat ini bergantung pada penyimpanan informasi internal yang terus berkembang, dan masalah muncul ketika jumlah data yang tidak terstruktur menjadi tidak dapat dikelola. Seringkali, pengguna membaca dan memeriksa berbagai sumber internal untuk menemukan jawaban yang mereka butuhkan.

Forum tanya jawab internal dapat membantu pengguna mendapatkan jawaban yang sangat spesifik namun juga memerlukan waktu tunggu yang lebih lama. Dalam kasus FAQ internal khusus perusahaan, waktu tunggu yang lama mengakibatkan produktivitas karyawan lebih rendah. Forum tanya jawab sulit untuk diukur karena mengandalkan jawaban yang ditulis secara manual. Dengan AI generatif, saat ini terjadi perubahan paradigma dalam cara pengguna mencari dan menemukan informasi. Langkah logis berikutnya adalah menggunakan AI generatif untuk menyingkat dokumen besar menjadi informasi berukuran lebih kecil untuk memudahkan konsumsi pengguna. Daripada menghabiskan waktu lama membaca teks atau menunggu jawaban, pengguna dapat membuat ringkasan secara real-time berdasarkan beberapa repositori informasi internal yang ada.

Ikhtisar solusi

Solusi ini memungkinkan pelanggan untuk mengambil tanggapan yang dikurasi terhadap pertanyaan yang diajukan tentang dokumen internal dengan menggunakan model transformator untuk menghasilkan jawaban atas pertanyaan tentang data yang belum dilatih, sebuah teknik yang dikenal sebagai zero-shot prompting. Dengan mengadopsi solusi ini, pelanggan dapat memperoleh manfaat berikut:

  • Temukan jawaban akurat atas pertanyaan berdasarkan sumber dokumen internal yang ada
  • Kurangi waktu yang dihabiskan pengguna untuk mencari jawaban dengan menggunakan Model Bahasa Besar (LLM) untuk memberikan jawaban yang hampir seketika terhadap pertanyaan kompleks menggunakan dokumen dengan informasi terkini
  • Cari pertanyaan yang telah dijawab sebelumnya melalui dasbor terpusat
  • Mengurangi stres akibat menghabiskan waktu membaca informasi secara manual untuk mencari jawaban

Pengambilan Augmented Generation (RAG)

Retrieval Augmented Generation (RAG) mengurangi beberapa kekurangan kueri berbasis LLM dengan menemukan jawaban dari basis pengetahuan Anda dan menggunakan LLM untuk meringkas dokumen menjadi respons yang ringkas. Tolong baca ini pos untuk mempelajari bagaimana menerapkan pendekatan RAG AmazonKendra. Risiko dan batasan berikut terkait dengan kueri berbasis LLM yang ditangani oleh pendekatan RAG dengan Amazon Kendra:

  • Halusinasi dan ketertelusuran โ€“ LLMS dilatih pada kumpulan data besar dan menghasilkan respons berdasarkan probabilitas. Hal ini dapat menyebabkan jawaban yang tidak akurat, yang disebut halusinasi.
  • Beberapa silo data โ€“ Untuk mereferensikan data dari berbagai sumber dalam respons Anda, Anda perlu menyiapkan ekosistem penghubung untuk menggabungkan data. Mengakses banyak repositori bersifat manual dan memakan waktu.
  • Keamanan โ€“ Keamanan dan privasi merupakan pertimbangan penting saat menerapkan bot percakapan yang didukung oleh RAG dan LLM. Meskipun menggunakan Amazon Comprehend untuk menyaring data pribadi yang mungkin diberikan melalui pertanyaan pengguna, masih ada kemungkinan munculnya informasi pribadi atau sensitif secara tidak sengaja, bergantung pada data yang diserap. Artinya, mengontrol akses ke chatbot sangat penting untuk mencegah akses yang tidak diinginkan ke informasi sensitif.
  • Relevansi data โ€“ LLMS dilatih tentang data hingga tanggal tertentu, yang berarti informasi sering kali tidak terkini. Biaya yang terkait dengan model pelatihan berdasarkan data terkini cukup tinggi. Untuk memastikan tanggapan yang akurat dan terkini, organisasi mempunyai tanggung jawab untuk memperbarui dan memperkaya konten dokumen yang diindeks secara berkala.
  • Biaya โ€“ Biaya yang terkait dengan penerapan solusi ini harus menjadi pertimbangan bagi bisnis. Dunia usaha harus hati-hati menilai kebutuhan anggaran dan kinerja mereka saat menerapkan solusi ini. Menjalankan LLM memerlukan sumber daya komputasi yang besar, yang dapat meningkatkan biaya operasional. Biaya ini dapat menjadi batasan bagi aplikasi yang perlu beroperasi dalam skala besar. Namun, salah satu manfaatnya AWS Cloud adalah fleksibilitas untuk hanya membayar untuk apa yang Anda gunakan. AWS menawarkan model penetapan harga bayar sesuai pemakaian yang sederhana, konsisten, sehingga Anda hanya dikenakan biaya untuk sumber daya yang Anda konsumsi.

Penggunaan Amazon SageMaker JumpStart

Untuk model bahasa berbasis transformator, organisasi dapat memperoleh manfaat dari penggunaan Amazon SageMaker JumpStart, yang menawarkan koleksi model pembelajaran mesin yang dibuat sebelumnya. Amazon SageMaker JumpStart menawarkan beragam model dasar pembuatan teks dan menjawab pertanyaan (Q&A) yang dapat dengan mudah diterapkan dan dimanfaatkan. Solusi ini mengintegrasikan model FLAN T5-XL Amazon SageMaker JumpStart, namun ada beberapa aspek berbeda yang perlu diingat saat memilih model pondasi.

Mengintegrasikan keamanan dalam alur kerja kami

Mengikuti praktik terbaik Pilar Keamanan Kerangka Kerja yang Terarsitektur dengan Baik, Amazon Kognito digunakan untuk otentikasi. Kolam Pengguna Amazon Cognito dapat diintegrasikan dengan penyedia identitas pihak ketiga yang mendukung beberapa kerangka kerja yang digunakan untuk kontrol akses, termasuk Open Authorization (OAuth), OpenID Connect (OIDC), atau Security Assertion Markup Language (SAML). Mengidentifikasi pengguna dan tindakan mereka memungkinkan solusi mempertahankan ketertelusuran. Solusinya juga menggunakan Amazon Memahami deteksi informasi pengenal pribadi (PII). fitur untuk secara otomatis mengidentifikasi dan menyunting PII. PII yang disunting mencakup alamat, nomor jaminan sosial, alamat email, dan informasi sensitif lainnya. Desain ini memastikan bahwa setiap PII yang diberikan oleh pengguna melalui kueri masukan akan disunting. PII tidak disimpan, digunakan oleh Amazon Kendra, atau dimasukkan ke LLM.

Panduan Solusi

Langkah-langkah berikut menjelaskan alur kerja penjawab Pertanyaan atas aliran dokumen:

  1. Pengguna mengirim permintaan melalui antarmuka web.
  2. Amazon Kognito digunakan untuk otentikasi, memastikan akses aman ke aplikasi web.
  3. Front-end aplikasi web dihosting di Amplifikasi AWS.
  4. Gerbang API Amazon menghosting REST API dengan berbagai titik akhir untuk menangani permintaan pengguna yang diautentikasi menggunakan Amazon Cognito.
  5. Redaksi PII dengan Amazon Comprehend:
    • Pemrosesan Kueri Pengguna: Saat pengguna mengirimkan kueri atau masukan, kueri atau masukan tersebut terlebih dahulu diteruskan melalui Amazon Comprehend. Layanan menganalisis teks dan mengidentifikasi entitas PII yang ada dalam kueri.
    • Ekstraksi PII: Amazon Comprehend mengekstrak entitas PII yang terdeteksi dari kueri pengguna.
  6. Pengambilan Informasi Relevan dengan AmazonKendra:
    • Amazon Kendra digunakan untuk mengelola indeks dokumen yang berisi informasi yang digunakan untuk menghasilkan jawaban atas pertanyaan pengguna.
    • Grafik Pengambilan QA LangChain modul digunakan untuk membangun rantai percakapan yang memiliki informasi relevan tentang pertanyaan pengguna.
  7. Integrasi dengan Mulai Lompatan Amazon SageMaker:
    • Fungsi AWS Lambda menggunakan perpustakaan LangChain dan terhubung ke titik akhir Amazon SageMaker JumpStart dengan kueri yang diisi konteks. Titik akhir Amazon SageMaker JumpStart berfungsi sebagai antarmuka LLM yang digunakan untuk inferensi.
  8. Menyimpan respons dan mengembalikannya ke pengguna:
    • Respons dari LLM disimpan di Amazon DynamoDB bersama dengan kueri pengguna, stempel waktu, pengidentifikasi unik, dan pengidentifikasi arbitrer lainnya untuk item seperti kategori pertanyaan. Menyimpan pertanyaan dan jawaban sebagai item terpisah memungkinkan fungsi AWS Lambda dengan mudah membuat ulang riwayat percakapan pengguna berdasarkan waktu ketika pertanyaan diajukan.
    • Terakhir, respons dikirim kembali ke pengguna melalui permintaan HTTP melalui respons integrasi Amazon API Gateway REST API.

Sederhanakan akses ke informasi internal menggunakan Retrieval Augmented Generation dan Agen LangChain | Kecerdasan Data PlatoBlockchain Layanan Web Amazon. Pencarian Vertikal. Ai.

Langkah-langkah berikut menjelaskan fungsi AWS Lambda dan alurnya melalui proses:

  1. Periksa dan edit informasi PII/Sensitif apa pun
  2. Rantai Pengambilan QA LangChain
    • Cari dan ambil informasi yang relevan
  3. Isian Konteks & Rekayasa Cepat
  4. Inferensi dengan LLM
  5. Kembalikan respons & Simpan

Sederhanakan akses ke informasi internal menggunakan Retrieval Augmented Generation dan Agen LangChain | Kecerdasan Data PlatoBlockchain Layanan Web Amazon. Pencarian Vertikal. Ai.

Gunakan kasus

Ada banyak kasus penggunaan bisnis di mana pelanggan dapat menggunakan alur kerja ini. Bagian berikut menjelaskan bagaimana alur kerja dapat digunakan di berbagai industri dan vertikal.

Bantuan Karyawan

Pelatihan perusahaan yang dirancang dengan baik dapat meningkatkan kepuasan karyawan dan mengurangi waktu yang dibutuhkan untuk menerima karyawan baru. Seiring pertumbuhan organisasi dan kompleksitas yang meningkat, karyawan mengalami kesulitan untuk memahami banyaknya sumber dokumen internal. Dokumen internal dalam konteks ini meliputi pedoman, kebijakan, dan Prosedur Operasi Standar perusahaan. Untuk skenario ini, seorang karyawan memiliki pertanyaan tentang cara melanjutkan dan mengedit tiket tiket masalah internal. Karyawan dapat mengakses dan menggunakan bot percakapan kecerdasan buatan generatif (AI) untuk menanyakan dan menjalankan langkah selanjutnya untuk tiket tertentu.

Kasus penggunaan khusus: Otomatiskan penyelesaian masalah untuk karyawan berdasarkan pedoman perusahaan.

Sederhanakan akses ke informasi internal menggunakan Retrieval Augmented Generation dan Agen LangChain | Kecerdasan Data PlatoBlockchain Layanan Web Amazon. Pencarian Vertikal. Ai.

Langkah-langkah berikut menjelaskan fungsi AWS Lambda dan alurnya melalui proses:

  1. Agen LangChain untuk mengidentifikasi maksudnya
  2. Kirim pemberitahuan berdasarkan permintaan karyawan
  3. Ubah status tiket

Sederhanakan akses ke informasi internal menggunakan Retrieval Augmented Generation dan Agen LangChain | Kecerdasan Data PlatoBlockchain Layanan Web Amazon. Pencarian Vertikal. Ai.

Dalam diagram arsitektur ini, video pelatihan perusahaan dapat diserap Amazon Transkripsikan untuk mengumpulkan log skrip video ini. Selain itu, konten pelatihan perusahaan yang disimpan di berbagai sumber (yaitu Confluence, Microsoft SharePoint, Google Drive, Jira, dll.) dapat digunakan untuk membuat indeks melalui konektor Amazon Kendra. Baca artikel ini untuk mempelajari lebih lanjut tentang koleksi asli konektor Anda dapat memanfaatkan di Amazon Kendra sebagai titik sumber. Crawler Amazon Kendra kemudian dapat menggunakan skrip video pelatihan perusahaan dan dokumentasi yang disimpan di sumber lain ini untuk membantu bot percakapan dalam menjawab pertanyaan spesifik terhadap pedoman pelatihan perusahaan. Agen LangChain memverifikasi izin, mengubah status tiket, dan memberi tahu individu yang benar menggunakan Amazon Simple Notification Service (Amazon SNS).

Tim Dukungan Pelanggan

Menyelesaikan pertanyaan pelanggan dengan cepat akan meningkatkan pengalaman pelanggan dan mendorong loyalitas merek. Basis pelanggan setia membantu mendorong penjualan, yang berkontribusi terhadap laba dan meningkatkan keterlibatan pelanggan. Tim dukungan pelanggan menghabiskan banyak energi untuk merujuk pada banyak dokumen internal dan perangkat lunak manajemen hubungan pelanggan untuk menjawab pertanyaan pelanggan tentang produk dan layanan. Dokumen internal dalam konteks ini dapat mencakup skrip panggilan dukungan pelanggan umum, pedoman, pedoman eskalasi, dan informasi bisnis. Bot percakapan AI generatif membantu pengoptimalan biaya karena menangani pertanyaan atas nama tim dukungan pelanggan.

Kasus penggunaan khusus: Menangani permintaan penggantian oli berdasarkan riwayat layanan dan paket layanan pelanggan yang dibeli.

Sederhanakan akses ke informasi internal menggunakan Retrieval Augmented Generation dan Agen LangChain | Kecerdasan Data PlatoBlockchain Layanan Web Amazon. Pencarian Vertikal. Ai.

Dalam diagram arsitektur ini, pelanggan diarahkan ke bot percakapan AI generatif atau bot percakapan AI generatif Sambungan Amazon pusat kontak. Keputusan ini dapat didasarkan pada tingkat dukungan yang dibutuhkan atau ketersediaan agen dukungan pelanggan. Agen LangChain mengidentifikasi maksud pelanggan dan memverifikasi identitas. Agen LangChain juga memeriksa riwayat layanan dan paket dukungan yang dibeli.

Langkah-langkah berikut menjelaskan fungsi AWS Lambda dan alurnya melalui proses:

  1. Agen LangChain mengidentifikasi maksudnya
  2. Ambil Informasi Pelanggan
  3. Periksa riwayat layanan pelanggan dan informasi garansi
  4. Buat janji temu, berikan informasi lebih lanjut, atau rute ke pusat kontak
  5. Kirim konfirmasi email

Sederhanakan akses ke informasi internal menggunakan Retrieval Augmented Generation dan Agen LangChain | Kecerdasan Data PlatoBlockchain Layanan Web Amazon. Pencarian Vertikal. Ai.

Amazon Connect digunakan untuk mengumpulkan log suara dan obrolan, dan Amazon Comprehend digunakan untuk menghapus informasi identitas pribadi (PII) dari log ini. Crawler Amazon Kendra kemudian dapat menggunakan log suara dan obrolan yang telah disunting, skrip panggilan pelanggan, dan kebijakan paket dukungan layanan pelanggan untuk membuat indeks. Setelah keputusan dibuat, bot percakapan AI generatif memutuskan apakah akan membuat janji temu, memberikan informasi lebih lanjut, atau mengarahkan pelanggan ke pusat kontak untuk bantuan lebih lanjut. Untuk optimalisasi biaya, agen LangChain juga dapat menghasilkan jawaban menggunakan token yang lebih sedikit dan model bahasa besar yang lebih murah untuk pertanyaan pelanggan dengan prioritas lebih rendah.

Jasa Keuangan

Perusahaan jasa keuangan mengandalkan penggunaan informasi yang tepat waktu agar tetap kompetitif dan mematuhi peraturan keuangan. Dengan menggunakan bot percakapan AI generatif, analis dan penasihat keuangan dapat berinteraksi dengan informasi tekstual dengan cara percakapan dan mengurangi waktu dan upaya yang diperlukan untuk membuat keputusan yang lebih tepat. Di luar investasi dan riset pasar, bot percakapan AI generatif juga dapat meningkatkan kemampuan manusia dengan menangani tugas-tugas yang biasanya membutuhkan lebih banyak tenaga dan waktu manusia. Misalnya, lembaga keuangan yang mengkhususkan diri pada pinjaman pribadi dapat meningkatkan kecepatan pemrosesan pinjaman sekaligus memberikan transparansi yang lebih baik kepada pelanggan.

Kasus penggunaan khusus: Gunakan riwayat keuangan pelanggan dan permohonan pinjaman sebelumnya untuk memutuskan dan menjelaskan keputusan pinjaman.

Sederhanakan akses ke informasi internal menggunakan Retrieval Augmented Generation dan Agen LangChain | Kecerdasan Data PlatoBlockchain Layanan Web Amazon. Pencarian Vertikal. Ai.

Langkah-langkah berikut menjelaskan fungsi AWS Lambda dan alurnya melalui proses:

  1. Agen LangChain untuk mengidentifikasi maksudnya
  2. Periksa riwayat keuangan dan skor kredit pelanggan
  3. Periksa sistem manajemen hubungan pelanggan internal
  4. Periksa kebijakan pinjaman standar dan sarankan keputusan bagi karyawan yang memenuhi syarat pinjaman
  5. Kirim pemberitahuan ke pelanggan

Sederhanakan akses ke informasi internal menggunakan Retrieval Augmented Generation dan Agen LangChain | Kecerdasan Data PlatoBlockchain Layanan Web Amazon. Pencarian Vertikal. Ai.

Arsitektur ini menggabungkan data keuangan pelanggan yang disimpan dalam database dan data yang disimpan dalam alat manajemen hubungan pelanggan (CRM). Poin data ini digunakan untuk menginformasikan keputusan berdasarkan kebijakan pinjaman internal perusahaan. Pelanggan dapat mengajukan pertanyaan klarifikasi untuk memahami pinjaman apa yang memenuhi syarat dan persyaratan pinjaman yang dapat mereka terima. Jika bot percakapan AI generatif tidak dapat menyetujui permohonan pinjaman, pengguna masih dapat mengajukan pertanyaan tentang peningkatan skor kredit atau opsi pembiayaan alternatif.

Pemerintah

Bot percakapan AI generatif dapat memberikan manfaat besar bagi institusi pemerintah dengan mempercepat proses komunikasi, efisiensi, dan pengambilan keputusan. Bot percakapan AI generatif juga dapat memberikan akses cepat ke basis pengetahuan internal untuk membantu pegawai pemerintah mengambil informasi, kebijakan, dan prosedur dengan cepat (yaitu, kriteria kelayakan, proses pengajuan, serta layanan dan dukungan masyarakat). Salah satu solusinya adalah sistem interaktif, yang memungkinkan pembayar pajak dan profesional pajak dengan mudah menemukan rincian dan manfaat terkait pajak. Ini dapat digunakan untuk memahami pertanyaan pengguna, merangkum dokumen pajak, dan memberikan jawaban yang jelas melalui percakapan interaktif.

Pengguna dapat mengajukan pertanyaan seperti:

  • Bagaimana cara kerja pajak warisan dan berapa ambang batas pajaknya?
  • Bisakah Anda menjelaskan konsep pajak penghasilan?
  • Apa implikasi pajak saat menjual properti kedua?

Selain itu, pengguna dapat memperoleh kemudahan dalam mengirimkan formulir pajak ke sistem, yang dapat membantu memverifikasi kebenaran informasi yang diberikan.

Sederhanakan akses ke informasi internal menggunakan Retrieval Augmented Generation dan Agen LangChain | Kecerdasan Data PlatoBlockchain Layanan Web Amazon. Pencarian Vertikal. Ai.

Arsitektur ini menggambarkan bagaimana pengguna dapat mengunggah formulir pajak yang sudah lengkap ke solusi dan menggunakannya untuk verifikasi interaktif dan panduan tentang cara melengkapi informasi yang diperlukan secara akurat.

Kesehatan

Bisnis layanan kesehatan memiliki peluang untuk mengotomatiskan penggunaan sejumlah besar informasi internal pasien, sekaligus menjawab pertanyaan umum mengenai kasus penggunaan seperti pilihan pengobatan, klaim asuransi, uji klinis, dan penelitian farmasi. Penggunaan bot percakapan AI generatif memungkinkan pembuatan jawaban yang cepat dan akurat tentang informasi kesehatan dari basis pengetahuan yang disediakan. Misalnya, beberapa profesional kesehatan menghabiskan banyak waktu mengisi formulir untuk mengajukan klaim asuransi.

Dalam situasi serupa, administrator uji klinis dan peneliti perlu mencari informasi tentang pilihan pengobatan. Bot percakapan AI generatif dapat menggunakan konektor bawaan di Amazon Kendra untuk mengambil informasi paling relevan dari jutaan dokumen yang diterbitkan melalui penelitian berkelanjutan yang dilakukan oleh perusahaan farmasi dan universitas.

Kasus penggunaan khusus: Mengurangi kesalahan dan waktu yang diperlukan untuk mengisi dan mengirimkan formulir asuransi.

Sederhanakan akses ke informasi internal menggunakan Retrieval Augmented Generation dan Agen LangChain | Kecerdasan Data PlatoBlockchain Layanan Web Amazon. Pencarian Vertikal. Ai.

Dalam diagram arsitektur ini, seorang profesional kesehatan dapat menggunakan bot percakapan AI generatif untuk mengetahui formulir apa yang perlu diisi untuk asuransi. Agen LangChain kemudian dapat mengambil formulir yang tepat dan menambahkan informasi yang dibutuhkan pasien serta memberikan tanggapan untuk bagian deskriptif formulir berdasarkan polis asuransi dan formulir sebelumnya. Profesional kesehatan dapat mengedit tanggapan yang diberikan oleh LLM sebelum menyetujui dan mengirimkan formulir ke portal asuransi.

Langkah-langkah berikut menjelaskan fungsi AWS Lambda dan alurnya melalui proses:

  1. Agen LangChain untuk mengidentifikasi maksudnya
  2. Ambil informasi pasien yang diperlukan
  3. Isi formulir asuransi berdasarkan informasi pasien dan pedoman formulir
  4. Kirimkan formulir ke portal asuransi setelah persetujuan pengguna

Sederhanakan akses ke informasi internal menggunakan Retrieval Augmented Generation dan Agen LangChain | Kecerdasan Data PlatoBlockchain Layanan Web Amazon. Pencarian Vertikal. Ai.

AWS HealthLake digunakan untuk menyimpan data kesehatan dengan aman termasuk formulir asuransi sebelumnya dan informasi pasien, dan Amazon Comprehend digunakan untuk menghapus informasi identitas pribadi (PII) dari formulir asuransi sebelumnya. Crawler Amazon Kendra kemudian dapat menggunakan kumpulan formulir dan pedoman asuransi untuk membuat indeks. Setelah formulir diisi oleh AI generatif, formulir yang ditinjau oleh profesional medis dapat dikirim ke portal asuransi.

Estimasi biaya

Biaya penerapan solusi dasar sebagai pembuktian konsep ditunjukkan pada tabel berikut. Karena solusi dasar dianggap sebagai bukti konsep, Amazon Kendra Developer Edition digunakan sebagai opsi berbiaya rendah karena beban kerja tidak akan diproduksi. Asumsi kami untuk Amazon Kendra Developer Edition adalah 730 jam aktif dalam sebulan.

Untuk Amazon SageMaker, kami membuat asumsi bahwa pelanggan akan menggunakan instans ml.g4dn.2xlarge untuk inferensi real-time, dengan satu titik akhir inferensi per instans. Anda dapat menemukan informasi selengkapnya tentang harga Amazon SageMaker dan jenis instans inferensi yang tersedia di sini.

Pelayanan Sumber Daya yang Dikonsumsi Estimasi Biaya Per Bulan dalam USD
Amplifikasi AWS 150 menit pembuatan
1 GB Data disajikan
500,000 permintaan
15.71
Gerbang API Amazon 1 Juta Panggilan REST API 3.5
AWS Lambda 1 Juta permintaan
Durasi 5 detik per permintaan
Memori 2 GB dialokasikan
160.23
Amazon DynamoDB 1 juta dibaca
1 juta menulis
Penyimpanan 100 GB
26.38
Pembuat Sage Amazon Inferensi waktu nyata dengan ml.g4dn.2xlarge 676.8
AmazonKendra Edisi Pengembang dengan 730 jam/bulan
10,000 Dokumen dipindai
5,000 kueri/hari
821.25
. . Total Biaya: 1703.87

* Amazon Cognito memiliki tingkat gratis 50,000 Pengguna Aktif Bulanan yang menggunakan Kolam Pengguna Cognito atau 50 Pengguna Aktif Bulanan yang menggunakan penyedia identitas SAML 2.0

Membersihkan

Untuk menghemat biaya, hapus semua sumber daya yang Anda sebarkan sebagai bagian dari tutorial. Anda dapat menghapus titik akhir SageMaker apa pun yang mungkin Anda buat melalui konsol SageMaker. Ingat, menghapus indeks Amazon Kendra tidak menghapus dokumen asli dari penyimpanan Anda.

Kesimpulan

Dalam postingan ini, kami menunjukkan kepada Anda cara menyederhanakan akses ke informasi internal dengan meringkas dari beberapa repositori secara real-time. Setelah perkembangan LLM yang tersedia secara komersial baru-baru ini, kemungkinan AI generatif menjadi lebih jelas. Dalam postingan ini, kami menunjukkan cara menggunakan layanan AWS untuk membuat chatbot tanpa server yang menggunakan AI generatif untuk menjawab pertanyaan. Pendekatan ini menggabungkan lapisan autentikasi dan deteksi PII Amazon Comprehend untuk menyaring informasi sensitif apa pun yang diberikan dalam kueri pengguna. Baik individu di bidang layanan kesehatan yang memahami perbedaan dalam mengajukan klaim asuransi atau SDM yang memahami peraturan spesifik perusahaan, ada banyak industri dan vertikal yang dapat mengambil manfaat dari pendekatan ini. Model fondasi Amazon SageMaker JumpStart adalah mesin di belakang chatbot, sementara pendekatan penjejalan konteks menggunakan teknik RAG digunakan untuk memastikan bahwa respons merujuk pada dokumen internal dengan lebih akurat.

Untuk mempelajari lebih lanjut tentang bekerja dengan AI generatif di AWS, lihat Mengumumkan Alat Baru untuk Membangun dengan AI Generatif di AWS. Untuk panduan lebih mendalam tentang penggunaan teknik RAG dengan layanan AWS, lihat Dengan cepat membuat aplikasi Generatif AI dengan akurasi tinggi pada data perusahaan menggunakan Amazon Kendra, LangChain, dan model bahasa besar. Karena pendekatan dalam blog ini adalah LLM agnostik, LLM apa pun dapat digunakan untuk inferensi. Dalam postingan berikutnya, kami akan menjelaskan cara mengimplementasikan solusi ini menggunakan Amazon Bedrock dan Amazon Titan LLM.


Tentang Penulis

Sederhanakan akses ke informasi internal menggunakan Retrieval Augmented Generation dan Agen LangChain | Kecerdasan Data PlatoBlockchain Layanan Web Amazon. Pencarian Vertikal. Ai.Abhishek Maligehalli Shivalingaiah adalah Arsitek Solusi Layanan AI Senior di AWS. Dia bersemangat membangun aplikasi menggunakan AI Generatif, Amazon Kendra, dan NLP. Beliau memiliki pengalaman sekitar 10 tahun dalam membangun solusi Data & AI untuk menciptakan nilai bagi pelanggan dan perusahaan. Dia bahkan telah membangun chatbot (pribadi) untuk bersenang-senang menjawab pertanyaan tentang karier dan perjalanan profesionalnya. Di luar pekerjaan, dia senang membuat potret keluarga & teman, serta suka membuat karya seni.

Sederhanakan akses ke informasi internal menggunakan Retrieval Augmented Generation dan Agen LangChain | Kecerdasan Data PlatoBlockchain Layanan Web Amazon. Pencarian Vertikal. Ai.Madha Aiyah adalah Associate Solutions Architect di AWS, yang berbasis di Austin, Texas. Dia baru saja lulus dari University of Texas di Dallas pada bulan Desember 2022 dengan gelar Master of Science di bidang Ilmu Komputer dengan spesialisasi Sistem Cerdas yang berfokus pada AI/ML. Dia tertarik untuk mempelajari lebih lanjut tentang AI/ML dan memanfaatkan layanan AWS untuk menemukan solusi yang dapat dimanfaatkan oleh pelanggan.

Sederhanakan akses ke informasi internal menggunakan Retrieval Augmented Generation dan Agen LangChain | Kecerdasan Data PlatoBlockchain Layanan Web Amazon. Pencarian Vertikal. Ai.Hugo Tse adalah Associate Solutions Architect di AWS yang berbasis di Seattle, Washington. Beliau meraih gelar Master di bidang Teknologi Informasi dari Arizona State University dan gelar sarjana Ekonomi dari University of Chicago. Beliau adalah anggota Asosiasi Audit dan Pengendalian Sistem Informasi (ISACA) dan Konsorsium Sertifikasi Keamanan Sistem Informasi Internasional (ISC)2. Dia senang membantu pelanggan mendapatkan manfaat dari teknologi.

Sederhanakan akses ke informasi internal menggunakan Retrieval Augmented Generation dan Agen LangChain | Kecerdasan Data PlatoBlockchain Layanan Web Amazon. Pencarian Vertikal. Ai.Ayman Ishimwe adalah Associate Solutions Architect di AWS yang berbasis di Seattle, Washington. Beliau meraih gelar Master di bidang Rekayasa Perangkat Lunak dan IT dari Oakland University. Dia memiliki pengalaman sebelumnya dalam pengembangan perangkat lunak, khususnya dalam membangun layanan mikro untuk aplikasi web terdistribusi. Dia bersemangat membantu pelanggan membangun solusi yang kuat dan terukur pada layanan cloud AWS dengan mengikuti praktik terbaik.

Sederhanakan akses ke informasi internal menggunakan Retrieval Augmented Generation dan Agen LangChain | Kecerdasan Data PlatoBlockchain Layanan Web Amazon. Pencarian Vertikal. Ai.Shervin Suresh adalah Associate Solutions Architect di AWS yang berbasis di Austin, Texas. Beliau telah lulus dengan gelar Magister Rekayasa Perangkat Lunak dengan Konsentrasi Cloud Computing dan Virtualisasi dan Sarjana Teknik Komputer dari San Jose State University. Dia bersemangat memanfaatkan teknologi untuk membantu meningkatkan kehidupan orang-orang dari semua latar belakang.

Stempel Waktu:

Lebih dari Pembelajaran Mesin AWS