Basis Pengetahuan di Amazon Bedrock kini menyederhanakan pengajuan pertanyaan pada satu dokumen | Layanan Web Amazon

At AWS re: Temukan 2023, kami mengumumkan ketersediaan umum Basis Pengetahuan untuk Batuan Dasar Amazon. Dengan Basis Pengetahuan untuk Amazon Bedrock, Anda dapat menghubungkan model dasar (FM) dengan aman Batuan Dasar Amazon ke data perusahaan Anda untuk Retrieval Augmented Generation (RAG) yang terkelola sepenuhnya.

Di postingan sebelumnya, kami membahas kemampuan baru seperti dukungan pencarian hibrida, pemfilteran metadata untuk meningkatkan akurasi pengambilan, Dan bagaimana Basis Pengetahuan untuk Amazon Bedrock mengelola alur kerja RAG end-to-end.

Hari ini, kami memperkenalkan kemampuan baru untuk mengobrol dengan dokumen Anda tanpa pengaturan apa pun di Basis Pengetahuan untuk Amazon Bedrock. Dengan kemampuan baru ini, Anda dapat mengajukan pertanyaan dengan aman pada satu dokumen, tanpa perlu menyiapkan database vektor atau menyerap data, sehingga memudahkan bisnis untuk menggunakan data perusahaan mereka. Anda hanya perlu memberikan file data yang relevan sebagai masukan dan memilih FM Anda untuk memulai.

Namun sebelum kita masuk ke detail fitur ini, mari kita mulai dengan dasar-dasarnya dan memahami apa itu RAG, manfaatnya, dan bagaimana kemampuan baru ini memungkinkan pengambilan dan pembuatan konten untuk kebutuhan sementara.

Apa itu Retrieval Augmented Generation?

Asisten kecerdasan buatan (AI) yang didukung FM memiliki keterbatasan, seperti memberikan informasi yang sudah ketinggalan zaman atau kesulitan menghadapi konteks di luar data pelatihan mereka. RAG mengatasi masalah ini dengan memungkinkan FM melakukan referensi silang terhadap sumber pengetahuan yang berwenang sebelum menghasilkan tanggapan.

Dengan RAG, ketika pengguna mengajukan pertanyaan, sistem mengambil konteks yang relevan dari basis pengetahuan yang dikurasi, seperti dokumentasi perusahaan. Hal ini memberikan konteks ini kepada Menlu, yang menggunakannya untuk menghasilkan respons yang lebih tepat dan tepat. RAG membantu mengatasi keterbatasan FM dengan meningkatkan kemampuannya dengan pengetahuan milik organisasi, memungkinkan chatbots dan asisten AI untuk memberikan informasi terkini dan spesifik konteks yang disesuaikan dengan kebutuhan bisnis tanpa melatih ulang seluruh FM. Di AWS, kami menyadari potensi RAG dan telah berupaya menyederhanakan penerapannya melalui Basis Pengetahuan untuk Amazon Bedrock, sehingga memberikan pengalaman RAG yang terkelola sepenuhnya.

Kebutuhan informasi jangka pendek dan instan

Meskipun basis pengetahuan melakukan semua pekerjaan berat dan berfungsi sebagai penyimpanan besar pengetahuan perusahaan, Anda mungkin memerlukan akses sementara ke data untuk tugas atau analisis tertentu dalam sesi pengguna yang terisolasi. Pendekatan RAG tradisional tidak dioptimalkan untuk skenario akses data berbasis sesi jangka pendek ini.

Bisnis dikenakan biaya untuk penyimpanan dan pengelolaan data. Hal ini mungkin membuat RAG kurang hemat biaya untuk organisasi dengan kebutuhan informasi yang sangat dinamis atau singkat, terutama ketika data hanya diperlukan untuk tugas atau analisis yang spesifik dan terisolasi.

Ajukan pertanyaan pada satu dokumen tanpa pengaturan apa pun

Kemampuan baru untuk mengobrol dengan dokumen Anda dalam Basis Pengetahuan untuk Amazon Bedrock mengatasi tantangan yang disebutkan di atas. Ini memberikan metode tanpa pengaturan untuk menggunakan dokumen tunggal Anda untuk pengambilan konten dan tugas terkait pembuatan, bersama dengan FM yang disediakan oleh Amazon Bedrock. Dengan kemampuan baru ini, Anda dapat mengajukan pertanyaan tentang data Anda tanpa perlu menyiapkan database vektor atau menyerap data, sehingga memudahkan penggunaan data perusahaan Anda.

Anda sekarang dapat berinteraksi dengan dokumen Anda secara real-time tanpa penyerapan data atau konfigurasi database sebelumnya. Anda tidak perlu mengambil langkah kesiapan data lebih lanjut sebelum mengkueri data.

Pendekatan tanpa pengaturan ini memudahkan penggunaan aset informasi perusahaan Anda dengan AI generatif menggunakan Amazon Bedrock.

Kasus penggunaan dan manfaat

Pertimbangkan perusahaan perekrutan yang perlu menganalisis resume dan mencocokkan kandidat dengan peluang kerja yang sesuai berdasarkan pengalaman dan keterampilan mereka. Sebelumnya, Anda harus menyiapkan basis pengetahuan, menerapkan alur kerja penyerapan data untuk memastikan hanya perekrut resmi yang dapat mengakses data. Selain itu, Anda perlu mengelola pembersihan saat data tidak lagi diperlukan untuk suatu sesi atau kandidat. Pada akhirnya, Anda akan membayar lebih untuk penyimpanan dan pengelolaan database vektor dibandingkan penggunaan FM sebenarnya. Fitur baru di Basis Pengetahuan untuk Amazon Bedrock ini memungkinkan perekrut menganalisis resume dengan cepat dan singkat serta mencocokkan kandidat dengan peluang kerja yang sesuai berdasarkan pengalaman dan keahlian kandidat.

Contoh lainnya, pertimbangkan seorang manajer produk di sebuah perusahaan teknologi yang perlu menganalisis umpan balik pelanggan dengan cepat dan tiket dukungan untuk mengidentifikasi masalah umum dan area yang perlu ditingkatkan. Dengan kemampuan baru ini, Anda cukup mengunggah dokumen untuk mengekstrak wawasan dalam waktu singkat. Misalnya, Anda dapat bertanya “Apa saja persyaratan untuk aplikasi seluler?” atau “Apa saja kendala umum yang disebutkan oleh pelanggan terkait proses orientasi kami?” Fitur ini memberdayakan Anda untuk menyatukan informasi ini dengan cepat tanpa kerumitan persiapan data atau overhead manajemen apa pun. Anda juga dapat meminta ringkasan atau kesimpulan penting, seperti “Apa yang menarik dari dokumen persyaratan ini?”

Manfaat fitur ini lebih dari sekadar penghematan biaya dan efisiensi operasional. Dengan menghilangkan kebutuhan akan basis data vektor dan penyerapan data, kemampuan baru dalam Basis Pengetahuan untuk Amazon Bedrock ini membantu mengamankan data kepemilikan Anda, membuatnya hanya dapat diakses dalam konteks sesi pengguna yang terisolasi.

Kini setelah kita membahas manfaat fitur dan kasus penggunaan yang diaktifkan, mari selami bagaimana Anda dapat mulai menggunakan fitur baru ini dari Basis Pengetahuan untuk Amazon Bedrock.

Ngobrol dengan dokumen Anda di Basis Pengetahuan untuk Amazon Bedrock

Anda memiliki beberapa opsi untuk mulai menggunakan fitur ini:

• Konsol Amazon Bedrock
• Batuan Dasar Amazon RetrieveAndGenerate API (SDK)

Mari kita lihat bagaimana kita bisa mulai menggunakan konsol Amazon Bedrock:

1. Di konsol Amazon Bedrock, di bawah Orkestrasi di panel navigasi, pilih Basis pengetahuan.
2. Pilih Ngobrol dengan dokumen Anda.
   
3. Bawah Model, pilih Pilih model.
   
4. Pilih model Anda. Untuk contoh ini, kami menggunakan model Claude 3 Soneta (kami hanya mendukung Soneta pada saat peluncurannya).
5. Pilih Mendaftar.
   
6. Bawah Data, Anda dapat mengunggah dokumen yang ingin Anda ajak ngobrol atau arahkan ke Layanan Penyimpanan Sederhana Amazon (Amazon S3) lokasi bucket yang berisi file Anda. Untuk posting ini, kami mengunggah dokumen dari komputer kami.

Format file yang didukung adalah PDF, MD (Markdown), TXT, DOCX, HTML, CSV, XLS, dan XLSX. Pastikan ukuran file tidak melebihi 10 MB dan berisi tidak lebih dari 20,000 token. A token dianggap sebagai satuan teks, seperti kata, subkata, angka, atau simbol, yang diproses sebagai satu kesatuan. Karena batas penyerapan token yang telah ditentukan sebelumnya, disarankan untuk menggunakan file di bawah 10 MB. Namun, file berisi teks, yang ukurannya jauh lebih kecil dari 10 MB, berpotensi melanggar batas token.

Anda sekarang siap untuk ngobrol dengan dokumen Anda.

Seperti yang ditunjukkan pada tangkapan layar berikut, Anda dapat mengobrol dengan dokumen Anda secara real time.

Untuk menyesuaikan perintah Anda, masukkan perintah Anda di bawah System cepat.

Demikian pula, Anda dapat menggunakan AWS SDK melalui retrieve_and_generate API dalam bahasa pengkodean utama. Dalam contoh berikut, kami menggunakan AWS SDK untuk Python (Boto3):

import boto3

bedrock_client = boto3.client(service_name='bedrock-agent-runtime')
model_id = "your_model_id_here"    # Replace with your modelID
document_uri = "your_s3_uri_here"  # Replace with your S3 URI

def retrieveAndGenerate(input_text, sourceType, model_id, document_s3_uri=None, data=None):
    region = 'us-west-2'  
    model_arn = f'arn:aws:bedrock:{region}::foundation-model/{model_id}'

    if sourceType == "S3":
        return bedrock_client.retrieve_and_generate(
            input={'text': input_text},
            retrieveAndGenerateConfiguration={
                'type': 'EXTERNAL_SOURCES',
                'externalSourcesConfiguration': {
                    'modelArn': model_arn,
                    'sources': [
                        {
                            "sourceType": sourceType,
                            "s3Location": {
                                "uri": document_s3_uri  
                            }
                        }
                    ]
                }
            }
        )
        
    else:
        return bedrock_client.retrieve_and_generate(
            input={'text': input_text},
            retrieveAndGenerateConfiguration={
                'type': 'EXTERNAL_SOURCES',
                'externalSourcesConfiguration': {
                    'modelArn': model_arn,
                    'sources': [
                        {
                            "sourceType": sourceType,
                            "byteContent": {
                                "identifier": "testFile.txt",
                                "contentType": "text/plain",
                                "data": data  
                            }
                        }
                    ]
                }
            }
        )

response = retrieveAndGenerate(
                                input_text="What is the main topic of this document?",
                                sourceType="S3", 
                                model_id=model_id,
                                document_s3_uri=document_uri
                              )
                    
print(response['output']['text'])

Kesimpulan

Dalam postingan ini, kami membahas bagaimana Basis Pengetahuan untuk Amazon Bedrock kini menyederhanakan pengajuan pertanyaan pada satu dokumen. Kami mengeksplorasi konsep inti di balik RAG, tantangan yang diatasi oleh fitur baru ini, dan berbagai kasus penggunaan yang dimungkinkannya di berbagai peran dan industri. Kami juga mendemonstrasikan cara mengonfigurasi dan menggunakan kemampuan ini melalui konsol Amazon Bedrock dan AWS SDK, yang menunjukkan kesederhanaan dan fleksibilitas fitur ini, yang memberikan solusi tanpa pengaturan untuk mengumpulkan informasi dari satu dokumen, tanpa menyiapkan database vektor .

Untuk mengeksplorasi lebih jauh kemampuan Basis Pengetahuan untuk Amazon Bedrock, lihat sumber daya berikut:

Berbagi dan belajar dengan komunitas AI generatif kami di komunitas.aws.

Tentang penulis

Suman Debnath adalah Advokat Pengembang Utama untuk Pembelajaran Mesin di Amazon Web Services. Dia sering berbicara di konferensi, acara, dan pertemuan AI/ML di seluruh dunia. Dia sangat menyukai sistem terdistribusi skala besar dan merupakan penggemar berat Python.

Sebastian Munera adalah Insinyur Perangkat Lunak di tim Basis Pengetahuan Amazon Bedrock di AWS yang fokusnya membangun solusi pelanggan yang memanfaatkan aplikasi Generatif AI dan RAG. Dia sebelumnya bekerja untuk membangun solusi berbasis AI Generatif bagi pelanggan untuk menyederhanakan proses mereka dan aplikasi kode rendah/tanpa kode. Di waktu luangnya ia senang berlari, mengangkat beban, dan mengutak-atik teknologi.

• Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
• PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
• PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
• PlatoESG. Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
• PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
• Sumber: https://aws.amazon.com/blogs/machine-learning/knowledge-bases-in-amazon-bedrock-now-simplifies-asking-questions-on-a-single-document/