Basis Pengetahuan untuk Amazon Bedrock kini mendukung pencarian hibrid | Layanan Web Amazon

At AWS re: Temukan 2023, kami mengumumkan ketersediaan umum Basis Pengetahuan untuk Batuan Dasar Amazon. Dengan basis pengetahuan, Anda dapat menghubungkan model dasar (FM) dengan aman Batuan Dasar Amazon ke data perusahaan Anda untuk Retrieval Augmented Generation (RAG) yang terkelola sepenuhnya.

Di sebuah sebelumnya pasca, kami menjelaskan bagaimana Basis Pengetahuan untuk Amazon Bedrock mengelola alur kerja RAG end-to-end untuk Anda dan berbagi detail tentang beberapa peluncuran fitur terbaru.

Untuk aplikasi berbasis RAG, keakuratan respons yang dihasilkan dari model bahasa besar (LLM) bergantung pada konteks yang diberikan pada model tersebut. Konteks diambil dari database vektor berdasarkan permintaan pengguna. Pencarian semantik banyak digunakan karena mampu memahami pertanyaan yang lebih mirip manusia—kueri pengguna tidak selalu terkait langsung dengan kata kunci yang tepat dalam konten yang menjawabnya. Pencarian semantik membantu memberikan jawaban berdasarkan makna teks. Namun, ia memiliki keterbatasan dalam menangkap semua kata kunci yang relevan. Performanya bergantung pada kualitas penyematan kata yang digunakan untuk merepresentasikan makna teks. Untuk mengatasi keterbatasan tersebut, menggabungkan pencarian semantik dengan pencarian kata kunci (hybrid) akan memberikan hasil yang lebih baik.

Dalam postingan ini, kami membahas fitur baru pencarian hibrid, yang dapat Anda pilih sebagai opsi kueri bersama pencarian semantik.

Ikhtisar pencarian hibrid

Penelusuran hibrid memanfaatkan kekuatan berbagai algoritme penelusuran, mengintegrasikan kemampuan uniknya untuk meningkatkan relevansi hasil penelusuran yang dikembalikan. Untuk aplikasi berbasis RAG, kemampuan pencarian semantik biasanya dikombinasikan dengan pencarian berbasis kata kunci tradisional untuk meningkatkan relevansi hasil pencarian. Hal ini memungkinkan pencarian atas isi dokumen dan makna mendasarnya. Misalnya, pertimbangkan kueri berikut:

What is the cost of the book "<book_name>" on <website_name>?

Dalam query nama buku dan nama website ini, pencarian kata kunci akan memberikan hasil yang lebih baik, karena kita menginginkan harga buku tertentu. Namun, istilah “biaya” mungkin memiliki sinonim seperti “harga”, jadi akan lebih baik menggunakan pencarian semantik, yang memahami arti teksnya. Pencarian hibrid menghadirkan yang terbaik dari kedua pendekatan: ketepatan pencarian semantik dan cakupan kata kunci. Ini berfungsi baik untuk aplikasi berbasis RAG di mana retriever harus menangani berbagai macam kueri bahasa alami. Kata kunci membantu mencakup entitas tertentu dalam kueri seperti nama produk, warna, dan harga, sementara semantik lebih memahami arti dan maksud dalam kueri. Misalnya, jika Anda ingin membuat chatbot untuk situs web e-niaga guna menangani pertanyaan pelanggan seperti kebijakan pengembalian atau detail produk, penggunaan penelusuran hibrid adalah pilihan yang paling tepat.

Kasus penggunaan untuk pencarian hibrid

Berikut ini adalah beberapa kasus penggunaan umum untuk penelusuran hibrid:

• Jawaban pertanyaan domain terbuka – Ini melibatkan menjawab pertanyaan tentang berbagai topik. Hal ini memerlukan penelusuran terhadap kumpulan dokumen dalam jumlah besar dengan konten yang beragam, seperti data situs web, yang dapat mencakup berbagai topik seperti keberlanjutan, kepemimpinan, hasil keuangan, dan banyak lagi. Pencarian semantik saja tidak dapat menggeneralisasi dengan baik untuk tugas ini, karena tidak memiliki kapasitas untuk pencocokan leksikal entitas yang tidak terlihat, yang penting untuk menangani contoh di luar domain. Oleh karena itu, menggabungkan pencarian berbasis kata kunci dengan pencarian semantik dapat membantu mempersempit cakupan dan memberikan hasil yang lebih baik untuk menjawab pertanyaan domain terbuka.
• Chatbot berbasis kontekstual – Percakapan dapat dengan cepat mengubah arah dan mencakup topik yang tidak terduga. Pencarian hibrid dapat menangani dialog terbuka seperti itu dengan lebih baik.
• Pencarian yang dipersonalisasi – Pencarian skala web atas konten yang heterogen mendapat manfaat dari pendekatan hibrid. Pencarian semantik menangani kueri utama yang populer, sedangkan kata kunci mencakup kueri ekor panjang yang jarang terjadi.

Meskipun pencarian hibrid menawarkan cakupan yang lebih luas dengan menggabungkan dua pendekatan, pencarian semantik memiliki keunggulan presisi ketika domainnya sempit dan semantiknya terdefinisi dengan baik, atau ketika ada sedikit ruang untuk salah tafsir, seperti sistem penjawab pertanyaan factoid.

Manfaat pencarian hibrid

Pencarian kata kunci dan semantik akan menghasilkan serangkaian hasil terpisah beserta skor relevansinya, yang kemudian digabungkan untuk menghasilkan hasil yang paling relevan. Basis Pengetahuan untuk Amazon Bedrock saat ini mendukung empat penyimpanan vektor: Amazon OpenSearch Tanpa Server, Amazon Aurora Edisi yang Kompatibel dengan PostgreSQL, biji pinus, dan Redis Perusahaan Cloud. Saat tulisan ini dibuat, fitur pencarian hibrid tersedia untuk OpenSearch Tanpa Server, dengan dukungan untuk penyimpanan vektor lainnya segera hadir.

Berikut ini adalah beberapa keuntungan menggunakan pencarian hibrid:

• Akurasi yang ditingkatkan – Keakuratan respons yang dihasilkan dari FM bergantung langsung pada relevansi hasil yang diambil. Berdasarkan data Anda, meningkatkan akurasi aplikasi Anda hanya menggunakan penelusuran semantik dapat menjadi tantangan. Manfaat utama penggunaan penelusuran hibrid adalah meningkatkan kualitas hasil yang diambil, yang pada gilirannya membantu FM menghasilkan jawaban yang lebih akurat.
• Kemampuan pencarian yang diperluas – Pencarian kata kunci memberikan jaring yang lebih luas dan menemukan dokumen yang mungkin relevan tetapi mungkin tidak mengandung struktur semantik di seluruh dokumen. Hal ini memungkinkan Anda untuk mencari kata kunci serta makna semantik teks, sehingga memperluas kemampuan pencarian.

Di bagian berikut, kami mendemonstrasikan cara menggunakan pencarian hibrid dengan Basis Pengetahuan untuk Amazon Bedrock.

Gunakan pencarian hibrid dan opsi pencarian semantik melalui SDK

Saat Anda memanggil Retrieve API, Basis Pengetahuan untuk Amazon Bedrock memilih strategi pencarian yang tepat agar Anda dapat memberikan hasil yang paling relevan. Anda memiliki opsi untuk menggantinya untuk menggunakan penelusuran hibrid atau semantik di API.

Ambil API

Retrieve API dirancang untuk mengambil hasil pencarian yang relevan dengan memberikan kueri pengguna, ID basis pengetahuan, dan jumlah hasil yang Anda ingin agar dikembalikan oleh API. API ini mengubah kueri pengguna menjadi penyematan, mencari basis pengetahuan menggunakan pencarian hibrid atau pencarian semantik (vektor), dan mengembalikan hasil yang relevan, memberi Anda kontrol lebih besar untuk membangun alur kerja kustom di atas hasil pencarian. Misalnya, Anda dapat menambahkan logika pascapemrosesan ke hasil yang diambil atau menambahkan prompt Anda sendiri dan terhubung dengan FM apa pun yang disediakan oleh Amazon Bedrock untuk menghasilkan jawaban.

Untuk menunjukkan kepada Anda contoh peralihan antara opsi pencarian hibrid dan semantik (vektor), kami telah membuat basis pengetahuan menggunakan Dokumen Amazon 10K untuk tahun 2023. Untuk detail lebih lanjut tentang membuat basis pengetahuan, lihat Bangun aplikasi chatbot kontekstual menggunakan Basis Pengetahuan untuk Amazon Bedrock.

Untuk mendemonstrasikan nilai penelusuran hibrid, kami menggunakan kueri berikut:

As of December 31st 2023, what is the leased square footage for physical stores in North America?

Jawaban untuk pertanyaan sebelumnya melibatkan beberapa kata kunci, seperti date, physical stores, dan North America. Jawaban yang benar adalah 22,871 thousand square feet. Mari kita amati perbedaan hasil pencarian untuk pencarian hybrid dan semantik.

Kode berikut menunjukkan cara menggunakan pencarian hibrid atau semantik (vektor) menggunakan Retrieve API dengan Boto3:

import boto3

bedrock_agent_runtime = boto3.client(
    service_name = "bedrock-agent-runtime"
)

def retrieve(query, kbId, numberOfResults=5):
    return bedrock_agent_runtime.retrieve(
        retrievalQuery= {
            'text': query
        },
        knowledgeBaseId=kbId,
        retrievalConfiguration= {
            'vectorSearchConfiguration': {
                'numberOfResults': numberOfResults,
                'overrideSearchType': "HYBRID/SEMANTIC", # optional
            }
        }
    )
response = retrieve("As of December 31st 2023, what is the leased square footage for physical stores in North America?", "<knowledge base id>")["retrievalResults"]

Grafik overrideSearchType pilihan dalam retrievalConfiguration menawarkan pilihan untuk menggunakan keduanya HYBRID or SEMANTIC. Secara default, ini akan memilih strategi yang tepat bagi Anda untuk memberikan hasil yang paling relevan, dan jika Anda ingin mengganti opsi default untuk menggunakan pencarian hibrid atau semantik, Anda dapat mengatur nilainya menjadi HYBRID/SEMANTIC. Keluaran dari Retrieve API mencakup potongan teks yang diambil, jenis lokasi dan URI data sumber, serta skor relevansi pengambilan. Skor membantu menentukan bagian mana yang paling cocok dengan respons kueri.

Berikut ini adalah hasil kueri sebelumnya yang menggunakan penelusuran hibrid (dengan beberapa keluaran disunting agar singkatnya):

[
  {
    "content": {
      "text": "... Description of Use Leased Square Footage (1).... Physical stores (2) 22,871  ..."
    },
    "location": {
      "type": "S3",
      "s3Location": {
        "uri": "s3://<bucket_name>/amazon-10k-2023.pdf"
      }
    },
    "score": 0.6389407
  },
  {
    "content": {
      "text": "Property and equipment, net by segment is as follows (in millions): December 31, 2021 2022 2023 North America $ 83,640 $ 90,076 $ 93,632 International 21,718 23,347 24,357 AWS 43,245 60,324 72,701 Corporate 1.."
    },
    "location": {
      "type": "S3",
      "s3Location": {
        "uri": "s3://<bucket_name>/amazon-10k-2023.pdf"
      }
    },
    "score": 0.6389407
  },
  {
    "content": {
      "text": "..amortization of property and equipment acquired under finance leases of $9.9 billion, $6.1 billion, and $5.9 billion for 2021, 2022, and 2023. 54 Table of Contents Note 4 — LEASES We have entered into non-cancellable operating and finance leases for fulfillment network, data center, office, and physical store facilities as well as server and networking equipment, aircraft, and vehicles. Gross assets acquired under finance leases, ..."
    },
    "location": {
      "type": "S3",
      "s3Location": {
        "uri": "s3://<bucket_name>/amazon-10k-2023.pdf"
      }
    },
    "score": 0.61908984
  }
]

Berikut adalah hasil pencarian semantik (dengan beberapa keluaran disunting agar singkatnya):

[
  {
    "content": {
      "text": "Property and equipment, net by segment is as follows (in millions):    December 31,    2021 2022 2023   North America $ 83,640 $ 90,076 $ 93,632  International 21,718 23,347 24,357  AWS 43,245 60,324 72,701.."
    },
    "location": {
      "type": "S3",
      "s3Location": {
        "uri": "s3://<bucket_name>/amazon-10k-2023.pdf"
      }
    },
    "score": 0.6389407
  },
  {
    "content": {
      "text": "Depreciation and amortization expense on property and equipment was $22.9 billion, $24.9 billion, and $30.2 billion which includes amortization of property and equipment acquired under finance leases of $9.9 billion, $6.1 billion, and $5.9 billion for 2021, 2022, and 2023.   54        Table of Contents   Note 4 — LEASES We have entered into non-cancellable operating and finance leases for fulfillment network, data center, office, and physical store facilities as well a..."
    },
    "location": {
      "type": "S3",
      "s3Location": {
        "uri": "s3://<bucket_name>/amazon-10k-2023.pdf"
      }
    },
    "score": 0.61908984
  },
  {
    "content": {
      "text": "Incentives that we receive from property and equipment   vendors are recorded as a reduction to our costs. Property includes buildings and land that we own, along with property we have acquired under build-to-suit lease arrangements when we have control over the building during the construction period and finance lease arrangements..."
    },
    "location": {
      "type": "S3",
      "s3Location": {
        "uri": "s3://<bucket_name>/amazon-10k-2023.pdf"
      }
    },
    "score": 0.61353767
  }
]

Seperti yang Anda lihat di hasilnya, penelusuran hibrid dapat mengambil hasil penelusuran dengan ukuran luas yang disewakan untuk toko fisik di Amerika Utara seperti yang disebutkan dalam kueri pengguna. Alasan utamanya adalah pencarian hybrid mampu menggabungkan hasil dari kata kunci seperti date, physical stores, dan North America dalam kueri, sedangkan penelusuran semantik tidak. Oleh karena itu, ketika hasil pencarian ditambah dengan permintaan pengguna dan prompt, FM tidak akan dapat memberikan respons yang benar dalam kasus pencarian semantik.

Sekarang mari kita lihat RetrieveAndGenerate API dengan pencarian hybrid untuk memahami respon akhir yang dihasilkan oleh FM.

AmbilDan Hasilkan API

Grafik RetrieveAndGenerate API menanyakan basis pengetahuan dan menghasilkan respons berdasarkan hasil yang diambil. Anda menentukan ID basis pengetahuan serta FM untuk menghasilkan respons dari hasil. Amazon Bedrock mengubah kueri menjadi embeddings, mengkueri basis pengetahuan berdasarkan jenis pencarian, lalu menambah perintah FM dengan hasil pencarian sebagai informasi konteks dan mengembalikan respons yang dihasilkan FM.

Mari kita gunakan pertanyaan “Pada tanggal 31 Desember 2023, berapa luas persegi yang disewakan untuk toko fisik di Amerika Utara?” dan bertanya pada RetrieveAndGenerate API untuk menghasilkan respons menggunakan kueri kami:

def retrieveAndGenerate(input, kbId):
    return bedrock_agent_runtime.retrieve_and_generate(
        input={
            'text': input
        },
        retrieveAndGenerateConfiguration={
            'type': 'KNOWLEDGE_BASE',
            'knowledgeBaseConfiguration': {
                'knowledgeBaseId': kbId,
                'modelArn': 'arn:aws:bedrock:us-east-1::foundation-model/anthropic.claude-instant-v1'
                'retrievalConfiguration': {
                'overrideSearchType': 'HYBRID/SEMANTIC',
                }
                }
            }
        )
response = retrieveAndGenerate("As of December 31st 2023, what is the leased square footage for physical stores in North America?", "<knowledge base id>")["output"]["text"]

Berikut hasil menggunakan hybrid search:

22,871 thousand leased square feet

Berikut hasil menggunakan pencarian semantik:

The search results do not contain any information about the leased square footage for physical stores in North America for 2023.

Jawaban sebenarnya untuk pertanyaan tersebut adalah 22,871 thousand leased square feet, yang dihasilkan oleh pencarian hibrid. Hasil penelusuran yang diambil untuk penelusuran hibrid mencakup informasi tentang ukuran luas yang disewakan untuk toko fisik di Amerika Utara, sedangkan penelusuran semantik tidak dapat mengambil informasi yang benar dari penyimpanan vektor karena terjemahan penyematan. Oleh karena itu, FM tidak dapat memberikan respon yang benar karena tidak memiliki hasil pencarian yang benar dan paling relevan.

Namun, untuk pertanyaan yang lebih umum yang tidak melibatkan entitas seperti physical stores or North America, penelusuran hibrid dan semantik memberikan hasil yang serupa.

Berikut adalah contoh respons dari beberapa kueri yang menunjukkan kasus ketika penelusuran hibrid dan semantik menghasilkan hasil yang serupa.

Gunakan pencarian hibrid dan opsi pencarian semantik melalui konsol Amazon Bedrock

Untuk menggunakan opsi pencarian hibrid dan semantik di konsol Amazon Bedrock, selesaikan langkah-langkah berikut:

1. Di konsol Amazon Bedrock, pilih Dasar pengetahuan di panel navigasi.
2. Pilih basis pengetahuan yang Anda buat.
3. Pilih Uji basis pengetahuan.
4. Pilih ikon konfigurasi.
   
5. Untuk Jenis pencarianPilih Pencarian hibrid (semantik & teks).
   

Secara default, Anda dapat memilih FM untuk mendapatkan respons yang dihasilkan untuk kueri Anda. Jika Anda hanya ingin melihat hasil yang diambil, Anda dapat beralih Hasilkan respons off untuk mendapatkan hanya hasil yang diambil.

Kesimpulan

Dalam postingan ini, kami membahas fitur kueri baru di Basis Pengetahuan untuk Amazon Bedrock, yang memungkinkan pencarian hibrid. Kami mempelajari cara mengonfigurasi opsi pencarian hibrid di SDK dan konsol Amazon Bedrock. Hal ini membantu mengatasi beberapa keterbatasan yang hanya mengandalkan pencarian semantik, terutama untuk mencari kumpulan dokumen dalam jumlah besar dengan konten yang beragam. Penggunaan pencarian hibrid bergantung pada jenis dokumen dan kasus penggunaan yang Anda coba terapkan.

Untuk sumber daya tambahan, lihat yang berikut ini:

Referensi

Meningkatkan Kinerja Pengambilan di Saluran Pipa RAG dengan Pencarian Hibrid

Tentang Penulis

Mani Khanuja adalah Pimpinan Teknologi – Spesialis AI Generatif, penulis buku Applied Machine Learning and High Performance Computing on AWS, dan anggota Dewan Direksi Women in Manufacturing Education Foundation Board. Dia memimpin proyek pembelajaran mesin di berbagai domain seperti visi komputer, pemrosesan bahasa alami, dan AI generatif. Dia berbicara di konferensi internal dan eksternal seperti AWS re:Invent, Women in Manufacturing West, webinar YouTube, dan GHC 23. Di waktu luangnya, dia suka berjalan-jalan di sepanjang pantai.

Pallavi Nargund adalah Arsitek Solusi Utama di AWS. Dalam perannya sebagai penggerak teknologi cloud, dia bekerja dengan pelanggan untuk memahami tujuan dan tantangan mereka, dan memberikan panduan preskriptif untuk mencapai tujuan mereka dengan penawaran AWS. Dia sangat tertarik dengan perempuan di bidang teknologi dan merupakan anggota inti Women in AI/ML di Amazon. Dia berbicara di konferensi internal dan eksternal seperti AWS re:Invent, AWS Summits, dan webinar. Di luar pekerjaan dia menikmati kegiatan sukarela, berkebun, bersepeda, dan hiking.

• Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
• PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
• PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
• PlatoESG. Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
• PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
• Sumber: https://aws.amazon.com/blogs/machine-learning/knowledge-bases-for-amazon-bedrock-now-supports-hybrid-search/