پایگاه های دانش برای Amazon Bedrock اکنون از جستجوی ترکیبی پشتیبانی می کند | خدمات وب آمازون

At AWS دوباره: اختراع 2023، ما در دسترس بودن عمومی را اعلام کردیم پایگاه های دانش برای آمازون بستر. با یک پایگاه دانش، می‌توانید مدل‌های پایه (FM) را به‌طور ایمن به آن متصل کنید بستر آمازون به داده های شرکت شما برای بازیابی کامل مدیریت شده نسل افزوده (RAG).

در یک پست قبلی، توضیح دادیم که چگونه Bases Knowledge for Amazon Bedrock گردش کار RAG سرتاسر را برای شما مدیریت می کند و جزئیات برخی از ویژگی های اخیر راه اندازی شده را به اشتراک گذاشته است.

برای برنامه های کاربردی مبتنی بر RAG، دقت پاسخ تولید شده از مدل های زبان بزرگ (LLM) به زمینه ارائه شده به مدل بستگی دارد. متن از پایگاه داده برداری بر اساس پرس و جو کاربر بازیابی می شود. جستجوی معنایی به طور گسترده مورد استفاده قرار می گیرد زیرا قادر به درک بیشتر سؤالات شبیه به انسان است - پرس و جوی کاربر همیشه مستقیماً با کلمات کلیدی دقیق محتوایی که به آن پاسخ می دهد مرتبط نیست. جستجوی معنایی به ارائه پاسخ بر اساس معنای متن کمک می کند. با این حال، محدودیت هایی در جذب تمام کلمات کلیدی مرتبط دارد. عملکرد آن متکی به کیفیت تعبیه کلمه است که برای نشان دادن معنای متن استفاده می شود. برای غلبه بر چنین محدودیت‌هایی، ترکیب جستجوی معنایی با جستجوی کلیدواژه (ترکیبی) نتایج بهتری به همراه خواهد داشت.

در این پست به ویژگی جدید جستجوی ترکیبی می پردازیم که می توانید آن را به عنوان گزینه پرس و جو در کنار جستجوی معنایی انتخاب کنید.

مروری بر جستجوی ترکیبی

جستجوی ترکیبی از نقاط قوت الگوریتم‌های جستجوی چندگانه بهره می‌برد و قابلیت‌های منحصربه‌فرد آن‌ها را برای افزایش ارتباط نتایج جستجوی بازگشتی یکپارچه می‌کند. برای برنامه‌های مبتنی بر RAG، قابلیت‌های جستجوی معنایی معمولاً با جستجوی سنتی مبتنی بر کلمه کلیدی ترکیب می‌شوند تا ارتباط نتایج جستجو را بهبود بخشند. این امکان جستجو در محتوای اسناد و معنای اساسی آنها را فراهم می کند. به عنوان مثال، پرس و جو زیر را در نظر بگیرید:

What is the cost of the book "<book_name>" on <website_name>?

در این پرس و جو برای نام کتاب و نام وب سایت، جستجوی کلمه کلیدی نتایج بهتری به دست می دهد، زیرا ما هزینه کتاب خاص را می خواهیم. با این حال، اصطلاح "هزینه" ممکن است مترادف هایی مانند "قیمت" داشته باشد، بنابراین بهتر است از جستجوی معنایی استفاده کنید که معنای متن را درک می کند. جستجوی ترکیبی بهترین هر دو رویکرد را به ارمغان می آورد: دقت جستجوی معنایی و پوشش کلمات کلیدی. این برای برنامه‌های مبتنی بر RAG که در آن بازیابی‌کننده باید طیف گسترده‌ای از جستارهای زبان طبیعی را مدیریت کند، عالی عمل می‌کند. کلمات کلیدی به پوشش نهادهای خاص در پرس و جو کمک می کنند مانند نام محصول، رنگ و قیمت، در حالی که معناشناسی بهتر معنا و هدف درون پرس و جو را درک می کند. به عنوان مثال، اگر می خواهید یک ربات چت برای یک وب سایت تجارت الکترونیک بسازید تا به سؤالات مشتری مانند خط مشی بازگشت یا جزئیات محصول رسیدگی کند، استفاده از جستجوی ترکیبی مناسب ترین خواهد بود.

از موارد برای جستجوی ترکیبی استفاده کنید

موارد زیر چند مورد استفاده رایج برای جستجوی ترکیبی است:

• پاسخگویی به سوال دامنه باز - این شامل پاسخ دادن به سؤالات در مورد موضوعات مختلف است. این امر مستلزم جستجو در مجموعه‌های بزرگی از اسناد با محتوای متنوع، مانند داده‌های وب‌سایت است که می‌تواند شامل موضوعات مختلفی مانند پایداری، رهبری، نتایج مالی و موارد دیگر باشد. جستجوی معنایی به تنهایی نمی تواند به خوبی برای این کار تعمیم دهد، زیرا فاقد ظرفیت تطبیق واژگانی موجودیت های نادیده است، که برای مدیریت نمونه های خارج از دامنه مهم است. بنابراین، ترکیب جستجوی مبتنی بر کلمه کلیدی با جستجوی معنایی می تواند به محدود کردن دامنه کمک کند و نتایج بهتری برای پاسخگویی به سؤالات دامنه باز ارائه دهد.
• چت ربات های مبتنی بر متن - مکالمات می توانند به سرعت تغییر جهت داده و موضوعات غیرقابل پیش بینی را پوشش دهند. جستجوی ترکیبی می‌تواند بهتر از پس چنین دیالوگ‌های باز بر بیاید.
• جستجوی شخصی شده - جستجو در مقیاس وب بر روی محتوای ناهمگن از یک رویکرد ترکیبی سود می برد. جستجوی معنایی پرس‌و‌جوهای پرطرفدار سر را مدیریت می‌کند، در حالی که کلمات کلیدی عبارت‌های جستجوی طولانی نادر را پوشش می‌دهند.

اگرچه جستجوی ترکیبی با ترکیب دو رویکرد پوشش گسترده‌تری ارائه می‌دهد، جستجوی معنایی زمانی که دامنه محدود است و معنایی به خوبی تعریف می‌شود، یا زمانی که فضای کمی برای تفسیر نادرست وجود دارد، مانند سیستم‌های پاسخ‌گویی به پرسش واقعی، مزایای دقیقی دارد.

مزایای جستجوی ترکیبی

هر دو کلمه کلیدی و جستجوی معنایی مجموعه جداگانه ای از نتایج را همراه با امتیازهای مربوط به آنها برمی گرداند، که سپس برای بازگشت مرتبط ترین نتایج ترکیب می شوند. پایگاه های دانش برای Amazon Bedrock در حال حاضر از چهار فروشگاه برداری پشتیبانی می کند: بدون سرور جستجوی باز آمازون, Amazon Aurora PostgreSQL-Compatible Edition, پینکونو Redis Enterprise Cloud. از زمان نگارش این مقاله، ویژگی جستجوی ترکیبی برای OpenSearch Serverless در دسترس است و به زودی از فروشگاه‌های برداری دیگر پشتیبانی می‌شود.

برخی از مزایای استفاده از جستجوی ترکیبی به شرح زیر است:

• دقت بهبود یافته - دقت پاسخ تولید شده از FM مستقیماً به ارتباط نتایج بازیابی شده بستگی دارد. بر اساس داده های شما، بهبود دقت برنامه فقط با استفاده از جستجوی معنایی می تواند چالش برانگیز باشد. مزیت کلیدی استفاده از جستجوی ترکیبی دریافت کیفیت بهبود یافته نتایج بازیابی شده است که به نوبه خود به FM کمک می کند تا پاسخ های دقیق تری تولید کند.
• قابلیت جستجوی گسترده - جستجوی کلمه کلیدی شبکه گسترده تری ایجاد می کند و اسنادی را پیدا می کند که ممکن است مرتبط باشند اما ممکن است ساختار معنایی را در سراسر سند نداشته باشند. این امکان را به شما می دهد تا بر روی کلمات کلیدی و همچنین معنای معنایی متن جستجو کنید و در نتیجه قابلیت های جستجو را گسترش دهید.

در بخش‌های بعدی، نحوه استفاده از جستجوی ترکیبی با پایگاه‌های دانش برای Amazon Bedrock را نشان می‌دهیم.

از گزینه های جستجوی ترکیبی و جستجوی معنایی از طریق SDK استفاده کنید

وقتی با Retrieve API تماس می گیرید، پایگاه های دانش برای Amazon Bedrock استراتژی جستجوی مناسبی را برای شما انتخاب می کند تا مرتبط ترین نتایج را به شما ارائه دهد. برای استفاده از جستجوی ترکیبی یا معنایی در API می توانید آن را لغو کنید.

API را بازیابی کنید

Retrieve API برای واکشی نتایج جستجوی مرتبط با ارائه درخواست کاربر، شناسه پایگاه دانش و تعداد نتایجی که می‌خواهید API آنها را بازگرداند، طراحی شده است. این API پرس و جوهای کاربر را به جاسازی تبدیل می کند، پایگاه دانش را با استفاده از جستجوی ترکیبی یا جستجوی معنایی (بردار) جستجو می کند و نتایج مربوطه را برمی گرداند و به شما کنترل بیشتری برای ایجاد گردش های کاری سفارشی در بالای نتایج جستجو می دهد. به عنوان مثال، می توانید منطق پس پردازش را به نتایج بازیابی شده اضافه کنید یا درخواست خود را اضافه کنید و با هر FM ارائه شده توسط Amazon Bedrock برای ایجاد پاسخ ارتباط برقرار کنید.

برای نشان دادن نمونه ای از جابجایی بین گزینه های جستجوی ترکیبی و معنایی (بردار)، ما یک پایگاه دانش با استفاده از سند آمازون 10K برای سال 2023. برای جزئیات بیشتر در مورد ایجاد یک پایگاه دانش، مراجعه کنید یک برنامه چت بات متنی با استفاده از پایگاه های دانش برای Amazon Bedrock بسازید.

برای نشان دادن ارزش جستجوی ترکیبی، از پرس و جو زیر استفاده می کنیم:

As of December 31st 2023, what is the leased square footage for physical stores in North America?

پاسخ پرس و جوی قبلی شامل چند کلمه کلیدی مانند date, physical storesو North America. پاسخ صحیح است 22,871 thousand square feet. بیایید تفاوت نتایج جستجو را برای جستجوی ترکیبی و معنایی مشاهده کنیم.

کد زیر نحوه استفاده از جستجوی ترکیبی یا معنایی (بردار) را با استفاده از Retrieve API با Boto3 نشان می دهد:

import boto3

bedrock_agent_runtime = boto3.client(
    service_name = "bedrock-agent-runtime"
)

def retrieve(query, kbId, numberOfResults=5):
    return bedrock_agent_runtime.retrieve(
        retrievalQuery= {
            'text': query
        },
        knowledgeBaseId=kbId,
        retrievalConfiguration= {
            'vectorSearchConfiguration': {
                'numberOfResults': numberOfResults,
                'overrideSearchType': "HYBRID/SEMANTIC", # optional
            }
        }
    )
response = retrieve("As of December 31st 2023, what is the leased square footage for physical stores in North America?", "<knowledge base id>")["retrievalResults"]

La overrideSearchType گزینه در retrievalConfiguration انتخاب استفاده از هر دو را ارائه می دهد HYBRID or SEMANTIC. به طور پیش فرض، استراتژی مناسب را برای شما انتخاب می کند تا مرتبط ترین نتایج را به شما ارائه دهد، و اگر می خواهید گزینه پیش فرض را برای استفاده از جستجوی ترکیبی یا معنایی لغو کنید، می توانید مقدار را روی HYBRID/SEMANTIC. خروجی از Retrieve API شامل تکه‌های متن بازیابی شده، نوع مکان و URI داده‌های منبع، و امتیازهای مربوط به بازیابی‌ها است. نمرات کمک می کند تا مشخص شود کدام بخش ها با پاسخ پرس و جو منطبق هستند.

در زیر نتایج جستجوی قبلی با استفاده از جستجوی ترکیبی (با برخی از خروجی‌ها برای اختصار ویرایش شده است):

[
  {
    "content": {
      "text": "... Description of Use Leased Square Footage (1).... Physical stores (2) 22,871  ..."
    },
    "location": {
      "type": "S3",
      "s3Location": {
        "uri": "s3://<bucket_name>/amazon-10k-2023.pdf"
      }
    },
    "score": 0.6389407
  },
  {
    "content": {
      "text": "Property and equipment, net by segment is as follows (in millions): December 31, 2021 2022 2023 North America $ 83,640 $ 90,076 $ 93,632 International 21,718 23,347 24,357 AWS 43,245 60,324 72,701 Corporate 1.."
    },
    "location": {
      "type": "S3",
      "s3Location": {
        "uri": "s3://<bucket_name>/amazon-10k-2023.pdf"
      }
    },
    "score": 0.6389407
  },
  {
    "content": {
      "text": "..amortization of property and equipment acquired under finance leases of $9.9 billion, $6.1 billion, and $5.9 billion for 2021, 2022, and 2023. 54 Table of Contents Note 4 — LEASES We have entered into non-cancellable operating and finance leases for fulfillment network, data center, office, and physical store facilities as well as server and networking equipment, aircraft, and vehicles. Gross assets acquired under finance leases, ..."
    },
    "location": {
      "type": "S3",
      "s3Location": {
        "uri": "s3://<bucket_name>/amazon-10k-2023.pdf"
      }
    },
    "score": 0.61908984
  }
]

نتایج زیر برای جستجوی معنایی (با برخی از خروجی ها برای اختصار ویرایش شده است):

[
  {
    "content": {
      "text": "Property and equipment, net by segment is as follows (in millions):    December 31,    2021 2022 2023   North America $ 83,640 $ 90,076 $ 93,632  International 21,718 23,347 24,357  AWS 43,245 60,324 72,701.."
    },
    "location": {
      "type": "S3",
      "s3Location": {
        "uri": "s3://<bucket_name>/amazon-10k-2023.pdf"
      }
    },
    "score": 0.6389407
  },
  {
    "content": {
      "text": "Depreciation and amortization expense on property and equipment was $22.9 billion, $24.9 billion, and $30.2 billion which includes amortization of property and equipment acquired under finance leases of $9.9 billion, $6.1 billion, and $5.9 billion for 2021, 2022, and 2023.   54        Table of Contents   Note 4 — LEASES We have entered into non-cancellable operating and finance leases for fulfillment network, data center, office, and physical store facilities as well a..."
    },
    "location": {
      "type": "S3",
      "s3Location": {
        "uri": "s3://<bucket_name>/amazon-10k-2023.pdf"
      }
    },
    "score": 0.61908984
  },
  {
    "content": {
      "text": "Incentives that we receive from property and equipment   vendors are recorded as a reduction to our costs. Property includes buildings and land that we own, along with property we have acquired under build-to-suit lease arrangements when we have control over the building during the construction period and finance lease arrangements..."
    },
    "location": {
      "type": "S3",
      "s3Location": {
        "uri": "s3://<bucket_name>/amazon-10k-2023.pdf"
      }
    },
    "score": 0.61353767
  }
]

همانطور که در نتایج مشاهده می کنید، جستجوی ترکیبی توانست نتیجه جستجو را با فوت مربع اجاره شده برای فروشگاه های فیزیکی در آمریکای شمالی همانطور که در درخواست کاربر ذکر شده است، بازیابی کند. دلیل اصلی این بود که جستجوی ترکیبی قادر به ترکیب نتایج از کلمات کلیدی مانند date, physical storesو North America در پرس و جو، در حالی که جستجوی معنایی انجام نشد. بنابراین، هنگامی که نتایج جستجو با درخواست کاربر و درخواست افزوده می شود، FM نمی تواند در صورت جستجوی معنایی پاسخ صحیح را ارائه دهد.

حالا بیایید نگاهی به RetrieveAndGenerate API با جستجوی ترکیبی برای درک پاسخ نهایی تولید شده توسط FM.

RetrieveAndGenerate API

La RetrieveAndGenerate API یک پایگاه دانش را جستجو می کند و بر اساس نتایج بازیابی شده پاسخی ایجاد می کند. برای ایجاد پاسخ از نتایج، شناسه پایگاه دانش و همچنین FM را مشخص می‌کنید. Amazon Bedrock پرسش‌ها را به جاسازی‌ها تبدیل می‌کند، پایگاه دانش را بر اساس نوع جستجو جستجو می‌کند، و سپس اعلان FM را با نتایج جستجو به عنوان اطلاعات زمینه تقویت می‌کند و پاسخ تولید شده توسط FM را برمی‌گرداند.

بیایید از عبارت «از 31 دسامبر 2023، متراژ اجاره شده برای فروشگاه‌های فیزیکی در آمریکای شمالی چقدر است؟» استفاده کنیم. و از RetrieveAndGenerate API برای تولید پاسخ با استفاده از پرس و جو ما:

def retrieveAndGenerate(input, kbId):
    return bedrock_agent_runtime.retrieve_and_generate(
        input={
            'text': input
        },
        retrieveAndGenerateConfiguration={
            'type': 'KNOWLEDGE_BASE',
            'knowledgeBaseConfiguration': {
                'knowledgeBaseId': kbId,
                'modelArn': 'arn:aws:bedrock:us-east-1::foundation-model/anthropic.claude-instant-v1'
                'retrievalConfiguration': {
                'overrideSearchType': 'HYBRID/SEMANTIC',
                }
                }
            }
        )
response = retrieveAndGenerate("As of December 31st 2023, what is the leased square footage for physical stores in North America?", "<knowledge base id>")["output"]["text"]

نتایج زیر با استفاده از جستجوی ترکیبی هستند:

22,871 thousand leased square feet

نتایج زیر با استفاده از جستجوی معنایی آمده است:

The search results do not contain any information about the leased square footage for physical stores in North America for 2023.

پاسخ واقعی برای پرس و جو این است 22,871 thousand leased square feet، که توسط جستجوی ترکیبی ایجاد می شود. نتایج جستجوی بازیابی شده برای جستجوی ترکیبی شامل اطلاعات مربوط به متراژ مربع اجاره شده برای فروشگاه‌های فیزیکی در آمریکای شمالی بود، در حالی که جستجوی معنایی به دلیل ترجمه جاسازی‌ها قادر به دریافت اطلاعات صحیح از فروشگاه برداری نبود. بنابراین، FM نتوانست پاسخ درستی را ارائه دهد زیرا نتایج جستجوی صحیح و مرتبط را نداشت.

با این حال، برای سؤالات عمومی تر که شامل نهادهایی مانند physical stores or North America، هر دو جستجوی ترکیبی و معنایی نتایج مشابهی به دست می دهند.

پاسخ‌های زیر نمونه‌ای از چند پرسش است که مواردی را نشان می‌دهد که هر دو جستجوی ترکیبی و معنایی نتایج مشابهی دارند.

از گزینه های جستجوی ترکیبی و جستجوی معنایی از طریق کنسول بستر آمازون استفاده کنید

برای استفاده از گزینه های جستجوی ترکیبی و معنایی در کنسول بستر آمازون، مراحل زیر را انجام دهید:

1. در کنسول بستر آمازون، انتخاب کنید دانش محور در صفحه ناوبری
2. پایگاه دانشی که ایجاد کردید را انتخاب کنید.
3. را انتخاب کنید پایگاه دانش تست.
4. نماد تنظیمات را انتخاب کنید.
   
5. برای نوع جستجوانتخاب کنید جستجوی ترکیبی (معنی و متن).
   

به‌طور پیش‌فرض، می‌توانید یک FM برای دریافت پاسخ ایجاد شده برای درخواست خود انتخاب کنید. اگر می خواهید فقط نتایج بازیابی شده را ببینید، می توانید آن را تغییر دهید پاسخ ایجاد کنید برای دریافت فقط نتایج بازیابی شده خاموش شوید.

نتیجه

در این پست، ویژگی جدید پرس و جو در پایگاه های دانش برای Amazon Bedrock را پوشش دادیم که جستجوی ترکیبی را فعال می کند. ما یاد گرفتیم که چگونه گزینه جستجوی ترکیبی را در SDK و کنسول آمازون Bedrock پیکربندی کنیم. این به غلبه بر برخی از محدودیت‌های تکیه بر جستجوی معنایی کمک می‌کند، به‌ویژه برای جستجو در مجموعه‌های بزرگی از اسناد با محتوای متنوع. استفاده از جستجوی ترکیبی به نوع سند و مورد استفاده ای که می خواهید پیاده سازی کنید بستگی دارد.

برای منابع اضافی به موارد زیر مراجعه کنید:

منابع

بهبود عملکرد بازیابی در خطوط لوله RAG با جستجوی ترکیبی

درباره نویسنده

مانی خانوجه پیشرو در فناوری - متخصصان هوش مصنوعی مولد، نویسنده کتاب یادگیری ماشین کاربردی و محاسبات با عملکرد بالا در AWS، و عضو هیئت مدیره بنیاد آموزش زنان در تولید است. او پروژه های یادگیری ماشینی را در حوزه های مختلف مانند بینایی کامپیوتر، پردازش زبان طبیعی و هوش مصنوعی مولد رهبری می کند. او در کنفرانس‌های داخلی و خارجی مانند AWS re:Invent، Women in Manufacturing West، وبینارهای YouTube و GHC 23 صحبت می‌کند. او در اوقات فراغت خود دوست دارد برای دویدن طولانی در کنار ساحل برود.

پالوی نارگوند یک معمار اصلی راه حل در AWS است. او در نقش خود به عنوان یک فعال کننده فناوری ابری، با مشتریان کار می کند تا اهداف و چالش های آنها را درک کند و راهنمایی های تجویزی برای دستیابی به هدف خود با پیشنهادات AWS ارائه دهد. او علاقه زیادی به زنان در فناوری دارد و یکی از اعضای اصلی زنان در هوش مصنوعی/ML در آمازون است. او در کنفرانس های داخلی و خارجی مانند AWS re:Invent، AWS Summits و وبینارها سخنرانی می کند. او در خارج از محل کار از کار داوطلبانه، باغبانی، دوچرخه سواری و پیاده روی لذت می برد.

• محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
• PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
• PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
• PlatoESG. کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
• PlatoHealth. هوش بیوتکنولوژی و آزمایشات بالینی. دسترسی به اینجا.
• منبع: https://aws.amazon.com/blogs/machine-learning/knowledge-bases-for-amazon-bedrock-now-supports-hybrid-search/