At AWS re:Invent 2023, ми оголосили про загальну доступність Бази знань для Amazon Bedrock. За допомогою баз знань для Amazon Bedrock ви можете безпечно підключати моделі основи (FM) до Amazon Bedrock до даних вашої компанії за допомогою повністю керованої моделі Retrieval Augmented Generation (RAG).
Для додатків на основі RAG точність згенерованих відповідей від FM залежить від контексту, наданого моделі. Контексти витягуються з векторних сховищ на основі запитів користувачів. У нещодавно випущеній функції для баз знань для Amazon Bedrock, гібридний пошук, можна поєднати семантичний пошук із пошуком за ключовими словами. Однак у багатьох ситуаціях вам може знадобитися отримати документи, створені за певний період або позначені певними категоріями. Щоб уточнити результати пошуку, ви можете фільтрувати на основі метаданих документа, щоб підвищити точність пошуку, що, у свою чергу, призводить до більш відповідних поколінь FM відповідно до ваших інтересів.
У цій публікації ми обговорюємо нову спеціальну функцію фільтрації метаданих у базах знань для Amazon Bedrock, яку можна використовувати для покращення результатів пошуку, попередньо фільтруючи ваші пошуки з векторних сховищ.
Огляд фільтрації метаданих
До випуску фільтрації метаданих усі семантично релевантні фрагменти до попередньо встановленого максимуму повертатимуться як контекст для FM, який використовуватиметься для створення відповіді. Тепер за допомогою фільтрів метаданих ви можете отримувати не лише семантично релевантні блоки, але й чітко визначену підмножину цих релевантних фрагментів на основі застосованих фільтрів метаданих і пов’язаних значень.
За допомогою цієї функції тепер ви можете надати спеціальний файл метаданих (кожен розміром до 10 КБ) для кожного документа в базі знань. Ви можете застосувати фільтри до ваших пошуків, наказавши векторному сховищу виконувати попередню фільтрацію на основі метаданих документа, а потім шукати відповідні документи. Таким чином, ви можете контролювати отримані документи, особливо якщо ваші запити неоднозначні. Наприклад, ви можете використовувати юридичні документи зі схожими термінами для різних контекстів або фільми зі схожим сюжетом, випущені в різні роки. Крім того, завдяки зменшенню кількості фрагментів, які шукаються, ви досягаєте переваг у продуктивності, таких як скорочення циклів процесора та вартості запитів до векторного сховища, а також підвищення точності.
Щоб скористатися функцією фільтрації метаданих, вам потрібно надати файли метаданих поряд із файлами вихідних даних із тим самим іменем, що й файл вихідних даних, і .metadata.json
суфікс. Метадані можуть бути рядком, числом або логічним значенням. Нижче наведено приклад вмісту файлу метаданих:
Функція фільтрації метаданих баз знань для Amazon Bedrock доступна в регіонах AWS Схід США (Північна Вірджинія) і Захід США (Орегон).
Нижче наведено типові випадки використання фільтрації метаданих:
- Документний чат-бот для компанії, що займається програмним забезпеченням – Це дозволяє користувачам знаходити інформацію про продукт і посібники з усунення несправностей. Наприклад, фільтри операційної системи або версії програми можуть допомогти уникнути отримання застарілих або нерелевантних документів.
- Розмовний пошук заявки організації – Це дозволяє користувачам шукати документи, канбани, стенограми записів зустрічей та інші ресурси. Використовуючи фільтри метаданих для робочих груп, бізнес-підрозділів або ідентифікаторів проектів, ви можете персоналізувати чат і покращити співпрацю. Прикладом може бути «Який статус проекту Sphinx і можливі ризики», де користувачі можуть фільтрувати документи за певним проектом або типом джерела (наприклад, електронні листи або документи зустрічі).
- Розумний пошук розробників програмного забезпечення – Це дозволяє розробникам шукати інформацію про певний випуск. Фільтри за версією випуску, типом документа (наприклад, кодом, посиланням на API або проблемою) можуть допомогти точно визначити відповідні документи.
Огляд рішення
У наступних розділах ми демонструємо, як підготувати набір даних для використання як бази знань, а потім виконати запит із фільтрацією метаданих. Ви можете зробити запит за допомогою будь-якого з Консоль управління AWS або SDK.
Підготуйте набір даних для баз знань для Amazon Bedrock
Для цієї публікації ми використовуємо a зразок набору даних про вигадані відеоігри, щоб проілюструвати, як завантажувати та отримувати метадані за допомогою баз знань для Amazon Bedrock. Якщо ви хочете стежити за цим у власному обліковому записі AWS, завантажте файл.
Якщо ви хочете додати метадані до своїх документів у існуючій базі знань, створіть файли метаданих із очікуваною назвою файлу та схемою, а потім перейдіть до кроку, щоб синхронізувати свої дані з базою знань, щоб розпочати поступове надсилання.
У нашому прикладі даних кожен документ гри є окремим файлом CSV (наприклад, s3://$bucket_name/video_game/$game_id.csv
) з такими стовпцями:
title
, description
, genres
, year
, publisher
, score
Метадані кожної гри мають суфікс .metadata.json
(наприклад, s3://$bucket_name/video_game/$game_id.csv.metadata.json
) за такою схемою:
Створіть базу знань для Amazon Bedrock
Інструкції щодо створення нової бази знань див Створіть базу знань. Для цього прикладу ми використовуємо такі налаштування:
- на Налаштувати джерело даних сторінка, під Стратегія чанкінгувиберіть Немає шматків, оскільки ви вже попередньо обробили документи на попередньому кроці.
- У Модель вбудовування розділ, вибрати Titan G1 Embeddings – Текст.
- У Векторна база даних розділ, вибрати Швидке створення нового векторного магазину. Функція фільтрації метаданих доступна для всіх підтримуваних векторних сховищ.
Синхронізувати набір даних із базою знань
Після того, як ви створите базу знань, і ваші файли даних і файли метаданих будуть у Служба простого зберігання Amazon (Amazon S3), ви можете почати поступове завантаження. Інструкції див Синхронізуйте, щоб додати джерела даних до бази знань.
Запит із фільтрацією метаданих на консолі Amazon Bedrock
Щоб скористатися параметрами фільтрації метаданих на консолі Amazon Bedrock, виконайте такі дії:
- Виберіть на консолі Amazon Bedrock Бази знань у навігаційній панелі.
- Виберіть створену базу знань.
- Вибирати Тест бази знань.
- Виберіть Конфігурації і розгорніть фільтри.
- Введіть умову у форматі: ключ = значення (наприклад, жанри = стратегія) і натисніть Що натомість? Створіть віртуальну версію себе у .
- Щоб змінити ключ, значення чи оператор, виберіть умову.
- Продовжте дотримуватись решти умов (наприклад, (жанри = стратегія ТА рік >= 2023) АБО (рейтинг >= 9))
- Завершивши, введіть свій запит у вікно повідомлення та виберіть прогін.
Для цієї публікації ми вводимо запит «Стратегічна гра з класною графікою, випущена після 2023 року».
Запит із фільтрацією метаданих за допомогою SDK
Щоб використовувати SDK, спочатку створіть клієнт для Агенти Amazon Bedrock час виконання:
Потім створіть фільтр (нижче наведено кілька прикладів):
Передайте фільтр retrievalConfiguration
в API пошуку or RetrieveAndGenerate API:
У наведеній нижче таблиці наведено кілька відповідей із різними умовами фільтрації метаданих.
Запит | Фільтрація метаданих | Відновлені документи | Спостереження |
«Стратегічна гра з класною графікою, випущена після 2023 року» | від |
* Viking Saga: The Sea Raider, рік: 2023, жанри: стратегія * Середньовічний замок: Облога та завоювання, рік:2022, жанри: Стратегія * Кібернетична революція: Повстання машин, рік:2022, жанри: Стратегія |
2/5 ігор відповідають умові (жанри = Strategy і рік >= 2023) |
On | * Viking Saga: The Sea Raider, рік: 2023, жанри: стратегія * Fantasy Kingdoms: Chronicles of Eldoria, рік: 2023, жанри: Стратегія |
2/2 ігор відповідають умові (жанри = Strategy і рік >= 2023) |
Окрім спеціальних метаданих, ви також можете фільтрувати за допомогою префіксів S3 (це вбудовані метадані, тому вам не потрібно надавати файли метаданих). Наприклад, якщо ви впорядкуєте документи гри за префіксами за видавцями (наприклад, s3://$bucket_name/video_game/$publisher/$game_id.csv
), ви можете фільтрувати за певним видавцем (наприклад, neo_tokyo_games
), використовуючи такий синтаксис:
Прибирати
Щоб очистити ресурси, виконайте такі дії:
- Видалити базу знань:
- Виберіть на консолі Amazon Bedrock Бази знань при Оркестрація у навігаційній панелі.
- Виберіть створену базу знань.
- Візьміть на замітку Управління ідентифікацією та доступом AWS (IAM) ім’я ролі служби в Огляд бази знань .
- У Векторна база даних розділу взяти до відома збірник АРН.
- Вибирати видаляти, потім введіть delete для підтвердження.
- Видалити векторну базу даних:
- на Служба Amazon OpenSearch консоль, виберіть колекції при Без сервера у навігаційній панелі.
- Введіть колекцію ARN, яку ви зберегли, у рядок пошуку.
- Вибираємо збірку і вибираємо видаляти.
- Введіть підтвердження у вікні підтвердження, а потім виберіть видаляти.
- Видалити роль служби IAM:
- На консолі IAM виберіть Ролі у навігаційній панелі.
- Знайдіть назву ролі, яку ви згадали раніше.
- Виберіть роль і виберіть видаляти.
- Введіть ім’я ролі у вікні підтвердження та видаліть роль.
- Видалити зразок набору даних:
- На консолі Amazon S3 перейдіть до сегмента S3, який ви використовували.
- Виберіть префікс і файли, а потім виберіть видаляти.
- Щоб видалити, у вікні підтвердження введіть остаточне видалення.
Висновок
У цій публікації ми розглянули функцію фільтрації метаданих у базах знань для Amazon Bedrock. Ви дізналися, як додавати власні метадані до документів і використовувати їх як фільтри під час отримання та запиту документів за допомогою консолі Amazon Bedrock і SDK. Це допомагає підвищити точність контексту, роблячи відповіді на запити ще релевантнішими, одночасно досягаючи зниження вартості запитів до векторної бази даних.
Щоб отримати додаткові ресурси, зверніться до наступного:
Про авторів
Корвус Лі є старшим архітектором рішень GenAI Labs із Лондона. Він захоплений проектуванням і розробкою прототипів, які використовують генеративний ШІ для вирішення проблем клієнтів. Він також стежить за останніми розробками генеративного штучного інтелекту та методів пошуку, застосовуючи їх у реальних сценаріях.
Ахмед Евіс є старшим архітектором рішень в AWS GenAI Labs, допомагаючи клієнтам створювати генеративні прототипи ШІ для вирішення бізнес-завдань. Коли не співпрацює з клієнтами, він любить грати зі своїми дітьми та готувати.
Кріс Пекора є спеціалістом із створення даних зі штучного інтелекту в Amazon Web Services. Він захоплений створенням інноваційних продуктів і рішень, а також зосереджується на науці, одержимі клієнтами. Коли він не проводить експерименти та стежить за останніми розробками GenAI, він любить проводити час зі своїми дітьми.
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
- PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
- ПлатонЕСГ. вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
- PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
- джерело: https://aws.amazon.com/blogs/machine-learning/knowledge-bases-for-amazon-bedrock-now-supports-metadata-filtering-to-improve-retrieval-accuracy/
- : має
- :є
- : ні
- :де
- $UP
- 10
- 100
- 12
- 14
- 150
- 19
- 2016
- 2023
- 28
- 500
- 7
- 9
- a
- МЕНЮ
- доступ
- рахунки
- точність
- Achieve
- досягнення
- додавати
- доповнення
- Додатковий
- Переваги
- після
- AI
- Дані ШІ
- вирівняні
- ВСІ
- дозволяє
- по
- пліч-о-пліч
- вже
- Також
- Amazon
- Amazon Web Services
- an
- та
- оголошений
- будь-який
- API
- додаток
- застосування
- прикладної
- Застосовувати
- Застосування
- ЕСТЬ
- AS
- Активи
- асоційований
- At
- збільшено
- наявність
- доступний
- уникнути
- AWS
- бар
- база
- заснований
- BE
- оскільки
- буття
- Box
- будувати
- Створюємо
- вбудований
- бізнес
- але
- by
- CAN
- випадків
- категорії
- певний
- зміна
- чат
- Chatbot
- Вибирати
- вибрав
- очистити
- клієнт
- годинниковий механізм
- код
- співробітництво
- співробітництво
- збір
- Колони
- об'єднувати
- загальний
- компанія
- повний
- стан
- Умови
- підтвердити
- підтвердження
- З'єднуватися
- Консоль
- будувати
- зміст
- контекст
- контексти
- контроль
- Прохолодно
- Коштувати
- покритий
- створювати
- створений
- виготовлений на замовлення
- клієнт
- Клієнти
- циклів
- дані
- вчений даних
- Database
- певний
- демонструвати
- залежати
- проектування
- розробників
- розвивається
- події
- різний
- обговорювати
- документ
- документація
- Не знаю
- скачати
- кожен
- Раніше
- Схід
- або
- Що натомість? Створіть віртуальну версію себе у
- Так само
- особливо
- Напередодні
- Навіть
- приклад
- Приклади
- існуючий
- Розширювати
- очікуваний
- досвід
- Експерименти
- ФАНТАЗИ
- особливість
- кілька
- вигаданий
- філе
- Файли
- фільтрувати
- фільтрація
- Фільтри
- знайти
- Перший
- фокусування
- стежити
- після
- для
- формат
- фонд
- від
- повністю
- g1
- гра
- Games
- genai
- Загальне
- породжувати
- генерується
- покоління
- покоління
- генеративний
- Генеративний ШІ
- Жанри
- Графічний
- Групи
- Гід
- Мати
- he
- допомога
- допомогу
- допомагає
- його
- Як
- How To
- Однак
- HTML
- HTTP
- HTTPS
- ID
- Особистість
- ідентифікатори
- if
- ілюструвати
- удосконалювати
- поліпшення
- in
- зростаючий
- інформація
- інноваційний
- інструкції
- інтереси
- в
- питання
- JPG
- зберігання
- тримає
- ключ
- Діти
- знання
- Labs
- останній
- останні розробки
- Веде за собою
- вчений
- легальний
- як
- списки
- Лондон
- подивитися
- любить
- Машинки для перманенту
- Робить
- вдалося
- управління
- багато
- максимальний
- Може..
- середньовічний
- Зустрічатися
- засідання
- повідомлення
- метадані
- модель
- Моделі
- більше
- кіно
- ім'я
- Переміщення
- навігація
- Необхідність
- Нові
- ніндзя
- увагу
- зазначив,
- зараз
- номер
- застарілий
- of
- on
- тільки
- операційний
- операційна система
- оператор
- Опції
- or
- Орегон
- Інше
- наші
- над
- власний
- сторінка
- pane
- пристрасний
- продуктивність
- period
- постійно
- Уособлювати
- plato
- Інформація про дані Платона
- PlatoData
- ігри
- ділянку
- пошта
- Готувати
- press
- попередній
- проблеми
- Product
- Інформація про продукт
- Продукти
- проект
- Прототипи
- забезпечувати
- за умови
- видавець
- запити
- запит
- ганчіркою
- піднятий
- рейтинг
- RE
- Реальний світ
- нещодавно
- запис
- зниження
- скорочення
- послатися
- посилання
- удосконалювати
- райони
- звільнити
- випущений
- доречний
- решті
- ресурси
- відповідь
- відповіді
- результати
- пошук
- Революція
- Зростання
- ризики
- Роль
- біг
- час виконання
- сага
- то ж
- зразок
- Зразок набору даних
- зберігаються
- сценарії
- наука
- вчений
- рахунок
- Sdk
- SEA
- Пошук
- розділ
- розділам
- безпечно
- побачити
- вибрати
- смисловий
- старший
- окремий
- обслуговування
- Послуги
- налаштування
- аналогічний
- простий
- ситуацій
- So
- Софтвер
- Рішення
- ВИРІШИТИ
- деякі
- Source
- Джерела
- конкретний
- Витрати
- старт
- Статус
- Крок
- заходи
- зберігання
- зберігати
- магазинів
- Стратегія
- рядок
- такі
- поставка
- Підтриманий
- Опори
- синхронізація.
- синтаксис
- система
- таблиця
- TAG
- Приймати
- команда
- методи
- terms
- Що
- Команда
- Джерело
- Їх
- потім
- це
- ті
- через
- час
- до
- ПЕРЕГЛЯД
- тип
- при
- одиниць
- us
- використання
- використовуваний
- користувач
- користувачі
- використання
- значення
- Цінності
- версія
- Відео
- відеоігри
- Віргінія
- хотіти
- шлях..
- we
- Web
- веб-сервіси
- добре визначений
- West
- коли
- який
- в той час як
- з
- Work
- б
- рік
- років
- Ти
- вашу
- зефірнет
- Zip