Якщо у вас була можливість створити пошукову програму для неструктурованих даних (наприклад, wiki, інформаційних веб-сайтів, довідкових сторінок самообслуговування, внутрішньої документації тощо) за допомогою відкритих вихідних кодів або комерційних готових пошукових систем, тоді ви, мабуть, знайомі з властивими проблемами точності, пов’язаними з отриманням відповідних результатів пошуку. Цільове значення як запиту, так і документа може бути втрачено, оскільки пошук зводиться до збігу ключових слів і термінів компонентів. Отже, хоча ви отримуєте результати, які можуть містити правильні слова, вони не завжди є релевантними для користувача. Вам потрібно, щоб ваша пошукова система була розумнішою, щоб вона могла ранжувати документи на основі відповідності значення або семантики вмісту намірам запиту користувача.
Амазонка Кендра надає повністю керовану службу інтелектуального пошуку, яка автоматизує прийом документів і надає високоточні результати пошуку та запитань на основі вмісту з багатьох джерел даних. Якщо ви ще не перейшли на Amazon Kendra і хочете покращити якість результатів пошуку, ви можете використовувати Amazon Kendra Intelligent Ranking для самостійного керування OpenSearch у своєму існуючому пошуковому рішенні.
Ми раді представити новинку Amazon Kendra Intelligent Ranking для самокерованого OpenSearch, а також додатковий плагін для OpenSearch пошукова система! Тепер ви можете легко додати інтелектуальне ранжування до своїх запитів документів OpenSearch, не потребуючи міграції, дублювання індексів OpenSearch або переписування програм. Різниця між Amazon Kendra Intelligent Ranking для самокерованого OpenSearch і повністю керованою службою Amazon Kendra полягає в тому, що в той час як перша забезпечує потужне семантичне переранжування для результатів пошуку, остання забезпечує додаткові покращення точності пошуку та функціональні можливості, такі як поступове навчання, питання відповіді, зіставлення поширених запитань і вбудовані з’єднувачі. Для отримання додаткової інформації про повністю керовану послугу відвідайте Сторінка служби Amazon Kendra.
З Amazon Kendra Intelligent Ranking для самокерованого OpenSearch, попередні результати такі:
Запит: Яка адреса Білого дому?
Hit1 (найкращий): Сьогодні президент виступив із зверненням до нації з Білого дому.
Hit2: Білий дім розташований за адресою: 1600 Pennsylvania Avenue NW, Washington, DC 20500
стати таким:
Запит: Яка адреса Білого дому?
Hit1 (найкращий): Білий дім розташований за адресою: 1600 Pennsylvania Avenue NW, Washington, DC 20500
Hit2: Сьогодні президент виступив із зверненням до нації з Білого дому.
У цій публікації ми покажемо вам, як розпочати роботу з Amazon Kendra Intelligent Ranking для самокерованого OpenSearch, і ми надамо кілька прикладів, які демонструють силу та цінність цієї функції.
Компоненти Amazon Kendra Intelligent Ranking для самокерованого OpenSearch
Передумови
Для цього підручника вам потрібен термінал bash Linux, Macабо Підсистема Windows для Linux, І Обліковий запис AWS. Підказка: спробуйте використати екземпляр Amazon Cloud9 або an Обчислювальна хмара Amazon Elastic (Amazon EC2).
Ти будеш:
- Встановіть Docker, якщо він ще не встановлений у вашій системі.
- Встановіть останню версію Інтерфейс командного рядка AWS (AWS CLI), якщо його ще не встановлено.
- Створюйте та запускайте контейнери OpenSearch із увімкненим плагіном Amazon Kendra Intelligent Ranking.
- Створіть тестові індекси та завантажте зразки документів.
- Виконайте деякі запити з інтелектуальним ранжируванням і без нього, і будьте належним чином вражені відмінностями!
Встановити Docker
Якщо Docker (тобто docker
та docker-compose
) ще не встановлено у вашому середовищі, тоді встановіть його. Побачити Отримати Docker для напрямків.
Встановіть AWS CLI
Якщо у вас ще не встановлено останню версію AWS CLI, встановіть і налаштуйте її зараз (див. AWS CLI Початок роботи). Ваші облікові дані користувача AWS за умовчанням повинні мати доступ адміністратора або попросіть свого адміністратора AWS додати таку політику до ваших дозволів користувача:
Створіть і запустіть OpenSearch за допомогою сценарію Quickstart
Завантажити search_processing_kendra_quickstart.sh
сценарій:
Сценарій швидкого запуску:
- Створює план виконання Amazon Kendra Intelligent Ranking Rescore у вашому обліковому записі AWS.
- Створює контейнери Docker для OpenSearch і його інформаційних панелей.
- Налаштовує OpenSearch на використання інтелектуальної служби ранжирування Kendra.
- Запускає служби OpenSearch.
- Надає корисні вказівки щодо використання послуги.
Використовувати --help
щоб переглянути параметри командного рядка:
Тепер виконайте сценарій, щоб автоматизувати налаштування Amazon Kendra та OpenSearch:
Це воно! Контейнери OpenSearch і OpenSearch Dashboard тепер запущені та працюють.
Прочитайте вихідне повідомлення зі сценарію швидкого запуску та запишіть каталог, де ви можете запустити зручний docker-compose
команди та cleanup_resources.sh
сценарій
Спробуйте тестовий запит, щоб перевірити, чи можете підключитися до свого контейнера OpenSearch:
Зверніть увагу, якщо ви отримуєте повідомлення про помилку curl(35):OpenSSL SSL_connect: SSL_ERROR_SYSCALL in connection to localhost:9200
, це означає, що OpenSearch все ще з’являється. Зачекайте пару хвилин, поки OpenSearch буде готовий, і повторіть спробу.
Створюйте тестові індекси та завантажуйте зразки документів
Наведений нижче сценарій використовується для створення індексу та завантаження зразків документів. Збережіть його на комп’ютері як bulk_post.sh:
Збережіть наведені нижче файли даних як tinydocs.jsonl:
І збережіть файл даних нижче як dstinfo.jsonl:
(Ці дані взято з Стаття про перехід на літній час).
Зробіть скрипт виконуваним:
Тепер використовуйте bulk_post.sh сценарій для створення індексів і завантаження даних за допомогою двох наведених нижче команд:
Виконайте зразки запитів
Підготуйте сценарії запитів
Запити OpenSearch визначаються в JSON за допомогою OpenSearch запит доменної мови (DSL). Для цієї публікації ми використовуємо Linux curl команду для надсилання запитів на наш локальний сервер OpenSearch за допомогою HTTPS.
Щоб полегшити це, ми визначили два невеликих сценарії для створення нашого DSL запиту та надсилання його до OpenSearch.
Перший сценарій створює звичайний текстовий запит OpenSearch для двох полів документа – назву та тіло. Перегляньте документацію OpenSearch, щоб дізнатися більше про синтаксис запиту з кількома збігами. Ми зробили запит дуже простим, але пізніше ви можете поекспериментувати з визначенням альтернативних типів запитів.
Збережіть сценарій нижче як query_nokendra.sh:
Другий сценарій схожий на перший, але цього разу ми додаємо розширення запиту, щоб наказати OpenSearch викликати плагін Amazon Kendra Intelligent Ranking як крок після обробки для повторного ранжування оригінальних результатів за допомогою служби Amazon Kendra Intelligent Ranking.
Команда size
властивість визначає, скільки документів результатів OpenSearch буде надіслано Kendra для переранжування. Тут ми вказуємо максимум 20 результатів для переранжування. Дві властивості, title_field
(за бажанням) і body_field
(обов’язково), укажіть поля документа, які використовуються для інтелектуального ранжування.
Збережіть сценарій нижче як query_kendra.sh:
Зробіть обидва сценарії виконуваними:
Виконайте початкові запити
Почніть із простого запиту на tinydocs індекс, щоб відтворити приклад, використаний у вступі до публікації.
Використовувати query_nokendra.sh
скрипт для пошуку адреси Білого дому:
Ви бачите результати, показані нижче. Слідкуйте за порядком двох результатів, які впорядковані за оцінкою, присвоєною запитом на відповідність тексту OpenSearch. Хоча найвищий результат містить ключові слова адреса та Білий дім, зрозуміло, що значення не відповідає меті запитання. Ключові слова збігаються, але семантика – ні.
Тепер давайте запустимо запит за допомогою Amazon Kendra Intelligent Ranking, використовуючи query_kendra.sh
сценарій:
Цього разу ви побачите результати в іншому порядку, як показано нижче. Служба Amazon Kendra Intelligent Ranking перепризначила значення балів і призначила вищий бал тому документу, який більше відповідає меті запиту. З точки зору ключового слова, це гірший збіг, оскільки не містить слова адреса; однак із семантичної точки зору це краща відповідь. Тепер ви бачите переваги використання плагіна Amazon Kendra Intelligent Ranking!
Запустіть додаткові запити та порівняйте результати пошуку
Спробуйте індекс dstinfo зараз, щоб побачити, як та сама концепція працює з різними даними та запитами. Поки можна використовувати скрипти query_nokendra.sh та query_kendra.sh щоб робити запити з командного рядка, давайте замість цього використаємо Інформаційні панелі OpenSearch Плагін порівняння результатів пошуку для виконання запитів і порівняння результатів пошуку.
Вставте URL-адресу локальної інформаційної панелі у свій браузер: http://localhost:5601/app/searchRelevance – / щоб отримати доступ до інструменту порівняння інформаційної панелі. Використовуйте облікові дані за замовчуванням: Ім'я користувача: адмін, Пароль: адмін.
У рядку пошуку введіть: what is daylight saving time?
Для запиту 1 і запиту 2 індексвиберіть dstinfo.
Скопіюйте наведений нижче запит DSL і вставте його в Запит панель під запитом 1. Це пошуковий запит за ключовим словом.
Тепер скопіюйте наведений нижче запит DSL і вставте його в Запит панель під запитом 2. Цей запит викликає плагін Amazon Kendra Intelligent Ranking для самокерованого OpenSearch для виконання семантичного переранжування результатів пошуку.
Виберіть Пошук кнопку для запуску запитів і спостереження за результатами пошуку. У Результаті 1 останнє звернення є, ймовірно, найбільш релевантною відповіддю на цей запит. У Результаті 2 у результатах Amazon Kendra Intelligent Ranking найрелевантніша відповідь правильно поставлена на перше місце.
Тепер, коли ви випробували Amazon Kendra Intelligent Ranking для самостійного керування OpenSearch, поекспериментуйте з кількома власними запитами. Використовуйте дані, які ми вже завантажили, або використовуйте bulk_post.sh сценарій для завантаження власних даних.
Ознайомтеся з API рейтингу Amazon Kendra
Як ви побачили з цієї публікації, плагін Amazon Kendra Intelligent Ranking для OpenSearch можна зручно використовувати для семантичного переранжування ваших результатів пошуку. Однак, якщо ви використовуєте службу пошуку, яка не підтримує плагін Amazon Kendra Intelligent Ranking для самостійного керування OpenSearch, ви можете скористатися Перерахувати безпосередньо з Amazon Kendra Intelligent Ranking API.
Спробуйте цей API, використовуючи результати пошуку з прикладу запиту, який ми використали вище: яка адреса білого дому?
Спочатку знайдіть свій ідентифікатор плану виконання, виконавши:
Наведений нижче файл JSON містить пошуковий запит і два результати, які були повернуті вихідним запитом відповідності OpenSearch, із їхніми оригінальними оцінками OpenSearch. Замінити {kendra-execution-plan_id}
зі своїм ідентифікатором плану виконання (зверху) і збережіть його як rescore_input.json:
Виконайте наведену нижче команду CLI, щоб повторно оцінити цей список документів за допомогою служби Amazon Kendra Intelligent Ranking:
Результат успішного виконання цього виглядатиме, як показано нижче.
Як і очікувалося, документ tdoc2 (що містить тіло тексту "Білий дім розташований за адресою: 1600 Pennsylvania Avenue NW, Washington, DC 20500”) тепер має вищий рейтинг, оскільки це семантично релевантніша відповідь на запит. The ResultItems
список у вихідних даних містить кожен вхід DocumentId
зі своїм новим Score
, у порядку спадання Score
.
Прибирати
Коли ви закінчите експериментувати, завершіть роботу та видаліть контейнери Docker і план виконання Rescore, запустивши cleanup_resources.sh
сценарій, створений сценарієм Quickstart, наприклад:
Висновок
У цьому дописі ми показали вам, як використовувати плагін Amazon Kendra Intelligent Ranking для самостійного керування OpenSearch, щоб легко додати інтелектуальне ранжування до ваших запитів документів OpenSearch, щоб значно підвищити релевантність ранжування результатів, використовуючи наявні пошукові системи OpenSearch.
Ви також можете використовувати Amazon Kendra Intelligent Ranking Rescore API безпосередньо до інтелектуально переоцінювати та ранжирувати результати з ваших власних програм.
Прочитайте рейтинг Amazon Kendra Intelligent Ranking для самокерованого OpenSearch документація щоб дізнатися більше про цю функцію та почати планувати її застосування у своїх робочих програмах.
Про авторів
Абхінав Джавадекар є головним архітектором рішень, зосередженим на Amazon Kendra в команді мовних служб AI/ML в AWS. Abhinav працює з клієнтами та партнерами AWS, щоб допомогти їм створити інтелектуальні пошукові рішення на AWS.
Боб Страхан є головним архітектором рішень команди AI Services AI Services.
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- Платоблокчейн. Web3 Metaverse Intelligence. Розширені знання. Доступ тут.
- джерело: https://aws.amazon.com/blogs/machine-learning/get-smarter-search-results-with-the-amazon-kendra-intelligent-ranking-and-opensearch-plugin/
- 1
- 10
- 100
- 11
- 7
- 70
- 9
- a
- я
- МЕНЮ
- вище
- доступ
- нещасних випадків
- За
- рахунки
- точність
- точний
- через
- дію
- насправді
- Додатковий
- адреса
- адмін
- після
- попереду
- AI
- Послуги ШІ
- AI / ML
- вже
- хоча
- завжди
- Amazon
- Amazon EC2
- Амазонка Кендра
- та
- відповідь
- API
- додаток
- застосування
- Застосовувати
- квітня
- Арізона
- призначений
- автоматизувати
- автоматизує
- Проспект
- AWS
- назад
- бар
- заснований
- бити
- оскільки
- за
- нижче
- користь
- Переваги
- Веніамін
- КРАЩЕ
- Краще
- між
- тіло
- Brain
- Британський
- Британська Колумбія
- браузер
- будувати
- вбудований
- офіс
- Канада
- проблеми
- зміна
- ясно
- Годинники
- тісно
- Cloud9
- COLUMBIA
- майбутній
- порівняти
- порівняння
- компонент
- обчислення
- комп'ютер
- концепція
- Конгрес
- Конгрес
- З'єднуватися
- зв'язку
- Отже
- Вважати
- будувати
- Контейнер
- Контейнери
- містить
- зміст
- країни
- Пара
- створювати
- створений
- створює
- Повноваження
- Клієнти
- циклів
- приладова панель
- дані
- день
- Днів
- dc
- дефолт
- визначаючи
- в захваті
- поставляється
- демонструвати
- розгортання
- визначає
- різниця
- різний
- безпосередньо
- Docker
- документ
- документація
- документація
- Ні
- домен
- Не знаю
- вниз
- різко
- кожен
- легко
- ефект
- включений
- закінчується
- двигун
- Двигуни
- Що натомість? Створіть віртуальну версію себе у
- Навколишнє середовище
- помилка
- і т.д.
- приклад
- Приклади
- виконувати
- виконання
- існуючий
- очікуваний
- досвідчений
- експеримент
- розширення
- не вдалося
- знайомий
- FAQ
- на користь
- особливість
- кілька
- Поля
- філе
- Файли
- знайти
- Перший
- увагу
- стежити
- після
- форма
- Колишній
- заснування
- від
- повністю
- функція
- функціональність
- географічний
- отримати
- отримання
- мобільний
- допомога
- корисний
- тут
- вище
- дуже
- історія
- хіт
- число переглядів
- будинок
- Як
- How To
- Однак
- HTML
- HTTPS
- вражений
- удосконалювати
- поліпшення
- in
- Збільшує
- індекс
- покажчики
- Індивідуально
- інформація
- Інформаційний
- притаманне
- початковий
- вхід
- встановлювати
- екземпляр
- замість
- Розумний
- намір
- Намір
- внутрішній
- вводити
- Вступ
- викликає
- залучений
- Острови
- питання
- IT
- json
- тримати
- мова
- останній
- останній
- УЧИТЬСЯ
- вивчення
- лист
- Лінія
- список
- загрузка
- місцевий
- розташований
- Довго
- довше
- подивитися
- зробити
- вдалося
- багато
- березня
- матч
- узгодження
- максимальний
- сенс
- засоби
- повідомлення
- мігрувати
- хвилин
- місяців
- більше
- найбільш
- народ
- National
- Необхідність
- Нові
- Листопад
- спостерігати
- жовтень
- ONE
- відкрити
- з відкритим вихідним кодом
- OpenSSL
- Можливість
- варіант
- Опції
- порядок
- оригінал
- Інше
- на відкритому повітрі
- власний
- Учасники
- партнери
- частини
- Пароль
- Пенсільванія
- Люди
- Виконувати
- може бути
- постійний
- Дозволи
- перспектива
- місця
- план
- планування
- plato
- Інформація про дані Платона
- PlatoData
- будь ласка
- підключати
- політика
- пошта
- влада
- потужний
- президент
- досить
- попередній
- Головний
- ймовірно
- Production
- властивості
- власність
- забезпечувати
- забезпечує
- громадськість
- Пуерто
- Пуерто Ріко
- якість
- питання
- ранг
- Ранжування
- готовий
- Знижений
- регулярний
- зв'язок
- актуальність
- доречний
- видаляти
- замінювати
- вимагається
- дослідження
- ресурс
- відповідь
- результат
- результати
- РІКО
- прогін
- біг
- то ж
- зберегти
- економія
- SC
- рахунок
- scripts
- Пошук
- Пошукова система
- Пошукові системи
- другий
- Самообслуговування
- семантика
- обслуговування
- Послуги
- комплект
- установка
- Показувати
- показаний
- Вимикати
- аналогічний
- простий
- просто
- сайти
- Розмір
- невеликий
- розумнішими
- So
- М'який
- рішення
- Рішення
- ВИРІШИТИ
- деякі
- Source
- Джерела
- конкретний
- старт
- почалася
- Заява
- Штати
- Крок
- Як і раніше
- успішний
- такі
- підтримка
- система
- команда
- термінал
- terms
- тест
- Команда
- їх
- час
- терміни
- назва
- до
- сьогодні
- інструмент
- топ
- Усього:
- туризм
- транспорт
- підручник
- Типи
- нас
- при
- United
- Сполучені Штати
- URL
- використання
- користувач
- ПЕРЕВІР
- значення
- Цінності
- версія
- Незаймана
- чекати
- Вашингтон
- Web
- Що
- Що таке
- Чи
- який
- в той час як
- білий
- Білий дім
- волі
- без
- слово
- слова
- працює
- світ
- б
- Ти
- вашу
- зефірнет