Допоможіть своїм бізнес-користувачам отримувати інформацію з документів компанії за допомогою Amazon SageMaker Canvas і Generative AI | Веб-сервіси Amazon

Підприємства прагнуть використовувати потенціал машинного навчання (ML) для вирішення складних проблем і покращення результатів. До недавнього часу створення та розгортання моделей ML вимагало глибокого рівня технічних навичок і навичок кодування, включаючи налаштування моделей ML і підтримку робочих конвеєрів. З моменту впровадження в 2021 році Canvas Amazon SageMaker дозволив бізнес-аналітикам створювати, розгортати та використовувати різноманітні моделі ML, включаючи табличні, комп’ютерне бачення та обробку природної мови, не написавши жодного рядка коду. Це прискорило можливості підприємств застосовувати ML для таких випадків, як прогнозування часових рядів, прогнозування відтоку клієнтів, аналіз настроїв, виявлення промислових дефектів та багато інших.

Як оголошено далі Жовтень 5, 2023, SageMaker Canvas розширив свою підтримку моделей до базових моделей (FM) – великих мовних моделей, які використовуються для генерування та узагальнення вмісту. З Випуск 12 жовтня 2023 року, SageMaker Canvas дозволяє користувачам ставити запитання та отримувати відповіді, які ґрунтуються на їхніх корпоративних даних. Це гарантує, що результати залежать від контексту, що відкриває додаткові випадки використання, де безкодове ML можна застосовувати для вирішення бізнес-проблем. Наприклад, бізнес-команди тепер можуть формулювати відповіді відповідно до специфічного словника та принципів організації, а також можуть швидше надсилати запити до довгих документів, щоб отримати конкретні відповіді, які відповідають змісту цих документів. Весь цей вміст виконується конфіденційним і безпечним способом, що гарантує доступ до всіх конфіденційних даних із належним керуванням і заходами.

Для початку адміністратор хмари налаштує та заповнить дані Амазонка Кендра індекси з корпоративними даними як джерела даних для SageMaker Canvas. Користувачі Canvas вибирають індекс, у якому знаходяться їхні документи, і можуть створювати ідеї, досліджувати та досліджувати, знаючи, що результати завжди будуть підкріплені їхніми джерелами правди. SageMaker Canvas використовує найсучасніші FM від Amazon Bedrock та Amazon SageMaker JumpStart. Розмову можна починати з кількох FM, порівнюючи результати та справді роблячи generative-AI доступним для всіх.

У цій публікації ми розглянемо нещодавно випущену функцію, обговоримо архітектуру та представимо покроковий посібник, який дозволить SageMaker Canvas надсилати запити на документи з вашої бази знань, як показано на наступному знімку екрана.

Огляд рішення

Основні моделі можуть викликати галюцинації – відповіді, які є загальними, розпливчастими, непов’язаними або фактично неправильними. Доповнена генерація пошуку (RAG) це часто використовуваний підхід для зменшення галюцинацій. Архітектури RAG використовуються для отримання даних ззовні FM, які потім використовуються для виконання в контексті навчання для відповіді на запит користувача. Це гарантує, що FM може використовувати дані з надійної бази знань і використовувати ці знання для відповідей на запитання користувачів, зменшуючи ризик галюцинацій.

За допомогою RAG зовнішні дані по відношенню до FM і використовуються для доповнення підказок користувача можуть надходити з кількох різних джерел даних, таких як сховища документів, бази даних або API. Першим кроком є ​​перетворення ваших документів і будь-яких запитів користувачів у сумісний формат для виконання семантичного пошуку релевантності. Щоб зробити формати сумісними, колекція документів або бібліотека знань і надіслані користувачем запити перетворюються на числові представлення за допомогою моделей вбудовування.

У цьому випуску функціональні можливості RAG надаються без використання коду та без проблем. Підприємства можуть розширити досвід чату в Canvas за допомогою Amazon Kendra як основної системи керування знаннями. Наведена нижче схема ілюструє архітектуру рішення.

Підключення SageMaker Canvas до Amazon Kendra вимагає одноразового налаштування. Ми детально описуємо процес налаштування в розділі Налаштування Canvas для запиту документів. Якщо ви ще не налаштували свій домен SageMaker, зверніться до На борту до домену Amazon SageMaker.

У рамках конфігурації домену адміністратор хмари може вибрати один або кілька індексів Kendra, які бізнес-аналітик може запитувати під час взаємодії з FM через SageMaker Canvas.

Після гідратації та налаштування індексів Kendra бізнес-аналітики використовують їх із SageMaker Canvas, починаючи новий чат і вибираючи перемикач «Запит документів». Потім SageMaker Canvas керуватиме основним зв’язком між Amazon Kendra та вибраним FM для виконання таких операцій:

1. Запитуйте індекси Kendra із запитанням, що надходить від користувача.
2. Отримайте фрагменти (і джерела) з індексів Kendra.
3. Створіть підказку з фрагментами вихідного запиту, щоб базова модель могла створити відповідь із отриманих документів.
4. Надайте сформовану відповідь користувачеві разом із посиланнями на сторінки/документи, які були використані для формулювання відповіді.

Налаштування Canvas для запитів документів

У цьому розділі ми розповімо вам про кроки, щоб налаштувати Canvas для запитів документів, які обслуговуються через індекси Kendra. Ви повинні мати такі передумови:

• Налаштування домену SageMaker – На борту до домену Amazon SageMaker
• Створити Індекс Кендри (або більше одного)
• Налаштуйте роз’єм Kendra Amazon S3 – дотримуйтесь інструкцій Конектор Amazon S3 – і завантажуйте файли PDF та інші документи до сегмента Amazon S3, пов’язаного з індексом Kendra
• Налаштуйте IAM так, щоб Canvas мав відповідні дозволи, включно з тими, які необхідні для виклику кінцевих точок Amazon Bedrock і/або SageMaker – дотримуйтеся вказівок Налаштувати Canvas Chat документація

Тепер ви можете оновити домен, щоб він міг отримати доступ до потрібних індексів. На консолі SageMaker для певного домену виберіть Редагувати на вкладці Параметри домену. Увімкніть перемикач «Увімкнути документи запитів за допомогою Amazon Kendra», який можна знайти на кроці «Налаштування Canvas». Після активації виберіть один або кілька індексів Kendra, які ви хочете використовувати з Canvas.

Це все, що потрібно для налаштування функції запиту документів Canvas. Тепер користувачі можуть перейти до чату в Canvas і почати використовувати бази знань, які були прикріплені до домену через індекси Kendra. Ті, хто підтримує базу знань, можуть продовжувати оновлювати джерело правди, а завдяки можливості синхронізації в Kendra користувачі чату автоматично зможуть безперебійно використовувати актуальну інформацію.

Використання функції запиту документів для чату

Як користувач SageMaker Canvas, функція запиту документів може бути доступна в чаті. Щоб розпочати сеанс чату, натисніть або знайдіть кнопку «Створити, видобути та підсумувати вміст» на вкладці Готові до використання моделі в SageMaker Canvas.

Опинившись там, ви можете вмикати та вимикати Запит документів за допомогою перемикача у верхній частині екрана. Перегляньте інформаційний запит, щоб дізнатися більше про цю функцію.

Коли ввімкнено Query Documents, ви можете вибрати зі списку індексів Kendra, увімкнених адміністратором хмари.

Ви можете вибрати індекс, починаючи новий чат. Потім ви можете поставити запитання в UX, при цьому знання будуть автоматично отримані з вибраного індексу. Зауважте, що після початку розмови з певним індексом неможливо переключитися на інший індекс.

Для поставлених питань у чаті буде показано відповідь, згенеровану FM, разом із вихідними документами, які сприяли створенню відповіді. Якщо клацнути будь-який з вихідних документів, Canvas відкриває попередній перегляд документа, підсвічуючи фрагмент, використаний FM.

Висновок

Розмовний штучний інтелект має величезний потенціал для трансформації досвіду клієнтів і співробітників, надаючи людиноподібного помічника з природною та інтуїтивно зрозумілою взаємодією, наприклад:

• Виконання дослідження на тему або пошук і перегляд бази знань організації
• Узагальнення обсягів вмісту для швидкого збору інформації
• Пошук сутностей, настроїв, ідентифікаційної інформації та інших корисних даних і збільшення бізнес-цінності неструктурованого вмісту
• Створення чернеток документів та ділової кореспонденції
• Створення статей знань із різних внутрішніх джерел (інциденти, журнали чатів, вікі)

Інноваційна інтеграція інтерфейсів чату, пошуку знань і FM дозволяє підприємствам надавати точні, релевантні відповіді на запитання користувачів, використовуючи свої знання про домен і джерела правди.

Підключивши SageMaker Canvas до баз знань в Amazon Kendra, організації можуть зберігати власні дані у своєму власному середовищі, водночас користуючись перевагами найсучасніших можливостей природної мови FM. Із запуском функції Query Documents SageMaker Canvas ми спрощуємо для будь-якого підприємства використання LLM та їхні корпоративні знання як джерело правди для безпечного чату. Усі ці функції доступні у форматі без коду, що дозволяє підприємствам уникати виконання повторюваних і неспеціалізованих завдань.

Щоб дізнатися більше про SageMaker Canvas і про те, як він допомагає всім легше розпочати машинне навчання, перегляньте Анонс SageMaker Canvas. Дізнайтеся більше про те, як SageMaker Canvas сприяє співпраці між спеціалістами з обробки даних і бізнес-аналітиками, прочитавши Створюйте, діліться та розгортайте публікацію. Нарешті, щоб дізнатися, як створити власний робочий процес генерації розширеного пошуку, див SageMaker JumpStart RAG.

посилання

Льюїс, П., Перес, Е., Піктус, А., Петроні, Ф., Карпухін, В., Гоял, Н., Кюттлер, Х., Льюїс, М., Йіх, В., Роктешель, Т., Рідель, С., Кіла, Д. (2020). Пошуково-доповнена генерація для наукомістких завдань НЛП. Досягнення в нейронних системах обробки інформації, 33, 9459-9474.

---

Про авторів

Давіде Галлітеллі є старшим спеціалістом з розробки рішень для AI/ML. Він живе в Брюсселі та тісно співпрацює з клієнтами по всьому світу, які хочуть застосувати технології машинного навчання з низьким кодом/без коду та Generative AI. Він був розробником із самого дитинства, почав кодувати у віці 7 років. Він почав вивчати AI/ML в університеті, і з тих пір закохався в нього.

Білал Алам є архітектором корпоративних рішень в AWS і спеціалізується на галузі фінансових послуг. Більшість днів Білал допомагає клієнтам створювати, вдосконалювати та захищати середовище AWS для розгортання найважливіших робочих навантажень. Він має великий досвід у телекомунікаційних компаніях, мережах і розробці програмного забезпечення. Зовсім недавно він розглядав можливість використання AI/ML для вирішення бізнес-завдань.

Пашмін Містрі є старшим менеджером із продуктів в AWS. Поза роботою Пашмін любить авантюрні походи, фотографує та проводить час із сім’єю.

Ден Зінрайх є старшим менеджером із продуктів в AWS, який допомагає демократизувати машинне навчання з низьким кодом/без коду. До AWS Ден розробив і комерціалізував корпоративні платформи SaaS і моделі часових рядів, які використовуються інституційними інвесторами для управління ризиками та створення оптимальних портфелів. Поза роботою його можна знайти за грою в хокей, підводним плаванням і читанням наукової фантастики.

• Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
• PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
• PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
• ПлатонЕСГ. вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
• PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
• джерело: https://aws.amazon.com/blogs/machine-learning/empower-your-business-users-to-extract-insights-from-company-documents-using-amazon-sagemaker-canvas-generative-ai/