Генеративний штучний інтелект – це тип штучного інтелекту, який може створювати новий контент та ідеї, зокрема розмови, історії, зображення, відео та музику. Він базується на великих мовних моделях (LLM), які попередньо навчені на величезних обсягах даних і зазвичай називаються базовими моделями (FM).
З появою цих LLM або FM замовники можуть просто створювати програми на основі Generative AI для реклами, управління знаннями та підтримки клієнтів. Усвідомлення впливу цих додатків може надати клієнтам кращі знання та позитивно вплинути на ефективність роботи в організації завдяки легкому пошуку інформації та автоматизації певних трудомістких завдань.
За допомогою генеративного штучного інтелекту на AWS ви можете переосмислити свої програми, створити абсолютно новий досвід для клієнтів і підвищити загальну продуктивність.
У цій публікації ми створюємо безпечну корпоративну програму за допомогою AWS Amplify що викликає an Amazon SageMaker JumpStart модель основи, Amazon SageMaker кінцеві точки та Служба Amazon OpenSearch щоб пояснити, як створити текст у текст або текст у зображення та розширену пошукову генерацію (RAG). Ви можете використовувати цю публікацію як довідник для створення безпечних корпоративних програм у домені Generative AI за допомогою служб AWS.
Огляд рішення
Це рішення використовує моделі SageMaker JumpStart для розгортання моделей тексту в текст, тексту в зображення та моделей вбудовування тексту як кінцевих точок SageMaker. Ці кінцеві точки SageMaker використовуються в програмі Amplify React API -шлюз Amazon та AWS Lambda функції. Щоб захистити програму та API від ненавмисного доступу, Амазонка Когніто інтегрований у функції Amplify React, API Gateway і Lambda. Кінцеві точки SageMaker і Lambda розгорнуті в a приватний VPC, тому зв’язок від API Gateway до функцій Lambda захищено за допомогою посилань VPC API Gateway. Наведена нижче схема робочого процесу ілюструє це рішення.
Робочий процес включає наступні кроки:
- Початкове налаштування: SageMaker JumpStart FM розгортаються як кінцеві точки SageMaker, з трьома кінцевими точками, створеними з моделей SageMaker JumpStart. Модель перетворення тексту в зображення є базовою моделлю Stability AI Stable Diffusion, яка використовуватиметься для створення зображень. Модель перетворення тексту в текст, яка використовується для створення тексту та розгорнута в рішенні, є моделлю Hugging Face Flan T5 XL. Модель вбудовування тексту, яка використовуватиметься для створення вбудовування для індексування в Amazon OpenSearch Service або пошуку в контексті вхідного запитання, є моделлю вбудовування Hugging Face GPT 6B FP16. Альтернативні LLM можуть бути розгорнуті на основі сценарію використання та тестів продуктивності моделі. Для отримання додаткової інформації про моделі основи див Початок роботи з Amazon SageMaker JumpStart.
- Ви отримуєте доступ до програми React зі свого комп’ютера. Додаток React має три сторінки: сторінка, яка приймає підказки щодо зображення та відображає згенероване зображення; сторінка, яка приймає текстові підказки та відображає згенерований текст; і сторінка, яка бере запитання, знаходить контекст, що відповідає питанню, і відображає відповідь, згенеровану моделлю тексту в текст.
- Програма React, створена з використанням бібліотек Amplify, розміщена на Amplify і надається користувачеві за URL-адресою хосту Amplify. Amplify надає середовище для розміщення програми React. Інтерфейс командного рядка Amplify використовується для завантаження середовища хостингу Amplify і розгортання коду в середовищі хостингу Amplify.
- Якщо ви не пройшли автентифікацію, ви будете автентифіковані в Amazon Cognito за допомогою бібліотеки інтерфейсу користувача Amplify React.
- Коли ви вводите дані та надсилаєте форму, запит обробляється через шлюз API.
- Лямбда-функції очищають введені користувачем дані та викликають відповідні кінцеві точки SageMaker. Лямбда-функції також створюють підказки з дезінфікованого введення користувача у відповідному форматі, очікуваному LLM. Ці лямбда-функції також переформатують вихідні дані LLM і надсилають відповідь назад користувачеві.
- Кінцеві точки SageMaker розгорнуті для моделей перетворення тексту в текст (Flan T5 XXL), вбудовування тексту (GPTJ-6B) і моделей перетворення тексту в зображення (Stability AI). Розгортаються три окремі кінцеві точки, які використовують рекомендовані стандартні типи екземплярів SageMaker.
- Вбудовування для документів генеруються за допомогою моделі вбудовування тексту, і ці вбудовування індексуються в службі OpenSearch. Індекс k-Nearest Neighbor (k-NN) увімкнено, щоб дозволити пошук вбудовувань із служби OpenSearch.
- An AWS Fargate job бере документи та сегментує їх на менші пакети, викликає модель LLM для вбудовування тексту та індексує повернуті вбудовування в OpenSearch Service для контексту пошуку, як описано раніше.
Огляд набору даних
Для цього рішення використовується набір даних pile-of-law
в Сховище Hugging Face. Цей набір даних є великим корпусом правових та адміністративних даних. Для цього прикладу ми використовуємо train.cc_casebooks.jsonl.xz
в цьому сховищі. Це колекція навчальних посібників, підібраних у форматі JSONL відповідно до вимог LLM.
Передумови
Перш ніж почати, переконайтеся, що у вас є такі передумови:
Реалізуйте рішення
Проект AWS CDK, який включає всі архітектурні компоненти, доступний у цих зразках AWS GitHub сховище. Щоб реалізувати це рішення, виконайте такі дії:
- Клонуйте GitHub сховище до комп'ютера.
- Перейдіть до кореневої папки.
- Ініціалізація віртуального середовища Python.
- Встановіть необхідні залежності, зазначені в
requirements.txt
файлу. - Ініціалізуйте AWS CDK у папці проекту.
- Bootstrap AWS CDK у папці проекту.
- За допомогою команди AWS CDK deploy розгорніть стеки.
- Перейдіть до папки Amplify у папці проекту.
- Ініціалізуйте Amplify і прийміть значення за замовчуванням, надані CLI.
- Додайте хостинг Amplify.
- Опублікуйте інтерфейс Amplify із папки Amplify і запам’ятайте доменне ім’я, надане в кінці запуску.
- На консолі Amazon Cognito додайте користувача до примірника Amazon Cognito, який було надано під час розгортання.
- Перейдіть до імені домену з кроку 11 і введіть дані для входу в Amazon Cognito, щоб отримати доступ до програми.
Запустити завдання індексування OpenSearch
Проект AWS CDK розгорнув функцію Lambda під назвою GenAIServiceTxt2EmbeddingsOSIndexingLambda
. Перейдіть до цієї функції на консолі Lambda.
Запустіть тест із порожнім корисним навантаженням, як показано на наступному знімку екрана.
Ця лямбда-функція запускає завдання Fargate Служба еластичних контейнерів Amazon (Amazon ECS), що працює в межах VPC. Це завдання Fargate використовує включений файл JSONL для сегментації та створення індексу вбудовування. Вбудовування кожного сегмента є результатом виклику кінцевої точки LLM для вбудовування тексту, розгорнутої в рамках проекту AWS CDK.
Прибирати
Щоб уникнути майбутніх витрат, видаліть кінцеву точку SageMaker і зупиніть усі функції Lambda. Також видаліть вихідні дані в Amazon S3, які ви створили під час виконання робочого процесу програми. Перш ніж видалити сегменти, потрібно видалити дані в сегментах S3.
Висновок
У цій публікації ми продемонстрували наскрізний підхід до створення захищеної корпоративної програми за допомогою Generative AI і RAG. Цей підхід можна використовувати для створення безпечних і масштабованих програм Generative AI на AWS. Ми радимо вам розгорнути програму AWS CDK у своєму обліковому записі та створити рішення Generative AI.
Додаткові ресурси
Щоб отримати додаткові відомості про додатки Generative AI на AWS, див.
Про авторів
Джей Піллай є головним архітектором рішень в Amazon Web Services. Як керівник інформаційних технологій, Джей спеціалізується на штучному інтелекті, інтеграції даних, бізнес-аналітиці та доменах інтерфейсу користувача. Він має 23-річний досвід роботи з декількома клієнтами у сферах нерухомості, фінансових послуг, страхування, платежів і маркетингових досліджень.
Шихар Кватра є архітектором рішень зі штучного інтелекту та ML в Amazon Web Services, який працює з провідним глобальним системним інтегратором. Він заслужив титул одного з наймолодших індійських майстрів-винахідників із понад 500 патентами в сферах AI/ML та IoT. Shikhar допомагає в архітектурі, створенні та підтримці економічно ефективних, масштабованих хмарних середовищ для організації та підтримує партнера GSI у створенні стратегічних галузевих рішень на AWS. Шихар любить грати на гітарі, складати музику та практикувати усвідомленість у вільний час.
Картік Сонті очолює глобальну команду архітекторів рішень, які зосереджені на концептуалізації, створенні та запуску горизонтальних, функціональних і вертикальних рішень з Accenture, щоб допомогти нашим спільним клієнтам трансформувати свій бізнес диференційовано на AWS.
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
- PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
- ПлатонЕСГ. Автомобільні / електромобілі, вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
- PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
- ChartPrime. Розвивайте свою торгову гру за допомогою ChartPrime. Доступ тут.
- BlockOffsets. Модернізація екологічної компенсаційної власності. Доступ тут.
- джерело: https://aws.amazon.com/blogs/machine-learning/build-a-secure-enterprise-application-with-generative-ai-and-rag-using-amazon-sagemaker-jumpstart/
- : має
- :є
- : ні
- 100
- 11
- 23
- 500
- 7
- a
- МЕНЮ
- Accenture
- Прийняти
- доступ
- рахунки
- через
- додавати
- адміністративний
- прихід
- реклама
- проти
- AI
- AI / ML
- посібник
- ВСІ
- дозволяти
- Також
- альтернатива
- Amazon
- Амазонка Когніто
- Служба Amazon OpenSearch
- Amazon SageMaker
- Amazon SageMaker JumpStart
- Amazon Web Services
- суми
- an
- та
- відповідь
- API
- Інтерфейси
- додаток
- додаток
- застосування
- підхід
- архітектори
- архітектурний
- ЕСТЬ
- штучний
- штучний інтелект
- AS
- At
- збільшено
- автентифіковано
- автоматизація
- доступний
- уникнути
- AWS
- назад
- заснований
- BE
- було
- перед тим
- тести
- Bootstrap
- будувати
- Створюємо
- побудований
- бізнес
- бізнес-аналітика
- by
- CAN
- випадок
- певний
- вантажі
- клієнтів
- хмара
- код
- збір
- зазвичай
- Комунікація
- Компоненти
- комп'ютер
- Консоль
- будувати
- спожитий
- Контейнер
- зміст
- контекст
- розмови
- створювати
- створений
- Куратор
- клієнт
- підтримка клієнтів
- Клієнти
- дані
- дефолт
- за замовчуванням
- продемонстрований
- залежно
- розгортання
- розгорнути
- розгортання
- описаний
- деталі
- диференційований
- радіомовлення
- дисплеїв
- do
- документація
- домен
- Доменне ім'я
- домени
- кожен
- зароблений
- легко
- Освіта
- ефективність
- вбудовування
- включений
- заохочувати
- кінець
- кінець в кінець
- Кінцева точка
- підвищена
- підприємство
- повністю
- Навколишнє середовище
- середовищах
- майно
- приклад
- очікуваний
- досвід
- Досліди
- Пояснювати
- обширний
- Великий досвід
- Face
- філе
- фінансовий
- фінансові послуги
- знахідки
- увагу
- після
- для
- форма
- формат
- фонд
- від
- перед
- передня частина
- функція
- функціональний
- Функції
- майбутнє
- шлюз
- генерується
- породжує
- покоління
- генеративний
- Генеративний ШІ
- отримання
- Глобальний
- Мати
- he
- допомога
- його
- тримає
- Горизонтальний
- господар
- відбувся
- хостинг
- Як
- How To
- HTTP
- HTTPS
- ідеї
- ілюструє
- зображення
- зображень
- Impact
- здійснювати
- удосконалювати
- in
- включені
- includes
- У тому числі
- Вхідний
- індекс
- індексований
- покажчики
- індійський
- промисловість
- інформація
- інформаційна технологія
- вхід
- розуміння
- екземпляр
- страхування
- інтегрований
- інтеграція
- Інтелект
- інтерфейс
- в
- Винахідники
- викликає
- КАТО
- робота
- спільна
- JPG
- знання
- Управління знаннями
- мова
- великий
- запуск
- лідер
- провідний
- Веде за собою
- легальний
- libraries
- бібліотека
- зв'язку
- LLM
- Логін
- made
- Підтримка
- зробити
- управління
- манера
- ринок
- дослідження ринку
- майстер
- узгодження
- Уважність
- модель
- Моделі
- більше
- музика
- повинен
- ім'я
- Названий
- Переміщення
- Нові
- of
- on
- ONE
- or
- організація
- наші
- вихід
- над
- загальний
- пакети
- сторінка
- сторінок
- частина
- партнер
- Патенти
- платежі
- продуктивність
- plato
- Інформація про дані Платона
- PlatoData
- ігри
- пошта
- Харчування
- передумови
- раніше
- Головний
- Оброблено
- продуктивність
- проект
- захист
- захищений
- забезпечувати
- за умови
- забезпечує
- Python
- питання
- Реагувати
- реальний
- нерухомість
- розуміючи,
- рекомендований
- послатися
- називають
- винаходити
- Сховище
- запросити
- вимагається
- дослідження
- ті
- відповідь
- результат
- корінь
- прогін
- біг
- мудрець
- масштабовані
- Грати короля карти - безкоштовно Nijumi логічна гра гри
- безпечний
- побачити
- сегмент
- сегменти
- послати
- окремий
- обслуговування
- Послуги
- установка
- кілька
- показаний
- просто
- менше
- So
- рішення
- Рішення
- спеціаліст
- спеціалізується
- зазначений
- Стабільність
- стабільний
- Стеки
- почалася
- Крок
- заходи
- Стоп
- історії
- Стратегічний
- представляти
- підтримка
- Опори
- Переконайтеся
- система
- приймає
- Завдання
- завдання
- команда
- Технологія
- тест
- текст
- Що
- Команда
- їх
- Їх
- Ці
- це
- три
- через
- час
- трудомісткий
- назва
- до
- Перетворення
- тип
- Типи
- ui
- URL
- використання
- використання випадку
- використовуваний
- користувач
- Інтерфейс користувача
- використовує
- використання
- величезний
- вертикальний
- через
- Відео
- Віртуальний
- було
- we
- Web
- веб-сервіси
- який
- в той час як
- волі
- з
- в
- робочий
- робочий
- років
- Ти
- Наймолодший
- вашу
- зефірнет