Amazon Bedrock – це повністю керований сервіс, який надає AWS і пропонує розробникам доступ до моделі фундаменту (FM) та інструменти для їх налаштування для конкретних програм. Це дозволяє розробникам створювати та масштабувати генеративні додатки штучного інтелекту за допомогою FM через API без керування інфраструктурою. Ви можете вибрати з різних FM від Amazon і провідних стартапів AI, таких як AI21 Labs, Anthropic, Cohere та Stability AI, щоб знайти модель, яка найкраще підходить для вашого випадку використання. Завдяки безсерверному досвіду Amazon Bedrock ви можете швидко розпочати роботу, легко експериментувати з FM, приватно налаштовувати їх за допомогою власних даних, а також легко інтегрувати й розгортати їх у своїх програмах за допомогою інструментів і можливостей AWS.
Клієнти створюють інноваційні генеративні програми штучного інтелекту за допомогою API Amazon Bedrock, використовуючи власні власні дані. Під час доступу до API Amazon Bedrock клієнти шукають механізм для налаштування периметра даних без доступу своїх даних до Інтернету, щоб вони могли пом’якшити потенційні вектори загроз через Інтернет. Кінцева точка Amazon Bedrock VPC на основі AWS PrivateLink дозволяє встановити приватне з’єднання між VPC у вашому обліковому записі та обліковим записом служби Amazon Bedrock. Це дає змогу екземплярам VPC спілкуватися з ресурсами служби без потреби у загальнодоступних IP-адресах.
У цій публікації ми демонструємо, як налаштувати приватний доступ до вашого облікового запису AWS для доступу до API Amazon Bedrock через Кінцеві точки VPC на основі PrivateLink, щоб допомогти вам безпечно створювати генеративні додатки ШІ з вашими власними даними.
Огляд рішення
Ви можете використовувати генеративний штучний інтелект для розробки різноманітних додатків, таких як резюмування тексту, модерація вмісту та інші можливості. Створюючи такі генеративні додатки штучного інтелекту з використанням FM або базових моделей, клієнти хочуть генерувати відповідь, не переходячи в загальнодоступний Інтернет або на основі своїх власних даних, які можуть зберігатися в їхніх корпоративних базах даних.
На наступній діаграмі ми зображуємо архітектуру для налаштування вашої інфраструктури для читання ваших приватних даних, що знаходяться в Служба реляційних баз даних Amazon (Amazon RDS) і доповніть запит Amazon Bedrock API інформацією про продукт, відповідаючи на запити, пов’язані з продуктом, із вашої генеративної програми ШІ. Хоча ми використовуємо Amazon RDS на цій діаграмі для ілюстрації, ви можете перевірити приватний доступ до API Amazon Bedrock, використовуючи інструкції, надані в цій публікації.
Етапи робочого процесу такі:
- AWS Lambda запущений у вашій приватній підмережі VPC отримує швидкий запит від генеративної програми AI.
- Lambda здійснює виклик до власної бази даних RDS і доповнює контекст підказки запиту (наприклад, додавання інформації про продукт) і викликає API Amazon Bedrock із запитом доповненого запиту.
- Виклик API направляється до кінцевої точки Amazon Bedrock VPC, яка пов’язана з політикою кінцевої точки VPC із дозволами дозволу на API Amazon Bedrock.
- Кінцева точка API служби Amazon Bedrock отримує запит API через PrivateLink, не переходячи в загальнодоступний Інтернет.
- Ви можете змінити політику кінцевої точки Amazon Bedrock VPC на Заборонити дозволи, щоб підтвердити, що виклики API Amazon Bedrock заборонено.
- Ви також можете отримати приватний доступ до API Amazon Bedrock через кінцеву точку VPC зі своєї корпоративної мережі через AWS Direct Connect шлюз.
Передумови
Перш ніж почати, переконайтеся, що у вас є такі передумови:
- An Обліковий запис AWS
- An Управління ідентифікацією та доступом AWS (IAM) роль федерації з доступом до таких дій:
- Створюйте, редагуйте, переглядайте та видаляйте мережеві ресурси VPC
- Створення, редагування, перегляд і видалення лямбда-функцій
- Створення, редагування, перегляд і видалення ролей і політик IAM
- Перелічіть моделі основи та запустіть модель основи Amazon Bedrock
- Для цього допису ми використовуємо
us-east-1
область - Запит доступ до базової моделі через консоль Amazon Bedrock
Налаштуйте інфраструктуру приватного доступу
У цьому розділі ми налаштуємо таку інфраструктуру, як VPC, приватні підмережі, групи безпеки та функцію Lambda за допомогою AWS CloudFormation шаблон
Використовуйте наступне шаблон створити стек інфраструктури Bedrock-GenAI-Stack
у вашому обліковому записі AWS.
Шаблон CloudFormation створює такі ресурси від вашого імені:
- VPC з двома приватними підмережами в окремих зонах доступності
- Групи безпеки та таблиці маршрутизації
- Роль і політики IAM для використання Lambda, Amazon Bedrock і Обчислювальна хмара Amazon Elastic (Amazon EC2)
Налаштуйте кінцеву точку VPC для Amazon Bedrock
У цьому розділі ми використовуємо Віртуальна приватна хмара Amazon (Amazon VPC), щоб налаштувати кінцеву точку VPC для Amazon Bedrock, щоб полегшити приватне підключення від вашого VPC до Amazon Bedrock.
- На консолі Amazon VPC під Віртуальна приватна хмара на панелі навігації виберіть Кінцеві точки.
- Вибирати Створити кінцеву точку.
- для Тег імені, введіть
bedrock-vpce
. - під Послуги, знайдіть bedrock-runtime і виберіть
com.amazonaws.<region>.bedrock-runtime
. - для VPC, вказати VPC
Bedrock-GenAI-Project-vpc
які ви створили за допомогою стека CloudFormation у попередньому розділі. - У Підмережі розділ і виберіть зони доступності та виберіть відповідні ідентифікатори підмережі зі спадного меню.
- для Групи безпеки, виберіть групу безпеки з назвою групи
Bedrock-GenAI-Stack-VPCEndpointSecurityGroup-
та описAllow TLS for VPC Endpoint
.
Група безпеки діє як віртуальний брандмауер для вашого екземпляра, щоб контролювати вхідний і вихідний трафік. Зауважте, що ця група безпеки кінцевої точки VPC дозволяє лише трафік, що надходить із групи безпеки, приєднаної до ваших приватних підмереж VPC, додаючи рівень захисту.
- Вибирати Створити кінцеву точку.
- У політика розділ, виберіть виготовлений на замовлення і введіть наступну політику найменших привілеїв, щоб переконатися, що лише певні дії дозволені на вказаному ресурсі базової моделі,
arn:aws:bedrock:*::foundation-model/anthropic.claude-instant-v1
для даного принципала (наприклад, лямбда-функція IAM).
Може знадобитися до 2 хвилин, поки кінцеву точку інтерфейсу буде створено та статус зміниться на Доступний. Ви можете оновити сторінку, щоб перевірити останній статус.
Налаштуйте функцію Lambda через приватні підмережі VPC
Щоб налаштувати функцію лямбда, виконайте такі кроки:
- На консолі Lambda виберіть Функції у навігаційній панелі.
- Виберіть функцію
gen-ai-lambda-stack-BedrockTestLambdaFunction-XXXXXXXXXXXX
. - на конфігурація вкладку, виберіть Дозволи на лівій панелі.
- під Виконавча роль¸ виберіть посилання для ролі
gen-ai-lambda-stack-BedrockTestLambdaFunctionRole-XXXXXXXXXXXX
.
Вас буде переспрямовано на консоль IAM.
- У Політики дозволів розділ, вибрати Додати дозволи І вибирай Створіть вбудовану політику.
- на JSON змініть політику наступним чином:
- Вибирати МАЙБУТНІ.
- для Назва політики, введіть
enivpce-policy
. - Вибирати Створити політику.
- Додайте таку вбудовану політику (укажіть вихідні кінцеві точки VPC) для обмеження доступу Lambda до API Amazon Bedrock лише через кінцеві точки VPC:
- На сторінці функції Lambda на сторінці конфігурація вкладку, виберіть VPC на лівій панелі, а потім виберіть Редагувати.
- для VPCвиберіть
Bedrock-GenAI-Project-vpc
. - для Підмережі, виберіть приватні підмережі.
- для Групи безпекивиберіть
gen-ai-lambda-stack-SecurityGroup-
(група безпеки для робочого навантаження Amazon Bedrock у приватних підмережах). - Вибирати зберегти.
Перевірте засоби контролю приватного доступу
Тепер ви можете протестувати засоби керування приватним доступом (API Amazon Bedrock через кінцеві точки VPC).
- На консолі Lambda виберіть Функції у навігаційній панелі.
- Виберіть функцію
gen-ai-lambda-stack-BedrockTestLambdaFunction-XXXXXXXXXXXX
. - на код вкладку, виберіть Тест.
Ви повинні побачити таку відповідь від виклику Amazon Bedrock API (Статус: успішно).
- Щоб заборонити доступ до API Amazon Bedrock через кінцеві точки VPC, перейдіть до консолі Amazon VPC.
- під Віртуальна приватна хмара на панелі навігації виберіть Кінцеві точки.
- Виберіть свою політику та перейдіть до Вкладка політики.
Наразі для політики кінцевої точки VPC встановлено значення Allow
.
- Щоб заборонити доступ, виберіть Редагувати політику.
- Редагувати
Allow
доDeny
І вибирай зберегти.
Оновлення політики для кінцевої точки VPC може зайняти до 2 хвилин.
- Поверніться до сторінки функції Лямбда та на код вкладку, виберіть Тест.
Як показано на наступному знімку екрана, запит на доступ до Amazon Bedrock через кінцеву точку VPC було відхилено (Статус: помилка).
За допомогою цього процесу тестування ми продемонстрували, як трафік від вашого VPC до кінцевої точки Amazon Bedrock API проходить через підключення PrivateLink, а не через підключення до Інтернету.
Прибирати
Щоб уникнути стягнення плати в майбутньому, виконайте наведені нижче дії.
Висновок
У цій публікації ми продемонстрували, як налаштувати та ввести в дію приватне з’єднання між генеративним робочим навантаженням штучного інтелекту, розгорнутим на VPC вашого клієнта, та Amazon Bedrock за допомогою кінцевої точки інтерфейсу VPC на основі PrivateLink. У разі використання архітектури, розглянутої в цій публікації, трафік між вашим клієнтським VPC і Amazon Bedrock не залишатиме мережу Amazon, гарантуючи, що ваші дані не потраплятимуть у загальнодоступний Інтернет і, таким чином, допомагатимуть із вашими вимогами відповідності.
Наступним кроком спробуйте рішення у своєму обліковому записі та поділіться своїм відгуком.
Про авторів
Рам Віттал є головним архітектором рішень ML в AWS. Він має понад 3 десятиліття досвіду розробки та створення розподілених, гібридних і хмарних програм. Він захоплений створенням безпечних і масштабованих рішень штучного інтелекту/ML і великих даних, які допомагають корпоративним клієнтам перейти до впровадження хмарних технологій та оптимізації для покращення бізнес-результатів. У вільний час він катається на мотоциклі та гуляє зі своїм 3-річним Шипадудлом!
Рей Хорсанді є фахівцем зі штучного інтелекту та ML в AWS, який надає підтримку стратегічним клієнтам передовими практиками AI/ML. Маючи ступінь магістра наук та к.ю.н. у галузі електротехніки та комп’ютерних наук, він керує підприємствами розробкою безпечних, масштабованих рішень AI/ML і великих даних для оптимізації впровадження хмарних технологій. Серед його пристрастей – комп’ютерний зір, НЛП, генеративний штучний інтелект і MLO. Рей любить грати у футбол і проводити час із родиною.
Майкл Деніелс є спеціалістом зі штучного інтелекту та ML в AWS. Його досвід полягає в розробці та розробці AI/ML та генеративних AI-рішень для складних і складних бізнес-задач, що посилюється його докторською дисертацією. з ун-ту. Техасу та його магістра наук. у Технологічному інституті Джорджії за спеціалізацією з комп’ютерних наук у галузі машинного навчання. Він чудово застосовує передові хмарні технології для інновацій, надихає та трансформує провідні організації, а також ефективно спілкується із зацікавленими сторонами будь-якого рівня та масштабу. У вільний час ви можете застати Майкла на лижах або сноуборді в горах.
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
- PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
- ПлатонЕСГ. вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
- PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
- джерело: https://aws.amazon.com/blogs/machine-learning/use-aws-privatelink-to-set-up-private-access-to-amazon-bedrock/
- : має
- :є
- : ні
- $UP
- 1
- 100
- 13
- 16
- 225
- 7
- 8
- 9
- 937
- a
- МЕНЮ
- доступ
- доступ до
- рахунки
- дію
- дії
- акти
- додати
- адреси
- Прийняття
- AI
- AI / ML
- дозволяти
- дозволено
- дозволяє
- Також
- хоча
- Amazon
- Amazon EC2
- Amazon RDS
- Amazon Web Services
- an
- та
- Антропний
- будь-який
- API
- Інтерфейси
- додаток
- застосування
- Застосування
- архітектура
- ЕСТЬ
- AS
- асоційований
- At
- збільшення
- збільшено
- збільшує
- наявність
- доступний
- уникнути
- AWS
- база
- заснований
- імені
- КРАЩЕ
- передового досвіду
- між
- Великий
- Великий даних
- будувати
- Створюємо
- бізнес
- by
- call
- Виклики
- CAN
- можливості
- випадок
- Залучайте
- певний
- складні
- зміна
- Зміни
- вантажі
- перевірка
- Вибирати
- хмара
- прийняття хмари
- спілкуватися
- спілкування
- комплекс
- дотримання
- обчислення
- комп'ютер
- Інформатика
- Комп'ютерне бачення
- стан
- зв'язку
- зв'язок
- Консоль
- зміст
- контекст
- контроль
- управління
- Корпоративний
- Відповідний
- створювати
- створений
- створює
- клієнт
- Клієнти
- налаштувати
- передовий
- дані
- Database
- базами даних
- десятиліття
- демонструвати
- продемонстрований
- відмовлено
- розгортання
- розгорнути
- description
- розвивати
- розробників
- прямий
- обговорювалися
- розподілений
- Різне
- do
- легко
- ефект
- фактично
- дозволяє
- кінець
- Кінцева точка
- Захист кінцевої точки
- Машинобудування
- підвищена
- забезпечувати
- забезпечення
- Що натомість? Створіть віртуальну версію себе у
- підприємство
- підприємств
- встановити
- приклад
- досвід
- експеримент
- експертиза
- піддаватися
- експонування
- фасилітувати
- не вдалося
- сім'я
- Федерація
- зворотний зв'язок
- знайти
- брандмауер
- після
- слідує
- для
- фонд
- від
- повністю
- функція
- майбутнє
- шлюз
- породжувати
- генеративний
- Генеративний ШІ
- Грузія
- отримати
- даний
- буде
- Group
- Групи
- Мати
- he
- допомога
- допомогу
- його
- Як
- How To
- HTML
- HTTP
- HTTPS
- гібрид
- ID
- Особистість
- ідентифікатори
- удосконалювати
- in
- включати
- провідний в галузі
- інформація
- Інфраструктура
- оновлювати
- інноваційний
- вселяти
- екземпляр
- Інститут
- інструкції
- інтегрувати
- інтерфейс
- інтернет
- internet connection
- в
- викликає
- IP
- IP-адреси
- IT
- подорож
- JPG
- Labs
- останній
- шар
- провідний
- Веде за собою
- вивчення
- найменш
- Залишати
- залишити
- рівень
- лежить
- LINK
- шукати
- машина
- навчання за допомогою машини
- зробити
- РОБОТИ
- вдалося
- управління
- Може..
- механізм
- Меню
- Майкл
- хвилин
- Пом'якшити
- ML
- MLOps
- модель
- Моделі
- помірність
- змінювати
- мотоцикл
- ім'я
- Переміщення
- навігація
- Необхідність
- мережу
- наступний
- nlp
- of
- Пропозиції
- on
- тільки
- оптимізація
- Оптимізувати
- or
- організації
- походження
- Інше
- з
- Результати
- над
- власний
- сторінка
- pane
- пристрасний
- Дозволи
- plato
- Інформація про дані Платона
- PlatoData
- ігри
- Політика
- політика
- пошта
- потенціал
- Харчування
- практики
- передумови
- попередній
- Головний
- приватний
- привілей
- проблеми
- процес
- Product
- Інформація про продукт
- власником
- захист
- забезпечувати
- за умови
- громадськість
- цілей
- якість
- запити
- швидко
- діапазон
- RAY
- Читати
- отримує
- запросити
- Вимога
- ресурс
- ресурси
- відповідь
- обмежуючий
- атракціони
- Роль
- ролі
- Маршрутизація
- біг
- SC
- масштабовані
- шкала
- наука
- плавно
- Пошук
- розділ
- безпечний
- безпечно
- безпеку
- побачити
- окремий
- Без сервера
- обслуговування
- Послуги
- комплект
- Поділитись
- Повинен
- показаний
- So
- Футбол
- рішення
- Рішення
- Source
- спеціаліст
- конкретний
- зазначений
- Витрати
- Стабільність
- стек
- зацікавлених сторін
- почалася
- Стартапи
- Заява
- Статус
- Крок
- заходи
- Стратегічний
- підмережі
- підмережі
- такі
- Підтримуючий
- Переконайтеся
- Приймати
- Технології
- Технологія
- шаблон
- тест
- Тестування
- Техас
- текст
- Що
- Команда
- їх
- Їх
- потім
- тим самим
- Ці
- вони
- це
- загроза
- через
- час
- до
- інструменти
- трафік
- Перетворення
- намагатися
- два
- при
- до
- Оновити
- використання
- використання випадку
- використання
- ПЕРЕВІР
- різний
- версія
- через
- вид
- Віртуальний
- бачення
- прогулянки
- хотіти
- було
- we
- Web
- веб-сервіси
- коли
- який
- в той час як
- волі
- з
- без
- робочий
- ямл
- Ти
- вашу
- зефірнет
- зони