Достижения в области искусственного интеллекта (ИИ) и машинного обучения (МО) произвели революцию в финансовой отрасли в таких случаях, как обнаружение мошенничества, оценка кредитоспособности и оптимизация торговой стратегии. Чтобы разработать модели для таких случаев использования, ученым, работающим с данными, необходим доступ к различным наборам данных, таким как механизмы принятия кредитных решений, транзакции клиентов, склонность к риску и стресс-тестирование. Управление соответствующим контролем доступа к этим наборам данных среди специалистов по обработке данных, работающих над ними, имеет решающее значение для соблюдения строгих требований соответствия и нормативных требований. Обычно эти наборы данных агрегируются в централизованном хранилище. Простой сервис хранения Amazon (Amazon S3) местоположение из различных бизнес-приложений и корпоративных систем. Ученые, работающие с данными в бизнес-подразделениях, работают над разработкой моделей с использованием Создатель мудреца Амазонки предоставляется доступ к соответствующим данным, что может привести к требованию управления префикс-уровневое управление доступом. С увеличением случаев использования и наборов данных с использованием политика ведра заявлений, управление доступом к нескольким учетным записям для каждого приложения является слишком сложным и длительным, чтобы его можно было реализовать с помощью политики корзины.
Точки доступа Amazon S3 упростите управление и защиту доступа к данным в любом масштабе для приложений, использующих общие наборы данных в Amazon S3. Вы можете создавать уникальные имена хостов, используя точки доступа, чтобы обеспечить отдельные и безопасные разрешения и сетевое управление для любого запроса, сделанного через точку доступа.
Точки доступа S3 упрощают управление разрешениями доступа, специфичными для каждого приложения, обращающегося к общему набору данных. Он обеспечивает безопасное и высокоскоростное копирование данных между точками доступа в одном регионе с использованием внутренних сетей AWS. и VPC. Точки доступа S3 могут ограничивать доступ к VPC, что позволяет вам защищать данные брандмауэром в частных сетях, тестировать новые политики контроля доступа, не затрагивая существующие точки доступа, а также настраивать политики конечных точек VPC для ограничения доступа к определенным корзинам S3, принадлежащим идентификатору учетной записи.
В этом посте описаны шаги, необходимые для настройки точек доступа S3 для включения доступа между учетными записями из экземпляра блокнота SageMaker.
Обзор решения
В нашем примере использования у нас есть две учетные записи в организации: учетная запись A (111111111111), которая используется специалистами по данным для разработки моделей с использованием экземпляра блокнота SageMaker, и учетная запись B (222222222222), которая содержит необходимые наборы данных в корзине S3. test-bucket-1
. На следующей диаграмме показана архитектура решения.
Чтобы внедрить решение, выполните следующие высокоуровневые шаги:
- Настройте учетную запись A, включая VPC, группу безопасности подсети, конечную точку шлюза VPC и блокнот SageMaker.
- Настройте учетную запись B, включая корзину S3, точку доступа и политику корзины.
- Настроить Управление идентификацией и доступом AWS (IAM) разрешения и политики в учетной записи A.
Вам следует повторить эти шаги для каждой учетной записи SageMaker, которой требуется доступ к общему набору данных из учетной записи B.
Названия каждого ресурса, упомянутого в этом посте, являются примерами; вы можете заменить их другими именами в соответствии с вашим вариантом использования.
Настроить учетную запись А
Выполните следующие шаги, чтобы настроить учетную запись A:
- Создать облако VPC под названием
DemoVPC
. - Создать подсеть под названием
DemoSubnet
в ВПКDemoVPC
. - Создать группу безопасности под названием
DemoSG
. - Создайте Конечная точка шлюза VPC S3 под названием
DemoS3GatewayEndpoint
. - Создайте Исполнительная роль SageMaker.
- Создать экземпляр ноутбука под названием
DemoNotebookInstance
и рекомендации по безопасности, изложенные в Как настроить безопасность в Amazon SageMaker.- Укажите созданную вами роль исполнения Sagemaker.
- В настройках сети ноутбука укажите созданную вами VPC, подсеть и группу безопасности.
- Убедитесь, что Прямой доступ в Интернет выключен.
Вы назначаете разрешения для роли на последующих шагах после создания необходимых зависимостей.
Настроить учетную запись Б
Чтобы настроить учетную запись Б, выполните следующие действия:
- На счете Б, создать ведро S3 под названием
test-bucket-1
после Руководство по безопасности Amazon S3. - Загрузите свой файл в ведро S3.
- Создать точку доступа под названием
test-ap-1
на счете Б.- Не изменяйте и не редактируйте ничего Блокировать настройки публичного доступа для этой точки доступа (весь публичный доступ должен быть заблокирован).
- Прикрепите следующую политику к вашей точке доступа:
Действия, определенные в предыдущем коде, являются примерами действий для демонстрационных целей. Ты можешь определить действия согласно вашим требованиям или варианту использования.
- Добавьте следующие разрешения политики сегмента для доступа к точке доступа:
Предыдущие действия являются примерами. Вы можете определить действия в соответствии с вашими требованиями.
Настройка разрешений и политик IAM
Выполните следующие шаги в учетной записи A:
- Убедитесь, что роль исполнения SageMaker имеет AmazonSagemakerПолный доступ пользовательская встроенная политика IAM, который выглядит как следующий код:
Действия в коде политики являются примерами действий для демонстрационных целей.
- Перейдите в
DemoS3GatewayEndpoint
конечную точку, которую вы создали, и добавьте следующие разрешения:
- Чтобы получить список префиксов, запустите команду Интерфейс командной строки AWS (интерфейс командной строки АМС) описания-префиксов-списков команда:
- В учетной записи A перейдите в группу безопасности.
DemoSG
для целевого экземпляра блокнота SageMaker - Под Исходящие правила, создайте правило для исходящего трафика с помощью Весь трафик or Все TCP, а затем укажите место назначения в качестве полученного идентификатора списка префиксов.
На этом настройка обоих аккаунтов завершена.
Проверить решение
Чтобы проверить решение, перейдите к терминалу экземпляра блокнота SageMaker и введите следующие команды для получения списка объектов через точку доступа:
- Для успешного перечисления объектов через точку доступа S3
test-ap-1
:
- Чтобы успешно получить объекты через точку доступа S3
test-ap-1
:
Убирать
Закончив тестирование, удалите все Точки доступа S3 и Ковши S3. Также удалите любые Экземпляры блокнотов Sagemaker чтобы прекратить взимать плату.
Заключение
В этом посте мы показали, как точки доступа S3 обеспечивают доступ между учетными записями к большим общим наборам данных из экземпляров блокнотов SageMaker, обходя ограничения размера, налагаемые политиками сегментов, и одновременно настраивая масштабное управление доступом к общим наборам данных.
Чтобы узнать больше, см. Легко управляйте общими наборами данных с помощью точек доступа Amazon S3.
Об авторах
Киран Хамбете работает старшим техническим менеджером по работе с клиентами в Amazon Web Services (AWS). В качестве TAM Киран играет роль технического эксперта и стратегического руководства, помогая корпоративным клиентам достигать своих бизнес-целей.
Анкит Сони с общим опытом 14 лет занимает должность главного инженера в NatWest Group, где последние шесть лет работал архитектором облачной инфраструктуры.
Кесараю Сай Сандип — облачный инженер, специализирующийся на сервисах больших данных в AWS.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- Источник: https://aws.amazon.com/blogs/machine-learning/set-up-cross-account-amazon-s3-access-for-amazon-sagemaker-notebooks-in-vpc-only-mode-using-amazon-s3-access-points/
- :имеет
- :является
- :куда
- $UP
- 100
- 14
- 16
- 17
- 20
- 7
- 8
- a
- доступ
- доступа
- вмещать
- Учетная запись
- Учетные записи
- достижение
- через
- Действие
- действия
- Добавить
- После
- совокупный
- AI
- Все
- позволять
- причислены
- Amazon
- Создатель мудреца Амазонки
- Amazon Web Services
- Веб-службы Amazon (AWS)
- среди
- an
- и
- любой
- аппетит
- Применение
- Приложения
- соответствующий
- архитектура
- МЫ
- искусственный
- искусственный интеллект
- Искусственный интеллект (AI)
- AS
- оценки;
- At
- AWS
- BE
- между
- большой
- Big Data
- заблокировал
- изоферменты печени
- бизнес
- Бизнес-приложения
- by
- под названием
- CAN
- случаев
- случаев
- централизованная
- изменение
- расходы
- кли
- облако
- облачная инфраструктура
- код
- полный
- зАВЕРШАЕТ
- комплекс
- Соответствие закону
- состояние
- настройка
- ограничения
- контроль
- контрольная
- копия
- Создайте
- создали
- кредит
- решающее значение
- клиент
- Клиенты
- данным
- доступ к данным
- наборы данных
- Наборы данных
- решение
- определять
- определенный
- демонстрация
- Зависимости
- назначение
- обнаружение
- развивать
- Развитие
- диаграмма
- инвалид
- отчетливый
- сделанный
- каждый
- эффект
- включить
- позволяет
- позволяет
- Конечная точка
- обеспечивать соблюдение
- инженер
- Двигатели
- Enter
- Предприятие
- Примеры
- выполнение
- существующий
- опыт
- эксперту
- финансовый
- брандмауэр
- после
- Что касается
- мошенничество
- обнаружение мошенничества
- от
- шлюз
- получить
- Go
- Цели
- предоставленный
- группы
- инструкция
- методические рекомендации
- Есть
- he
- помощь
- на высшем уровне
- имеет
- Как
- HTML
- HTTP
- HTTPS
- ID
- Личность
- иллюстрирует
- воздействуя
- осуществлять
- наложенный
- in
- В том числе
- Увеличение
- промышленность
- Инфраструктура
- пример
- Интеллекта
- в нашей внутренней среде,
- Интернет
- вовлеченный
- IT
- JPG
- большой
- вести
- УЧИТЬСЯ
- изучение
- такое как
- линия
- Список
- расположение
- Длинное
- ВЗГЛЯДЫ
- машина
- обучение с помощью машины
- сделанный
- управлять
- управление
- менеджер
- управления
- Встречайте
- упомянутый
- ML
- режим
- модель
- Модели
- БОЛЕЕ
- имена
- НэтВест
- Необходимость
- потребности
- сеть
- Параметры сети
- сетей
- Новые
- Новый доступ
- ноутбук
- объекты
- of
- on
- оптимизация
- or
- организация
- Другое
- наши
- изложенные
- мимо
- для
- Разрешения
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- играет
- Точка
- пунктов
- сборах
- политика
- должность
- После
- предшествующий
- Основной
- частная
- что такое варган?
- целей
- относиться
- регуляторы
- соответствующие
- повторять
- замещать
- запросить
- обязательный
- требование
- Требования
- ресурс
- ограничивать
- Революционные
- Снижение
- склонность к риску
- Роли
- Правило
- Run
- sagemaker
- образец
- Шкала
- Ученые
- безопасный
- обеспечение
- безопасность
- старший
- служил
- Услуги
- набор
- Наборы
- настройки
- установка
- общие
- должен
- показал
- просто
- упрощает
- упростить
- ШЕСТЬ
- Размер
- Решение
- специализация
- конкретный
- заявление
- отчетность
- Шаги
- Stop
- диск
- Стратегический
- Стратегия
- стресс
- строгий
- подсети
- последующее
- Успешно
- такие
- Убедитесь
- системы
- цель
- Технический
- Терминал
- тестXNUMX
- Тестирование
- который
- Ассоциация
- их
- Их
- тогда
- Эти
- этой
- Через
- в
- слишком
- Всего
- Торговля
- Торговая стратегия
- Сделки
- два
- типично
- созданного
- единиц
- использование
- прецедент
- используемый
- через
- VALIDATE
- различный
- версия
- прогулки
- we
- Web
- веб-сервисы
- , которые
- в то время как
- в
- без
- работает
- лет
- Ты
- ВАШЕ
- зефирнет