Ви можете створити сховища функцій, щоб створити центральне сховище для функцій машинного навчання (ML), якими можна ділитися з групами наукових досліджень у вашій організації для навчання, пакетного оцінювання та висновків у реальному часі. Команди з вивчення даних можуть повторно використовувати функції, що зберігаються в центральному сховищі, уникаючи необхідності реінжинірингу конвеєрів функцій для різних проектів і, як наслідок, усуваючи переробку та дублювання.
Щоб задовольнити потреби безпеки та відповідності, вам може знадобитися детальний контроль над доступом до цих спільних функцій ML. Ці потреби часто виходять за межі контролю доступу на рівні таблиць і стовпців до контролю доступу на рівні окремих рядків. Наприклад, ви можете дозволити представникам облікових записів переглядати рядки з таблиці продажів лише для своїх облікових записів і маскувати префікс конфіденційних даних, як-от номерів кредитних карток. Точні елементи керування доступом необхідні для захисту даних сховища функцій і надання доступу на основі ролі особи. Це особливо важливо для клієнтів і зацікавлених сторін у галузях, яким потрібно перевіряти доступ до даних функцій і забезпечувати належний рівень безпеки.
У цій публікації ми надаємо огляд того, як реалізувати детальний контроль доступу до груп функцій і функцій, що зберігаються в автономному сховищі функцій за допомогою Магазин функцій Amazon SageMaker та Формування озера AWS. Якщо ви новачок у Feature Store, ви можете звернутися до нього Розуміння ключових можливостей Amazon SageMaker Feature Store для додаткової інформації, перш ніж зануритися в решту цієї публікації. Зверніть увагу, що для онлайн-магазину функцій ви можете використовувати Управління ідентифікацією та доступом AWS (IAM) політики з умовами обмеження доступу користувачів до груп функцій.
Огляд рішення
Наступна архітектура використовує Lake Formation для реалізації доступу на рівні рядків, стовпців або комірок, щоб обмежити, до яких груп функцій або функцій у групі ознак може отримати доступ спеціаліст з даних, що працює в Студія Amazon SageMaker. Хоча ми зосереджені на обмеженні доступу для користувачів, які працюють у Studio, той самий підхід застосовний до користувачів, які отримують доступ до офлайн-магазину функцій за допомогою таких служб, як Амазонка Афіна.
Feature Store — це спеціальне рішення для керування функціями машинного навчання, яке допомагає командам із обробки даних повторно використовувати функції машинного навчання в різних командах і моделях, обслуговувати функції для прогнозування моделей у масштабі з низькою затримкою, а також швидше й ефективніше навчати й розгортати нові моделі.
Lake Formation — це повністю керована служба, яка допомагає створювати, захищати й керувати озерами даних, а також надавати контроль доступу до даних в озері даних. Lake Formation підтримує такі рівні безпеки:
- Дозволи на рівні рядків – Обмежує доступ до певних рядків на основі відповідності даних і політики управління
- Дозволи на рівні стовпців – Обмежує доступ до певних стовпців на основі фільтрів даних
- Дозволи на рівні клітинки – Поєднує елементи керування на рівні рядків і стовпців, надаючи вам доступ до певних рядків і стовпців у таблицях бази даних
Lake Formation також забезпечує централізований аудит і звітність про відповідність, визначаючи, які принципали отримували доступ до яких даних, коли та через які служби.
Поєднавши Feature Store і Lake Formation, ви можете реалізувати детальний доступ до функцій ML у вашому існуючому офлайн-сховищі функцій.
У цьому дописі ми надаємо підхід для випадків використання, коли ви створили групи функцій у Feature Store і вам потрібно надати доступ своїм командам із вивчення даних для дослідження функцій і створення моделей для їхніх проектів. На високому рівні адміністратор Lake Formation визначає та створює модель дозволів у Lake Formation і призначає її окремим користувачам Studio або групам користувачів.
Ми проведемо вас через наступні кроки:
- Зареєструйте офлайн-магазин функцій у Lake Formation.
- Створіть фільтри даних Lake Formation для точного контролю доступу.
- Надайте дозволи групам функцій (таблицям) і функціям (стовпцям).
Передумови
Щоб реалізувати це рішення, вам потрібно створити користувача адміністратора Lake Formation в IAM і ввійти як цей користувач адміністратора. Інструкції див Створіть адміністратор озера даних.
Ми починаємо з налаштування тестових даних за допомогою синтетичних замовлень продуктів із синтетично створених списків клієнтів за допомогою Факер Бібліотека Python. Ви можете спробувати це самостійно, дотримуючись модулю на GitHub. Для кожного клієнта блокнот генерує від 1 до 10 замовлень, у кожному з яких купуються продукти. Тоді ви можете використовувати наступне ноутбук щоб створити три групи функцій для наборів даних клієнтів, продуктів і замовлень у сховищі функцій. Перш ніж створювати групи функцій, переконайтеся, що середовище Studio налаштовано у вашому обліковому записі AWS. Інструкції див На борту до домену Amazon SageMaker.
Мета полягає в тому, щоб проілюструвати, як використовувати Feature Store для зберігання функцій і використовувати Lake Formation для контролю доступу до цих функцій. На наступному знімку екрана показано визначення orders
групу функцій за допомогою консолі Studio.
Магазин функцій використовує an Служба простого зберігання Amazon (Amazon S3) у вашому обліковому записі для зберігання офлайн-даних. Ви можете використовувати механізми запитів, як-от Athena, для офлайн-сховища даних в Amazon S3, щоб отримати навчальні набори даних або проаналізувати дані функцій, і ви можете приєднатися до кількох груп функцій в одному запиті. Магазин функцій автоматично створює Клей AWS Каталог даних для груп функцій під час створення групи функцій, який дозволяє використовувати цей каталог для доступу та запиту даних із офлайн-сховища за допомогою Athena або інструментів з відкритим кодом, як-от Престо.
Зареєструйте офлайн-магазин функцій у Lake Formation
Щоб почати використовувати дозволи Lake Formation з існуючими базами даних і таблицями Feature Store, ви повинні відкликати дозвіл Super у IAMAllowedPrincipals
групи в базі даних і пов’язаних таблиць груп ознак у Lake Formation.
- Увійдіть у Консоль управління AWS як адміністратор Lake Formation.
- На панелі навігації під Каталог данихвиберіть Бази даних.
- Виберіть базу даних
sagemaker_featurestore
, яка є базою даних, пов’язаною з автономним сховищем функцій.
Оскільки Feature Store автоматично створює каталог даних AWS Glue, коли ви створюєте групи функцій, офлайн-сховище функцій відображається як база даних у Lake Formation.
- на Дії меню, виберіть Редагувати.
- на Редагувати базу даних сторінку, якщо ви хочете, щоб дозволи Lake Formation також працювали для новостворених груп об’єктів і вам не потрібно скасовувати
IAMAllowedPrincipals
для кожної таблиці зніміть вибір Використовуйте лише контроль доступу IAM для нових таблиць у цій базі даних, Потім виберіть зберегти. - на Бази даних виберіть сторінку
sagemaker_featurestore
бази даних. - на Дії меню, виберіть Дозволи на перегляд.
- Виберіть
IAMAllowedPrincipals
згрупувати і вибрати Відкликати.
Подібним чином вам потрібно виконати ці дії для всіх таблиць груп функцій, пов’язаних із вашим офлайн-сховищем функцій.
- На панелі навігації під Каталог данихвиберіть таблиці.
- Виберіть таблицю з назвою групи функцій.
- на Дії меню, виберіть Дозволи на перегляд.
- Виберіть
IAMAllowedPrincipals
згрупувати і вибрати Відкликати.
Щоб перемкнути офлайн-сховище функцій на модель дозволу Lake Formation, вам потрібно ввімкнути дозволи Lake Formation для розташування Amazon S3 офлайн-сховища функцій. Для цього вам потрібно зареєструвати розташування Amazon S3.
- На панелі навігації під Зареєструйтеся та введітьвиберіть Розташування озера даних.
- Вибирати Зареєструвати місцезнаходження.
- Виберіть розташування офлайн-магазину функцій в Amazon S3 для Шлях Amazon S3.
Розташування є S3Uri
який було надано в конфігурації офлайн-магазину групи функцій і можна знайти в DescribeFeatureGroup
Інтерфейси ResolvedOutputS3Uri
поле.
- Виберіть значення за замовчуванням
AWSServiceRoleForLakeFormationDataAccess
IAM роль і вибір Зареєструвати місцезнаходження.
Озерна формація інтегрується с Служба управління ключами AWS (AWS KMS); цей підхід також працює з розташуваннями Amazon S3, які були зашифровані керованим ключем AWS або рекомендованим підходом керованого клієнтом ключа. Для подальшого читання див Реєстрація зашифрованого розташування Amazon S3.
Створіть фільтри даних Lake Formation для точного контролю доступу
Ви можете реалізувати безпеку на рівні рядків і клітинок, створивши фільтри даних. Ви вибираєте фільтр даних, коли надаєте дозвіл SELECT Lake Formation для таблиць. У цьому випадку ми використовуємо цю можливість для реалізації набору фільтрів, які обмежують доступ до груп функцій і окремих функцій у групі функцій.
Давайте використаємо наступний малюнок, щоб пояснити, як працюють фільтри даних. На малюнку показано дві групи ознак: customers
та orders
. Фільтр даних на рівні рядка застосовується до customers
група ознак, в результаті чого лише записи де feature1 = ‘12’
повертається. Подібним чином доступ до групи функцій замовлень обмежено за допомогою фільтра даних на рівні комірки лише для записів функцій, де feature2 = ‘22
’, а також виключити функцію 1 із результуючого набору даних.
Щоб створити новий фільтр даних, на панелі навігації на консолі Lake Formation у розділі Каталог данихвиберіть Фільтри даних а потім виберіть Створити новий фільтр.
При виборі Доступ до всіх колонок і надайте вираз фільтра рядків, ви встановлюєте безпеку лише на рівні рядків (фільтрування рядків). У цьому прикладі ми створюємо фільтр, який обмежує доступ до спеціаліста з даних лише до записів у orders
група ознак на основі значення ознаки customer_id ='C7782'
.
Коли ви включаєте або виключаєте певні стовпці, а також надаєте вираз фільтра рядків, ви встановлюєте безпеку на рівні клітинки (фільтрування клітинок). У цьому прикладі ми створюємо фільтр, який обмежує доступ дослідника даних до певних функцій групи функцій (ми виключаємо sex
та is_married
) і підмножина записів у customers
група ознак на основі значення функції (customer_id ='C3126'
).
На наступному знімку екрана показано створені фільтри даних.
Надайте дозвіл групам функцій (таблицям) і функціям (стовпцям).
У цьому розділі ви надаєте детальний контроль доступу та дозволи, визначені в Lake Formation, користувачеві SageMaker, призначаючи фільтр даних для ролі виконання SageMaker, пов’язаної з користувачем, який спочатку створив групи функцій. Роль виконання SageMaker створюється як частина Налаштування домену SageMaker Studio і за замовчуванням починається з AmazonSageMaker-ExecutionRole-*
. Вам потрібно надати цій ролі дозволи на API Lake Formation (GetDataAccess
, StartQueryPlanning
, GetQueryState
, GetWorkUnits
та GetWorkUnitResults
) і AWS Glue API (GetTables
та GetDatabases
) в IAM, щоб отримати доступ до даних.
Створіть таку політику в IAM, назвіть політику LakeFormationDataAccess
і приєднайте його до ролі виконання SageMaker. Вам також потрібно прикріпити AmazonAthenaFullAccess
політика доступу до Athena.
Далі вам потрібно надати доступ до бази даних Feature Store і певної таблиці груп функцій для ролі виконання SageMaker і призначити їй один із фільтрів даних, створених раніше. Щоб надати дозволи на дані всередині Lake Formation, на панелі навігації під Дозволивиберіть Дозволи Data Lake, Потім виберіть Грант. На наступному знімку екрана показано, як надати дозволи за допомогою фільтра даних для доступу на рівні рядка до ролі виконання SageMaker.
Так само ви можете надати дозволи за допомогою фільтра даних, створеного для доступу на рівні комірки до ролі виконання SageMaker.
Перевірте доступ до магазину функцій
У цьому розділі ви перевіряєте елементи керування доступом, налаштовані в Lake Formation, за допомогою блокнота Studio. Ця реалізація використовує SDK Python для магазину функцій і Athena для запиту даних із офлайнового сховища функцій, зареєстрованого в Lake Formation.
Спочатку ви перевіряєте доступ на рівні рядків, створюючи запит Athena для вашої групи функцій orders
з наступним кодом. The table_name
це таблиця AWS Glue, яка автоматично генерується Feature Store.
Ви запитуєте всі записи із замовлень за допомогою такого рядка запиту:
Тільки записи с customer_id = ‘C7782’
повертаються відповідно до фільтрів даних, створених у Lake Formation.
По-друге, ви перевіряєте доступ на рівні комірки, створюючи запит Athena для своєї групи функцій customers
з наступним кодом. The table_name
це таблиця AWS Glue, яка автоматично генерується Feature Store.
Ви запитуєте всі записи із замовлень за допомогою такого рядка запиту:
Тільки записи с customer_id ='C3126'
повертаються відповідно до фільтрів даних, створених у Lake Formation. Крім того, особливості sex
та is_married
не видно.
За допомогою цього підходу ви можете реалізувати детальне керування доступом до автономного сховища функцій. За допомогою моделі дозволу Lake Formation ви можете обмежити доступ до певних груп функцій або окремих функцій у групі функцій для окремих осіб на основі їх ролі в організації.
Щоб вивчити повний приклад коду та випробувати його у своєму обліковому записі, див GitHub репо.
Висновок
SageMaker Feature Store надає спеціальне рішення для керування функціями, яке допомагає організаціям масштабувати розробку машинного навчання в бізнес-підрозділах і групах обробки даних. У цьому дописі ми пояснили, як ви можете використовувати Lake Formation для впровадження детального контролю доступу до вашого офлайн-сховища функцій. Спробуйте й повідомте нам свою думку в коментарях.
Про авторів
Арно Лауер є старшим архітектором партнерських рішень у команді державного сектору в AWS. Він дає змогу партнерам і клієнтам зрозуміти, як найкраще використовувати технології AWS для перетворення потреб бізнесу в рішення. Він має більш ніж 16-річний досвід у розробці та розробці проектів цифрової трансформації в різних галузях, включаючи державний сектор, енергетику та споживчі товари. Штучний інтелект і машинне навчання є одними з його захоплень. Арно має 12 сертифікатів AWS, включаючи сертифікат спеціальності ML.
Іоан Катана є архітектором рішень зі штучного інтелекту та машинного навчання в AWS. Він допомагає клієнтам розробляти та масштабувати їхні рішення ML у хмарі AWS. Йоан має понад 20 років досвіду, переважно в розробці архітектури програмного забезпечення та хмарній інженерії.
Свагат Кулкарні є старшим архітектором рішень в AWS і ентузіастом AI/ML. Він захоплений вирішенням реальних проблем для клієнтів за допомогою хмарних сервісів і машинного навчання. Swagat має понад 15 років досвіду реалізації кількох ініціатив цифрової трансформації для клієнтів у різних сферах, включаючи роздрібну торгівлю, подорожі, готельний бізнес і охорону здоров’я. Поза роботою Свагат любить подорожувати, читати та медитувати.
Чару Сарін є старшим менеджером з продуктів Amazon SageMaker Feature Store. До AWS вона керувала стратегією зростання та монетизації послуг SaaS у VMware. Вона є ентузіастом даних та машинного навчання та має понад десятирічний досвід роботи з управління продуктами, розробкою даних та розширеною аналітикою. Вона має ступінь бакалавра в галузі інформаційних технологій в Національному технологічному інституті Індії та ступінь MBA в Мічиганському університеті, Школа бізнесу Росса.
- Coinsmart. Найкраща в Європі біржа біткойн та криптовалют.
- Платоблокчейн. Web3 Metaverse Intelligence. Розширені знання. БЕЗКОШТОВНИЙ ДОСТУП.
- CryptoHawk. Альткойн Радар. Безкоштовне випробування.
- Джерело: https://aws.amazon.com/blogs/machine-learning/control-access-to-amazon-sagemaker-feature-store-offline-using-aws-lake-formation/
- '
- "
- 100
- 15 роки
- 20 роки
- 9
- МЕНЮ
- доступ
- рахунки
- через
- дію
- доповнення
- Додатковий
- адмін
- просунутий
- ВСІ
- Дозволити
- хоча
- Amazon
- аналітика
- Інтерфейси
- застосовно
- підхід
- архітектура
- штучний
- штучний інтелект
- Штучний інтелект і машинне навчання
- аудит
- AWS
- фон
- буття
- КРАЩЕ
- border
- будувати
- Будує
- бізнес
- можливості
- випадків
- централізована
- сертифікація
- Вибирати
- хмара
- код
- коментарі
- дотримання
- конфігурація
- Консоль
- споживач
- контроль
- створений
- створює
- створення
- створення
- кредит
- кредитна картка
- Клієнти
- дані
- наука про дані
- вчений даних
- Database
- базами даних
- десятиліття
- надання
- розгортання
- дизайн
- розвивати
- розробка
- різний
- цифровий
- цифрове перетворення
- домен
- домени
- ефект
- енергія
- Машинобудування
- Навколишнє середовище
- встановити
- приклад
- виконання
- досвід
- дослідження
- дослідити
- особливість
- риси
- Рисунок
- Фільтри
- Сфокусувати
- після
- знайдений
- далі
- мета
- товари
- управління
- Group
- Зростання
- охорона здоров'я
- допомога
- допомагає
- Високий
- тримає
- Як
- How To
- HTTPS
- ідентифікує
- Особистість
- здійснювати
- реалізація
- важливо
- включати
- У тому числі
- Індію
- індивідуальний
- промисловості
- інформація
- інформаційна технологія
- Інтелект
- IT
- приєднатися
- ключ
- провідний
- вивчення
- рівень
- бібліотека
- списки
- розташування
- місць
- машина
- навчання за допомогою машини
- вдалося
- управління
- Рішення для управління
- менеджер
- маска
- Мічиган
- ML
- модель
- Моделі
- більше
- множинний
- National
- навігація
- ноутбук
- номера
- offline
- онлайн
- порядок
- замовлень
- організація
- організації
- власний
- партнер
- партнери
- пристрасний
- Політика
- політика
- Прогнози
- проблеми
- Product
- Управління продуктом
- Продукти
- проектів
- захист
- забезпечувати
- забезпечує
- громадськість
- придбано
- швидко
- діапазон
- читання
- реального часу
- облік
- реєструвати
- зареєстрований
- Сховище
- вимагається
- ресурс
- REST
- роздрібна торгівля
- продажів
- шкала
- Школа
- наука
- вчений
- сектор
- безпечний
- безпеку
- обслуговування
- Послуги
- комплект
- установка
- загальні
- Аналогічно
- простий
- Софтвер
- рішення
- Рішення
- деякі
- конкретно
- старт
- починається
- Заява
- зберігання
- зберігати
- магазинів
- Стратегія
- студія
- Опори
- перемикач
- команда
- Технології
- Технологія
- тест
- через
- інструменти
- Навчання
- Перетворення
- подорожувати
- розуміти
- університет
- us
- використання
- користувачі
- значення
- видимий
- VMware
- Що
- ВООЗ
- в
- Work
- робочий
- працює
- років