Клієнти будь-якого розміру та галузі впроваджують інновації в AWS, впроваджуючи машинне навчання (ML) у свої продукти та послуги. Останні розробки в генеративних моделях штучного інтелекту ще більше прискорили потребу в застосуванні машинного навчання в галузях. Однак впровадження заходів безпеки, конфіденційності даних і керування все ще залишаються ключовими проблемами, з якими стикаються клієнти під час масштабного впровадження робочих навантажень машинного навчання. Вирішення цих проблем створює структуру та основи для зменшення ризиків і відповідального використання продуктів, керованих ML. Хоча для генеративного штучного інтелекту може знадобитися додатковий контроль, як-от усунення токсичності та запобігання джейлбрейку та галюцинаціям, він використовує ті самі базові компоненти для безпеки та управління, що й традиційне машинне навчання.
Ми чуємо від клієнтів, що їм потрібні спеціальні знання та інвестиції до 12 місяців для створення своїх індивідуальних рішень Amazon SageMaker Впровадження платформи ML для забезпечення масштабованих, надійних, безпечних і керованих середовищ ML для їхніх напрямків діяльності (LOB) або команд ML. Якщо вам не вистачає основи для управління життєвим циклом машинного навчання в масштабі, ви можете зіткнутися з такими проблемами, як ізоляція ресурсів на рівні команди, масштабування експериментальних ресурсів, введення в дію робочих процесів машинного навчання, управління моделлю масштабування та керування безпекою та відповідністю робочих навантажень машинного навчання.
Управління життєвим циклом машинного навчання в масштабі – це структура, яка допоможе вам створити платформу машинного навчання з вбудованими елементами керування безпекою та керуванням на основі найкращих галузевих практик і корпоративних стандартів. Ця структура вирішує проблеми, надаючи директивні вказівки через модульний підхід, що розширює Диспетчерська вежа AWS середовище AWS із кількома обліковими записами та підхід, який обговорюється в публікації Налаштування безпечних, добре керованих середовищ машинного навчання на AWS.
У ньому надаються рекомендації щодо таких функцій платформи машинного навчання:
- Кілька облікових записів, безпека та основи мережі – Ця функція використовує AWS Control Tower і добре розроблені принципи для налаштування та роботи середовища кількох облікових записів, безпеки та мережевих служб.
- Основи даних і управління – Ця функція використовує a архітектура сітки даних для налаштування та експлуатації озера даних, центрального сховища функцій і основ керування даними для забезпечення детального доступу до даних.
- Спільні послуги та служби управління платформою ML – Ця функція дозволяє налаштовувати та працювати з загальними службами, такими як CI/CD, Каталог послуг AWS для середовищ ініціалізації та центрального реєстру моделей для просування моделі та походження.
- Командне середовище ML – Ця функція дає змогу налаштовувати та використовувати робочі середовища для команд ML для розробки моделей, тестування та розгортання їхніх варіантів використання для вбудовування засобів контролю безпеки та керування.
- Спостережуваність платформи ML – Ця функція допомагає з усуненням несправностей і визначенням першопричини проблем у моделях ML шляхом централізації журналів і надання інструментів для візуалізації аналізу журналів. Він також містить вказівки щодо створення звітів про витрати та використання для випадків використання ML.
Хоча ця структура може надати переваги всім клієнтам, вона найбільш вигідна для великих, зрілих, регульованих або глобальних корпоративних клієнтів, які хочуть масштабувати свої стратегії машинного навчання за допомогою контрольованого, сумісного та скоординованого підходу в усій організації. Це допомагає запровадити ML, одночасно зменшуючи ризики. Ця структура корисна для таких клієнтів:
- Великі корпоративні клієнти, які мають багато бізнес-центрів або відділів, зацікавлених у використанні машинного навчання. Цей фреймворк дозволяє різним командам незалежно створювати та розгортати моделі машинного навчання, забезпечуючи централізоване керування.
- Корпоративні клієнти від середнього до високого рівня зрілості в ML. Вони вже розгорнули деякі початкові моделі ML і планують масштабувати свої зусилля в ML. Ця структура може допомогти прискорити впровадження ML в усій організації. Ці компанії також визнають потребу в управлінні для керування такими речами, як контроль доступу, використання даних, продуктивність моделі та несправедливе упередження.
- Компанії в регульованих галузях, як-от фінансові послуги, охорона здоров’я, хімія та приватний сектор. Ці компанії потребують надійного управління та чутності для будь-яких моделей ML, які використовуються в їхніх бізнес-процесах. Прийняття цієї структури може сприяти дотриманню вимог, водночас дозволяючи локальну розробку моделі.
- Глобальні організації, яким необхідно збалансувати централізований і місцевий контроль. Об’єднаний підхід цієї структури дозволяє групі розробників центральної платформи встановлювати деякі політики та стандарти високого рівня, а також надає командам LOB гнучкість для адаптації на основі місцевих потреб.
У першій частині цієї серії ми розглянемо еталонну архітектуру для налаштування платформи ML. У наступній публікації ми надамо рекомендаційні вказівки щодо впровадження різних модулів у еталонну архітектуру у вашій організації.
Можливості платформи ML згруповані в чотири категорії, як показано на малюнку нижче. Ці можливості складають основу еталонної архітектури, яка обговорюється далі в цьому дописі:
- Створіть основи ML
- Масштабування операцій ML
- Спостережувані ML
- Безпечний ML
Огляд рішення
Інфраструктура для управління життєвим циклом ML у масштабі дозволяє організаціям впроваджувати засоби контролю безпеки та управління протягом усього життєвого циклу ML, що, у свою чергу, допомагає організаціям зменшити ризики та прискорити впровадження ML у свої продукти та послуги. Фреймворк допомагає оптимізувати налаштування та керування безпечними, масштабованими та надійними середовищами машинного навчання, які можна масштабувати для підтримки все більшої кількості моделей і проектів. Фреймворк забезпечує наступні функції:
- Надання облікових записів та інфраструктури ресурсами інфраструктури, сумісними з політикою організації
- Самообслуговування розгортання середовищ науки про дані та шаблонів наскрізних операцій ML (MLOps) для випадків використання ML
- Ізоляція ресурсів на рівні LOB або на рівні команди для забезпечення безпеки та конфіденційності
- Регульований доступ до даних виробничого рівня для експериментів і робочих процесів, готових до виробництва
- Керування сховищами коду, конвеєрами коду, розгорнутими моделями та функціями даних
- Модельний реєстр і сховище функцій (локальні та центральні компоненти) для покращення управління
- Елементи керування безпекою та керуванням для процесу розробки та розгортання наскрізної моделі
У цьому розділі ми надаємо огляд нормативних вказівок, які допоможуть вам створити цю платформу машинного навчання на AWS із вбудованими засобами безпеки та керування.
Функціональна архітектура, пов’язана з платформою ML, показана на наступній діаграмі. Архітектура поєднує різні можливості платформи машинного навчання з обліковими записами AWS.
Функціональна архітектура з різними можливостями реалізована за допомогою ряду сервісів AWS, в т.ч Організації AWS, SageMaker, служби AWS DevOps і озеро даних. Еталонна архітектура для платформи ML з різними службами AWS показана на наступній діаграмі.
Цей фреймворк розглядає кілька персонажів і служб для управління життєвим циклом машинного навчання в масштабі. Ми рекомендуємо наступні кроки, щоб організувати ваші команди та служби:
- Використовуючи AWS Control Tower та інструменти автоматизації, ваш хмарний адміністратор налаштовує основи кількох облікових записів, такі як організації та Центр ідентифікації AWS IAM (наступник AWS Single Sign-On) і служби безпеки та управління, як-от Служба управління ключами AWS (AWS KMS) і Каталог послуг. Крім того, адміністратор налаштовує різноманітні організаційні підрозділи (OU) і початкові облікові записи для підтримки робочих процесів ML і аналітики.
- Адміністратори озера даних налаштовують ваше озеро даних і каталог даних, а також налаштовують центральне сховище функцій для роботи з адміністратором платформи ML.
- Адміністратор платформи ML надає спільні служби ML, як-от Комісія AWS, AWS CodePipeline, Реєстр контейнерів Amazon Elastic (Amazon ECR), центральний реєстр моделей, Картки моделей SageMaker, Інформаційна панель моделі SageMakerі продукти з каталогу послуг для команд машинного навчання.
- Керівник команди ML об’єднується через IAM Identity Center, використовує продукти каталогу послуг і надає ресурси в середовищі розробки команди ML.
- Науковці даних з команд ML з різних бізнес-підрозділів об’єднуються в середовище розробки своєї команди, щоб створити конвеєр моделей.
- Фахівці з даних шукають і витягують функції з центрального каталогу магазину функцій, створюють моделі за допомогою експериментів і вибирають найкращу модель для просування.
- Фахівці з обробки даних створюють і діляться новими функціями в центральному каталозі магазину функцій для повторного використання.
- Інженер ML розгортає конвеєр моделі в середовищі тестування команди ML за допомогою процесу CI/CD спільних служб.
- Після перевірки зацікавлених сторін модель ML розгортається у виробничому середовищі команди.
- Елементи керування безпекою та керуванням вбудовано в кожен рівень цієї архітектури за допомогою таких служб, як Центр безпеки AWS, Вартовий обов'язок Amazon, Амазонка МейсіІ багато іншого.
- Керування засобами безпеки здійснюється централізовано з облікового запису інструментів безпеки за допомогою Центру безпеки.
- Можливості управління платформою ML, такі як картки моделі SageMaker і інформаційна панель моделі SageMaker, централізовано керуються з облікового запису служб управління.
- Amazon CloudWatch та AWS CloudTrail журнали з кожного облікового запису учасника централізовано доступні з облікового запису спостереження за допомогою власних служб AWS.
Далі ми заглибимося в модулі еталонної архітектури для цього фреймворку.
Модулі еталонної архітектури
Еталонна архітектура складається з восьми модулів, кожен з яких призначений для вирішення певного набору завдань. У сукупності ці модулі стосуються управління різними параметрами, такими як інфраструктура, дані, модель і вартість. Кожен модуль пропонує окремий набір функцій і взаємодіє з іншими модулями, щоб забезпечити інтегровану наскрізну платформу машинного навчання з вбудованими засобами безпеки та керування. У цьому розділі ми представляємо короткий опис можливостей кожного модуля.
Фонди з кількома обліковими записами
Цей модуль допомагає хмарним адміністраторам створити Зона посадки AWS Control Tower як фундаментальний каркас. Це включає створення структури з декількома обліковими записами, автентифікацію та авторизацію через IAM Identity Center, структуру мережевого концентратора, централізовані служби журналювання та нові облікові записи учасників AWS зі стандартизованими базовими параметрами безпеки та управління.
Крім того, цей модуль надає найкращі практичні вказівки щодо організаційних підрозділів і структур облікових записів, які підходять для підтримки ваших робочих процесів ML і аналітики. Хмарні адміністратори розумітимуть призначення необхідних облікових записів і організаційних підрозділів, як їх розгортати, а також ключові служби безпеки та відповідності, які вони повинні використовувати для централізованого керування робочими навантаженнями ML і аналітики.
Також описано структуру для продажу нових облікових записів, яка використовує автоматизацію для базового створення нових облікових записів під час їх надання. Налаштувавши автоматизований процес надання облікових записів, хмарні адміністратори можуть надати групам ML і аналітичним командам облікові записи, необхідні їм для швидшого виконання роботи, не жертвуючи міцною основою для управління.
Фундаменти озера даних
Цей модуль допомагає адміністраторам озера даних налаштувати озеро даних, щоб приймати дані, керувати наборами даних і використовувати Формування озера AWS модель управління для керування доступом до детальних даних між обліковими записами та користувачами за допомогою централізованого каталогу даних, політик доступу до даних і контролю доступу на основі тегів. Ви можете почати з малого з одного облікового запису для основи платформи даних для підтвердження концепції або кількох невеликих робочих навантажень. Для впровадження середнього та великого виробничого навантаження ми рекомендуємо прийняти стратегію кількох облікових записів. У таких умовах LOB можуть виконувати роль виробників і споживачів даних, використовуючи різні облікові записи AWS, а керування озером даних здійснюється з центрального спільного облікового запису AWS. Виробник даних збирає, обробляє та зберігає дані зі свого домену даних, на додаток до моніторингу та забезпечення якості своїх активів даних. Споживачі даних споживають дані від виробника даних після того, як централізований каталог поширює їх за допомогою Lake Formation. Централізований каталог зберігає та керує спільним каталогом даних для облікових записів виробника даних.
Сервіси платформи ML
Цей модуль допомагає команді розробників ML-платформи налаштувати спільні служби, які використовуються групами з обробки даних у своїх облікових записах. Послуги включають портфоліо каталогу послуг із продуктами для Домен SageMaker розгортання, Профіль користувача домену SageMaker розгортання, шаблони моделі наукових даних для побудови та розгортання моделі. Цей модуль має функції для централізованого реєстру моделей, карток моделей, інформаційної панелі моделі та конвеєрів CI/CD, які використовуються для оркестрування та автоматизації робочих процесів розробки та розгортання моделей.
Крім того, у цьому модулі детально описано, як запровадити засоби контролю та управління, необхідні для забезпечення можливостей самообслуговування на основі персональних даних, дозволяючи командам із вивчення даних самостійно розгортати необхідну хмарну інфраструктуру та шаблони ML.
Розробка варіантів використання ML
Цей модуль допомагає LOB та дослідникам обробки даних отримувати доступ до домену SageMaker своєї команди в середовищі розробки та створювати екземпляри шаблону побудови моделі для розробки своїх моделей. У цьому модулі науковці працюють над екземпляром шаблону облікового запису розробника, щоб взаємодіяти з даними, доступними в централізованому озері даних, повторно використовувати та ділитися функціями з центрального сховища функцій, створювати та запускати експерименти ML, створювати та тестувати свої робочі процеси ML, і зареєструвати свої моделі в реєстрі моделей облікових записів розробників у своїх середовищах розробки.
У шаблонах також реалізовано такі можливості, як відстеження експериментів, звіти про пояснюваність моделі, моніторинг даних і зміщень моделі, а також реєстр моделей, що дозволяє швидко адаптувати рішення до моделей, розроблених дослідниками даних.
операції ML
Цей модуль допомагає інженерам LOB та ML працювати над екземплярами розробника шаблону розгортання моделі. Після реєстрації та схвалення моделі-кандидата вони налаштовують конвеєри CI/CD і запускають робочі процеси ML у тестовому середовищі команди, яке реєструє модель у центральному реєстрі моделей, що працює в обліковому записі спільних служб платформи. Коли модель затверджено в центральному реєстрі моделей, це запускає конвеєр CI/CD для розгортання моделі у виробничому середовищі команди.
Централізований магазин функцій
Після того, як перші моделі розгорнуті у виробництві, а кілька варіантів використання почнуть спільно використовувати функції, створені з одних і тих самих даних, сховище функцій стане необхідним для забезпечення співпраці між сценаріями використання та зменшення повторюваної роботи. Цей модуль допомагає команді розробників ML-платформи налаштувати централізоване сховище функцій, щоб забезпечити зберігання та керування функціями ML, створеними в сценаріях використання ML, що дозволяє повторно використовувати функції в проектах.
Логування та спостережуваність
Цей модуль допомагає фахівцям із LOB і ML отримати видимість стану робочих навантажень ML у середовищах ML завдяки централізації журналів діяльності, як-от CloudTrail, CloudWatch, журнали потоків VPC і журнали робочого навантаження ML. Команди можуть фільтрувати, запитувати та візуалізувати журнали для аналізу, що також може допомогти підвищити рівень безпеки.
Вартість і звітність
Цей модуль допомагає різним зацікавленим сторонам (хмарному адміністратору, адміністратору платформи, хмарному бізнес-офісу) створювати звіти та інформаційні панелі для розподілу витрат на рівні користувача ML, команди ML і продукту ML, а також відстежувати використання, наприклад кількість користувачів, типи екземплярів і кінцеві точки.
Клієнти просили нас надати вказівки щодо того, скільки облікових записів потрібно створити та як структурувати ці облікові записи. У наступному розділі ми надаємо вказівки щодо цієї структури облікового запису як посилання, яке ви можете змінити відповідно до своїх потреб відповідно до вимог управління підприємством.
У цьому розділі ми обговорюємо наші рекомендації щодо організації структури вашого облікового запису. Ми поділяємо базову довідкову структуру облікового запису; однак ми рекомендуємо адміністраторам ML і даних тісно співпрацювати зі своїм хмарним адміністратором, щоб налаштувати цю структуру облікового запису на основі елементів керування їх організації.
Ми рекомендуємо організовувати облікові записи за OU для безпеки, інфраструктури, робочих навантажень і розгортань. Крім того, у кожному підрозділі організуйте невиробничі та виробничі підрозділи, оскільки облікові записи та робочі навантаження, розгорнуті в них, мають різні елементи керування. Далі ми коротко обговоримо ці OU.
Security OU
Обліковими записами в цьому OU керує адміністратор хмари організації або команда безпеки для моніторингу, ідентифікації, захисту, виявлення та реагування на події безпеки.
Інфраструктура ОУ
Обліковими записами в цьому OU керує хмарний адміністратор організації або мережева команда для керування спільними ресурсами та мережами інфраструктури корпоративного рівня.
Ми рекомендуємо мати такі облікові записи в підрозділі інфраструктури:
- мережу – Налаштуйте централізовану мережеву інфраструктуру, наприклад Транзитний шлюз AWS
- Спільні послуги – Налаштуйте централізовані служби AD і кінцеві точки VPC
Робочі навантаження OU
Обліковими записами в цьому OU керують адміністратори команди платформи організації. Якщо вам потрібні різні засоби керування для кожної команди платформи, ви можете вкласти інші рівні OU для цієї мети, наприклад OU робочих навантажень ML, OU робочих навантажень даних тощо.
Ми рекомендуємо такі облікові записи в підрозділі робочих навантажень:
- Облікові записи командного рівня для розробників, тестування та виробництва – Налаштуйте це на основі ваших вимог ізоляції робочого навантаження
- Облікові записи озера даних – Розбийте облікові записи за вашим доменом даних
- Центральний обліковий запис управління даними – Централізуйте свої політики доступу до даних
- Обліковий запис центрального магазину функцій – Централізація функцій для спільного використання між командами
Розгортання OU
Обліковими записами в цьому OU керують адміністратори команди платформи організації для розгортання робочих навантажень і спостереження.
Ми рекомендуємо такі облікові записи в підрозділі розгортання, оскільки команда платформи ML може налаштувати різні набори елементів керування на рівні цього підрозділу для керування та керування розгортанням:
- Облікові записи спільних служб ML для тестування та виробництва – Розміщує спільні служби CI/CD та реєстр моделі платформи
- Спостережливість ML враховує тестування та виробництво – Розміщує журнали CloudWatch, журнали CloudTrail та інші журнали за потреби
Далі ми коротко обговоримо засоби контролю організації, які необхідно розглянути для вбудовування в облікові записи учасників для моніторингу ресурсів інфраструктури.
Елементи керування середовищем AWS
Контроль — це правило високого рівня, яке забезпечує безперервне керування вашим загальним середовищем AWS. Це виражено простою мовою. У цій структурі ми використовуємо AWS Control Tower, щоб реалізувати наведені нижче елементи керування, які допомагають вам керувати своїми ресурсами та відстежувати відповідність груп облікових записів AWS:
- Профілактичний контроль – Профілактичний контроль гарантує, що ваші облікові записи підтримують відповідність, оскільки він забороняє дії, які призводять до порушень політики, і реалізуються за допомогою політики контролю послуг (SCP). Наприклад, ви можете встановити профілактичний контроль, який гарантує, що CloudTrail не буде видалено або зупинено в облікових записах або регіонах AWS.
- Детективне управління – Детективний контроль виявляє невідповідність ресурсів у ваших облікових записах, наприклад порушення політики, надає сповіщення через інформаційну панель і реалізується за допомогою Конфігурація AWS правил. Наприклад, ви можете створити детективний елемент керування, щоб визначити, чи ввімкнено публічний доступ для читання Служба простого зберігання Amazon (Amazon S3) у спільному обліковому записі архіву журналу.
- Проактивний контроль – Проактивний елемент керування сканує ваші ресурси перед тим, як їх надати, і переконається, що ресурси сумісні з цим контролем і реалізовані за допомогою AWS CloudFormation гачки. Ресурси, які не відповідають вимогам, не будуть надані. Наприклад, ви можете встановити проактивний елемент керування, який перевіряє, чи заборонено прямий доступ до Інтернету для примірника блокнота SageMaker.
Взаємодія між службами платформи машинного навчання, варіантами використання ML та операціями ML
Різні персони, як-от керівник відділу обробки даних (провідний спеціаліст із обробки даних), спеціаліст із обробки даних та інженер ML, керують модулями 2–6, як показано на наступній діаграмі, для різних етапів служб платформи ML, розробки варіантів використання ML та операцій ML. разом із основами озера даних і центральним сховищем функцій.
У наведеній нижче таблиці підсумовуються дії потоку операцій і кроки потоку налаштування для різних персонажів. Щойно персона ініціює дію ML як частину потоку операцій, служби запускаються, як зазначено в кроках потоку налаштування.
Персона | Діяльність потоку операцій – номер | Діяльність потоку операцій – опис | Крок процесу налаштування – номер | Крок процесу налаштування – Опис |
Lead Science або ML Team Lead |
1 |
Використовує каталог послуг в обліковому записі служб платформи ML і розгортає наступне:
|
1- |
|
1-B |
|
|||
Вчений з даних |
2 |
Проводить і відстежує експерименти МЛ у блокнотах SageMaker |
2- |
|
3 |
Автоматизує успішні експерименти ML з проектами та конвеєрами SageMaker |
3- |
|
|
3-B |
Після запуску конвеєрів SageMaker зберігає модель у локальному (dev) реєстрі моделей | |||
Провідний фахівець із обробки даних або керівник групи ML |
4 |
Затверджує модель у локальному (dev) реєстрі моделей |
4- |
Метадані моделі та пакет моделі записуються з локального (dev) реєстру моделей до центрального реєстру моделей |
5 |
Затверджує модель у центральному реєстрі моделей |
5- |
Ініціює процес розгортання CI/CD для створення кінцевих точок SageMaker у тестовому середовищі | |
5-B |
Записує інформацію про модель і метадані в модуль управління ML (картку моделі, інформаційну панель моделі) в обліковому записі служб платформи ML з локального облікового запису (розробника). | |||
Інженер МЛ |
6 |
Тестує та контролює кінцеву точку SageMaker у тестовому середовищі після CI/CD | . | |
7 |
Схвалює розгортання для кінцевих точок SageMaker у середовищі prod |
7- |
Ініціює процес розгортання CI/CD для створення кінцевих точок SageMaker у середовищі prod | |
8 |
Тестує та контролює кінцеву точку SageMaker у тестовому середовищі після CI/CD | . |
Персони та взаємодія з різними модулями платформи ML
Кожен модуль обслуговує певних цільових осіб у певних підрозділах, які використовують модуль найчастіше, надаючи їм первинний доступ. Тоді вторинний доступ надається іншим підрозділам, які потребують періодичного використання модулів. Модулі пристосовані до потреб певних робочих ролей або персоналій для оптимізації функціональності.
Ми обговорюємо такі команди:
- Центральна хмарна інженерія – Ця команда працює на корпоративному хмарному рівні з усіма робочими навантаженнями для налаштування загальних служб хмарної інфраструктури, наприклад налаштування мережі корпоративного рівня, ідентифікації, дозволів і керування обліковими записами.
- Розробка платформи даних – Ця команда керує корпоративними озерами даних, збором даних, підготовкою та управлінням даними
- Розробка платформи ML – Ця команда працює на рівні платформи ML у всіх LOB, щоб надавати спільні послуги інфраструктури ML, такі як надання інфраструктури ML, відстеження експериментів, керування моделлю, розгортання та можливість спостереження.
У наведеній нижче таблиці зазначено, які підрозділи мають основний і вторинний доступ до кожного модуля відповідно до цільових персонажів модуля.
Номер модуля | Модулі | Первинний доступ | Вторинний доступ | Цільові персони | Кількість облікових записів |
1 |
Фонди з кількома обліковими записами | Центральна хмарна інженерія | Індивідуальні LOB |
|
Кілька |
2 |
Фундаменти озера даних | Розробка центральної хмари або платформи даних | Індивідуальні LOB |
|
множинний |
3 |
Сервіси платформи ML | Розробка центральної хмари або платформи ML | Індивідуальні LOB |
|
Один |
4 |
Розробка варіантів використання ML | Індивідуальні LOB | Розробка центральної хмари або платформи ML |
|
множинний |
5 |
операції ML | Центральна хмара або ML інженерія | Індивідуальні LOB |
|
множинний |
6 |
Централізований магазин функцій | Центральна хмара або інженерія даних | Індивідуальні LOB |
|
Один |
7 |
Логування та спостережуваність | Центральна хмарна інженерія | Індивідуальні LOB |
|
Один |
8 |
Вартість і звітність | Індивідуальні LOB | Інженерний центральний майданчик |
|
Один |
Висновок
У цьому дописі ми представили структуру для управління життєвим циклом машинного навчання в масштабі, яка допоможе вам реалізувати добре архітектурні робочі навантаження ML із вбудованими елементами керування безпекою та керуванням. Ми обговорили, як цей фреймворк використовує цілісний підхід до побудови платформи машинного навчання, враховуючи керування даними, керування моделлю та засоби контролю на рівні підприємства. Ми заохочуємо вас поекспериментувати зі структурою та концепціями, представленими в цій публікації, і поділитися своїми відгуками.
Про авторів
Рам Віттал є головним архітектором рішень ML в AWS. Він має понад 3 десятиліття досвіду розробки та створення розподілених, гібридних і хмарних програм. Він захоплений створенням безпечних, масштабованих, надійних рішень для штучного інтелекту/ML і великих даних, щоб допомогти корпоративним клієнтам під час впровадження та оптимізації хмарних технологій для покращення бізнес-результатів. У вільний час він їздить на мотоциклі та гуляє зі своєю трирічною вівцею-дудлом!
Совік Кумар Натх є архітектором рішень AI/ML з AWS. Він має значний досвід проектування наскрізного машинного навчання та рішень для бізнес-аналітики у фінансах, операційній діяльності, маркетингу, охороні здоров’я, управлінні ланцюжками поставок та IoT. Совік публікував статті та має патент на моніторинг моделі ML. Він має подвійний ступінь магістра в Університеті Південної Флориди, Університеті Фрібурга, Швейцарія, і ступінь бакалавра в Індійському технологічному інституті, Харагпур. Поза роботою Совік любить подорожувати, кататися на поромі, дивитися фільми.
Майра Ладейра Танке є старшим спеціалістом з даних в AWS. Як технічний керівник, вона допомагає клієнтам прискорити досягнення бізнес-цінності за допомогою нових технологій та інноваційних рішень. Майра працює в AWS із січня 2020 року. До цього вона працювала спеціалістом із обробки даних у багатьох галузях, зосереджуючись на досягненні бізнес-цінності даних. У вільний час Майра любить подорожувати та проводити час із сім’єю в теплому місці.
Раян Лемпка є старшим архітектором рішень у Amazon Web Services, де він допомагає своїм клієнтам працювати у зворотному напрямку від бізнес-цілей для розробки рішень на AWS. Він має великий досвід у сфері бізнес-стратегії, управління ІТ-системами та науки про дані. Райан прагне навчатися все життя, і йому подобається щодня кидати собі виклик, щоб навчитися чогось нового.
Шріхарш Адарі є старшим архітектором рішень у Amazon Web Services (AWS), де він допомагає клієнтам працювати у зворотному напрямку від бізнес-результатів для розробки інноваційних рішень на AWS. Протягом багатьох років він допоміг багатьом клієнтам у трансформації платформи даних у галузях. Його основна область знань включає технологічну стратегію, аналітику даних та науку про дані. У вільний час він любить займатися спортом, дивитися телевізійні шоу та грати в табла.
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
- PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
- ПлатонЕСГ. вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
- PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
- джерело: https://aws.amazon.com/blogs/machine-learning/governing-the-ml-lifecycle-at-scale-part-1-a-framework-for-architecting-ml-workloads-using-amazon-sagemaker/
- : має
- :є
- : ні
- :де
- $UP
- 1
- 10
- 100
- 12
- 12 місяців
- 2020
- 28
- 7
- 8
- 971
- a
- МЕНЮ
- прискорювати
- доступ
- доступною
- За
- рахунки
- Рахунки
- досягнення
- досягнення
- через
- дії
- діяльність
- Ad
- пристосовувати
- адаптація
- доповнення
- Додатковий
- адреса
- адреси
- адресація
- адмін
- Адміністратори
- Прийняття
- Прийняття
- після
- AI
- Моделі AI
- AI / ML
- Alerts
- ВСІ
- дозволено
- Дозволити
- дозволяє
- по
- вже
- Також
- хоча
- Amazon
- Amazon SageMaker
- Amazon Web Services
- Веб-служби Amazon (AWS)
- an
- аналіз
- аналітика
- та
- та інфраструктури
- будь-який
- застосування
- підхід
- відповідний
- затверджений
- архітектура
- архів
- ЕСТЬ
- ПЛОЩА
- статті
- AS
- Активи
- асоційований
- припустити
- At
- Authentication
- авторизації
- автоматизувати
- Автоматизований
- Автоматизація
- доступний
- AWS
- Balance
- заснований
- Базова лінія
- BE
- оскільки
- стає
- було
- перед тим
- буття
- корисний
- Переваги
- КРАЩЕ
- передового досвіду
- між
- зміщення
- Великий
- Великий даних
- Перерва
- коротко
- будувати
- Створюємо
- Будує
- бізнес
- бізнес стратегія
- але
- by
- CAN
- кандидат
- можливості
- карта
- Cards
- випадок
- випадків
- каталог
- категорії
- обслуговує
- Викликати
- Центр
- центральний
- Централізація
- централізована
- ланцюг
- проблеми
- складні
- Перевірки
- хімія
- тісно
- хмара
- прийняття хмари
- інфраструктура хмари
- код
- співробітництво
- збір
- колективно
- загальний
- Компанії
- дотримання
- поступливий
- Компоненти
- включає
- концепція
- поняття
- вважається
- беручи до уваги
- вважає
- споживати
- Споживачі
- Контейнер
- контроль
- Контрольна вежа
- контроль
- управління
- узгоджений
- Core
- Коштувати
- витрати
- покритий
- створювати
- створений
- курація
- Клієнти
- налаштувати
- налаштувати
- приладова панель
- інформаційні панелі
- дані
- доступ до даних
- Analytics даних
- Озеро даних
- Платформа даних
- конфіденційність даних
- наука про дані
- вчений даних
- набори даних
- день
- десятиліття
- присвячених
- глибокий
- Ступінь
- відомства
- розгортання
- розгорнути
- розгортання
- розгортання
- розгортання
- розгортає
- дизайн
- призначений
- проектування
- деталі
- DEV
- розвивати
- розвиненою
- розробка
- події
- різний
- розміри
- прямий
- обговорювати
- обговорювалися
- чіткий
- розподілений
- занурення
- домен
- подвійний
- вниз
- кожен
- зусилля
- Вставляти
- вбудований
- вбудовування
- з'являються
- Нові технології
- включіть
- включений
- дозволяє
- дозволяє
- заохочувати
- кінець в кінець
- Кінцева точка
- інженер
- Машинобудування
- Інженери
- підвищувати
- забезпечувати
- гарантує
- забезпечення
- підприємство
- рівень підприємства
- підприємств
- Навколишнє середовище
- середовищах
- істотний
- оцінювати
- Події
- Кожен
- кожен день
- приклад
- досвід
- експеримент
- Експерименти
- експертиза
- виражений
- розширення
- обширний
- Великий досвід
- стикаються
- фасилітувати
- сім'я
- особливість
- риси
- зворотний зв'язок
- кілька
- Рисунок
- фільтрувати
- фінансування
- фінансовий
- фінансові послуги
- Перший
- Гнучкість
- Флорида
- потік
- фокусування
- після
- для
- форма
- освіта
- фонд
- Підвалини
- чотири
- Рамки
- Безкоштовна
- від
- функція
- функціональний
- функціональні можливості
- функціональність
- Функції
- далі
- Крім того
- Отримувати
- породжувати
- породжує
- генеративний
- Генеративний ШІ
- дає
- Глобальний
- управління
- модель управління
- модуль управління
- управляється
- управління
- Надання
- Групи
- керівництво
- Мати
- має
- he
- голова
- охорона здоров'я
- чути
- допомога
- допоміг
- допомагає
- її
- Високий
- на вищому рівні
- його
- тримає
- цілісний
- гачки
- хостів
- Як
- How To
- Однак
- HTML
- HTTP
- HTTPS
- Концентратор
- гібрид
- ідентифікує
- Особистість
- if
- здійснювати
- реалізація
- реалізовані
- реалізації
- удосконалювати
- поліпшення
- in
- включати
- includes
- У тому числі
- зростаючий
- самостійно
- індійський
- промисловості
- промисловість
- інформація
- Інфраструктура
- початковий
- Посвячені
- інноваційний
- інноваційний
- екземпляр
- Інститут
- інтегрований
- взаємодіяти
- Взаємодії
- зацікавлений
- інтернет
- Доступ в інтернет
- в
- введені
- інвестиції
- КАТО
- ізоляція
- IT
- січня
- робота
- подорож
- JPG
- ключ
- знання
- Кумар
- відсутність
- озеро
- озера
- посадка
- мова
- великий
- пізніше
- шар
- вести
- УЧИТЬСЯ
- вивчення
- рівень
- рівні
- Життєвий цикл
- як
- родовід
- ліній
- місцевий
- журнал
- каротаж
- шукати
- машина
- навчання за допомогою машини
- made
- підтримувати
- РОБОТИ
- управляти
- вдалося
- управління
- управляє
- управління
- багато
- карти
- Маркетинг
- зрілий
- зрілість
- Може..
- член
- згаданий
- сітці
- метадані
- пом’якшення
- зменшення ризиків
- ML
- MLOps
- модель
- Моделі
- змінювати
- модульний
- Модулі
- Модулі
- монітор
- моніторинг
- монітори
- місяців
- більше
- найбільш
- мотоцикл
- кіно
- множинний
- рідний
- Необхідність
- потреби
- Гніздо
- мережу
- мережа
- мереж
- Нові
- Нові можливості
- наступний
- ноутбук
- номер
- цілей
- іноді
- of
- Пропозиції
- Office
- часто
- Старий
- on
- один раз
- ONE
- постійний
- працювати
- працювати
- працює
- операційний
- операції
- оптимізація
- Оптимізувати
- or
- організація
- організації
- організація
- Інше
- наші
- з
- Результати
- поза
- над
- загальний
- огляд
- пакет
- частина
- приватність
- пристрасний
- патент
- Виконувати
- продуктивність
- Дозволи
- трубопровід
- місце
- одноколірний
- платформа
- plato
- Інформація про дані Платона
- PlatoData
- ігри
- Політика
- політика
- портфель
- пошта
- практика
- практики
- представити
- попередження
- первинний
- Головний
- попередній
- недоторканність приватного життя
- приватний
- приватний сектор
- Проактивний
- проблеми
- процес
- процеси
- виробник
- Виробники
- Product
- Production
- Продукти
- проектів
- просування
- доказ
- доказ концепції
- захищає
- забезпечувати
- забезпечує
- забезпечення
- громадськість
- опублікований
- мета
- якість
- швидко
- швидко
- Читати
- останній
- визнавати
- рекомендувати
- Рекомендація
- зменшити
- посилання
- райони
- реєструвати
- зареєстрований
- регістри
- реєстру
- регулюється
- регульовані галузі
- надійний
- видалення
- Звіти
- вимагати
- вимагається
- Вимога
- ресурс
- ресурси
- відповідаючи
- відповідальний
- знову використовувати
- атракціони
- Risk
- ризики
- Роль
- ролі
- корінь
- Правило
- Правила
- прогін
- біг
- Райан
- жертвуючи
- мудрець
- Трубопроводи SageMaker
- то ж
- масштабовані
- шкала
- Масштабування
- наука
- вчений
- Вчені
- Пошук
- вторинний
- розділ
- сектор
- безпечний
- безпеку
- події безпеки
- Самообслуговування
- старший
- Серія
- обслуговування
- Послуги
- комплект
- набори
- установка
- установка
- Поділитись
- загальні
- акції
- поділ
- вона
- Короткий
- Повинен
- показаний
- Шоу
- простий
- з
- один
- Розмір
- невеликий
- So
- рішення
- Рішення
- ВИРІШИТИ
- деякі
- що в сім'ї щось
- Південь
- Південній Флориді
- спеціаліст
- спеціалізований
- конкретний
- Витрати
- SPORTS
- етапи
- зацікавлені сторони
- зацікавлених сторін
- стандартів
- старт
- стан
- Крок
- заходи
- Як і раніше
- зупинений
- зберігання
- зберігати
- магазинів
- стратегії
- Стратегія
- сильний
- структура
- структур
- студія
- успішний
- такі
- костюм
- РЕЗЮМЕ
- поставка
- ланцюжка поставок
- робота з постачальниками
- підтримка
- Підтримуючий
- Переконайтеся
- Швейцарія
- Systems
- таблиця
- з урахуванням
- приймає
- взяття
- Мета
- команда
- команди
- технічний
- Технологія
- Технологічна стратегія
- шаблон
- Шаблони
- тест
- Тестування
- Що
- Команда
- Держава
- їх
- Їх
- потім
- Ці
- вони
- речі
- це
- ті
- через
- по всьому
- час
- до
- інструменти
- до
- Башта
- трек
- Відстеження
- традиційний
- поїзд
- перетворень
- транзит
- Подорож
- ПЕРЕГЛЯД
- tv
- Типи
- при
- розуміти
- несправедливо
- одиниць
- університет
- us
- Використання
- використання
- використання випадку
- використовуваний
- користувач
- користувачі
- використовує
- використання
- використовувати
- перевірка достовірності
- значення
- різноманітність
- різний
- вертикалі
- через
- Порушення
- видимість
- візуалізації
- візуалізувати
- ходити
- хотіти
- теплий
- спостереження
- we
- Web
- веб-сервіси
- ДОБРЕ
- коли
- Чи
- який
- в той час як
- волі
- з
- в
- без
- Work
- працював
- Робочі процеси
- робочий
- років
- Ти
- вашу
- зефірнет