Після того, як ви побудуєте, навчите та оціните свою модель машинного навчання (ML), щоб переконатися, що вона вирішує запропоновану бізнес-проблему, ви захочете розгорнути цю модель, щоб уможливити прийняття рішень у бізнес-операціях. Моделі, які підтримують критично важливі для бізнесу функції, розгортаються у виробничому середовищі, де встановлюється стратегія випуску моделі. Враховуючи природу моделей ML, де дані постійно змінюються, ви також хочете переконатися, що розгорнута модель усе ще актуальна для нових даних і що модель оновлюється, коли це не так. Це включає вибір стратегії розгортання, яка мінімізує ризики та простої. Ця оптимальна стратегія розгортання має підтримувати високу доступність моделі, враховувати бізнес-витрати розгортання нижчої моделі порівняно з тією, що вже є у виробництві, і містити функціональні можливості для легкого повернення до попередньої версії моделі. Багато з цих рекомендованих міркувань і шаблонів розгортання також розглядаються в Добре архітектурна структура AWS – лінза машинного навчання.
Окрім вибору правильної стратегії розгортання, цю стратегію слід реалізовувати за допомогою надійного механізму, який включає практики MLOps. MLOps включає практики, які інтегрують робочі навантаження ML в управління випусками, CI/CD та операції, враховуючи унікальні аспекти проектів ML, включаючи міркування щодо розгортання та моніторингу моделей. Amazon SageMaker для MLOps надає спеціальні інструменти для автоматизації та стандартизації етапів життєвого циклу машинного навчання, включаючи можливості розгортання та керування новими моделями за допомогою передових шаблонів розгортання.
У цій публікації ми обговорюємо, як розгортати моделі ML Amazon SageMaker повторюваним і автоматизованим способом, інтегруючи варіанти виробництва та розгортання огороджень можливості SageMaker з рішеннями MLOps. Ми розповідаємо вам про те, як інтегрувати інструменти MLOps SageMaker із шаблонами розгортання моделі SageMaker, зосереджуючись на кінцевих точках однієї моделі в реальному часі.
Огляд рішення
Ми досліджуємо наступні шаблони тестування моделей і огорожі та їх інтеграцію з інструментами SageMaker MLOps:
- Тестування моделі – Ми порівнюємо різні версії моделей у виробництві, перш ніж замінити поточну версію моделі. У цьому дописі порівнюються такі можливості тестування моделі:
- A / B тестування – За допомогою тестування A/B ви порівнюєте різні версії своєї моделі у виробництві, розподіляючи трафік кінцевої точки між варіантами вашої моделі. A/B-тестування використовується в сценаріях, коли замкнутий цикл зворотного зв’язку може безпосередньо зв’язати результати моделі з бізнес-метриками нижчої течії. Цей зворотний зв’язок потім використовується для визначення статистичної значущості переходу від однієї моделі до іншої, допомагаючи вам вибрати найкращу модель за допомогою тестування в реальному часі.
- Тіньові тести – За допомогою тіньових тестів ви тестуєте нову версію вашої моделі у виробництві, надсилаючи запити до виробничої та нової моделі паралельно. Дані відповіді прогнозу з робочої моделі подаються до програми, тоді як прогнози нової версії моделі зберігаються для тестування, але не подаються до робочої програми. Тіньове тестування використовується в ситуаціях, коли немає замкнутого циклу зворотного зв’язку, який відображає бізнес-метрику на прогнози моделі. У цьому сценарії ви використовуєте показники якості моделі та операційні показники для порівняння кількох моделей замість будь-якого впливу на бізнес-метрики подальшої ланки.
- Зміщення трафіку – Після того, як ви випробували нову версію моделі та залишилися задоволені її продуктивністю, наступним кроком буде перенаправлення трафіку з поточної моделі на нову. The синьо-зелені огорожі для розгортання у SageMaker дозволяє легко переключатися з поточної моделі у виробництві (блакитний парк) на нову (зелений парк) у контрольований спосіб. Синьо-зелені розгортання дозволяють уникнути простоїв під час оновлень вашої моделі, як це було б у сценарії розгортання на місці. Щоб максимізувати доступність моделі, на момент написання цієї статті синьо-зелені розгортання є опцією за замовчуванням для оновлень моделі в SageMaker. У цій публікації ми обговорюємо такі методи переміщення трафіку:
- Відразу змінюється трафік – 100% трафіку вашої кінцевої точки переміщується з вашого блакитного парку до вашого зеленого парку після того, як зелений флот стає доступним. Ми використовуємо сигналізація in Amazon CloudWatch які контролюють ваш зелений автопарк протягом певного періоду часу ( період випічки) і якщо тривога не спрацьовує, SageMaker видаляє блакитний флот після періоду запікання.
- Зміщення трафіку Canary – Ваш зелений автопарк спочатку піддається впливу меншої частки вашого трафіку (a канарейка) і перевірено на наявність будь-яких проблем із використанням сигналів CloudWatch протягом певного періоду випікання, поки блакитний флот продовжує отримувати більшу частину трафіку кінцевої точки. Після перевірки зеленого парку весь трафік переходить до нового парку, а синій флот потім видаляється SageMaker.
- Синій/зелений лінійний трафік огорожі – Ви поступово переміщуєте трафік від свого блакитного флоту до свого зеленого автопарку в покроковому підході. Потім ваша модель контролюється за допомогою сигналів CloudWatch протягом періоду випікання на кожному кроці, перш ніж парк Blue буде повністю замінено.
Ця публікація зосереджена на описі архітектур, які використовують функції SageMaker MLOps для виконання контрольованого розгортання моделей за допомогою захисних огорож розгортання та стратегій тестування моделювання, які ми перерахували. Щоб отримати загальну інформацію про ці моделі, див Скористайтеся перевагами розширених стратегій розгортання за допомогою захисних огорож Amazon SageMaker та Розгортання огорож.
Розгорніть модель за допомогою SageMaker
SageMaker пропонує широкий асортимент варіанти розгортання які варіюються від низької затримки та високої пропускної здатності до тривалих завдань логічного висновку. Ці параметри включають міркування щодо пакетного, реального часу або висновок майже в реальному часі. Кожна опція пропонує різні розширені функції, наприклад можливість запускати кілька моделей на одній кінцевій точці. Однак, як згадувалося раніше, у цій публікації ми розглядаємо лише шаблони розгортання MLOps із використанням кінцевих точок однієї моделі. Щоб детальніше ознайомитись із розширеними функціями розгортання SageMaker для висновків у реальному часі, див Шаблони розміщення моделей в Amazon SageMaker, частина 2: Початок роботи з розгортанням моделей реального часу на SageMaker.
Щоб зрозуміти реалізацію розширених шаблонів розгортання за допомогою конвеєрів безперервної доставки (CD), давайте спочатку обговоримо ключову концепцію SageMaker під назвою варіанти моделей.
Варіанти моделей SageMaker
Варіанти моделі дозволяють розгортати кілька версій вашої моделі в одній кінцевій точці для тестування вашої моделі. Варіанти моделі розгортаються в окремих екземплярах, тому оновлення одного з них не впливає на інші варіанти. У SageMaker варіанти моделі реалізовані як робочі та тіньові варіанти.
Варіанти виготовлення дозволяють тестувати A/B кілька версій вашої моделі, щоб порівняти їх продуктивність. У цьому випадку всі версії вашої моделі повертають відповіді на запити моделі. Ваш трафік кінцевої точки розподіляється між існуючими варіантами або за розподілом трафіку, де ви призначаєте вагу для кожного варіанту, або за цільовим варіантом, де певний параметр (наприклад, регіон або ринок) вирішує, яку модель слід викликати.
Тіньові варіанти дозволяють провести тестування нової версії моделі. У цьому сценарії ваша модель має робочий і тіньовий варіанти, розгорнуті паралельно до однієї кінцевої точки. Тіньовий варіант отримує повний (або вибірковий) трафік даних від вашої кінцевої точки. Однак лише передбачення виробничих варіантів надсилаються назад користувачам вашої програми, а передбачення тіньових варіантів реєструються для аналізу. Оскільки тіньові варіанти запускаються на окремих екземплярах від робочого варіанту, у цьому тесті немає жодного впливу на продуктивність вашого робочого варіанту. За допомогою цього параметра ви тестуєте нову модель і мінімізуєте ризики низькопродуктивної моделі, а також можете порівнювати продуктивність обох моделей з однаковими даними.
Огородження для розгортання SageMaker
Огородження є важливою частиною розробки програмного забезпечення. Вони захищають вашу програму та мінімізують ризик розгортання нової версії вашої програми. Подібним чином огорожі для розгортання SageMaker дозволяють контрольовано переходити від однієї версії моделі до іншої. Станом на грудень 2022 року поручні SageMaker забезпечують реалізацію синьо-зелених, канаркових і лінійних варіантів переміщення трафіку. У поєднанні з варіантами моделі огорожі розгортання можна застосувати як до робочих, так і до тіньових варіантів вашої моделі, забезпечуючи відсутність простоїв під час оновлення нового варіанту, при цьому рух трафіку контролюється відповідно до вибраного параметра.
Основи MLOps для розгортання моделі
У ширшому контексті створення й розгортання робочого процесу моделі ML ми хочемо застосувати практики CI/CD, створені спеціально для робочого процесу ML. Подібно до традиційних систем CI/CD, ми хочемо автоматизувати тестування програмного забезпечення, тестування інтеграції та розгортання виробництва. Однак нам також потрібно включити певні операції навколо життєвого циклу машинного навчання, яких немає в традиційному життєвому циклі розробки програмного забезпечення, наприклад навчання моделі, експериментування моделі, тестування моделі та моніторинг моделі.
Щоб отримати ці специфічні можливості ML, до процесу розгортання моделі додаються основи MLOps, такі як автоматизоване тестування моделі, захист від розгортання, розгортання кількох облікових записів і автоматичний відкат моделі. Це гарантує, що вже описані можливості дозволяють тестувати моделі та уникати простою під час процесу оновлення моделі. Він також забезпечує надійність і відстежуваність, необхідні для постійного вдосконалення моделі, готової до виробництва. Крім того, такі можливості, як можливість упаковувати існуючі рішення в багаторазові шаблони та розгортати моделі в налаштуваннях із кількома обліковими записами, забезпечують масштабованість шаблонів розгортання моделей, які обговорюються в публікації, до кількох моделей у всій організації.
На наступному малюнку показано загальний шаблон для підключення можливостей SageMaker для створення наскрізної конструкції моделі та конвеєра розгортання. У цьому прикладі модель розроблено в SageMaker за допомогою Завдання обробки SageMaker для запуску коду обробки даних, який використовується для підготовки даних для алгоритму ML. Навчальні завдання SageMaker потім використовуються для навчання моделі ML на даних, створених завданням обробки. Артефакти моделі та пов’язані метадані зберігаються в Реєстр моделей SageMaker як останній етап тренувального процесу. Це організовано Трубопроводи SageMaker, яка є спеціально розробленою службою CI/CD для ML, яка допомагає автоматизувати та керувати робочими процесами ML у масштабі.
Після схвалення моделі її тестують у виробництві за допомогою A/B-тестування або тіньового розгортання. Після того, як модель перевірено у виробництві, ми використовуємо реєстр моделей, щоб схвалити модель для розгортання виробництва на кінцевій точці SageMaker за допомогою одного з варіантів огорожі розгортання.
Після завершення процесу оновлення моделі Монітор моделі SageMaker постійно відстежує продуктивність моделі на наявність відхилень у моделі та якості даних. Цей процес автоматизовано для використання кількох варіантів використання Проект SageMaker шаблони, що відображають розгортання інфраструктури для налаштування кількох облікових записів, щоб забезпечити повну ізоляцію ресурсів і легший контроль витрат.
Шаблони розгортання кінцевої точки однієї моделі
Під час першого розгортання моделей у робочому середовищі у вас немає запущеної моделі для порівняння, і розгорнутою моделлю буде та, яка використовується вашою бізнес-програмою. Після того, як модель розгорнуто та відстежено у робочому середовищі, можливо, ви захочете оновити модель регулярно або на вимогу, коли будуть доступні нові дані або коли у вашій моделі буде виявлено розрив продуктивності. Оновлюючи існуючу модель, ви хочете переконатися, що нова модель працює краще, ніж поточна, і може обробляти трафік запитів на передбачення від ваших бізнес-додатків. Протягом цього періоду перевірки ви хочете, щоб поточна модель залишалася доступною для можливого відкоту, щоб мінімізувати ризик простою ваших програм.
У ширшій картині розробки моделі моделі зазвичай навчаються в обліковому записі розробки наукових даних. Це включає робочі процеси експериментів, які часто використовуються під час розробки моделей, а також робочі процеси перенавчання, які використовуються в готових до виробництва конвеєрах. Усі метадані для цих експериментів можна відстежувати за допомогою Експерименти Amazon SageMaker під час розробки. Після того, як робочий процес включено в конвеєр для використання у виробництві, метадані автоматично відстежуються за допомогою конвеєрів SageMaker. Щоб відстежувати життєздатні виробничі моделі в одному місці, після того, як в результаті експерименту показники ефективності моделі (точність, запам’ятовування тощо) доведені до прийнятного для виробництва рівня, крок умови у конвеєрі SageMaker дозволяє реєструвати модель у реєстрі моделей.
Реєстр моделей дозволяє ініціювати розгортання цієї моделі за допомогою ручного або автоматичного процесу затвердження. Це розгортання відбувається в тестовому обліковому записі ML, де можна виконувати робочі тести, такі як інтеграційні тести, модульні тести, затримку моделі та будь-яку додаткову перевірку моделі щодо нової версії моделі. Зауважте, що A/B-тестування та тіньове тестування виконуються не в тестовому обліковому записі ML, а в робочому обліковому записі ML.
Коли модель пройде всі перевірки в тестовому обліковому записі, вона готова до розгортання у робочому середовищі. Новий процес схвалення ініціює це розгортання, а огорожі розгортання SageMaker дозволяють контролювати випуск і прозорий процес оновлення моделі відповідно до вибраного режиму переміщення трафіку.
Наступна діаграма ілюструє цю архітектуру рішення.
Відразу змінюється трафік
Команда режим зміни трафіку дозволяє оновити нову версію моделі (зелений автопарк), повністю перемістивши 100% трафіку з поточної моделі (блакитний автопарк) на нову модель. За допомогою цього параметра ви можете налаштувати період запікання, протягом якого обидві версії вашої моделі все ще працюють, і ви можете швидко та автоматично повернутися до поточної версії, якщо ваша нова модель не працює належним чином. Недоліком цього варіанту є те, що зачіпає весь трафік даних одночасно, тому, якщо виникне проблема з розгортанням моделі, це вплине на всіх користувачів, які використовують програму під час процесу розгортання. Наступна архітектура показує, як опція переміщення всього трафіку обробляє оновлення моделі.
Одночасне переміщення трафіку можна включити у ваші інструменти MLOps, визначивши конфігурацію розгортання кінцевої точки за допомогою BlueGreenUpdatePolicy встановлений в ALL_AT_ONCE
. У вашому конвеєрі MLOps після схвалення нової моделі для розгортання в обліковому записі виробництва ML SageMaker перевіряє, чи кінцева точка вашої моделі вже існує. Якщо так, то ALL_AT_ONCE
конфігурація запускає оновлення кінцевої точки, яке відповідає архітектурі. Відкат вашої кінцевої точки керується на основі Будильники CloudWatch визначається вашою кінцевою точкою AutoRollbackConfiguration
, яка після запуску автоматично починає відкат моделі до поточної версії моделі.
Зміщення трафіку Canary
Команда canary трафік зміщення режим дозволяє перевірити вашу нову модель (зелений флот) з невеликою частиною трафіку даних перед оновленням поточної моделі (блакитний флот) до нової версії або відкатом нової версії, залежно від результатів тестування canary. Частина трафіку, яка використовується для тестування нової моделі, називається канаркою, і в цьому варіанті ваш ризик появи проблемної нової моделі мінімізується до трафіку канарки, а час оновлення все ще мінімізується.
Розгортання Canary дозволяє мінімізувати ризик впровадження нової версії моделі, показуючи нову версію моделі меншій групі користувачів для моніторингу ефективності протягом певного періоду часу. Недоліком є керування кількома версіями протягом певного періоду часу, що дозволяє збирати показники продуктивності, які є достатньо значущими для визначення впливу на продуктивність. Перевагою є можливість ізолювати ризик для меншої групи користувачів.
Зміщення трафіку Canary можна включити у ваші інструменти MLOps, визначивши конфігурацію розгортання кінцевої точки за допомогою BlueGreenUpdatePolicy встановлений в CANARY
та визначення CanarySize
щоб визначити, яку частину трафіку вашої кінцевої точки слід переспрямувати на нову версію моделі. Подібно до опції «все відразу», у вашому конвеєрі MLOps, після схвалення нової моделі для розгортання в обліковому записі виробництва ML, SageMaker перевіряє, чи кінцева точка вашої моделі вже існує. Якщо так, то CANARY
конфігурація запускає оновлення кінцевої точки, яке відповідає архітектурі, описаній на наступній діаграмі. Відкат вашої кінцевої точки контролюється на основі сигналів CloudWatch, визначених вашою кінцевою точкою AutoRollbackConfiguration
який при запуску автоматично запускає відкат моделі до поточної версії моделі. Корисними типами тривог для розгортання є 500 кодів стану та затримка моделі; однак ці параметри нагадування слід налаштувати відповідно до конкретного бізнес-випадку використання та технології ML.
Лінійне зміщення руху
У лінійне зміщення руху моделі, ви поступово змінюєте трафік із вашої поточної моделі (блакитний автопарк) на нову версію моделі (зелений автопарк), поступово збільшуючи трафік даних, що надсилається до нової моделі. Таким чином частка трафіку, який використовується для тестування вашої нової версії моделі, поступово збільшується з кожним кроком, а час випікання для кожного кроку гарантує, що ваша модель продовжує працювати з новим трафіком. За допомогою цього параметра ви мінімізуєте ризик розгортання низькопродуктивної моделі та поступово піддаєте нову модель більшому трафіку даних. Недоліком цього підходу є те, що час оновлення триває довше, а витрати на паралельну роботу обох моделей збільшуються.
Лінійне переміщення трафіку можна включити в ваші інструменти MLOps, визначивши конфігурацію розгортання кінцевої точки з BlueGreenUpdatePolicy, встановленим на LINEAR
та визначення LinearStepSize
щоб визначити, скільки вашого трафіку має бути перенаправлено на нову модель на кожному кроці. Подібно до опції «все відразу», у вашому конвеєрі MLOps, після схвалення нової моделі для розгортання в обліковому записі виробництва ML, SageMaker перевіряє, чи кінцева точка вашої моделі вже існує. Якщо так, то LINEAR
конфігурація запускає оновлення кінцевої точки, яке відповідає архітектурі, указаній на наступній діаграмі. Відкат вашої кінцевої точки контролюється на основі сигналів CloudWatch, визначених вашою кінцевою точкою AutoRollbackConfiguration
який при запуску автоматично запускає відкат моделі до поточної версії моделі.
Шаблони розгортання з варіантами виробництва моделі
Незалежно від шаблону розгортання, який ви вибрали для своєї програми, ви також можете використовувати робочі варіанти для перевірки продуктивності моделі перед оновленням кінцевої точки або запровадити додаткові шаблони розгортання, наприклад тіньове розгортання. У цьому випадку ви хочете додати ручний або автоматизований процес вибору найкращої моделі для розгортання перед оновленням кінцевої точки. Наведена нижче архітектура показує, як трафік і відповідь вашої кінцевої точки поводяться в сценарії тіньового розгортання. У цьому сценарії кожен запит на передбачення надсилається як новій, так і розгорнутій моделі; однак лише поточна розгорнута модель служить прогнозованою відповіддю для бізнес-додатку, тоді як передбачення, що надається новою моделлю, зберігається лише для аналізу продуктивності порівняно з поточною розгорнутою моделлю. Після оцінки продуктивності моделі нову версію моделі можна розгорнути для обслуговування трафіку відповіді на передбачення для бізнес-додатків.
Скасування
Незалежно від стратегії розгортання, яку ви обрали для розгортання моделі, ви хочете мати можливість повернутися до попередньої версії моделі, якщо продуктивність нової моделі нижча за продуктивність поточної моделі. Щоб зробити це, зводячи до мінімуму час простою вашої програми, вам потрібно підтримувати роботу вашої поточної моделі паралельно з новою, доки ви не переконаєтеся, що ваша нова модель працює краще, ніж поточна.
Поручні для розгортання SageMaker дозволяють встановлювати сигнали тривоги та автоматично повертатися до попередніх версій моделі протягом періоду перевірки моделі. Після завершення періоду перевірки вам все одно може знадобитися повернутися до попередньої версії моделі, щоб вирішити нову проблему, яку буде виявлено після завершення оновлення моделі. Для цього ви можете скористатися перевагами реєстру моделей SageMaker відхилені та затверджені моделі і викликати a процес відкату.
Висновок
У цій публікації ви дізналися, як поєднувати варіанти моделі кінцевої точки SageMaker і огорожі розгортання з можливостями MLOps, щоб створювати наскрізні шаблони для розробки моделі. Ми надали приклад реалізації для канаркових і лінійних зсувних огорож розгортання, пов’язаних із конвеєрами SageMaker і реєстром моделей через спеціальний проект SageMaker. Як наступний крок спробуйте адаптувати наступне шаблон реалізувати стратегію розгортання вашої організації.
посилання
Про авторів
Майра Ладейра Танке є архітектором рішень ML Specialist в AWS. Маючи досвід роботи з даними, вона має 9-річний досвід проектування та створення програм машинного навчання з клієнтами в різних галузях. Як технічний керівник, вона допомагає клієнтам прискорити досягнення бізнес-цінності за допомогою нових технологій та інноваційних рішень. У вільний час Майра любить подорожувати та проводити час із сім’єю в теплому місці.
Клей Елмор є архітектором спеціалістів із штучного інтелекту та ML в AWS. Провівши багато годин у дослідницькій лабораторії матеріалів, його досвід хімічної інженерії швидко залишився позаду, щоб продовжити інтерес до машинного навчання. Він працював над додатками ML у багатьох галузях, починаючи від торгівлі енергетикою та закінчуючи маркетингом гостинності. Клей особливо зацікавлений у перенесенні методів розробки програмного забезпечення в ML і скеровуванні клієнтів до повторюваних, масштабованих рішень за допомогою цих принципів. У вільний час Клей любить кататися на лижах, складати кубики Рубіка, читати та готувати.
Шелбі Айгенброде є головним архітектором рішень спеціаліста зі штучного інтелекту та машинного навчання в AWS. Вона працює в технологіях 24 роки, охоплюючи різні галузі, технології та ролі. Наразі вона зосереджується на поєднанні свого досвіду DevOps і ML у сфері MLOps, щоб допомогти клієнтам доставляти та керувати робочими навантаженнями ML у масштабі. Маючи понад 35 патентів, виданих у різних сферах технологій, вона має пристрасть до безперервних інновацій і використання даних для досягнення бізнес-результатів. Шелбі є співавтором і викладачем спеціалізації Practical Data Science на Coursera. Вона також є співдиректором відділу Women In Big Data (WiBD) у Денвері. У вільний час вона любить проводити час з родиною, друзями та надактивними собаками.
Цюнь Чжао є старшим інженером з розробки програмного забезпечення команди Amazon SageMaker Inference Platform. Він є провідним розробником засобів розгортання та тіньових розгортань, і він зосереджується на допомозі клієнтам керувати робочими навантаженнями та розгортаннями машинного навчання в масштабі з високою доступністю. Він також працює над розвитком архітектури платформи для швидкого й безпечного розгортання завдань МЛ і легкого проведення онлайн-експериментів МЛ. У вільний час він любить читати, грати та подорожувати.
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- Платоблокчейн. Web3 Metaverse Intelligence. Розширені знання. Доступ тут.
- джерело: https://aws.amazon.com/blogs/machine-learning/mlops-deployment-best-practices-for-real-time-inference-model-serving-endpoints-with-amazon-sagemaker/
- 100
- 2022
- 7
- 9
- a
- здатність
- Здатний
- прискорювати
- прийнятний
- За
- рахунки
- бухгалтерський облік
- Achieve
- досягнення
- через
- доданий
- доповнення
- Додатковий
- Додатково
- просунутий
- Перевага
- після
- проти
- AI
- AI / ML
- тривога
- алгоритм
- ВСІ
- дозволяє
- вже
- Amazon
- Amazon SageMaker
- кількість
- аналіз
- та
- Інший
- додаток
- застосування
- прикладної
- підхід
- твердження
- схвалювати
- затверджений
- архітектура
- навколо
- аспекти
- асоційований
- автоматизувати
- Автоматизований
- автоматично
- наявність
- доступний
- AWS
- назад
- фон
- заснований
- основа
- оскільки
- стає
- перед тим
- за
- буття
- користь
- КРАЩЕ
- передового досвіду
- Краще
- між
- Великий
- Великий даних
- синій
- Приведення
- широкий
- ширше
- приніс
- будувати
- Створюємо
- побудований
- бізнес
- Бізнес-додатки
- званий
- можливості
- випадок
- випадків
- CD
- певний
- зміна
- заміна
- Глава
- Перевірки
- хімічний
- Вибираючи
- вибрав
- закрито
- код
- об'єднувати
- комбінований
- об'єднання
- загальний
- порівняти
- повний
- повністю
- концепція
- впевнений
- конфігурація
- підключений
- зв'язку
- Вважати
- міркування
- містити
- контекст
- безперестанку
- безперервний
- постійно
- контроль
- контроль
- Коштувати
- витрати
- обкладинка
- покритий
- створювати
- Поточний
- В даний час
- виготовлений на замовлення
- Клієнти
- налаштувати
- дані
- обробка даних
- наука про дані
- Грудень
- Прийняття рішень
- дефолт
- певний
- визначаючи
- доставляти
- доставка
- Попит
- демонструє
- Денвер
- Залежно
- розгортання
- розгорнути
- розгортання
- розгортання
- розгортання
- описаний
- виявлено
- Визначати
- розвиненою
- Розробник
- розробка
- різний
- безпосередньо
- відкритий
- обговорювати
- обговорювалися
- розподілений
- розповсюдження
- розподіл
- Ні
- домен
- домени
- Не знаю
- зворотний бік
- час простою
- управляти
- під час
- кожен
- легше
- легко
- ефективність
- або
- з'являються
- включіть
- кінець в кінець
- Кінцева точка
- енергія
- інженер
- Машинобудування
- досить
- забезпечувати
- гарантує
- забезпечення
- Навколишнє середовище
- істотний
- оцінювати
- оцінюється
- еволюції
- приклад
- існуючий
- існує
- очікуваний
- досвід
- дослідити
- піддаватися
- сім'я
- ШВИДКО
- риси
- зворотний зв'язок
- Рисунок
- Перший
- перший раз
- ФЛЕТ
- фокусується
- фокусування
- після
- слідує
- Підвалини
- Рамки
- Безкоштовна
- друзі
- від
- Повний
- функціональність
- Функції
- далі
- азартні ігри
- розрив
- збір
- Загальне
- отримання
- Давати
- даний
- поступово
- надається
- зелений
- Group
- обробляти
- Ручки
- допомога
- допомогу
- допомагає
- тут
- Високий
- гостинність
- хостинг
- ГОДИННИК
- Як
- How To
- Однак
- HTML
- HTTPS
- Impact
- здійснювати
- реалізація
- реалізовані
- реалізації
- поліпшення
- in
- включати
- includes
- У тому числі
- Зареєстрований
- збільшений
- Збільшує
- зростаючий
- промисловості
- інформація
- Інфраструктура
- інновація
- інноваційний
- екземпляр
- замість
- інтегрувати
- Інтеграція
- інтеграція
- інтерес
- Вступ
- ізоляція
- питання
- питання
- IT
- робота
- Джобс
- тримати
- ключ
- lab
- останній
- Затримка
- запущений
- вести
- вчений
- вивчення
- рівень
- Життєвий цикл
- Перераховані
- жити
- довше
- низький
- машина
- навчання за допомогою машини
- підтримувати
- управляти
- управління
- управління
- керівництво
- багато
- відображення
- ринок
- Маркетинг
- Матеріали
- Максимізувати
- значущим
- механізм
- згаданий
- метадані
- методика
- метрика
- Метрика
- може бути
- мінімізація
- ML
- MLOps
- режим
- модель
- Тестування моделі
- Моделі
- монітор
- контрольований
- моніторинг
- монітори
- більше
- найбільш
- множинний
- природа
- необхідно
- Необхідність
- Нові
- наступний
- Пропозиції
- ONE
- онлайн
- оперативний
- операції
- оптимальний
- варіант
- Опції
- порядок
- організація
- Інше
- Результат
- викладені
- пакет
- Паралельні
- параметр
- частина
- проходить
- пристрасть
- Патенти
- Викрійки
- моделі
- Виконувати
- продуктивність
- виступає
- period
- картина
- трубопровід
- місце
- платформа
- plato
- Інформація про дані Платона
- PlatoData
- це можливо
- пошта
- Практичний
- практики
- Точність
- прогноз
- Прогнози
- Готувати
- представити
- попередній
- раніше
- Головний
- Принципи
- Проблема
- процес
- обробка
- Вироблений
- Production
- проект
- проектів
- запропонований
- захист
- забезпечувати
- за умови
- забезпечує
- мета
- put
- якість
- швидко
- діапазон
- ранжування
- читання
- готовий
- реальний
- реального часу
- отримує
- отримання
- рекомендований
- регіон
- зареєстрований
- реєстру
- регулярний
- звільнити
- доречний
- надійність
- надійний
- повторюваний
- замінити
- запросити
- запитів
- дослідження
- ресурс
- відповідь
- повертати
- багаторазовий
- Risk
- ризики
- ролі
- Котити
- рухомий
- прогін
- біг
- мудрець
- Висновок SageMaker
- Трубопроводи SageMaker
- то ж
- Незадоволений
- задоволений
- масштабованість
- масштабовані
- шкала
- сценарій
- сценарії
- наука
- безпечний
- обраний
- відправка
- старший
- окремий
- служить
- обслуговування
- виступаючої
- комплект
- налаштування
- установка
- кілька
- тінь
- Тіньове тестування
- зсув
- ПЕРЕМІЩЕННЯ
- Повинен
- Шоу
- значення
- аналогічний
- Аналогічно
- один
- ситуацій
- невеликий
- менше
- So
- Софтвер
- розробка програмного забезпечення
- рішення
- Рішення
- ВИРІШИТИ
- Розв’язування
- спеціальний
- спеціаліст
- конкретний
- витрачати
- Витрати
- почалася
- починається
- статистичний
- Статус
- Крок
- заходи
- Як і раніше
- зберігати
- стратегії
- Стратегія
- представлений
- такі
- підтримка
- перемикач
- Systems
- Приймати
- приймає
- Мета
- команда
- технічний
- Технології
- Технологія
- Шаблони
- тест
- Тестування
- Тести
- Команда
- їх
- через
- пропускна здатність
- TIE
- час
- до
- інструменти
- до
- Простежуваність
- трек
- торгові площі
- традиційний
- трафік
- поїзд
- навчений
- Навчання
- прозорий
- Подорож
- викликати
- спрацьовує
- Типи
- типово
- розуміти
- створеного
- блок
- Оновити
- оновлений
- Updates
- оновлення
- використання
- використання випадку
- користувачі
- використовувати
- ПЕРЕВІР
- підтверджено
- перевірка достовірності
- значення
- варіант
- різний
- версія
- через
- viable
- теплий
- вага
- Що
- Що таке
- який
- в той час як
- волі
- в
- жінки
- працював
- Робочі процеси
- працює
- б
- лист
- років
- Ти
- вашу
- зефірнет