Це другий допис із серії з чотирьох частин, де детально описано, як це зробити Група NatWest, велика установа фінансових послуг, партнером якої є Професійні послуги AWS створити нову платформу операцій машинного навчання (MLOps). У цій публікації ми розповідаємо про те, як NatWest Group використовувала AWS для самостійного розгортання своєї стандартизованої, безпечної та сумісної платформи MLOps за допомогою Каталог послуг AWS та Amazon SageMaker. Це призвело до скорочення часу, необхідного для створення нового середовища, з днів до кількох годин.
Ми вважаємо, що особи, які приймають рішення, можуть скористатися цим вмістом. Технічні директори, CDAO, старші спеціалісти з обробки даних і старші хмарні інженери можуть наслідувати цей шаблон, щоб надавати інноваційні рішення для своїх команд з обробки даних та інженерів.
Читати всю серію:
|
Технології в NatWest Group
NatWest Group – це банк зв’язків із цифровим світом, який надає фінансові послуги понад 19 мільйонам клієнтів у Великобританії. Група має різноманітне технологічне портфоліо, де рішення для бізнес-завдань часто постачаються за допомогою індивідуальних конструкцій і в тривалі терміни.
Нещодавно NatWest Group прийняла стратегію орієнтації на хмару, яка дозволила компанії використовувати керовані сервіси для надання обчислювальних ресурсів і ресурсів зберігання на вимогу. Цей крок призвів до покращення загальної стабільності, масштабованості та продуктивності бізнес-рішень, одночасно зменшивши витрати та прискоривши темп доставки. Крім того, перехід до хмари дозволяє NatWest Group спростити свій технологічний набір, застосувавши набір узгоджених, повторюваних і попередньо схвалених проектів рішень, які відповідають нормативним вимогам і функціонують у контрольований спосіб.
Виклики
Пілотні етапи впровадження підходу «спершу хмара» включали кілька етапів експериментування та оцінки з використанням широкого спектру аналітичні послуги на AWS. Перші ітерації хмарної платформи NatWest Group для наукових навантажень даних зіткнулися з проблемами надання узгоджених, безпечних і сумісних хмарних середовищ. Процес створення нових середовищ займав від кількох днів до тижнів і навіть місяців. Покладення на команди центральної платформи для створення, надання, захисту, розгортання та керування інфраструктурою та джерелами даних ускладнювало залучення нових команд до роботи в хмарі.
Через різницю в конфігурації інфраструктури в облікових записах AWS команди, які вирішили перенести свої робочі навантаження в хмару, повинні були пройти через складний процес відповідності. Кожен компонент інфраструктури потрібно було аналізувати окремо, що збільшило терміни аудиту безпеки.
Початок роботи з розробкою в AWS передбачав ознайомлення з набором посібників з документації, написаних командами платформи. Початкові кроки налаштування середовища включали керування відкритими та закритими ключами для автентифікації, налаштування підключень до віддалених служб за допомогою Інтерфейс командного рядка AWS (AWS CLI) або SDK з локальних середовищ розробки, а також запуск спеціальних сценаріїв для підключення локальних IDE до хмарних служб. Технічні проблеми часто ускладнювали залучення нових членів команди. Після налаштування середовищ розробки шлях до випуску програмного забезпечення у виробництво був таким же складним і тривалим.
Як описано в Частині 1 цієї серії, об’єднана проектна команда зібрала велику кількість відгуків про досвід користувачів і вимоги від команд усієї NatWest Group до створення нової платформи Data Science і MLOps. Загальною темою цього відгуку була потреба в автоматизації та стандартизації як передумові для швидкого й ефективного виконання проектів на AWS. Нова платформа використовує керовані сервіси AWS для оптимізації витрат, скорочення зусиль, пов’язаних з конфігурацією платформи, і зменшення викидів вуглекислого газу від виконання надмірно великих обчислювальних завдань. Стандартизація вбудована в серце платформи з попередньо схваленими, повністю налаштованими, безпечними, сумісними та багаторазово використовуваними компонентами інфраструктури, якими можуть спільно користуватися команди обробки даних і аналітики.
Чому SageMaker Studio?
Команда вибрала Студія Amazon SageMaker як основний інструмент для побудови та розгортання конвеєрів ML. Studio надає єдиний веб-інтерфейс, який надає користувачам повний доступ, контроль і видимість кожного кроку, необхідного для створення, навчання та розгортання моделей. Зрілість Studio IDE (інтегрованого середовища розробки) для розробки моделей, відстеження метаданих, керування артефактами та розгортання були одними з особливостей, які сильно сподобалися команді NatWest Group.
Науковці з обробки даних із NatWest Group працюють із записними книжками SageMaker у Studio на початкових етапах розробки моделі, щоб виконувати аналіз даних, суперечки з даними та розробку функцій. Після того, як користувачі будуть задоволені результатами цієї початкової роботи, код легко перетворюється на складові функції для перетворення даних, навчання моделі, висновків, журналювання та модульних тестів, щоб він був готовий до використання.
Наступні етапи життєвого циклу розробки моделі передбачають використання Трубопроводи Amazon SageMaker, які можна візуально перевіряти та контролювати в Studio. Конвеєри візуалізуються в DAG (спрямований ациклічний графік), який позначає кроки кольором на основі їх стану під час роботи конвеєра. Крім того, короткий зміст Журнали Amazon CloudWatch відображається поруч із DAG, щоб полегшити налагодження невдалих кроків. Фахівцям із обробки даних надається шаблон коду, що складається з усіх базових кроків конвеєра SageMaker. Це забезпечує стандартизовану структуру (узгоджену для всіх користувачів платформи для полегшення співпраці та обміну знаннями), до якої розробники можуть додавати спеціальну логіку та програмний код, що відповідає бізнес-завданню, яке вони вирішують.
Розробники запускають конвеєри в Studio IDE, щоб забезпечити правильну інтеграцію змін коду з іншими етапами конвеєра. Після перегляду та схвалення змін коду ці конвеєри створюються та запускаються автоматично на основі тригера гілки головного сховища Git. Під час навчання моделі показники оцінки моделі зберігаються та відстежуються в SageMaker Experiments, які можна використовувати для налаштування гіперпараметрів. Після навчання моделі артефакт моделі зберігається в Реєстр моделі SageMaker, разом із метаданими, пов’язаними з контейнерами моделі, даними, які використовуються під час навчання, функціями моделі та кодом моделі. Реєстр моделі відіграє ключову роль у процесі розгортання моделі, оскільки він упаковує всю інформацію про модель і дозволяє автоматизувати просування моделі у виробничі середовища.
Інженери MLOps керують розгортанням Завдання пакетного перетворення SageMaker, який масштабується відповідно до вимог робочого навантаження. Як офлайн-пакетні завдання логічного висновку, так і онлайн-моделі, які обслуговуються через кінцеву точку, використовують функцію керованого висновку SageMaker. Це приносить користь як платформам, так і командам бізнес-додатків, оскільки інженери платформи більше не витрачають час на налаштування компонентів інфраструктури для виведення моделі, а групи бізнес-додатків не пишуть додатковий шаблонний код для налаштування обчислювальних екземплярів і взаємодії з ними.
Чому AWS Service Catalog?
Команда обрала AWS Service Catalog для створення каталогу безпечних, сумісних і попередньо схвалених шаблонів інфраструктури. Компоненти інфраструктури в продукті AWS Service Catalog попередньо налаштовані відповідно до вимог безпеки NatWest Group. Управління доступом до ролей, політика ресурсів, конфігурація мережі та політики централізованого контролю налаштовуються для кожного ресурсу, який міститься в продукті AWS Service Catalog. Версії продуктів надаються групам додатків за допомогою стандартного процесу, який дає змогу командам із обробки даних та інженерам самостійно обслуговувати та розгортати інфраструктуру одразу після отримання доступу до своїх облікових записів AWS.
Команди розробників платформи можуть з часом легко розвивати продукти AWS Service Catalog, щоб забезпечити реалізацію нових функцій на основі бізнес-вимог. Ітераційні зміни до продуктів вносяться за допомогою версії продукту AWS Service Catalog. Коли виходить нова версія продукту, команда платформи об’єднує зміни коду в основну гілку Git і збільшує версію продукту AWS Service Catalog. Існує певний ступінь автономії та гнучкості в оновленні інфраструктури, оскільки облікові записи бізнес-додатків можуть використовувати попередні версії продуктів, перш ніж вони перейдуть на останню версію.
Огляд рішення
На наступній діаграмі високорівневої архітектури показано, як типовий варіант використання бізнес-додатку розгортається на AWS. У наступних розділах докладніше розповідається про архітектуру облікового запису, розгортання інфраструктури, керування доступом користувачів і використання різних служб AWS для створення рішень ML.
Як показано на схемі архітектури, облікові записи дотримуються моделі концентратора та спіці. Спільний обліковий запис платформи служить обліковим записом концентратора, де ресурси, необхідні обліковим записам команди бізнес-додатків (spoke), розміщуються командою платформи. Ці ресурси включають наступне:
- Бібліотека безпечних, стандартизованих інфраструктурних продуктів, які використовуються для розгортання інфраструктури самообслуговування, розміщена в AWS Service Catalog
- Зображення Docker, збережені в Реєстр контейнерів Amazon Elastic (Amazon ECR), які використовуються під час виконання кроків конвеєра SageMaker і виведення моделі
- Артефакт коду AWS репозиторії, в яких розміщені попередньо схвалені пакети Python
Ці ресурси автоматично надаються спільним обліковим записам за допомогою функції спільного використання та імпорту портфоліо каталогу послуг AWS, а також Управління ідентифікацією та доступом AWS (IAM) політики довіри як у випадку Amazon ECR, так і CodeArtifact.
Кожна команда бізнес-додатків має три облікові записи AWS в інфраструктурному середовищі NatWest Group: розробка, підготовка та виробництво. Назви середовища вказують на передбачувану роль облікового запису в життєвому циклі розробки даних. Обліковий запис розробки використовується для виконання аналізу даних і суперечок, написання моделі та коду конвеєра моделі, навчання моделей і ініціювання розгортання моделей у підготовчих і виробничих середовищах через SageMaker Studio. Підготовчий обліковий запис відображає налаштування виробничого облікового запису та використовується для тестування розгортань моделей і завдань пакетного перетворення перед їх випуском у виробництво. Виробничий обліковий запис розміщує моделі та запускає робочі навантаження виробництва.
Керування користувачами
NatWest Group має суворі процеси управління для забезпечення поділу ролей користувачів. Для кожного користувача було створено п’ять окремих ролей IAM.
Команда платформи використовує такі ролі:
- Інженер з підтримки платформи – Ця роль містить дозволи для звичайних завдань і перегляд решти середовища лише для читання для моніторингу та налагодження платформи.
- Інженер з ремонту платформи – Ця роль була створена з підвищеними дозволами. Він використовується, якщо є проблеми з платформою, які вимагають ручного втручання. Ця роль виконується лише в затвердженому та обмеженому за часом порядку.
Групи розробників бізнес-додатків мають три різні ролі:
- Технічне керівництво – Ця роль призначається керівнику групи застосування, часто старшому спеціалісту з обробки даних. Цей користувач має дозвіл розгортати та керувати продуктами AWS Service Catalog, ініціювати випуски у виробництво та переглядати статус середовища, наприклад AWS CodePipeline статуси та журнали. Ця роль не має дозволу на затвердження моделі в реєстрі моделей SageMaker.
- Розробник – Ця роль призначається всім членам команди, які працюють із SageMaker Studio, до якої входять інженери, спеціалісти з обробки даних і часто керівник команди. Ця роль має дозволи відкривати Studio, писати код, запускати й розгортати конвеєри SageMaker. Як і технічний керівник, ця роль не має дозволу на затвердження моделі в реєстрі моделей.
- Затверджувач моделі – Ця роль має обмежені дозволи щодо перегляду, затвердження та відхилення моделей у реєстрі моделей. Причина такого відокремлення полягає в тому, щоб запобігти будь-яким користувачам, які можуть створювати та навчати моделі, затверджувати та випускати власні моделі в середовищах ескалації.
Для розробників і тих, хто затверджує моделі, створюються окремі профілі користувачів Studio. Рішення використовує комбінацію заяв про політику IAM і тегів профілю користувача SageMaker, щоб користувачам було дозволено відкривати лише профіль користувача, який відповідає їхньому типу. Це гарантує, що користувачеві призначено правильну роль IAM для виконання SageMaker (і, отже, дозволи), коли він відкриває Studio IDE.
Розгортання самообслуговування за допомогою каталогу послуг AWS
Кінцеві користувачі використовують AWS Service Catalog для розгортання продуктів інфраструктури науки про дані, наприклад:
- Студійне середовище
- Профілі користувачів Studio
- Конвеєри розгортання моделі
- Навчальні конвеєри
- Конвеєри висновку
- Система моніторингу та оповіщення
Кінцеві користувачі розгортають ці продукти безпосередньо через інтерфейс каталогу послуг AWS, тобто менше покладаються на команди центральної платформи для створення середовищ. Це значно скоротило час, потрібний користувачам для отримання доступу до нових хмарних середовищ, з кількох днів до лише кількох годин, що в кінцевому підсумку призвело до значного покращення часу до отримання вартості. Використання загального набору продуктів AWS Service Catalog підтримує узгодженість проектів у межах підприємства та знижує бар’єр для співпраці та повторного використання.
Оскільки вся інфраструктура науки про дані зараз розгортається за допомогою централізовано розробленого каталогу інфраструктурних продуктів, ми приділили увагу створенню кожного з цих продуктів з урахуванням безпеки. Сервіси налаштовано для спілкування всередині Віртуальна приватна хмара Amazon (Amazon VPC), щоб трафік не проходив через загальнодоступний Інтернет. Дані шифруються під час передавання та використання Служба управління ключами AWS (AWS KMS). Ролі IAM також налаштовано відповідно до принципу найменших привілеїв.
Нарешті, за допомогою AWS Service Catalog команда платформи може легко випускати нові продукти та послуги, коли вони стають доступними або вимагаються командами бізнес-додатків. Вони можуть приймати форму нових інфраструктурних продуктів, наприклад, надаючи можливість кінцевим користувачам розгортати власні Amazon EMR кластери або оновлення існуючих продуктів інфраструктури. Оскільки AWS Service Catalog підтримує версії продукту та використовує AWS CloudFormation за лаштунками можна використовувати оновлення на місці, коли випускаються нові версії існуючих продуктів. Це дозволяє командам платформи зосередитися на створенні та вдосконаленні продуктів, а не на розробці складних процесів оновлення.
Інтеграція з існуючим програмним забезпеченням NatWest IaC
AWS Service Catalog використовується для розгортання інфраструктури наукових даних із самообслуговуванням. Крім того, для створення інфраструктури в облікових записах AWS використовується стандартний інструмент NatWest інфраструктура як код (IaC), Terraform. Terraform використовується командами платформ під час початкового процесу налаштування облікового запису для розгортання необхідних інфраструктурних ресурсів, таких як VPC, групи безпеки, Менеджер систем AWS параметри, ключі KMS і стандартні елементи керування безпекою. Інфраструктура в обліковому записі концентратора, наприклад портфоліо AWS Service Catalog і ресурси, що використовуються для створення образів Docker, також визначаються за допомогою Terraform. Однак самі продукти AWS Service Catalog створені за допомогою стандартних шаблонів CloudFormation.
Підвищення продуктивності розробника та якості коду за допомогою проектів SageMaker
Проекти SageMaker надайте розробникам і дослідникам даних доступ до проектів швидкого запуску, не виходячи з SageMaker Studio. Ці проекти швидкого старту дозволяють розгортати кілька інфраструктурних ресурсів одночасно всього за кілька кліків. Вони включають репозиторій Git, що містить стандартизований шаблон проекту для вибраного типу моделі, Служба простого зберігання Amazon (Amazon S3) сегменти для зберігання даних, серіалізованих моделей і артефактів, а також конвеєрів CodePipeline для навчання моделей і висновків.
Запровадження стандартизованої архітектури базового коду та інструментів тепер полегшує науковцям та інженерам з обробки даних перехід між проектами та гарантує, що якість коду залишається високою. Наприклад, найкращі методи розробки програмного забезпечення, такі як перевірки лінінгу та форматування (запускаються як автоматичні перевірки, так і як перехоплення перед фіксацією), модульні тести та звіти про покриття, тепер автоматизовані як частина навчальних конвеєрів, забезпечуючи стандартизацію в усіх проектах. Це покращило технічне обслуговування проектів ML і спростило переміщення цих проектів у виробництво.
Автоматизація розгортання моделі
Процес навчання моделі керується за допомогою SageMaker Pipelines. Після навчання моделей вони зберігаються в реєстрі моделей SageMaker. Користувачі, яким призначено роль затверджувача моделі, можуть відкрити реєстр моделі та знайти інформацію, пов’язану з процесом навчання, наприклад, коли модель було навчено, значення гіперпараметрів і показники оцінювання. Ця інформація допомагає користувачеві вирішити, схвалити чи відхилити модель. Відхилення моделі запобігає розгортанню моделі в середовищі ескалації, тоді як схвалення моделі запускає конвеєр просування моделі через CodePipeline, який автоматично копіює модель у попередній випуск облікового запису AWS, готовий для тестування робочого навантаження. Після того, як команда підтвердить, що модель працює належним чином на підготовчому етапі виробництва, затверджується ручний крок у тому самому конвеєрі, і модель автоматично копіюється в робочий обліковий запис, готовий для робочих навантажень, що визначають виробництво.
Результати
Однією з головних цілей цього спільного проекту між NatWest і AWS було скорочення часу, необхідного для надання та розгортання хмарних середовищ науки про дані та моделей машинного навчання у виробництві. Це було досягнуто — тепер NatWest може створити нове, масштабоване та безпечне середовище AWS за лічені години порівняно з днями чи навіть тижнями. Науковці та інженери з обробки даних тепер мають право самостійно розгортати інфраструктуру науки про дані та керувати нею за допомогою каталогу послуг AWS, що зменшує залежність від команд централізованих платформ. Крім того, використання проектів SageMaker дозволяє користувачам розпочати кодування та навчання моделей за лічені хвилини, а також забезпечить стандартизовані структури проекту та інструменти.
Оскільки AWS Service Catalog є центральним методом розгортання інфраструктури науки про дані, платформу можна легко розширити та оновити в майбутньому. Нові послуги AWS можна швидко запропонувати кінцевим користувачам, коли виникне потреба, а наявні продукти AWS Service Catalog можна оновити на місці, щоб скористатися перевагами нових функцій.
Нарешті, перехід до керованих послуг на AWS означає, що обчислювальні ресурси надаються та вимикаються за вимогою. Це забезпечило економію коштів і гнучкість, а також узгодження з Прагнення NatWest до 2050 року досягти нульової чистої мережі завдяки скороченню CO на 75%.2 викиди.
Висновок
Прийняття стратегії «насамперед хмари» в NatWest Group призвело до створення надійного рішення AWS, яке може підтримувати велику кількість команд бізнес-додатків у всій організації. Управління інфраструктурою за допомогою AWS Service Catalog значно покращило процес адаптації до хмари завдяки використанню безпечних, сумісних і попередньо схвалених будівельних блоків інфраструктури, які можна легко розширити. Керовані компоненти інфраструктури SageMaker покращили процес розробки моделі та прискорили реалізацію проектів ML.
Щоб дізнатися більше про процес створення готових до виробництва моделей машинного навчання в NatWest Group, перегляньте решту цієї серії з чотирьох частин про стратегічну співпрацю між NatWest Group і AWS Professional Services:
- Частина 1 пояснює, як NatWest Group співпрацювала з AWS Professional Services для створення масштабованої, безпечної та стійкої платформи MLOps
- Частина 3 надає огляд того, як NatWest Group використовує послуги SageMaker для створення перевірених, відтворюваних і пояснюваних моделей ML
- Частина 4 докладно розповідає про те, як команди NatWest Data Science переносять свої існуючі моделі на архітектури SageMaker
Про авторів
Джунаїд Баба є консультантом DevOps у Професійні послуги AWS Він використовує свій досвід у Kubernetes, розподілених обчисленнях, AI/MLOps для прискореного впровадження хмарних технологій у британських клієнтів галузі фінансових послуг. Джунейд працює в AWS з червня 2018 року. До цього Джунейд працював із низкою фінансових стартапів, керуючи практиками DevOps. Поза роботою він цікавиться трекінгом, сучасним мистецтвом і фотографією.
Йорданка Іванова є інженером даних у NatWest Group. Вона має досвід створення та надання рішень для обробки даних для компаній у сфері фінансових послуг. До того, як приєднатися до NatWest, Йорданка працювала технічним консультантом, де вона набула досвіду використання різноманітних хмарних сервісів і технологій з відкритим кодом для досягнення бізнес-результатів на кількох хмарних платформах. У вільний час Йорданка любить тренуватися, подорожувати та грати на гітарі.
Майкл Англія є інженером-програмістом у групі Data Science та Innovation у NatWest Group. Він захоплений розробкою рішень для виконання великомасштабних робочих навантажень машинного навчання в хмарі. До того, як приєднатися до NatWest Group, Майкл працював у групах розробників програмного забезпечення та керував ними, розробляючи критично важливі програми для фінансових послуг і індустрії подорожей. У вільний час він любить грати на гітарі, подорожувати та досліджувати сільську місцевість на своєму велосипеді.
- Coinsmart. Найкраща в Європі біржа біткойн та криптовалют.
- Платоблокчейн. Web3 Metaverse Intelligence. Розширені знання. БЕЗКОШТОВНИЙ ДОСТУП.
- CryptoHawk. Альткойн Радар. Безкоштовне випробування.
- Джерело: https://aws.amazon.com/blogs/machine-learning/part-2-how-natwest-group-built-a-secure-compliant-self-service-mlops-platform-using-aws-service- catalog-and-amazon-sagemaker/
- "
- 100
- МЕНЮ
- прискорений
- прискорення
- доступ
- рахунки
- через
- доповнення
- Додатковий
- Прийняття
- Перевага
- ВСІ
- Amazon
- серед
- кількість
- суми
- аналіз
- аналітика
- додаток
- застосування
- підхід
- схвалювати
- архітектура
- Art
- призначений
- аудит
- Authentication
- Автоматизований
- Автоматизація
- Автоматизація та стандартизація
- доступний
- AWS
- Банк
- ставати
- за лаштунками
- буття
- користь
- Переваги
- КРАЩЕ
- передового досвіду
- будувати
- Створюємо
- бізнес
- вуглець
- який
- централізована
- виклик
- проблеми
- Перевірки
- хмара
- Хмарна платформа
- хмарні сервіси
- код
- Кодування
- співробітництво
- поєднання
- загальний
- Компанії
- компанія
- порівняний
- комплекс
- дотримання
- поступливий
- компонент
- обчислення
- обчислення
- конфігурація
- Зв'язки
- консультант
- Контейнер
- Контейнери
- містить
- зміст
- безперестанку
- контроль
- створений
- створення
- створення
- критичний
- виготовлений на замовлення
- Клієнти
- дані
- аналіз даних
- наука про дані
- вчений даних
- поставляється
- надання
- доставка
- Попит
- запити
- розгортання
- розгорнути
- розгортання
- розгортання
- розгортання
- описаний
- конструкцій
- деталь
- деталі
- розвиненою
- Розробник
- розробників
- розвивається
- розробка
- різний
- важкий
- цифровий
- безпосередньо
- розподілений
- розподілені обчислення
- Docker
- Ні
- вниз
- водіння
- легко
- ефективний
- зусилля
- Розробити
- включіть
- Кінцева точка
- інженер
- Машинобудування
- Інженери
- підприємство
- Навколишнє середовище
- оцінка
- оцінка
- еволюціонувати
- приклад
- виконання
- існуючий
- досвід
- особливість
- риси
- зворотний зв'язок
- фінансовий
- фінансові послуги
- Перший
- виправляти
- Гнучкість
- Сфокусувати
- стежити
- після
- Слід
- форма
- Рамки
- функціональність
- майбутнє
- Git
- управління
- Group
- Групи
- Гід
- щасливий
- допомога
- допомагає
- Високий
- Як
- HTTPS
- Особистість
- реалізація
- поліпшений
- включати
- включені
- includes
- збільшений
- промисловості
- промисловість
- інформація
- Інфраструктура
- інновація
- інноваційний
- Установа
- інтегрувати
- інтегрований
- інтереси
- інтерфейс
- інтернет
- залучений
- питання
- IT
- Джобс
- ключ
- ключі
- знання
- великий
- останній
- вести
- УЧИТЬСЯ
- вивчення
- Led
- важелі
- використання
- бібліотека
- обмеженою
- Лінія
- Зв'язуючий
- місцевий
- машина
- навчання за допомогою машини
- made
- основний
- РОБОТИ
- управляти
- вдалося
- управління
- управління
- манера
- керівництво
- Матерія
- зрілість
- сенс
- члени
- Метрика
- мільйона
- mind
- ML
- модель
- Моделі
- моніторинг
- місяців
- більше
- рухатися
- переміщення
- множинний
- Імена
- мережа
- Нові можливості
- Нова платформа
- новий продукт
- нові продукти
- номер
- запропонований
- offline
- На борту
- онлайн
- відкрити
- операції
- Оптимізувати
- організація
- Інше
- загальний
- власний
- приватність
- партнерська
- пристрасний
- Викрійки
- продуктивність
- малюнок
- пілот
- платформа
- Платформи
- ігри
- Політика
- політика
- портфель
- портфелі
- принцип
- приватний
- Приватні ключі
- процес
- процеси
- Product
- Production
- продуктивність
- Продукти
- професійний
- профіль
- Профілі
- проект
- проектів
- просування
- забезпечувати
- забезпечує
- забезпечення
- громадськість
- якість
- Швидко
- швидко
- читання
- зменшити
- зниження
- регуляторні
- відносини
- звільнити
- випущений
- Релізи
- опора
- Звіти
- Сховище
- вимагати
- вимагається
- Вимога
- ресурс
- ресурси
- REST
- результати
- огляд
- Маршрут
- прогін
- біг
- масштабованість
- масштабовані
- шкала
- сцени
- наука
- вчений
- Вчені
- Sdk
- безпечний
- безпеку
- обраний
- Серія
- обслуговування
- Послуги
- комплект
- установка
- Поділитись
- загальні
- значний
- Аналогічно
- простий
- So
- Софтвер
- Інженер-програміст
- розробка програмного забезпечення
- рішення
- Рішення
- витрачати
- Стабільність
- стек
- standard
- стартапів
- почалася
- стан
- заяви
- Статус
- зберігання
- Стратегічний
- Стратегія
- студія
- підтримка
- Опори
- сталого
- система
- Systems
- завдання
- команда
- технічний
- Технології
- Технологія
- Шаблони
- тест
- Тестування
- Тести
- суглоб
- тема
- отже
- через
- час
- інструмент
- до
- Відстеження
- трафік
- Навчання
- Перетворення
- Перетворення
- транзит
- подорожувати
- Подорож
- Довіряйте
- ui
- Uk
- Updates
- використання
- користувачі
- використовувати
- використовує
- різноманітність
- вид
- Віртуальний
- видимість
- Web-Based
- Чи
- в той час як
- ВООЗ
- в
- без
- Work
- працював
- робочий
- розробка
- працює
- світ