Цю публікацію спільно написали Джіоті Шарма та Шармо Саркар із Vericast.
Вирішуючи будь-яку проблему машинного навчання (ML), фахівець з обробки даних починає роботу з даними. Це включає збір, дослідження та розуміння бізнес- і технічних аспектів даних, а також оцінку будь-яких маніпуляцій, які можуть знадобитися для процесу створення моделі. Одним з аспектів цієї підготовки даних є розробка функцій.
Особливість інженерії відноситься до процесу, у якому відповідні змінні ідентифікуються, вибираються та маніпулюються для перетворення необроблених даних у більш корисні та зручні форми для використання з алгоритмом ML, який використовується для навчання моделі та виконання висновків щодо неї. Метою цього процесу є підвищення продуктивності алгоритму та результуючої прогнозної моделі. Процес розробки функцій передбачає кілька етапів, включаючи створення функцій, перетворення даних, вилучення функцій і вибір функцій.
Створення платформи для узагальненої розробки функцій є звичайним завданням для клієнтів, які потребують створення багатьох моделей ML з різними наборами даних. Така платформа включає в себе створення програмно керованого процесу для отримання завершених інженерних даних, готових для навчання моделі з невеликим втручанням людини. Однак розробка узагальнених функцій є складною. Кожна бізнес-проблема різна, кожен набір даних різний, обсяги даних дуже різняться від клієнта до клієнта, а якість даних і часто потужність певного стовпця (у випадку структурованих даних) можуть відігравати значну роль у складності розробки функцій процес. Крім того, динамічний характер даних клієнта також може призвести до великої різниці часу обробки та ресурсів, необхідних для оптимального завершення розробки функцій.
Клієнт AWS Vericast – це компанія з маркетингових рішень, яка приймає рішення на основі даних, щоб підвищити рентабельність маркетингових інвестицій для своїх клієнтів. Внутрішня хмарна платформа машинного навчання Vericast, побудована на основі процесу CRISP-ML(Q), використовує різні сервіси AWS, зокрема Amazon SageMaker, Обробка Amazon SageMaker, AWS Lambda та Функції кроку AWS, щоб створювати найкращі моделі, адаптовані до конкретних даних клієнта. Ця платформа має на меті зафіксувати повторюваність етапів створення різних робочих процесів машинного навчання та об’єднати їх у стандартні узагальнювані модулі робочого процесу на платформі.
У цій публікації ми розповідаємо, як Vericast оптимізував розробку функцій за допомогою SageMaker Processing.
Огляд рішення
Платформа машинного навчання Vericast сприяє швидшому розгортанню нових бізнес-моделей на основі існуючих робочих процесів або швидшій активації існуючих моделей для нових клієнтів. Наприклад, модель, яка передбачає схильність до прямої поштової розсилки, значно відрізняється від моделі, яка передбачає чутливість клієнтів клієнта Vericast до купонів на знижку. Вони вирішують різні бізнес-проблеми і тому мають різні сценарії використання в маркетинговій кампанії. Але з точки зору ML обидві моделі можна тлумачити як двійкові моделі класифікації, і, отже, можуть використовувати багато спільних кроків з точки зору робочого процесу ML, включаючи налаштування та навчання моделі, оцінку, можливість інтерпретації, розгортання та висновок.
Оскільки ці моделі є проблемами бінарної класифікації (з точки зору ML), ми розділяємо клієнтів компанії на два класи (бінарні): ті, які позитивно відреагували б на кампанію, і ті, які б не відреагували. Крім того, ці приклади вважаються незбалансованою класифікацією, оскільки дані, які використовуються для навчання моделі, не містять однакову кількість клієнтів, які б і не відповіли б прихильно.
Фактичне створення такої моделі відбувається за узагальненим шаблоном, показаним на наступній діаграмі.
Більшість цього процесу є однаковою для будь-якої двійкової класифікації, за винятком етапу розробки ознак. Це, мабуть, найскладніший, але іноді не помічений крок у цьому процесі. Моделі ML значною мірою залежать від функцій, які використовуються для їх створення.
Хмарна платформа машинного навчання Vericast має на меті узагальнити й автоматизувати етапи розробки функцій для різних робочих процесів машинного навчання та оптимізувати їхню продуктивність за показником вартості й часу за допомогою таких функцій:
- Інженерна бібліотека функцій платформи – Це складається з постійно розвивається набору перетворень, які були перевірені для отримання високоякісних узагальнених функцій на основі конкретних концепцій клієнта (наприклад, демографічних даних клієнтів, деталей продукту, деталей транзакцій тощо).
- Інтелектуальні оптимізатори ресурсів – Платформа використовує можливості інфраструктури AWS на вимогу, щоб створити найоптимальніший тип ресурсів обробки для конкретної роботи з розробки функцій на основі очікуваної складності етапу та обсягу даних, які потрібно обробити.
- Динамічне масштабування функцій інженерних завдань – Для цього використовується комбінація різних служб AWS, але особливо SageMaker Processing. Це гарантує, що платформа виробляє високоякісні функції в економічно ефективний спосіб і вчасно.
Ця публікація зосереджена навколо третього пункту в цьому списку та показує, як досягти динамічного масштабування завдань обробки SageMaker, щоб створити більш керовану, ефективнішу та економічно ефективнішу структуру обробки даних для великих обсягів даних.
Обробка SageMaker забезпечує робочі навантаження, які виконують етапи попередньої та постобробки даних, розробки функцій, перевірки даних і оцінки моделі на SageMaker. Він також забезпечує кероване середовище та усуває складність недиференційованого підняття важких завдань, необхідного для налаштування та підтримки інфраструктури, необхідної для виконання робочих навантажень. Крім того, SageMaker Processing надає інтерфейс API для запуску, моніторингу та оцінки робочого навантаження.
Запуск завдань обробки SageMaker повністю виконується в межах керованого кластера SageMaker, а окремі завдання поміщаються в контейнери екземплярів під час виконання. Керований кластер, екземпляри та контейнери звітують про показники Amazon CloudWatch, включаючи використання графічного процесора, центрального процесора, пам’яті, пам’яті графічного процесора, показників диска та журналювання подій.
Ці функції надають переваги інженерам і науковцям Vericast, допомагаючи в розробці узагальнених робочих процесів попередньої обробки та абстрагуючи труднощі підтримки створених середовищ, у яких їх можна запускати. Однак можуть виникнути технічні проблеми, враховуючи динамічну природу даних і їх різноманітні характеристики, які можна ввести в таке загальне рішення. Система повинна зробити обґрунтоване початкове припущення щодо розміру кластера та екземплярів, які його складають. Це припущення потребує оцінки критеріїв даних і визначення вимог до ЦП, пам’яті та диска. Це припущення може бути цілком доречним і відповідним для роботи, але в інших випадках воно може бути ні. Для заданого набору даних і завдання попередньої обробки ЦП може бути заниженим, що призведе до максимальної продуктивності обробки та тривалого часу для завершення. Що ще гірше, пам’ять може стати проблемою, що призведе до низької продуктивності або подій браку пам’яті, що призведе до збою всієї роботи.
З огляду на ці технічні перешкоди, Vericast вирішив створити рішення. Вони повинні були залишатися загальними за своєю суттю та вписуватися в ширшу картину робочого процесу попередньої обробки, будучи гнучкими у відповідних кроках. Також було важливо вирішити як потенційну потребу в масштабуванні середовища у випадках, коли продуктивність була скомпрометована, так і плавне відновлення після такої події або коли роботу було завершено передчасно з будь-якої причини.
Рішення, створене компанією Vericast для вирішення цієї проблеми, використовує кілька служб AWS, які працюють разом для досягнення своїх бізнес-цілей. Він був розроблений для перезапуску та розширення кластера SageMaker Processing на основі показників продуктивності, які спостерігаються за допомогою функцій Lambda, що відстежують завдання. Щоб не втратити роботу під час події масштабування або відновити роботу після несподіваної зупинки, було запроваджено службу на основі контрольних точок, яка використовує Amazon DynamoDB і зберігає частково оброблені дані Служба простого зберігання Amazon (Amazon S3) відра після завершення кроків. Кінцевим результатом є надійне рішення з автоматичним масштабуванням і динамічним моніторингом.
На наступній діаграмі показано загальний огляд того, як працює система.
У наступних розділах ми докладніше обговорюємо компоненти рішення.
Ініціалізація рішення
Система передбачає, що окремий процес ініціює рішення. І навпаки, цей дизайн не призначений для окремої роботи, оскільки він не створюватиме жодних артефактів чи виводу, а скоріше діє як допоміжна реалізація однієї із систем, які використовують завдання обробки SageMaker. У випадку Vericast рішення ініціюється за допомогою виклику кроку Step Functions, запущеного в іншому модулі більшої системи.
Після запуску рішення та запуску першого запуску базова стандартна конфігурація зчитується з таблиці DynamoDB. Ця конфігурація використовується для встановлення параметрів для завдання SageMaker Processing і містить початкові припущення потреб інфраструктури. Завдання обробки SageMaker розпочато.
Моніторинг метаданих і результатів
Коли завдання починається, функція Lambda записує метадані обробки завдання (поточну конфігурацію завдання та іншу інформацію журналу) у таблицю журналу DynamoDB. Ці метадані та інформація журналу зберігають історію завдання, його початкову та поточну конфігурацію та інші важливі дані.
У певні моменти, після завершення кроків завдання, дані контрольних точок додаються до таблиці журналу DynamoDB. Оброблені вихідні дані переміщуються в Amazon S3 для швидкого відновлення за потреби.
Ця лямбда-функція також налаштовує Amazon EventBridge правило, яке відстежує стан запущеного завдання. Зокрема, це правило спостерігає за роботою, щоб спостерігати, чи змінюється статус роботи на stopping
або знаходиться в a stopped
стан. Це правило EventBridge відіграє важливу роль у перезапуску завдання, якщо сталася помилка або запланована подія автоматичного масштабування.
Моніторинг показників CloudWatch
Функція Lambda також встановлює будильник CloudWatch на основі математичних виразів метрики в завданні обробки, який відстежує показники всіх екземплярів щодо використання ЦП, використання пам’яті та використання диска. Цей тип тривоги (метрики) використовує порогові значення тривоги CloudWatch. Сигналізація генерує події на основі значення метрики або виразу відносно порогових значень протягом кількох періодів часу.
У випадку використання Vericast пороговий вираз призначений для розгляду екземплярів драйвера та виконавця як окремих, із моніторингом показників окремо для кожного. Розділивши їх, Vericast визначає, що викликає тривогу. Це важливо, щоб вирішити, як відповідно масштабувати:
- Якщо показники виконавця перевищують порогове значення, добре масштабувати горизонтально
- Якщо показники драйвера перевищують порогове значення, масштабування по горизонталі, ймовірно, не допоможе, тому ми повинні масштабувати по вертикалі
Вираз метрики тривоги
Vericast може отримати доступ до таких показників у своїй оцінці масштабування та помилок:
- CPUUtilization – Сума використання кожного окремого ядра ЦП
- Використання пам'яті – Відсоток пам’яті, який використовується контейнерами екземпляра
- DiskUtilization – Відсоток дискового простору, який використовується контейнерами екземпляра
- Використання GPU – Відсоток одиниць GPU, які використовуються контейнерами в екземплярі
- GPUMemoryUtilization – Відсоток пам’яті графічного процесора, який використовується контейнерами в екземплярі
На момент написання цієї статті Vericast розглядає лише CPUUtilization
, MemoryUtilization
та DiskUtilization
. У майбутньому вони мають намір розглянути GPUUtilization
та GPUMemoryUtilization
а.
Наступний код є прикладом будильника CloudWatch на основі метричного математичних виразів для автоматичного масштабування Vericast:
Цей вираз ілюструє, що розглядається будильник CloudWatch DriverMemoryUtilization (memoryDriver)
, CPUUtilization (cpuDriver)
, DiskUtilization (diskDriver)
, ExecutorMemoryUtilization (memoryExec)
, CPUUtilization (cpuExec)
та DiskUtilization (diskExec)
як показники моніторингу. Число 80 у попередньому виразі означає порогове значення.
Тут, IF((cpuDriver) > 80, 1, 0
означає, що якщо використання ЦП драйвера перевищує 80%, 1 призначається як порогове значення, інакше 0. IF(AVG(METRICS("memoryExec")) > 80, 1, 0
означає, що всі метрики з рядком memoryExec
у ньому враховуються і на основі цього обчислюється середнє значення. Якщо середній відсоток використання пам’яті перевищує 80, 1 призначається як порогове значення, інакше 0.
Логічний оператор OR
використовується у виразі для об’єднання всіх використань у виразі — якщо будь-яке використання досягне порогового значення, активується сигнал тривоги.
Щоб отримати додаткові відомості про використання метричних сигналів CloudWatch на основі метричних математичних виразів, див Створення будильника CloudWatch на основі метричного математичних виразів.
Обмеження сигналізації CloudWatch
CloudWatch обмежує кількість показників для кожного будильника до 10. Це може спричинити обмеження, якщо вам потрібно враховувати більше показників, ніж це.
Щоб подолати це обмеження, Vericast встановив сигнали тривоги на основі загального розміру кластера. Одне нагадування створюється для трьох випадків (для трьох випадків буде одне нагадування, оскільки це додасть до дев’яти показників). Якщо припустити, що екземпляр драйвера слід розглядати окремо, для екземпляра драйвера створюється інший окремий сигнал. Таким чином, загальна кількість створених нагадувань приблизно еквівалентна одній третині кількості вузлів-виконавців і додатковому одному для примірника драйвера. У кожному випадку кількість метрик на нагадування не перевищує 10 метричних обмежень.
Що відбувається в стані тривоги
Якщо заданий поріг досягнуто, сигнал тривоги переходить до an alarm
держава, яка використовує Служба простих сповіщень Amazon (Amazon SNS), щоб надсилати сповіщення. У цьому випадку він надсилає сповіщення електронною поштою всім абонентам із детальною інформацією про тривогу в повідомленні.
Amazon SNS також використовується як тригер для функції Lambda, яка зупиняє поточне завдання SageMaker Processing, оскільки ми знаємо, що завдання, ймовірно, не вдасться. Ця функція також записує журнали до таблиці журналів, пов’язаної з подією.
Правило EventBridge, встановлене на початку завдання, помітить, що завдання перейшло в a stopping
через кілька секунд. Потім це правило повторно запускає першу лямбда-функцію, щоб перезапустити завдання.
Процес динамічного масштабування
Перша лямбда-функція після виконання двох або більше разів знатиме, що попереднє завдання вже було розпочато, а тепер зупинено. Функція проходитиме подібний процес отримання базової конфігурації з вихідного завдання в журналі таблиці DynamoDB, а також отримуватиме оновлену конфігурацію з внутрішньої таблиці. Ця оновлена конфігурація є дельта-конфігурацією ресурсів, яка встановлюється на основі типу масштабування. Тип масштабування визначається на основі метаданих нагадування, як описано раніше.
Початкова конфігурація та дельта ресурсів використовуються, оскільки нова конфігурація та нове завдання обробки SageMaker запускаються зі збільшеними ресурсами.
Цей процес триває, доки завдання не буде успішно завершено, і може призвести до кількох перезапусків за потреби, щоразу додаючи додаткові ресурси.
Результат Vericast
Це індивідуальне рішення для автоматичного масштабування допомогло зробити платформу машинного навчання Vericast більш надійною та відмовостійкою. Тепер платформа може витончено обробляти робочі навантаження різних обсягів даних з мінімальним втручанням людини.
Перед запровадженням цього рішення оцінка потреб у ресурсах для всіх модулів на базі Spark у конвеєрі була одним із найбільших вузьких місць у процесі адаптації нового клієнта. Робочі процеси зазнають збою, якщо обсяг даних клієнта збільшиться, або вартість буде невиправданою, якщо обсяг даних зменшиться у виробництві.
Завдяки цьому новому модулю кількість збоїв робочого процесу через обмеження ресурсів зменшилася майже на 80%. Кілька збоїв, які залишилися, здебільшого пов’язані з обмеженнями облікового запису AWS і поза процесом автоматичного масштабування. Найбільшою перевагою Vericast із цим рішенням є легкість, з якою вони можуть залучати нових клієнтів і робочі процеси. Vericast розраховує прискорити процес принаймні на 60–70%, а остаточну кількість даних ще потрібно зібрати.
Незважаючи на те, що Vericast вважає це успіхом, це пов’язано з витратами. Виходячи з природи цього модуля та концепції динамічного масштабування в цілому, робочі процеси зазвичай займають приблизно на 30% довше (у середньому), ніж робочі процеси зі спеціально налаштованим кластером для кожного модуля в робочому процесі. Vericast продовжує оптимізувати цю сферу, намагаючись покращити рішення, включивши ініціалізацію ресурсів на основі евристики для кожного клієнтського модуля.
Шармо Саркар, старший менеджер платформи машинного навчання у Vericast, каже: «Оскільки ми продовжуємо розширювати наше використання AWS і SageMaker, я хотів би використати момент, щоб підкреслити неймовірну роботу нашої команди обслуговування клієнтів AWS, відданих архітекторів рішень AWS, і AWS Professional Services, з якими ми співпрацюємо. Їх глибоке розуміння AWS і SageMaker дозволило нам розробити рішення, яке відповідало б усім нашим потребам і забезпечувало гнучкість і масштабованість, які нам потрібні. Ми дуже вдячні за те, що на нашому боці є така талановита й обізнана команда підтримки».
Висновок
У цій публікації ми поділилися тим, як SageMaker і SageMaker Processing дозволили Vericast створити керовану, ефективну та економічно ефективну структуру обробки даних для великих обсягів даних. Поєднуючи потужність і гнучкість SageMaker Processing з іншими службами AWS, вони можуть легко контролювати узагальнений процес розробки функцій. Вони можуть автоматично виявляти потенційні проблеми, спричинені браком обчислювальної техніки, пам’яті та іншими факторами, і за потреби автоматично впроваджувати вертикальне та горизонтальне масштабування.
SageMaker і його інструменти також можуть допомогти вашій команді досягти цілей МЛ. Щоб дізнатися більше про обробку SageMaker і про те, як вона може допомогти вам у роботі з обробкою даних, див Дані обробки. Якщо ви тільки починаєте працювати з машинним навчанням і шукаєте приклади та вказівки, Amazon SageMaker JumpStart може допомогти вам почати. JumpStart — це центр ML, з якого ви можете отримати доступ до вбудованих алгоритмів із попередньо навченими базовими моделями, які допоможуть вам виконувати такі завдання, як узагальнення статей і створення зображень, а також готові рішення для вирішення поширених випадків використання.
Нарешті, якщо ця публікація допоможе вам або надихне вас вирішити проблему, ми будемо раді почути про це! Будь ласка, поділіться своїми коментарями та відгуками.
Про авторів
Ентоні МакКлюр є старшим архітектором партнерських рішень у команді AWS SaaS Factory. Ентоні також сильно зацікавлений у машинному навчанні та штучному інтелекті, співпрацюючи з спільнотою технічних спеціалістів AWS ML/AI, щоб допомогти клієнтам реалізувати їхні рішення машинного навчання.
Джіоті Шарма є інженером з обробки даних у команді платформи машинного навчання у Vericast. Вона захоплена всіма аспектами науки про дані та зосереджена на розробці та впровадженні високомасштабованої та розподіленої платформи машинного навчання.
Шармо Саркар є старшим менеджером у Vericast. Він очолює групи досліджень і розробок платформи Cloud Machine Learning Platform і Marketing Platform ML у Vericast. Він має великий досвід у аналітиці великих даних, розподілених обчисленнях і обробці природної мови. Поза роботою він захоплюється їздою на мотоциклі, пішим туризмом і велосипедом по гірських стежках.
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- PlatoAiStream. Web3 Data Intelligence. Розширення знань. Доступ тут.
- Карбування майбутнього з Адріенн Ешлі. Доступ тут.
- Купуйте та продавайте акції компаній, які вийшли на IPO, за допомогою PREIPO®. Доступ тут.
- джерело: https://aws.amazon.com/blogs/machine-learning/how-vericast-optimized-feature-engineering-using-amazon-sagemaker-processing/
- : має
- :є
- : ні
- :де
- $UP
- 1
- 10
- 100
- 15%
- 7
- a
- МЕНЮ
- доступ
- відповідно
- рахунки
- Achieve
- Активація
- акти
- додавати
- доданий
- додати
- Додатковий
- адекватно
- після
- проти
- посібник
- Цілі
- тривога
- алгоритм
- алгоритми
- ВСІ
- тільки
- по
- вже
- Також
- Amazon
- Amazon SageMaker
- кількість
- an
- аналітика
- та
- Інший
- Ентоні
- будь-який
- API
- відповідний
- архітектура
- ЕСТЬ
- ПЛОЩА
- навколо
- стаття
- штучний
- штучний інтелект
- AS
- зовнішній вигляд
- аспекти
- призначений
- допомогу
- At
- автоматичний
- автоматизувати
- автоматично
- середній
- AWS
- Професійні послуги AWS
- база
- заснований
- BE
- оскільки
- ставати
- було
- буття
- Переваги
- КРАЩЕ
- За
- Великий
- Великий даних
- найбільший
- підвищення
- обидва
- Приведення
- будувати
- Створюємо
- побудований
- вбудований
- бізнес
- але
- by
- розрахований
- call
- Кампанія
- CAN
- Може отримати
- захопивши
- випадок
- випадків
- Викликати
- викликаючи
- певний
- складні
- Зміни
- клас
- класів
- класифікація
- клієнт
- клієнтський борт
- клієнтів
- хмара
- кластер
- код
- Колонка
- поєднання
- об'єднання
- приходить
- коментарі
- загальний
- співтовариство
- компанія
- повний
- Завершує
- складність
- складний
- Компоненти
- Компрометація
- обчислення
- обчислення
- концепція
- поняття
- конфігурація
- Вважати
- вважається
- беручи до уваги
- вважає
- обмеження
- містити
- Контейнери
- продовжувати
- триває
- Коштувати
- рентабельним
- може
- купон
- створювати
- створений
- створення
- Критерії
- Перетинати
- Поточний
- В даний час
- виготовлений на замовлення
- клієнт
- Клієнти
- дані
- Analytics даних
- Підготовка даних
- обробка даних
- наука про дані
- вчений даних
- керовані даними
- набори даних
- вирішувати
- рішення
- присвячених
- глибокий
- Дельта
- Демографічна
- залежний
- розгортання
- описаний
- дизайн
- призначений
- проектування
- деталь
- деталі
- певний
- розробка
- різний
- відрізняються
- трудність
- прямий
- Знижка
- обговорювати
- розподілений
- розподілені обчислення
- керований
- водій
- два
- динамічний
- динамічно
- кожен
- Раніше
- простота
- легко
- або
- включений
- дозволяє
- інженер
- Машинобудування
- Інженери
- гарантує
- Весь
- Навколишнє середовище
- середовищах
- рівним
- Еквівалент
- оцінювати
- оцінки
- оцінка
- Event
- Події
- приклад
- Приклади
- Крім
- існуючий
- Розширювати
- очікуваний
- чекає
- досвід
- Дослідження
- вирази
- обширний
- Великий досвід
- фактори
- завод
- FAIL
- Провал
- особливість
- риси
- Fed
- зворотний зв'язок
- кілька
- поле
- остаточний
- завершено
- Перший
- відповідати
- Гнучкість
- гнучкий
- увагу
- після
- слідує
- для
- форми
- фонд
- Рамки
- від
- повністю
- функція
- Функції
- Крім того
- майбутнє
- збір
- Загальне
- генерується
- генерує
- покоління
- отримати
- отримання
- даний
- Go
- мета
- Цілі
- йде
- добре
- GPU
- вдячний
- керівництво
- було
- обробляти
- відбувається
- Мати
- має
- he
- чути
- важкий
- важкий підйом
- допомога
- допомагає
- на вищому рівні
- високоякісний
- Виділіть
- дуже
- історія
- Горизонтальний
- горизонтально
- Як
- How To
- Однак
- HTML
- HTTP
- HTTPS
- Концентратор
- людина
- Перешкоди
- i
- ідентифікований
- if
- ілюструє
- зображення
- здійснювати
- реалізація
- реалізації
- важливо
- удосконалювати
- in
- В інших
- includes
- У тому числі
- включення
- Augmenter
- збільшений
- неймовірний
- індивідуальний
- Індивідуально
- інформація
- Інфраструктура
- початковий
- Посвячені
- екземпляр
- інструментальний
- Інтелект
- мати намір
- інтерес
- інтерфейс
- внутрішній
- втручання
- в
- залучений
- питання
- питання
- IT
- ЙОГО
- робота
- Джобс
- JPG
- просто
- Дитина
- Знати
- відсутність
- мова
- великий
- в значній мірі
- більше
- пізніше
- Веде за собою
- УЧИТЬСЯ
- вивчення
- найменш
- бібліотека
- підйомний
- обмеження
- недоліки
- рамки
- список
- трохи
- журнал
- каротаж
- логічний
- довше
- шукати
- втрачати
- любов
- машина
- навчання за допомогою машини
- підтримувати
- Підтримка
- підтримує
- зробити
- РОБОТИ
- Робить
- вдалося
- менеджер
- маніпулювати
- манера
- багато
- Маркетинг
- математики
- Може..
- Зустрічатися
- пам'ять
- повідомлення
- метадані
- метрика
- Метрика
- може бути
- mind
- мінімальний
- ML
- модель
- Моделі
- Модулі
- Модулі
- момент
- монітор
- контрольований
- моніторинг
- монітори
- більше
- найбільш
- в основному
- Гора
- множинний
- повинен
- Природний
- Обробка природних мов
- природа
- Необхідність
- необхідний
- нужденних
- потреби
- Нові
- вузли
- особливо
- Зверніть увагу..
- сповіщення
- Повідомлення
- зараз
- номер
- цілей
- спостерігати
- of
- часто
- on
- On-Demand
- Onboard
- На борту
- ONE
- постійний
- тільки
- оператор
- оптимальний
- Оптимізувати
- оптимізований
- or
- оригінал
- Інше
- наші
- з
- Результат
- вихід
- поза
- над
- загальний
- Подолати
- огляд
- параметри
- частина
- приватність
- партнер
- Проходження
- пристрасний
- Викрійки
- відсоток
- Виконувати
- продуктивність
- може бути
- періодів
- перспектива
- картина
- трубопровід
- місце
- запланований
- платформа
- Платформи
- plato
- Інформація про дані Платона
- PlatoData
- Play
- відіграє
- будь ласка
- плюс
- точка
- точок
- бідні
- це можливо
- пошта
- потенціал
- влада
- прогнозування
- попередній
- ймовірно
- Проблема
- проблеми
- процес
- Оброблено
- обробка
- виробляти
- Product
- Production
- професійний
- забезпечувати
- за умови
- забезпечує
- put
- якість
- Швидко
- швидше
- R & D
- швидше
- Сировина
- досягати
- Читати
- готовий
- Реальність
- причина
- облік
- Відновлювати
- відновлення
- Знижений
- відноситься
- пов'язаний
- доречний
- залишатися
- решті
- звітом
- вимагається
- Вимога
- ресурс
- ресурси
- Реагувати
- результат
- в результаті
- міцний
- Роль
- грубо
- Правило
- прогін
- біг
- SaaS
- мудрець
- то ж
- говорить
- масштабованість
- масштабовані
- шкала
- Масштабування
- Рішення для масштабування
- сценарії
- наука
- вчений
- Вчені
- seconds
- розділам
- обраний
- вибір
- послати
- посилає
- старший
- Чутливість
- окремий
- розділення
- обслуговування
- Послуги
- комплект
- набори
- кілька
- Поділитись
- загальні
- Шарма
- вона
- показаний
- Шоу
- сторона
- значний
- аналогічний
- простий
- Розмір
- So
- рішення
- Рішення
- ВИРІШИТИ
- Простір
- конкретний
- конкретно
- швидкість
- Спін
- етапи
- standard
- стенди
- старт
- почалася
- починається
- стан
- Статус
- Крок
- заходи
- Як і раніше
- зупинений
- зупинка
- Зупиняє
- зберігання
- магазинів
- рядок
- сильний
- структурований
- абоненти
- успіх
- Успішно
- такі
- підтримка
- система
- Systems
- таблиця
- з урахуванням
- Приймати
- приймає
- талановитий
- Завдання
- завдання
- команда
- команди
- технічний
- terms
- ніж
- Що
- Команда
- Майбутнє
- їх
- Їх
- потім
- Там.
- отже
- Ці
- вони
- третій
- це
- ті
- три
- поріг
- через
- час
- times
- до
- разом
- інструменти
- Усього:
- поїзд
- Навчання
- угода
- Інформація про транзакцію
- Перетворення
- Перетворення
- перетворень
- викликати
- спрацьовує
- два
- тип
- типовий
- при
- розуміння
- одиниць
- до
- оновлений
- us
- корисний
- Використання
- використання
- використання випадку
- використовуваний
- використання
- перевірка достовірності
- значення
- різний
- вертикальний
- обсяг
- Обсяги
- vs
- хотів
- було
- спостереження
- шлях..
- we
- ДОБРЕ
- коли
- який
- ВООЗ
- всі
- повністю
- волі
- виграти
- з
- в
- Work
- Робочі процеси
- робочий
- працює
- гірше
- б
- лист
- ще
- вихід
- Ти
- вашу
- зефірнет