Цей допис написано спільно з Костею Кофманом і Дженні Токар з Booking.com.
Як світовий лідер індустрії онлайн-подорожей, Booking.com завжди шукає інноваційні способи покращити свої послуги та надати клієнтам індивідуальний та бездоганний досвід. Команда рейтингу на Booking.com відіграє ключову роль у забезпеченні оптимізації алгоритмів пошуку та рекомендацій для надання найкращих результатів для своїх користувачів.
Спільно користуючись власними ресурсами з іншими внутрішніми командами, вчені з машинного навчання (ML) команди Ranking часто стикалися з тривалим часом очікування доступу до ресурсів для навчання моделі та експериментів, що кидало виклик їхній здатності швидко експериментувати та впроваджувати інновації. Усвідомлюючи потребу в модернізованій інфраструктурі машинного навчання, команда Ranking вирушила в подорож, щоб використати потужність Amazon SageMaker створювати, навчати та розгортати моделі ML у масштабі.
Booking.com співпрацював з Професійні послуги AWS створити рішення для прискорення виходу на ринок покращених моделей машинного навчання за допомогою таких удосконалень:
- Скорочений час очікування ресурсів для навчання та експериментів
- Інтеграція основних можливостей ML, таких як налаштування гіперпараметрів
- Скорочений цикл розробки для моделей ML
Скорочений час очікування означатиме, що команда зможе швидко повторювати та експериментувати з моделями, отримуючи інформацію набагато швидше. Використання доступних екземплярів SageMaker на вимогу дозволило вдесятеро скоротити час очікування. Основні можливості ML, такі як налаштування гіперпараметрів і можливість пояснення моделі, були відсутні на місці. Під час модернізації команда представила ці функції Автоматичне налаштування моделі Amazon SageMaker та Роз'яснити Amazon SageMaker. Нарешті, прагнення команди полягало в тому, щоб отримувати негайний відгук про кожну зміну, внесену в код, скорочуючи цикл зворотного зв’язку з хвилин до миттєвості, і таким чином скорочуючи цикл розробки для моделей ML.
У цій публікації ми заглибимося в подорож, здійснену командою Ranking на Booking.com, коли вони використовували можливості SageMaker для модернізації своєї системи експериментів МЛ. Таким чином вони не лише подолали існуючі труднощі, але й покращили пошуковий досвід, що зрештою принесло користь мільйонам мандрівників у всьому світі.
Підхід до модернізації
Команда Ranking складається з кількох учених ML, кожен з яких має розробити та протестувати власну модель офлайн. Коли модель вважається успішною згідно з офлайн-оцінкою, її можна перемістити до робочого тестування A/B. Якщо він покаже покращення онлайн, його можна розгорнути для всіх користувачів.
Мета цього проекту полягала в тому, щоб створити дружнє середовище для вчених МЛ, щоб легко запускати настроювані Трубопроводи для створення моделей Amazon SageMaker щоб перевірити свої гіпотези без необхідності кодувати довгі та складні модулі.
Однією з кількох проблем, з якими зіткнулися, була адаптація існуючого локального конвеєрного рішення для використання на AWS. Рішення включало два ключові компоненти:
- Зміна та розширення існуючого коду – Перша частина нашого рішення передбачала модифікацію та розширення нашого існуючого коду, щоб зробити його сумісним з інфраструктурою AWS. Це мало вирішальне значення для забезпечення плавного переходу від локальної обробки до хмарної.
- Розробка клієнтського пакету – Було розроблено клієнтський пакет, який діє як обгортка навколо SageMaker API і раніше існуючого коду. Цей пакет поєднує обидва, дозволяючи науковцям ML легко налаштовувати та розгортати конвеєри ML без програмування.
Конфігурація конвеєра SageMaker
Настроюваність є ключовою для конвеєра побудови моделі, і це було досягнуто за допомогою config.ini
, розширений файл конфігурації. Цей файл служить центром керування для всіх вхідних даних і поведінки конвеєра.
Доступні конфігурації всередині config.ini
включати:
- Деталі трубопроводу – Практикуючий спеціаліст може визначити назву конвеєра, вказати, які кроки мають виконуватися, визначити, де мають зберігатися виходи Служба простого зберігання Amazon (Amazon S3) і виберіть, які набори даних використовувати
- Реквізити облікового запису AWS – Ви можете вирішити, у якому регіоні має працювати конвеєр і яку роль слід використовувати
- Покрокова конфігурація – Для кожного кроку конвеєра ви можете вказати такі деталі, як кількість і тип екземплярів, які потрібно використовувати, а також відповідні параметри
Наступний код показує приклад файлу конфігурації:
config.ini
— це файл із керуванням версіями, яким керує Git, і представляє мінімальну конфігурацію, необхідну для успішного запуску конвеєра навчання. Під час розробки можна використовувати локальні конфігураційні файли, які не контролюються версіями. Ці локальні конфігураційні файли повинні містити лише параметри, що стосуються конкретного запуску, забезпечуючи гнучкість без ускладнень. Клієнт створення конвеєра призначений для роботи з кількома файлами конфігурації, причому останній має пріоритет над попередніми параметрами.
Етапи конвеєра SageMaker
Конвеєр ділиться на наступні етапи:
- Навчання та підготовка тестових даних – Терабайти необроблених даних копіюються у відро S3, обробляються за допомогою Клей AWS завдання для обробки Spark, у результаті чого дані структуровані та відформатовані для сумісності.
- поїзд – На етапі навчання використовується оцінювач TensorFlow для навчальних завдань SageMaker. Навчання відбувається розподіленим способом за допомогою Horovod, а отриманий артефакт моделі зберігається в Amazon S3. Для налаштування гіперпараметрів можна розпочати роботу оптимізації гіперпараметрів (HPO), вибираючи найкращу модель на основі цільової метрики.
- Прогнозуйте – На цьому етапі завдання SageMaker Processing використовує збережений артефакт моделі для створення прогнозів. Цей процес виконується паралельно на доступних машинах, а результати передбачення зберігаються в Amazon S3.
- Оцінювати – Завдання обробки PySpark оцінює модель за допомогою спеціального сценарію Spark. Потім звіт про оцінку зберігається в Amazon S3.
- стан – Після оцінки приймається рішення щодо якості моделі. Це рішення базується на метриці умови, визначеній у файлі конфігурації. Якщо оцінка позитивна, модель реєструється як схвалена; інакше воно реєструється як відхилене. В обох випадках звіт про оцінку та пояснюваність, якщо він створений, записується в реєстр моделі.
- Модель пакета для висновку – За допомогою завдання обробки, якщо результати оцінювання позитивні, модель упаковується, зберігається в Amazon S3 і готується для завантаження на внутрішній портал ML.
- Пояснювати – SageMaker Clarify створює звіт про пояснення.
Використовуються два різних сховища. Перший репозиторій містить визначення та код збірки для конвеєра ML, а другий репозиторій містить код, який виконується на кожному кроці, наприклад обробка, навчання, прогнозування та оцінка. Цей підхід із подвійним сховищем забезпечує більшу модульність і дозволяє науковим та інженерним командам незалежно переглядати код ML і компоненти конвеєра ML.
Наступна діаграма ілюструє робочий процес рішення.
Автоматична настройка моделі
Навчання моделей ML потребує ітераційного підходу з кількох навчальних експериментів для побудови надійної та ефективної остаточної моделі для використання в бізнесі. Науковці ML мають вибрати відповідний тип моделі, створити правильні набори вхідних даних і налаштувати набір гіперпараметрів, які контролюють процес вивчення моделі під час навчання.
Вибір відповідних значень гіперпараметрів для процесу навчання моделі може істотно вплинути на кінцеву продуктивність моделі. Однак не існує унікального чи визначеного способу визначення того, які значення підходять для конкретного випадку використання. У більшості випадків науковцям ML потрібно буде виконати кілька навчальних завдань із дещо різними наборами гіперпараметрів, спостерігати за навчальними показниками моделі, а потім намагатися вибрати більш перспективні значення для наступної ітерації. Цей процес налаштування продуктивності моделі також відомий як оптимізація гіперпараметрів (HPO) і іноді може потребувати сотень експериментів.
Раніше команда Ranking виконувала HPO вручну у своєму локальному середовищі, оскільки вони могли запускати лише дуже обмежену кількість навчальних завдань паралельно. Тому їм довелося запускати HPO послідовно, тестувати та вибирати різні комбінації значень гіперпараметрів вручну та регулярно контролювати прогрес. Це подовжило процес розробки та налаштування моделі та обмежило загальну кількість експериментів HPO, які могли бути проведені за прийнятний проміжок часу.
Після переходу на AWS команда Ranking отримала можливість використовувати функцію автоматичного налаштування моделі (AMT) SageMaker. AMT дозволяє вченим Ranking ML автоматично запускати сотні навчальних завдань у діапазонах гіперпараметрів, які цікавлять, щоб знайти найефективнішу версію кінцевої моделі відповідно до вибраного показника. Команда рейтингу тепер може вибирати між чотирма різними стратегіями автоматичного налаштування для вибору гіперпараметрів:
- Пошук у сітці – AMT очікує, що всі гіперпараметри будуть категоріальними значеннями, і він запускатиме навчальні завдання для кожної окремої категоріальної комбінації, досліджуючи весь простір гіперпараметрів.
- Випадковий пошук – AMT випадковим чином вибере комбінації значень гіперпараметрів у наданих діапазонах. Оскільки немає залежності між різними завданнями навчання та вибором значень параметра, за допомогою цього методу можна запускати декілька паралельних завдань навчання, що прискорює процес вибору оптимального параметра.
- Байєсівська оптимізація – AMT використовує реалізацію байєсівської оптимізації, щоб вгадати найкращий набір значень гіперпараметрів, розглядаючи це як проблему регресії. Він розглядатиме раніше перевірені комбінації гіперпараметрів та їхній вплив на модельні навчальні завдання з новим вибором параметрів, оптимізуючи для розумнішого вибору параметрів із меншою кількістю експериментів, але також запускатиме навчальні завдання лише послідовно, щоб завжди мати можливість вчитися на попередніх тренінгах.
- Гіперсмуга – AMT використовуватиме проміжні та кінцеві результати навчальних завдань, які він виконує, для динамічного перерозподілу ресурсів на навчальні завдання з конфігураціями гіперпараметрів, які показують більш перспективні результати, автоматично зупиняючи ті, що мають недостатню ефективність.
AMT на SageMaker дозволив команді Ranking скоротити час, витрачений на процес налаштування гіперпараметрів для розробки їхньої моделі, дозволивши їм уперше запустити кілька паралельних експериментів, використовувати стратегії автоматичного налаштування та виконати двозначне виконання навчальних завдань протягом кількох днів, те, що було неможливо на території.
Пояснюваність моделі за допомогою SageMaker Clarify
Пояснюваність моделі дозволяє фахівцям ML зрозуміти природу та поведінку своїх моделей ML, надаючи цінну інформацію для розробки функцій і рішень щодо вибору, що, у свою чергу, покращує якість прогнозів моделі. Команда Ranking хотіла оцінити свої висновки щодо пояснюваності двома способами: зрозуміти, як вхідні дані впливають на вихідні дані моделі в усьому наборі даних (глобальна інтерпретабельність), а також мати можливість виявити вплив вхідних ознак для конкретного прогнозу моделі на точку інтересу даних ( локальна інтерпретація). Маючи ці дані, науковці Ranking ML можуть приймати обґрунтовані рішення щодо подальшого покращення продуктивності своєї моделі та враховувати складні результати прогнозування, які час від часу надає модель.
SageMaker Clarify дозволяє створювати звіти про пояснюваність моделі за допомогою Пояснення додатків Шеплі (SHAP) під час навчання ваших моделей на SageMaker, підтримуючи інтерпретацію як глобальної, так і локальної моделі. На додаток до звітів про пояснюваність моделі, SageMaker Clarify підтримує запуск аналізу метрик зміщення перед навчанням, метрик зсуву після навчання та графіків часткової залежності. Завдання виконуватиметься як завдання обробки SageMaker в обліковому записі AWS, і воно інтегрується безпосередньо з конвеєрами SageMaker.
Глобальний звіт про інтерпретацію буде автоматично створено у вихідних даних завдання та відображено у Студія Amazon SageMaker середовища в рамках виконання навчального експерименту. Якщо потім ця модель буде зареєстрована в реєстрі моделей SageMaker, звіт буде додатково пов’язано з артефактом моделі. Використовуючи обидва ці варіанти, команда Ranking змогла легко відстежити різні версії моделі та зміни в їхній поведінці.
Щоб дослідити вплив вхідної функції на окреме передбачення (значення локальної інтерпретації), команда Ranking увімкнула параметр save_local_shap_values
у завданнях SageMaker Clarify і зміг завантажити їх із відра S3 для подальшого аналізу в записниках Jupyter у SageMaker Studio.
На попередніх зображеннях показано приклад того, як може виглядати можливість пояснення моделі для довільної моделі ML.
Оптимізація навчання
Розвиток глибокого навчання (DL) призвів до того, що машинне навчання все більше залежить від обчислювальної потужності та величезних обсягів даних. Практики ML зазвичай стикаються з проблемою ефективного використання ресурсів під час навчання цих складних моделей. Коли ви запускаєте навчання на великих обчислювальних кластерах, виникають різні проблеми з оптимізацією використання ресурсів, зокрема такі проблеми, як вузькі місця вводу-виводу, затримки запуску ядра, обмеження пам’яті та недостатнє використання ресурсів. Якщо конфігурація навчального завдання не налаштована на ефективність, ці перешкоди можуть призвести до неоптимального використання апаратного забезпечення, тривалої тривалості навчання або навіть неповного проходження навчання. Ці фактори збільшують вартість проекту та затримують терміни.
Профілювання використання CPU та GPU допомагає зрозуміти ці неефективності, визначити споживання апаратних ресурсів (часу та пам’яті) різними операціями TensorFlow у вашій моделі, усунути вузькі місця продуктивності та, зрештою, пришвидшити роботу моделі.
Команда ранжування використовувала функцію профілювання фреймворку Налагоджувач Amazon SageMaker (зараз не підтримується на користь Amazon SageMaker Profiler) оптимізувати ці навчальні роботи. Це дозволяє відстежувати всі дії на ЦП і ГП, такі як використання ЦП і ГП, виконання ядра на ГП, запуск ядра на ЦП, операції синхронізації, операції з пам’яттю на ГП, затримки між запусками ядра та відповідними запусками, а також передачу даних між ЦП і графічні процесори.
Команда рейтингу також використовувала TensorFlow Profiler особливість TensorBoard, що додатково допомогло сформулювати навчання моделі TensorFlow. SageMaker зараз подальша інтеграція з TensorBoard і передає інструменти візуалізації TensorBoard у SageMaker, інтегровані з навчанням і доменами SageMaker. TensorBoard дозволяє вам виконувати завдання налагодження моделі за допомогою плагінів візуалізації TensorBoard.
За допомогою цих двох інструментів команда Ranking оптимізувала свою модель TensorFlow і змогла виявити вузькі місця та скоротити середній час кроку навчання з 350 мілісекунд до 140 мілісекунд на центральному процесорі та зі 170 мілісекунд до 70 мілісекунд на графічному процесорі, прискорення на 60% та 59% відповідно.
Бізнес результати
Зусилля щодо міграції були зосереджені навколо підвищення доступності, масштабованості та еластичності, що в сукупності вивело середовище ML на новий рівень операційної досконалості, прикладом чого є збільшення частоти навчання моделі та зменшення відмов, оптимізований час навчання та розширені можливості ML.
Змодельуйте частоту навчання та невдачі
Кількість щомісячних завдань з навчання моделі зросла вп’ятеро, що призвело до значно частішої оптимізації моделі. Крім того, нове середовище машинного навчання призвело до зниження частоти відмов у трубопроводах із приблизно 50% до 20%. Час обробки невдалого завдання різко скоротився з понад години в середньому до незначних 5 секунд. Це значно підвищило ефективність роботи та зменшило втрату ресурсів.
Оптимізований час навчання
Ефективність міграції підвищується завдяки навчанню GPU на основі SageMaker. Ця зміна скоротила час навчання моделі до п’ятої від попередньої тривалості. Раніше процеси навчання для моделей глибокого навчання займали близько 60 годин на ЦП; це було спрощено приблизно до 12 годин на GPU. Це вдосконалення не тільки економить час, але й прискорює цикл розробки, забезпечуючи швидші ітерації та вдосконалення моделі.
Розширені можливості ML
Основним фактором успіху міграції є використання набору функцій SageMaker, що охоплює налаштування гіперпараметрів і можливість пояснення моделі. Крім того, міграція дозволила безперебійне відстеження експерименту за допомогою Експерименти Amazon SageMaker, що дозволяє проводити більш проникливі та продуктивні експерименти.
Найважливіше те, що нове експериментальне середовище ML підтримало успішну розробку нової моделі, яка зараз у виробництві. Ця модель базується на глибокому навчанні, а не на дереві, і запровадила помітні покращення в продуктивності онлайн-моделі.
Висновок
У цьому дописі наведено огляд співпраці AWS Professional Services і Booking.com, результатом якої стала реалізація масштабованої інфраструктури машинного навчання та успішне скорочення часу виходу моделей машинного навчання на ринок їх команди Ranking.
Команда Ranking на Booking.com дізналася, що перехід на хмару та SageMaker виявився корисним і що адаптація практик машинного навчання (MLOps) дозволяє їхнім інженерам і науковцям ML зосередитися на своїй майстерності та збільшити швидкість розробки. Команда ділиться знаннями та виконаною роботою з усією спільнотою машинного навчання на Booking.com шляхом бесід і спеціальних сесій із спеціалістами-практиками машинного навчання, де вони діляться кодом і можливостями. Ми сподіваємося, що ця публікація може стати ще одним способом поділитися знаннями.
Професійні послуги AWS готові допомогти вашій команді розробити масштабоване та готове до виробництва програмне моделювання в AWS. Для отримання додаткової інформації див Професійні послуги AWS або зверніться до свого менеджера облікового запису, щоб зв’язатися.
Про авторів
Лоренс ван дер Маас є інженером машинного навчання в AWS Professional Services. Він тісно співпрацює з клієнтами, створюючи свої рішення для машинного навчання на AWS, спеціалізується на розподіленому навчанні, експериментах і відповідальному штучному інтелекті, і він захоплений тим, як машинне навчання змінює світ, яким ми його знаємо.
Даніель Загива є спеціалістом з обробки даних в AWS Professional Services. Він спеціалізується на розробці масштабованих рішень машинного навчання виробничого рівня для клієнтів AWS. Його досвід поширюється на різні сфери, включаючи обробку природної мови, генеративний штучний інтелект та операції машинного навчання.
Костя Кофман є старшим менеджером з машинного навчання Booking.com, очолює команду Search Ranking ML, наглядає за найпоширенішою системою ML Booking.com. Маючи досвід у персоналізації та рейтингу, він процвітає, використовуючи передові технології для покращення досвіду клієнтів.
Дженні Токар є старшим інженером з машинного навчання команди рейтингу пошуку Booking.com. Вона спеціалізується на розробці наскрізних конвеєрів машинного навчання, які характеризуються ефективністю, надійністю, масштабованістю та інноваціями. Досвід Дженні дає змогу її команді створювати передові моделі рейтингу, які щодня обслуговують мільйони користувачів.
Олександра Докич є старшим спеціалістом з обробки даних в AWS Professional Services. Їй подобається підтримувати клієнтів у створенні інноваційних рішень AI/ML на AWS, і вона в захваті від трансформації бізнесу завдяки потужності даних.
Люба Проціва є менеджером із залучення в AWS Professional Services. Вона спеціалізується на постачанні рішень Data та GenAI/ML, які дозволяють клієнтам AWS максимізувати цінність свого бізнесу та прискорити швидкість впровадження інновацій.
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- PlatoData.Network Vertical Generative Ai. Додайте собі сили. Доступ тут.
- PlatoAiStream. Web3 Intelligence. Розширення знань. Доступ тут.
- ПлатонЕСГ. вуглець, CleanTech, Енергія, Навколишнє середовище, Сонячна, Поводження з відходами. Доступ тут.
- PlatoHealth. Розвідка про біотехнології та клінічні випробування. Доступ тут.
- джерело: https://aws.amazon.com/blogs/machine-learning/how-booking-com-modernized-its-ml-experimentation-framework-with-amazon-sagemaker/
- : має
- :є
- : ні
- :де
- $UP
- 1
- 100
- 12
- 130
- 140
- 16
- 350
- 60
- 7
- 70
- a
- здатність
- Здатний
- МЕНЮ
- прискорювати
- доступ
- За
- рахунки
- досягнутий
- через
- діяльності
- акти
- пристосування
- доповнення
- Додатково
- просунутий
- впливати
- після
- AI
- AI / ML
- алгоритми
- ВСІ
- дозволено
- дозволяє
- по
- Також
- завжди
- Amazon
- Amazon SageMaker
- Amazon Web Services
- кількість
- суми
- an
- Аналіз
- та
- Інший
- Інтерфейси
- підхід
- відповідний
- затверджений
- приблизно
- довільний
- ЕСТЬ
- області
- виникати
- навколо
- AS
- прагнення
- At
- автоматичний
- автоматично
- наявність
- доступний
- середній
- AWS
- Професійні послуги AWS
- назад
- заснований
- Байєсівський
- BE
- оскільки
- становлення
- поведінка
- поведінкові
- поведінки
- корисний
- вигода
- КРАЩЕ
- між
- зміщення
- бронювання
- Booking.com
- обидва
- вузькі місця
- Приносить
- приніс
- будувати
- Створюємо
- бізнес
- але
- by
- CAN
- можливості
- випадок
- випадків
- Центр
- центр
- проблеми
- складні
- зміна
- Зміни
- заміна
- характеризується
- Вибирати
- вибраний
- клієнт
- тісно
- хмара
- код
- Кодування
- співпрацював
- співробітництво
- колективно
- COM
- поєднання
- комбінації
- комбінати
- зазвичай
- співтовариство
- сумісність
- сумісний
- комплекс
- складність
- складний
- Компоненти
- обчислювальна
- обчислювальна потужність
- обчислення
- стан
- конфігурація
- Вважати
- складається
- обмеження
- спожитий
- споживання
- містити
- містить
- контроль
- виправити
- Відповідний
- витрати
- може
- виробити
- створювати
- створення
- вирішальне значення
- виготовлений на замовлення
- клієнт
- Клієнти
- настроюється
- передовий
- передові технології
- цикл
- дані
- Підготовка даних
- вчений даних
- набори даних
- день
- Днів
- вирішувати
- рішення
- рішення
- знизився
- присвячених
- вважається
- глибокий
- глибоке навчання
- визначати
- певний
- визначення
- затримка
- затримки
- доставляти
- надання
- заглиблюватися
- залежність
- Залежність
- розгортання
- розгорнути
- не підтримується
- призначений
- деталі
- Визначати
- розвивати
- розвиненою
- розвивається
- розробка
- схема
- різний
- безпосередньо
- відкрити
- displayed
- чіткий
- розподілений
- розподілене навчання
- розділений
- справи
- домени
- зроблений
- різко
- Випадання
- тривалість
- під час
- динамічно
- кожен
- легко
- ефективність
- продуктивно
- зусилля
- приступив
- повноваження
- включіть
- включений
- дозволяє
- дозволяє
- охоплюючий
- кінець в кінець
- зачеплення
- інженер
- Машинобудування
- Інженери
- підвищувати
- підвищення
- забезпечення
- Весь
- Навколишнє середовище
- епохи
- істотний
- оцінювати
- оцінка
- Навіть
- Кожен
- кожен день
- приклад
- Перевага
- збуджений
- прикладом
- існуючий
- очікувати
- прискорює
- досвід
- Досліди
- експеримент
- Експерименти
- експертиза
- Пояснювати
- дослідити
- Дослідження
- розширення
- продовжується
- розширення
- обширний
- Face
- стикаються
- фактори
- не вдалося
- Провал
- збої
- false
- швидше
- на користь
- реально
- особливість
- риси
- зворотний зв'язок
- менше
- філе
- Файли
- остаточний
- в кінці кінців
- знайти
- Перший
- перший раз
- Гнучкість
- Сфокусувати
- після
- для
- чотири
- Рамки
- частота
- частий
- від
- далі
- Крім того
- набирає
- породжувати
- генерується
- генерує
- генеративний
- Генеративний ШІ
- отримати
- Git
- Глобальний
- мета
- GPU
- Графічні процесори
- великий
- здогадуватися
- було
- обробляти
- апаратні засоби
- запряжений
- Мати
- he
- допомога
- допоміг
- допомагає
- її
- його
- надія
- годину
- ГОДИННИК
- Як
- How To
- Однак
- HTML
- HTTP
- HTTPS
- Сотні
- перешкода
- Оптимізація гіперпараметрів
- Налаштування гіперпараметрів
- ідентифікувати
- if
- ілюструє
- зображень
- Негайний
- Impact
- реалізація
- важливо
- удосконалювати
- поліпшений
- поліпшення
- поліпшення
- поліпшується
- in
- включати
- У тому числі
- Augmenter
- збільшений
- Збільшує
- все більше і більше
- самостійно
- промисловість
- неефективність
- вплив
- інформація
- повідомив
- Інфраструктура
- розпочатий
- оновлювати
- інновація
- інноваційний
- вхід
- витрати
- всередині
- проникливий
- розуміння
- мить
- інтегрований
- Інтеграція
- інтерес
- внутрішній
- в
- введені
- введення
- залучений
- питання
- IT
- ітерація
- ітерації
- ЙОГО
- робота
- Джобс
- подорож
- JPG
- ключ
- Знати
- знання
- відомий
- не вистачає
- мова
- великий
- останній
- запуск
- запущений
- запуски
- лідер
- провідний
- УЧИТЬСЯ
- вчений
- вивчення
- Led
- рівень
- використання
- як
- обмеженою
- пов'язаний
- загрузка
- місцевий
- Довго
- подивитися
- виглядає як
- машина
- навчання за допомогою машини
- Машинки для перманенту
- made
- зробити
- вдалося
- менеджер
- манера
- вручну
- Максимізувати
- значити
- пам'ять
- метод
- метрика
- Метрика
- мігруючи
- міграція
- мільйони
- мілісекунд
- мінімальний
- хвилин
- ML
- MLOps
- модель
- Моделі
- модернізувати
- Модулі
- монітор
- щомісячно
- більше
- найбільш
- рухатися
- переїхав
- багато
- множинний
- ім'я
- Природний
- Обробка природних мов
- природа
- Необхідність
- Нові
- наступний
- немає
- зараз
- номер
- мета
- спостерігати
- перешкодами
- of
- offline
- часто
- on
- On-Demand
- ONE
- онлайн
- тільки
- оперативний
- операції
- оптимальний
- оптимізація
- оптимізації
- Оптимізувати
- оптимізований
- оптимізуючий
- Опції
- or
- Інше
- інакше
- наші
- з
- вихід
- виходи
- над
- загальний
- спостереження
- огляд
- власний
- алюр
- пакет
- упаковані
- Паралельні
- параметр
- частина
- пристрасний
- Виконувати
- продуктивність
- виконанні
- Втілення
- трубопровід
- основний
- plato
- Інформація про дані Платона
- PlatoData
- відіграє
- plugins
- точка
- Портал
- позитивний
- пошта
- влада
- практики
- попередній
- передбачати
- прогноз
- Прогнози
- підготовка
- попередній
- раніше
- Проблема
- процес
- Оброблено
- процеси
- обробка
- Production
- продуктивний
- професійний
- профіль
- профілювання
- прогрес
- проект
- перспективний
- доведений
- забезпечувати
- за умови
- забезпечення
- якість
- швидко
- діапазони
- Ранжування
- швидко
- ставка
- швидше
- Сировина
- досягати
- готовий
- отримати
- визнаючи
- Рекомендація
- записаний
- зменшити
- Знижений
- зниження
- скорочення
- про
- регіон
- реєструвати
- зареєстрований
- реєстру
- регулярно
- Відхилено..
- доречний
- надійність
- звітом
- Звіти
- Сховище
- представляє
- вимагати
- вимагається
- Вимагається
- рішення
- ресурс
- ресурси
- відповідно
- відповідальний
- результат
- в результаті
- результати
- Зростання
- міцний
- Роль
- прогін
- біг
- пробіжки
- мудрець
- Трубопроводи SageMaker
- масштабованість
- масштабовані
- шкала
- наука
- вчений
- Вчені
- сценарій
- безшовні
- Пошук
- другий
- seconds
- побачити
- пошук
- вибрати
- вибирає
- вибір
- старший
- служити
- служить
- Послуги
- сесіях
- комплект
- набори
- налаштування
- кілька
- Поділитись
- поділ
- вона
- зсув
- Повинен
- Показувати
- Шоу
- істотно
- простий
- один
- трохи відрізняється
- розумнішими
- згладити
- So
- рішення
- Рішення
- що в сім'ї щось
- Простір
- Іскритися
- спеціалізується
- конкретний
- швидкість
- відпрацьований
- Крок
- заходи
- зупинка
- зберігання
- зберігати
- стратегії
- обтічний
- сильно
- структурований
- студія
- неоптимальний
- успіх
- успішний
- Успішно
- такі
- Підтриманий
- Підтримуючий
- Опори
- синхронізація.
- система
- з урахуванням
- взяття
- Переговори
- завдання
- команда
- команди
- Технологія
- тензорний потік
- тест
- перевірений
- Тестування
- ніж
- Що
- Команда
- світ
- їх
- Їх
- потім
- Там.
- тим самим
- отже
- Ці
- вони
- це
- ті
- процвітає
- через
- час
- терміни
- times
- до
- інструменти
- торкатися
- до
- трек
- Відстеження
- поїзд
- Навчання
- тренінги
- переклад
- перетворень
- перехід
- подорожувати
- туристична індустрія
- мандрівники
- лікування
- правда
- намагатися
- настройка
- ПЕРЕГЛЯД
- два
- тип
- Зрештою
- розуміти
- створеного
- Використання
- використання
- використання випадку
- використовуваний
- зручно
- користувачі
- використовує
- використання
- використовувати
- Цінний
- значення
- Цінності
- різний
- величезний
- VeloCity
- версія
- версії
- дуже
- візуалізації
- чекати
- хотів
- було
- шлях..
- способи
- we
- Web
- веб-сервіси
- були
- коли
- який
- в той час як
- ВООЗ
- волі
- з
- в
- без
- Work
- робочий
- працює
- світ
- світовий
- б
- Ти
- вашу
- зефірнет