Этот пост написан в соавторстве с Джоти Шармой и Шармо Саркаром из Vericast.
Для любой проблемы машинного обучения (ML) специалист по данным начинает с работы с данными. Это включает в себя сбор, изучение и понимание деловых и технических аспектов данных, а также оценку любых манипуляций, которые могут потребоваться для процесса построения модели. Одним из аспектов подготовки данных является разработка признаков.
Функциональная инженерия относится к процессу, в котором соответствующие переменные идентифицируются, выбираются и обрабатываются для преобразования необработанных данных в более полезные и удобные формы для использования с алгоритмом ML, используемым для обучения модели и выполнения выводов на ее основе. Целью этого процесса является повышение производительности алгоритма и результирующей прогностической модели. Процесс разработки признаков включает в себя несколько этапов, включая создание признаков, преобразование данных, извлечение признаков и выбор признаков.
Создание платформы для разработки обобщенных признаков — обычная задача для клиентов, которым необходимо создавать множество моделей машинного обучения с разными наборами данных. Платформа такого типа включает в себя создание программно управляемого процесса для создания окончательных данных, разработанных с использованием функций, готовых для обучения модели с минимальным вмешательством человека. Тем не менее, обобщение функций проектирования является сложной задачей. Каждая бизнес-задача уникальна, каждый набор данных уникален, объемы данных сильно различаются от клиента к клиенту, а качество данных и часто кардинальность определенного столбца (в случае структурированных данных) могут играть значительную роль в сложности разработки функций. процесс. Кроме того, динамический характер данных клиента также может привести к большим различиям во времени обработки и ресурсах, необходимых для оптимального завершения разработки функций.
клиент AWS Верикаст — компания, занимающаяся маркетинговыми решениями, которая принимает решения на основе данных для повышения рентабельности инвестиций в маркетинг для своих клиентов. Внутренняя облачная платформа машинного обучения Vericast, построенная на основе процесса CRISP-ML(Q), использует различные сервисы AWS, в том числе Создатель мудреца Амазонки, Обработка Amazon SageMaker, AWS Lambdaи Шаговые функции AWS, для создания наилучших возможных моделей, адаптированных к данным конкретного клиента. Эта платформа нацелена на то, чтобы зафиксировать повторяемость шагов, которые входят в создание различных рабочих процессов ML, и объединить их в стандартные обобщаемые модули рабочего процесса в рамках платформы.
В этом посте мы расскажем, как Vericast оптимизировала разработку функций с помощью SageMaker Processing.
Обзор решения
Платформа машинного обучения Vericast помогает быстрее развертывать новые бизнес-модели на основе существующих рабочих процессов или быстрее активировать существующие модели для новых клиентов. Например, модель, предсказывающая склонность к прямой почтовой рассылке, сильно отличается от модели, предсказывающей чувствительность к скидочным купонам клиентов клиента Vericast. Они решают разные бизнес-задачи и поэтому имеют разные сценарии использования в дизайне маркетинговой кампании. Но с точки зрения машинного обучения обе модели можно рассматривать как модели бинарной классификации, и поэтому они могут иметь много общих шагов с точки зрения рабочего процесса машинного обучения, включая настройку и обучение модели, оценку, интерпретируемость, развертывание и вывод.
Поскольку эти модели представляют собой задачи бинарной классификации (в терминах машинного обучения), мы разделяем клиентов компании на два класса (бинарные): те, кто положительно отреагирует на кампанию, и те, кто нет. Кроме того, эти примеры считаются несбалансированной классификацией, потому что данные, используемые для обучения модели, не будут содержать одинаковое количество клиентов, которые будут и не будут реагировать положительно.
Фактическое создание такой модели следует обобщенному шаблону, показанному на следующей диаграмме.
Большая часть этого процесса одинакова для любой бинарной классификации, за исключением этапа разработки признаков. Это, пожалуй, самый сложный, но иногда упускаемый из виду шаг в этом процессе. Модели ML во многом зависят от функций, используемых для их создания.
Облачная платформа машинного обучения Vericast предназначена для обобщения и автоматизации этапов разработки функций для различных рабочих процессов машинного обучения и оптимизации их производительности по показателю затрат и времени с помощью следующих функций:
- Библиотека инженерных функций платформы – Он состоит из постоянно развивающегося набора преобразований, которые были протестированы для получения высококачественных обобщенных функций на основе конкретных концепций клиентов (например, демографические данные клиентов, сведения о продуктах, сведения о транзакциях и т. д.).
- Интеллектуальные оптимизаторы ресурсов – Платформа использует возможности инфраструктуры AWS по запросу для развертывания наиболее оптимального типа ресурсов обработки для конкретной задачи разработки функций в зависимости от ожидаемой сложности этапа и объема данных, которые необходимо обработать.
- Динамическое масштабирование заданий по разработке функций – Для этого используется комбинация различных сервисов AWS, но прежде всего SageMaker Processing. Это гарантирует, что платформа производит высококачественные функции экономично и своевременно.
Этот пост посвящен третьему пункту в этом списке и показывает, как добиться динамического масштабирования заданий обработки SageMaker для создания более управляемой, производительной и экономичной платформы обработки данных для больших объемов данных.
SageMaker Processing позволяет выполнять рабочие нагрузки, которые выполняют шаги для предварительной или последующей обработки данных, разработки функций, проверки данных и оценки модели в SageMaker. Он также обеспечивает управляемую среду и устраняет сложность недифференцированной тяжелой работы, необходимой для настройки и обслуживания инфраструктуры, необходимой для выполнения рабочих нагрузок. Кроме того, SageMaker Processing предоставляет интерфейс API для запуска, мониторинга и оценки рабочей нагрузки.
Запуск заданий SageMaker Processing полностью выполняется в управляемом кластере SageMaker, при этом отдельные задания помещаются в контейнеры экземпляров во время выполнения. Управляемый кластер, экземпляры и контейнеры сообщают метрики Amazon CloudWatch, включая использование графического процессора, процессора, памяти, памяти графического процессора, показателей диска и журналов событий.
Эти функции приносят пользу инженерам данных Vericast и ученым, помогая в разработке обобщенных рабочих процессов предварительной обработки и абстрагируясь от сложности обслуживания созданных сред для их запуска. Однако могут возникнуть технические проблемы из-за динамического характера данных и их различных характеристик, которые можно использовать в таком общем решении. Система должна сделать обоснованное начальное предположение о размере кластера и составляющих его экземпляров. Это предположение должно оценивать критерии данных и делать выводы о требованиях к ЦП, памяти и диску. Это предположение может быть полностью уместным и адекватным для работы, но в других случаях это может быть не так. Для заданного набора данных и задания предварительной обработки ЦП может быть недостаточным, что приводит к максимальной производительности обработки и длительному времени выполнения. Что еще хуже, память может стать проблемой, что приведет либо к снижению производительности, либо к нехватке памяти, что приведет к сбою всего задания.
Имея в виду эти технические препятствия, Vericast решила найти решение. Они должны были оставаться общими по своему характеру и вписываться в более широкую картину рабочего процесса предварительной обработки, будучи гибкими в задействованных шагах. Также было важно решить как потенциальную необходимость масштабирования среды в случаях, когда производительность была скомпрометирована, так и изящное восстановление после такого события или при преждевременном завершении задания по какой-либо причине.
Решение, созданное Vericast для решения этой проблемы, использует несколько сервисов AWS, работающих вместе для достижения своих бизнес-целей. Он был разработан для перезапуска и масштабирования кластера обработки SageMaker на основе показателей производительности, наблюдаемых с помощью функций Lambda, отслеживающих задания. Чтобы не потерять работу при возникновении события масштабирования или для восстановления после неожиданной остановки задания, была внедрена служба на основе контрольных точек, которая использует Amazon DynamoDB и сохраняет частично обработанные данные в Простой сервис хранения Amazon (Amazon S3) ведер по мере выполнения шагов. Конечным результатом является автоматическое масштабирование, надежное и динамически отслеживаемое решение.
На следующей диаграмме показан общий обзор того, как работает система.
В следующих разделах мы более подробно обсудим компоненты решения.
Инициализация решения
Система предполагает, что решение инициирует отдельный процесс. И наоборот, этот проект не предназначен для работы в одиночку, поскольку он не дает никаких артефактов или выходных данных, а скорее действует как вспомогательная реализация для одной из систем, использующих задания SageMaker Processing. В случае Vericast решение инициируется посредством вызова из шага Step Functions, запущенного в другом модуле более крупной системы.
После запуска решения и запуска первого запуска базовая стандартная конфигурация считывается из таблицы DynamoDB. Эта конфигурация используется для установки параметров задания SageMaker Processing и исходных предположений о потребностях инфраструктуры. Теперь задание обработки SageMaker запущено.
Мониторинг метаданных и выходных данных
Когда задание запускается, функция Lambda записывает метаданные обработки задания (текущая конфигурация задания и другая информация журнала) в таблицу журнала DynamoDB. Эти метаданные и информация журнала поддерживают историю задания, его начальную и текущую конфигурацию, а также другие важные данные.
В определенные моменты по мере выполнения шагов задания данные контрольной точки добавляются в таблицу журнала DynamoDB. Обработанные выходные данные перемещаются в Amazon S3 для быстрого восстановления при необходимости.
Эта лямбда-функция также устанавливает Amazon EventBridge правило, которое отслеживает состояние запущенного задания. В частности, это правило отслеживает задание, чтобы определить, изменится ли статус задания на stopping
или находится в stopped
состояние. Это правило EventBridge играет важную роль в перезапуске задания в случае сбоя или запланированного события автоматического масштабирования.
Мониторинг метрик CloudWatch
Функция Lambda также устанавливает сигнал тревоги CloudWatch на основе метрического выражения в задании обработки, которое отслеживает метрики всех экземпляров для использования ЦП, использования памяти и использования диска. Этот тип оповещения (метрика) использует пороговые значения оповещений CloudWatch. Аварийный сигнал генерирует события на основе значения метрики или выражения относительно пороговых значений за несколько периодов времени.
В случае использования Vericast пороговое выражение предназначено для того, чтобы рассматривать экземпляры драйвера и исполнителя как отдельные экземпляры, при этом метрики отслеживаются индивидуально для каждого из них. Разделяя их, Vericast знает, что вызывает тревогу. Это важно, чтобы решить, как масштабировать соответственно:
- Если показатели исполнителя превышают пороговое значение, полезно масштабировать по горизонтали.
- Если метрики драйвера превысят порог, масштабирование по горизонтали, вероятно, не поможет, поэтому мы должны масштабировать по вертикали.
Выражение метрик сигналов тревоги
Vericast может получить доступ к следующим показателям при оценке масштабирования и отказов:
- Использование ЦП – Сумма использования каждого отдельного ядра ЦП
- Использование памяти – Процент памяти, который используется контейнерами в экземпляре.
- Использование диска – Процент дискового пространства, используемого контейнерами в экземпляре.
- Использование графического процессора – Процент единиц графического процессора, которые используются контейнерами в экземпляре.
- Использование графического процессора памяти – Процент памяти графического процессора, используемый контейнерами в экземпляре.
На момент написания этой статьи Vericast рассматривает только CPUUtilization
, MemoryUtilization
и DiskUtilization
. В будущем они намерены рассмотреть GPUUtilization
и GPUMemoryUtilization
так же.
Следующий код является примером сигнала тревоги CloudWatch, основанного на метрическом математическом выражении для автоматического масштабирования Vericast:
Это выражение показывает, что тревога CloudWatch учитывает DriverMemoryUtilization (memoryDriver)
, CPUUtilization (cpuDriver)
, DiskUtilization (diskDriver)
, ExecutorMemoryUtilization (memoryExec)
, CPUUtilization (cpuExec)
и DiskUtilization (diskExec)
в качестве контрольных показателей. Число 80 в предыдущем выражении означает пороговое значение.
Здесь, IF((cpuDriver) > 80, 1, 0
подразумевает, что если загрузка ЦП драйвера превышает 80%, в качестве порога назначается 1, иначе 0. IF(AVG(METRICS("memoryExec")) > 80, 1, 0
подразумевает, что все метрики со строкой memoryExec
в нем учитываются и по тому вычисляется среднее. Если этот средний процент использования памяти превышает 80, в качестве порога назначается 1, иначе 0.
Логический оператор OR
используется в выражении для объединения всех использований в выражении — если какое-либо из использований достигает своего порога, вызывается тревога.
Для получения дополнительной информации об использовании предупреждений метрик CloudWatch на основе математических выражений метрик см. Создание сигнала тревоги CloudWatch на основе метрического математического выражения.
Ограничения сигналов тревоги CloudWatch
CloudWatch ограничивает количество метрик на сигнал тревоги до 10. Это может привести к ограничениям, если вам нужно учитывать больше метрик, чем это.
Чтобы обойти это ограничение, Vericast установила сигналы тревоги на основе общего размера кластера. Один сигнал тревоги создается для трех экземпляров (для трех экземпляров будет один сигнал тревоги, поскольку в сумме это составит до девяти метрик). Предполагая, что экземпляр драйвера следует рассматривать отдельно, для экземпляра драйвера создается еще один отдельный сигнал тревоги. Таким образом, общее количество создаваемых аварийных сигналов примерно эквивалентно одной трети количества узлов-исполнителей и дополнительному количеству узлов-драйверов. В каждом случае количество метрик на сигнал тревоги не превышает ограничения в 10 метрик.
Что происходит в состоянии тревоги
Если достигается заданный порог, сигнал тревоги переходит в alarm
государство, которое использует Amazon Простая служба уведомлений (Amazon SNS) для отправки уведомлений. В этом случае он отправляет уведомление по электронной почте всем подписчикам с подробностями о тревоге в сообщении.
Amazon SNS также используется в качестве триггера для функции Lambda, которая останавливает текущее задание обработки SageMaker, поскольку мы знаем, что задание, вероятно, завершится ошибкой. Эта функция также записывает журналы в таблицу журналов, относящиеся к событию.
Правило EventBridge, настроенное при запуске задания, заметит, что задание перешло в состояние ожидания. stopping
состояние через несколько секунд. Затем это правило повторно запускает первую функцию Lambda, чтобы перезапустить задание.
Процесс динамического масштабирования
Первая функция Lambda после запуска два или более раз будет знать, что предыдущее задание уже было запущено, а теперь остановлено. Функция выполнит аналогичный процесс получения базовой конфигурации из исходного задания в таблице журнала DynamoDB, а также извлечет обновленную конфигурацию из внутренней таблицы. Эта обновленная конфигурация представляет собой разностную конфигурацию ресурсов, которая задается на основе типа масштабирования. Тип масштабирования определяется из метаданных тревоги, как описано ранее.
Исходная конфигурация плюс дельта ресурсов используются, поскольку новая конфигурация и новое задание обработки SageMaker запускаются с увеличенными ресурсами.
Этот процесс продолжается до тех пор, пока задание не завершится успешно, и при необходимости может привести к нескольким перезапускам, каждый раз добавляя новые ресурсы.
Результат Vericast
Это индивидуальное решение для автоматического масштабирования сыграло важную роль в повышении надежности и отказоустойчивости платформы машинного обучения Vericast. Платформа теперь может корректно обрабатывать рабочие нагрузки с различными объемами данных с минимальным вмешательством человека.
До внедрения этого решения оценка требований к ресурсам для всех модулей на основе Spark в конвейере была одним из самых узких мест в процессе адаптации нового клиента. Рабочие процессы перестанут работать, если объем клиентских данных увеличится, или затраты будут неоправданными, если объем данных в производстве уменьшится.
Благодаря этому новому модулю сбои рабочего процесса из-за нехватки ресурсов сократились почти на 80%. Несколько оставшихся сбоев в основном связаны с ограничениями учетной записи AWS и не связаны с процессом автоматического масштабирования. Самая большая победа Vericast с этим решением — простота, с которой они могут подключать новых клиентов и рабочие процессы. Vericast рассчитывает ускорить процесс как минимум на 60–70%, при этом данные для окончательного расчета еще предстоит собрать.
Хотя Vericast считает это успехом, за это приходится платить. Исходя из характера этого модуля и концепции динамического масштабирования в целом, рабочие процессы, как правило, занимают примерно на 30 % больше времени (в среднем), чем рабочий процесс с настраиваемым кластером для каждого модуля в рабочем процессе. Vericast продолжает оптимизацию в этой области, пытаясь улучшить решение, включив инициализацию ресурсов на основе эвристики для каждого клиентского модуля.
Шармо Саркар, старший менеджер по платформе машинного обучения в Vericast, говорит: «Поскольку мы продолжаем расширять использование AWS и SageMaker, я хотел бы воспользоваться моментом, чтобы подчеркнуть невероятную работу нашей команды обслуживания клиентов AWS, преданных своему делу архитекторов решений AWS, и профессиональные сервисы AWS, с которыми мы работаем. Их глубокое понимание AWS и SageMaker позволило нам разработать решение, отвечающее всем нашим потребностям и обеспечивающее необходимую гибкость и масштабируемость. Мы очень благодарны за то, что у нас есть такая талантливая и знающая команда поддержки».
Заключение
В этом посте мы рассказали, как SageMaker и SageMaker Processing позволили Vericast создать управляемую, производительную и экономичную платформу обработки данных для больших объемов данных. Сочетая мощность и гибкость SageMaker Processing с другими сервисами AWS, они могут легко отслеживать общий процесс разработки функций. Они могут автоматически обнаруживать потенциальные проблемы, возникающие из-за нехватки вычислительных ресурсов, памяти и других факторов, и при необходимости автоматически реализовывать вертикальное и горизонтальное масштабирование.
SageMaker и его инструменты также могут помочь вашей команде достичь целей машинного обучения. Чтобы узнать больше о SageMaker Processing и о том, как он может помочь в ваших рабочих нагрузках по обработке данных, см. Данные обработки. Если вы только начинаете работать с машинным обучением и ищете примеры и рекомендации, Amazon SageMaker JumpStart может помочь вам начать. JumpStart — это центр машинного обучения, из которого вы можете получить доступ к встроенным алгоритмам с предварительно обученными базовыми моделями, которые помогут вам выполнять такие задачи, как обобщение статей и создание изображений, а также готовые решения для решения распространенных случаев использования.
Наконец, если этот пост поможет вам или вдохновит вас на решение проблемы, мы будем рады услышать об этом! Пожалуйста, поделитесь своими комментариями и отзывами.
Об авторах
Энтони МакКлюр является старшим архитектором партнерских решений в команде AWS SaaS Factory. Энтони также проявляет большой интерес к машинному обучению и искусственному интеллекту, работая с техническим сообществом AWS ML/AI, чтобы помочь клиентам воплотить в жизнь свои решения в области машинного обучения.
Джиоти Шарма является инженером по науке о данных в команде платформы машинного обучения в Vericast. Она увлечена всеми аспектами науки о данных и сосредоточена на разработке и внедрении масштабируемой и распределенной платформы машинного обучения.
Шармо Саркар является старшим менеджером в Vericast. Он возглавляет группу исследований и разработок Cloud Machine Learning Platform и Marketing Platform ML в Vericast. Он имеет большой опыт в области анализа больших данных, распределенных вычислений и обработки естественного языка. Вне работы он любит кататься на мотоцикле, ходить в походы и кататься на велосипеде по горным тропам.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- ПлатонАйСтрим. Анализ данных Web3. Расширение знаний. Доступ здесь.
- Чеканка будущего с Эдриенн Эшли. Доступ здесь.
- Покупайте и продавайте акции компаний PREIPO® с помощью PREIPO®. Доступ здесь.
- Источник: https://aws.amazon.com/blogs/machine-learning/how-vericast-optimized-feature-engineering-using-amazon-sagemaker-processing/
- :имеет
- :является
- :нет
- :куда
- $UP
- 1
- 10
- 100
- 15%
- 7
- a
- О нас
- доступ
- соответственно
- Учетная запись
- Достигать
- Активация
- акты
- Добавить
- добавленный
- добавить
- дополнительный
- адекватно
- После
- против
- пособие
- Цель
- Часы работы
- алгоритм
- алгоритмы
- Все
- в одиночестве
- вдоль
- уже
- причислены
- Amazon
- Создатель мудреца Амазонки
- количество
- an
- аналитика
- и
- Другой
- Энтони
- любой
- API
- соответствующий
- архитектура
- МЫ
- ПЛОЩАДЬ
- около
- гайд
- искусственный
- искусственный интеллект
- AS
- внешний вид
- аспекты
- назначенный
- помощь
- At
- автоматический
- автоматизировать
- автоматически
- в среднем
- AWS
- Профессиональные услуги AWS
- Использование темпера с изогнутым основанием
- основанный
- BE
- , так как:
- становиться
- было
- не являетесь
- Преимущества
- ЛУЧШЕЕ
- Beyond
- большой
- Big Data
- Крупнейшая
- повышение
- изоферменты печени
- Приведение
- строить
- Строительство
- построенный
- встроенный
- бизнес
- но
- by
- рассчитанный
- призывают
- Кампания
- CAN
- Может получить
- Захват
- случаев
- случаев
- Вызывать
- Причинение
- определенный
- сложные
- изменения
- класс
- классов
- классификация
- клиент
- адаптация клиента
- клиентов
- облако
- Кластер
- код
- Column
- сочетание
- комбинируя
- выходит
- Комментарии
- Общий
- сообщество
- Компания
- полный
- зАВЕРШАЕТ
- сложность
- сложный
- компоненты
- Ослабленный
- Вычисление
- вычисление
- сама концепция
- понятия
- Конфигурация
- Рассматривать
- считается
- принимая во внимание
- считает
- ограничения
- содержать
- Контейнеры
- продолжать
- продолжается
- Цена
- рентабельным
- может
- купон
- Создайте
- создали
- создание
- Критерии
- Пересекать
- Текущий
- В настоящее время
- изготовленный на заказ
- клиент
- Клиенты
- данным
- Анализ данных
- Подготовка данных
- обработка данных
- наука о данных
- ученый данных
- управляемых данными
- Наборы данных
- решать
- решения
- преданный
- глубоко
- Delta
- Демографическая
- зависимый
- развертывание
- описано
- Проект
- предназначенный
- проектирование
- подробность
- подробнее
- определены
- Развитие
- различный
- Отличаясь
- Трудность
- направлять
- скидка
- обсуждать
- распределенный
- распределенных вычислений
- управляемый
- водитель
- два
- динамический
- динамично
- каждый
- Ранее
- простота
- легко
- или
- включен
- позволяет
- инженер
- Проект и
- Инженеры
- обеспечивает
- Весь
- Окружающая среда
- средах
- равный
- Эквивалент
- оценивать
- оценки
- оценка
- События
- События
- пример
- Примеры
- Кроме
- существующий
- Расширьте
- ожидаемый
- надеется
- опыт
- Исследование
- выражения
- обширный
- Богатый опыт
- факторы
- завод
- FAIL
- Ошибка
- Особенность
- Особенности
- ФРС
- Обратная связь
- несколько
- поле
- окончательный
- доработан
- Во-первых,
- соответствовать
- Трансформируемость
- гибкого
- внимание
- после
- следующим образом
- Что касается
- формы
- Год основания
- Рамки
- от
- полностью
- функция
- Функции
- Более того
- будущее
- сбор
- Общие
- генерируется
- генерирует
- поколение
- получить
- получающий
- данный
- Go
- цель
- Цели
- идет
- хорошо
- GPU / ГРАФИЧЕСКИЙ ПРОЦЕССОР
- признательный
- руководство
- было
- обрабатывать
- происходит
- Есть
- имеющий
- he
- слышать
- тяжелый
- тяжелая атлетика
- помощь
- помогает
- на высшем уровне
- высококачественный
- Выделите
- очень
- история
- горизонтальный
- горизонтально
- Как
- How To
- Однако
- HTML
- HTTP
- HTTPS
- хаб
- человек
- барьерный бег
- i
- идентифицированный
- if
- иллюстрирует
- изображение
- осуществлять
- реализация
- Осуществляющий
- важную
- улучшать
- in
- В других
- включает в себя
- В том числе
- включения
- Увеличение
- расширились
- невероятный
- individual
- в отдельности
- информация
- Инфраструктура
- начальный
- Посвященные
- пример
- инструментальный
- Интеллекта
- намереваться
- интерес
- Интерфейс
- в нашей внутренней среде,
- вмешательство
- в
- вовлеченный
- вопрос
- вопросы
- IT
- ЕГО
- работа
- Джобс
- JPG
- всего
- Вид
- Знать
- Отсутствие
- язык
- большой
- в значительной степени
- больше
- новее
- Лиды
- УЧИТЬСЯ
- изучение
- наименее
- Библиотека
- Подтяжка лица
- ограничение
- недостатки
- рамки
- Список
- мало
- журнал
- каротаж
- логический
- дольше
- искать
- терять
- любят
- машина
- обучение с помощью машины
- поддерживать
- Сохранение
- поддерживает
- сделать
- ДЕЛАЕТ
- Создание
- управляемого
- менеджер
- манипулировать
- способ
- многих
- Маркетинг
- математике
- Май..
- Встречайте
- Память
- сообщение
- Метаданные
- метрический
- Метрика
- может быть
- против
- минимальный
- ML
- модель
- Модели
- Модули
- Модули
- момент
- монитор
- контролируемый
- Мониторинг
- Мониторы
- БОЛЕЕ
- самых
- в основном
- гора
- с разными
- должен
- натуральный
- Обработка естественного языка
- природа
- Необходимость
- необходимый
- нуждающихся
- потребности
- Новые
- узлы
- особенно
- Уведомление..
- уведомление
- Уведомления
- сейчас
- номер
- целей
- наблюдать
- of
- .
- on
- On-Demand
- Onboard
- Вводный
- ONE
- постоянный
- только
- оператор
- оптимальный
- Оптимизировать
- оптимизированный
- or
- оригинал
- Другое
- наши
- внешний
- Результат
- выходной
- внешнюю
- за
- общий
- Преодолеть
- обзор
- параметры
- часть
- особый
- партнер
- Прохождение
- страстный
- шаблон
- процент
- Выполнять
- производительность
- возможно
- периодов
- перспектива
- картина
- трубопровод
- Часть
- запланированный
- Платформа
- Платформы
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- Играть
- играет
- пожалуйста
- плюс
- Точка
- пунктов
- состояния потока
- возможное
- После
- потенциал
- мощностью
- прогнозирования
- предыдущий
- вероятно
- Проблема
- проблемам
- процесс
- Обработанный
- обработка
- производит
- Продукт
- Производство
- профессиональный
- обеспечивать
- при условии
- приводит
- положил
- САЙТ
- быстрее
- R & D
- скорее
- Сырье
- достигать
- Читать
- готовый
- Реальность
- причина
- учет
- Recover
- выздоровление
- Цена снижена
- понимается
- Связанный
- соответствующие
- оставаться
- осталось
- отчету
- обязательный
- Требования
- ресурс
- Полезные ресурсы
- Реагируйте
- результат
- в результате
- надежный
- Роли
- грубо
- Правило
- Run
- Бег
- SaaS
- sagemaker
- то же
- говорит
- Масштабируемость
- масштабируемые
- Шкала
- масштабирование
- Решение для масштабирования
- Сценарии
- Наука
- Ученый
- Ученые
- секунды
- разделах
- выбранный
- выбор
- Отправить
- посылает
- старший
- чувствительность
- отдельный
- отделяющий
- обслуживание
- Услуги
- набор
- Наборы
- несколько
- Поделиться
- общие
- Шарма
- она
- показанный
- Шоу
- сторона
- значительный
- аналогичный
- просто
- Размер
- So
- Решение
- Решения
- РЕШАТЬ
- Space
- конкретный
- конкретно
- скорость
- Вращение
- этапы
- стандарт
- стоит
- Начало
- и политические лидеры
- начинается
- Область
- Статус:
- Шаг
- Шаги
- По-прежнему
- остановившийся
- остановка
- Останавливает
- диск
- магазины
- строка
- сильный
- структурированный
- Абоненты
- успех
- Успешно
- такие
- поддержка
- система
- системы
- ТАБЛИЦЫ
- с учетом
- взять
- принимает
- талантливый
- Сложность задачи
- задачи
- команда
- команды
- Технический
- terms
- чем
- который
- Ассоциация
- Будущее
- их
- Их
- тогда
- Там.
- следовательно
- Эти
- они
- В третьих
- этой
- те
- три
- порог
- Через
- время
- раз
- в
- вместе
- инструменты
- Всего
- Train
- Обучение
- сделка
- Детали транзакции
- Transform
- трансформация
- преобразований
- вызвать
- срабатывает
- два
- напишите
- типичный
- под
- понимание
- единиц
- до
- обновление
- us
- годный к употреблению
- Применение
- использование
- прецедент
- используемый
- через
- Проверка
- ценностное
- различный
- вертикальный
- объем
- тома
- vs
- стремятся
- законопроект
- наблюдение
- Путь..
- we
- ЧТО Ж
- когда
- который
- КТО
- все
- полностью
- будете
- выиграть
- в
- Работа
- Рабочие процессы
- работает
- работает
- хуже
- бы
- письмо
- еще
- Уступать
- Ты
- ВАШЕ
- зефирнет