Запускайте несколько моделей глубокого обучения на графическом процессоре с помощью мультимодельных конечных точек Amazon SageMaker.

Поскольку внедрение ИИ в отрасли ускоряется, клиенты создают сложные модели, использующие преимущества новых научных достижений в области глубокого обучения. Эти модели следующего поколения позволяют вам достичь самых современных, подобных человеческим характеристикам в области обработки естественного языка (НЛП), компьютерного зрения, распознавания речи, медицинских исследований, кибербезопасности, прогнозирования структуры белков и многих других. . Например, большие языковые модели, такие как GPT-3, OPT и BLOOM, могут переводить, обобщать и писать текст с человеческими нюансами. В области компьютерного зрения модели диффузии текста в изображение, такие как DALL-E и Imagen, могут создавать фотореалистичные изображения на основе естественного языка с более высоким уровнем визуального и языкового понимания окружающего мира. Эти мультимодальные модели предоставляют более широкие возможности для различных последующих задач и возможность точной настройки их для конкретных областей, а также открывают перед нашими клиентами мощные возможности для бизнеса.

Эти модели глубокого обучения продолжают расти в размерах и обычно содержат миллиарды параметров модели для масштабирования производительности модели для самых разных задач, таких как генерация изображений, обобщение текста, языковой перевод и многое другое. Существует также необходимость настройки этих моделей для предоставления людям гиперперсонализированного опыта. В результате разрабатывается большее количество моделей путем тонкой настройки этих моделей для различных последующих задач. Для достижения целей приложений искусственного интеллекта по задержке и пропускной способности экземпляры графических процессоров предпочтительнее экземпляров ЦП (учитывая вычислительную мощность, которую предлагают графические процессоры). Однако экземпляры графического процессора стоят дорого, и затраты могут возрасти, если вы развертываете более 10 моделей. Хотя эти модели потенциально могут создать эффективные приложения искусственного интеллекта, масштабирование этих моделей глубокого обучения экономически эффективными способами может оказаться затруднительным из-за их размера и количества моделей.

Создатель мудреца Амазонки Многомодельные конечные точки (MME) предоставляют масштабируемый и экономичный способ развертывания большого количества моделей глубокого обучения. MME — популярный выбор хостинга для размещения сотен моделей на базе ЦП среди таких клиентов, как Zendesk, Veeva и AT&T. Раньше у вас были ограниченные возможности для развертывания сотен моделей глубокого обучения, которым требовались ускоренные вычисления с помощью графических процессоров. Сегодня мы объявляем о поддержке MME для графического процессора. Теперь вы можете развертывать тысячи моделей глубокого обучения на одной конечной точке SageMaker. MME теперь могут запускать несколько моделей на ядре графического процессора, совместно использовать экземпляры графического процессора за конечной точкой для нескольких моделей, а также динамически загружать и выгружать модели на основе входящего трафика. Благодаря этому вы сможете значительно сэкономить и добиться наилучшего соотношения цены и качества.

В этом посте мы покажем, как запустить несколько моделей глубокого обучения на графическом процессоре с помощью MME SageMaker.

MME SageMaker

MME SageMaker позволяют развертывать несколько моделей за одной конечной точкой вывода, которая может содержать один или несколько экземпляров. С помощью MME каждый экземпляр может загружать и обслуживать несколько моделей. MME позволяют избежать линейно растущей стоимости размещения нескольких моделей и повторно использовать инфраструктуру во всех моделях.

На следующей диаграмме показана архитектура MME SageMaker.

SageMaker MME динамически загружает модели из Простой сервис хранения Amazon (Amazon S3) при вызове вместо загрузки всех моделей при первом создании конечной точки. В результате первоначальный вызов модели может иметь более высокую задержку вывода, чем последующие выводы, которые выполняются с низкой задержкой. Если модель уже загружена в контейнер при вызове, этап загрузки и загрузки пропускается, и модель возвращает выводы с низкой задержкой. Например, предположим, что у вас есть модель, которая используется всего несколько раз в день. Он автоматически загружается по требованию, тогда как часто используемые модели сохраняются в памяти и вызываются с неизменно низкой задержкой.

MME SageMaker с поддержкой графического процессора

MME SageMaker с графическим процессором работают с использованием Сервер вывода NVIDIA Triton. NVIDIA Triton Inference Server — это программное обеспечение для обработки логических выводов с открытым исходным кодом, которое упрощает процесс обработки логических выводов и обеспечивает высокую производительность. Triton поддерживает все основные платформы обучения и вывода, такие как TensorFlow, NVIDIA® TensorRT™, PyTorch, MXNet, Python, ONNX, XGBoost, Scikit-learn, RandomForest, OpenVINO, пользовательский C++ и другие. Он предлагает динамическую пакетную обработку, параллельные прогоны, квантование после обучения и оптимальную конфигурацию модели для достижения высокопроизводительного вывода. Кроме того, сервер вывода NVIDIA Triton был расширен для реализации Контракт API MME, для интеграции с MME.

На следующей диаграмме показан рабочий процесс MME.

Этапы рабочего процесса следующие:

1. SageMaker MME получает запрос HTTP-запроса для конкретной модели, используя TargetModel в запросе вместе с полезной нагрузкой.
2. SageMaker направляет трафик к нужному экземпляру за конечной точкой, где загружается целевая модель. SageMaker понимает структуру трафика во всех моделях, лежащих в основе MME, и разумно маршрутизирует запросы.
3. SageMaker берет на себя управление моделями за конечной точкой, динамически загружает модель в память контейнера и выгружает модель на основе общего парка экземпляров графического процессора, чтобы обеспечить наилучшее соотношение цены и качества.
4. SageMaker динамически загружает модели из Amazon S3 в том хранилища инстанса. Если вызванная модель недоступна в томе хранения экземпляра, модель загружается в том хранения экземпляра. Если объем хранилища экземпляра достигает емкости, SageMaker удаляет все неиспользуемые модели из объема хранения.
5. SageMaker загружает модель в память контейнера NVIDIA Triton на экземпляре с ускорением графического процессора и обрабатывает запрос на вывод. Ядро графического процессора используется всеми моделями в экземпляре. Если модель уже загружена в память контейнера, последующие запросы обслуживаются быстрее, поскольку SageMaker не нужно загружать и загружать ее снова.
6. SageMaker позаботится о формировании трафика к конечной точке MME и поддерживает оптимальные копии моделей на инстансах GPU для наилучшего соотношения цены и качества. Он продолжает направлять трафик к экземпляру, в котором загружена модель. Если ресурсы экземпляра достигают предела из-за высокой загрузки, SageMaker выгружает наименее используемые модели из контейнера, чтобы освободить ресурсы для загрузки более часто используемых моделей.

MME SageMaker могут горизонтально масштабироваться с использованием политики автоматического масштабирования и предоставлять дополнительные вычислительные экземпляры графического процессора на основе таких показателей, как количество вызовов на экземпляр и использование графического процессора, для обслуживания любого скачка трафика к конечным точкам MME.

Обзор решения

В этом посте мы покажем вам, как использовать новые функции MME SageMaker с графическим процессором в сценарии использования компьютерного зрения. В демонстрационных целях мы используем предварительно обученную модель сверточной нейронной сети ResNet-50, которая может классифицировать изображения по 1,000 категориям. Мы обсуждаем, как сделать следующее:

• Используйте контейнер вывода NVIDIA Triton в MME SageMaker, используя различные серверные части платформы модели Triton, такие как PyTorch и TensorRT.
• Преобразуйте модели ResNet-50 в оптимизированный формат движка TensorRT и разверните его с помощью SageMaker MME.
• Настройте политики автоматического масштабирования для MME.
• Получите представление о метриках экземпляров и вызовов, используя Amazon CloudWatch

Создание артефактов модели

В этом разделе описываются шаги по подготовке предварительно обученной модели ResNet-50 для развертывания на SageMaker MME с использованием конфигураций модели Triton Inference Server. Вы можете воспроизвести все действия, воспользовавшись пошаговым блокнотом на GitHub.

В этом посте мы демонстрируем развертывание с помощью двух моделей. Однако вы можете подготовить и развернуть сотни моделей. Модели могут использовать или не использовать одну и ту же структуру.

Подготовьте модель PyTorch

Сначала мы загружаем предварительно обученную модель ResNet50 с помощью пакета моделей torchvision. Мы сохраняем модель как файл model.pt в оптимизированном и сериализованном формате TorchScript. TorchScript компилирует прямой проход модели ResNet50 в активном режиме с примерами входных данных, поэтому мы передаем один экземпляр изображения RGB с тремя цветовыми каналами размером 224 x 224.

Затем нам нужно подготовить модели для сервера вывода Triton. Следующий код показывает репозиторий модели для серверной части платформы PyTorch. Triton использует файл model.pt, помещенный в репозиторий модели, для предоставления прогнозов.

resnet
├── 1
│   └── model.pt
└── config.pbtxt

Файл конфигурации модели config.pbtxt необходимо указать название модели (resnet), свойства платформы и серверной части (pytorch_libtorch), max_batch_size (128), а также входные и выходные тензоры вместе с типом данных (TYPE_FP32) информация. Дополнительно вы можете указать instance_group и dynamic_batching свойства для достижения высокой производительности вывода. См. следующий код:

name: "resnet"
platform: "pytorch_libtorch"
max_batch_size: 128
input {
  name: "INPUT__0"
  data_type: TYPE_FP32
  dims: 3
  dims: 224
  dims: 224
}
output {
  name: "OUTPUT__0"
  data_type: TYPE_FP32
  dims: 1000
}

Подготовьте модель TensorRT

NVIDIA ТензорРТ — это SDK для высокопроизводительного вывода при глубоком обучении, включающий в себя оптимизатор вывода при глубоком обучении и среду выполнения, обеспечивающую низкую задержку и высокую пропускную способность для приложений вывода. Используем инструмент командной строки trtexec для создания сериализованного движка TensorRT из ОННКС формат модели. Выполните следующие шаги, чтобы преобразовать предварительно обученную модель ResNet-50 в NVIDIA TensorRT:

1. Экспортируйте предварительно обученную модель ResNet-50 в формат ONNX, используя torch.onnx.На этом этапе модель запускается один раз, чтобы отследить ее выполнение с помощью образца входных данных, а затем экспортируется отслеженная модель в указанный файл. model.onnx.
2. Используйте trtexec для создания плана движка TensorRT из файла model.onnx файл. При желании вы можете снизить точность вычислений с плавающей запятой, либо просто запустив их в 16-битном формате с плавающей запятой, либо квантовав значения с плавающей запятой, чтобы вычисления можно было выполнять с использованием 8-битных целых чисел.

Следующий код показывает структуру репозитория модели TensorRT:

resnet
├── 1
│   └── model.plan
└── config.pbtxt

Для модели TensorRT мы указываем tensorrt_plan в качестве платформы и введите характеристики Tensor изображения размером 224 x 224, которое имеет цветовые каналы. Выходной тензор с 1,000 размерностями имеет тип TYPE_FP32, соответствующие различным категориям объектов. См. следующий код:

name: "resnet"
platform: "tensorrt_plan"
max_batch_size: 128
input {
  name: "input"
  data_type: TYPE_FP32
  dims: 3
  dims: 224
  dims: 224
}
output {
  name: "output"
  data_type: TYPE_FP32
  dims: 1000
}
model_warmup {
    name: "bs128 Warmup"
    batch_size: 128
    inputs: {
        key: "input"
        value: {
            data_type: TYPE_FP32
            dims: 3
            dims: 224
            dims: 224
            zero_data: false
        }
    }
}

Храните артефакты модели в Amazon S3

SageMaker ожидает, что артефакты модели .tar.gz формат. Они также должны соответствовать требованиям к контейнеру Triton, таким как название модели, версия, config.pbtxt файлы и многое другое. tar папка, содержащая файл модели как .tar.gz и загрузите его на Amazon S3:

!mkdir -p triton-serve-pt/resnet/1/
!mv -f workspace/model.pt triton-serve-pt/resnet/1/
!tar -C triton-serve-pt/ -czf resnet_pt_v0.tar.gz resnet
model_uri_pt = sagemaker_session.upload_data(path="resnet_pt_v0.tar.gz", key_prefix="resnet-mme-gpu")
!mkdir -p triton-serve-trt/resnet/1/
!mv -f workspace/model.plan triton-serve-trt/resnet/1/
!tar -C triton-serve-trt/ -czf resnet_trt_v0.tar.gz resnet
model_uri_trt = sagemaker_session.upload_data(path="resnet_trt_v0.tar.gz", key_prefix="resnet-mme-gpu")

Теперь, когда мы загрузили артефакты модели в Amazon S3, мы можем создать MME SageMaker.

Развертывание моделей с помощью MME

Теперь мы развертываем модель ResNet-50 с двумя разными серверными модулями (PyTorch и TensorRT) в MME SageMaker.

Обратите внимание, что вы можете развернуть сотни моделей, и эти модели могут использовать одну и ту же платформу. Они также могут использовать разные фреймворки, как показано в этом посте.

Мы используем AWS SDK для Python (Boto3) API create_model, create_endpoint_configи create_endpoint для создания ММЕ.

Определите сервировочный контейнер

В определении контейнера укажите model_data_url чтобы указать каталог S3, содержащий все модели, которые SageMaker MME использует для загрузки и обслуживания прогнозов. Набор Mode в MultiModel чтобы указать, что SageMaker создает конечную точку со спецификациями контейнера MME. Мы устанавливаем контейнер с образом, который поддерживает развертывание MME с помощью графического процессора. См. следующий код:

container = {
"Image": ,
"ModelDataUrl": ,
"Mode": "MultiModel"
}

Создайте многомодельный объект

Используйте клиент SageMaker Boto3 для создания модели с помощью create_model API. Мы передаем определение контейнера в API создания модели вместе с ModelName и ExecutionRoleArn:

create_model_response = sm_client.create_model(
    ModelName=, ExecutionRoleArn=role, PrimaryContainer=container
)

Определить конфигурации MME

Создайте конфигурации MME, используя create_endpoint_config Бото3 API. Укажите экземпляр с ускоренными вычислениями на GPU в InstanceType (мы используем тип экземпляра g4dn.4xlarge). Мы рекомендуем настроить конечные точки как минимум с двумя экземплярами. Это позволяет SageMaker предоставлять высокодоступный набор прогнозов в нескольких зонах доступности для моделей.

Согласно нашим выводам, вы можете получить лучшую экономическую производительность на инстансах, оптимизированных для машинного обучения, с одним ядром графического процессора. Таким образом, поддержка MME для функции графического процессора включена только для экземпляров с одним ядром графического процессора. Полный список поддерживаемых экземпляров см. Поддерживаемые типы экземпляров графического процессора.

create_endpoint_config_response = sm_client.create_endpoint_config(
    EndpointConfigName=,
    ProductionVariants=[
        {
            "InstanceType": "ml.g4dn.4xlarge",
            "InitialVariantWeight": 1,
            "InitialInstanceCount": 2,
            "ModelName": ,
            "VariantName": "AllTraffic",
        }
    ],
)

Создать MME

Используя предыдущую конфигурацию конечной точки, мы создаем MME SageMaker, используя create_endpoint API. SageMaker создает MME, запускает вычислительный экземпляр ML g4dn.4xlarge и развертывает на нем модели PyTorch и TensorRT ResNet-50. См. следующий код:

create_endpoint_response = sm_client.create_endpoint(
    EndpointName=, EndpointConfigName=
)

Вызов целевой модели в MME

После того, как мы создадим конечную точку, мы можем отправить запрос на вывод в MME, используя метод invoke_enpoint API. Мы указываем TargetModel в вызове вызова и передайте полезную нагрузку для каждого типа модели. Следующий код представляет собой пример вызова модели PyTorch и модели TensorRT:

runtime_sm_client.invoke_endpoint(
    EndpointName=,
    ContentType="application/octet-stream",
    Body=json.dumps(pt_payload),
    TargetModel='resnet_pt_v0.tar.gz', #PyTorch Model
)
runtime_sm_client.invoke_endpoint(
    EndpointName=, 
    ContentType="application/octet-stream", 
    Body=json.dumps(trt_payload),
    TargetModel='resnet_trt_v0.tar.gz' #TensorRT Model
)

Настройте политики автоматического масштабирования для MME графического процессора.

MME SageMaker поддерживают автоматическое масштабирование размещенных моделей. Автоматическое масштабирование динамически регулирует количество экземпляров, предоставляемых для модели, в ответ на изменения рабочей нагрузки. Когда рабочая нагрузка увеличивается, автоматическое масштабирование подключает к сети больше экземпляров. Когда рабочая нагрузка снижается, автоматическое масштабирование удаляет ненужные экземпляры, чтобы вам не приходилось платить за подготовленные экземпляры, которые вы не используете.

В следующей политике масштабирования мы используем специальную метрику GPUUtilization в TargetTrackingScalingPolicyConfiguration конфигурацию и установите TargetValue of 60.0 для целевого значения этого показателя. Эта политика автомасштабирования предоставляет дополнительные экземпляры до MaxCapacity когда загрузка графического процессора превышает 60%.

auto_scaling_client = boto3.client('application-autoscaling')

resource_id='endpoint/' +  + '/variant/' + 'AllTraffic' 
response = auto_scaling_client.register_scalable_target(
    ServiceNamespace='sagemaker',
    ResourceId=resource_id,
    ScalableDimension='sagemaker:variant:DesiredInstanceCount',
    MinCapacity=1,
    MaxCapacity=5
)

response = auto_scaling_client.put_scaling_policy(
    PolicyName='GPUUtil-ScalingPolicy',
    ServiceNamespace='sagemaker',
    ResourceId=resource_id,
    ScalableDimension='sagemaker:variant:DesiredInstanceCount', 
    PolicyType='TargetTrackingScaling',
    TargetTrackingScalingPolicyConfiguration={
        'TargetValue': 60.0, 
        'CustomizedMetricSpecification':
        {
            'MetricName': 'GPUUtilization',
            'Namespace': '/aws/sagemaker/Endpoints',
            'Dimensions': [
                {'Name': 'EndpointName', 'Value':  },
                {'Name': 'VariantName','Value': 'AllTraffic'}
            ],
            'Statistic': 'Average',
            'Unit': 'Percent'
        },
        'ScaleInCooldown': 600,
        'ScaleOutCooldown': 200 
    }
)

Мы рекомендуем использовать GPUUtilization or InvocationsPerInstance чтобы настроить политики автоматического масштабирования для вашего MME. Более подробную информацию см. Установите политики автомасштабирования для развертываний многомодельных конечных точек

Метрики CloudWatch для MME графических процессоров

MME SageMaker предоставляют следующие метрики на уровне экземпляра для мониторинга:

• ЛожедМоделкаунт – Количество моделей, загруженных в контейнеры
• Использование графического процессора – Процент блоков графического процессора, которые используются контейнерами.
• Использование графического процессора памяти – Процент памяти графического процессора, используемой контейнерами.
• Использование диска – Процент дискового пространства, используемого контейнерами

Эти метрики позволяют планировать эффективное использование ресурсов экземпляра графического процессора. На следующем графике мы видим GPUMemoryUtilization составлял 38.3% при загрузке в контейнер более 16 моделей ResNet-50. Сумма использования каждого отдельного ядра ЦП (CPUUtilization) составил 60.9%, а процент памяти, используемой контейнерами (MemoryUtilization) составила 9.36%.

MME SageMaker также предоставляют метрики загрузки модели для получения информации на уровне вызова модели:

• МодельЗагрузкаВаиттиме – Интервал времени для загрузки или загрузки модели
• МодельРазгрузкаВремя – Интервал времени для выгрузки модели из контейнера
• МодельDownloadingTime – Время скачать модель с Amazon S3
• МодельCacheHit – Количество вызовов модели, уже загруженной в контейнер.

На следующем графике мы можем видеть, что модели потребовалось 8.22 секунды, чтобы ответить на запрос вывода (ModelLatency), а к сквозной задержке было добавлено 24.1 миллисекунды из-за накладных расходов SageMaker (OverheadLatency). Мы также можем увидеть любые метрики ошибок из вызовов для вызова API конечной точки, например: Invocation4XXErrors и Invocation5XXErrors.

Дополнительную информацию о метриках MME CloudWatch см. Метрики CloudWatch для мультимодальных развертываний конечных точек.

Обзор

В этом посте вы узнали о новой поддержке нескольких моделей SageMaker для графического процессора, которая позволяет экономично размещать сотни моделей глубокого обучения на оборудовании для ускоренных вычислений. Вы узнали, как использовать сервер вывода NVIDIA Triton, который создает конфигурацию репозитория модели для различных серверных частей платформы, и как развернуть MME с автоматическим масштабированием. Эта функция позволит вам масштабировать сотни гиперперсонализированных моделей, которые точно настроены для удовлетворения уникальных потребностей конечных пользователей в приложениях искусственного интеллекта. Вы также можете использовать эту функцию для достижения необходимой производительности по цене для вашего приложения вывода с использованием дробных графических процессоров.

Чтобы начать работу с поддержкой MME для графического процессора, см. Поддержка нескольких моделей конечных точек для графического процессора.

Об авторах

Дхавал Патель является главным архитектором машинного обучения в AWS. Он работал с организациями, начиная от крупных предприятий и заканчивая стартапами среднего размера, над проблемами, связанными с распределенными вычислениями и искусственным интеллектом. Он фокусируется на глубоком обучении, включая НЛП и области компьютерного зрения. Он помогает клиентам добиться высокопроизводительного логического вывода моделей в Amazon SageMaker.

Викрам Эланго — старший специалист по архитектуре решений искусственного интеллекта и машинного обучения в компании Amazon Web Services, расположенной в Вирджинии, США. Vikram помогает клиентам финансовой и страховой отрасли по всему миру с помощью проектирования, внедрения и идейного лидерства в создании и развертывании приложений машинного обучения в большом масштабе. В настоящее время он занимается обработкой естественного языка, ответственным искусственным интеллектом, оптимизацией вывода и масштабированием машинного обучения на предприятии. В свободное время он любит путешествовать, ходить в походы, готовить и ходить в походы со своей семьей.

Саураб Триканде является старшим менеджером по продуктам Amazon SageMaker Inference. Он увлечен работой с клиентами и мотивирован целью демократизации машинного обучения. Он фокусируется на основных проблемах, связанных с развертыванием сложных приложений машинного обучения, мультитенантных моделей машинного обучения, оптимизацией затрат и обеспечением более доступного развертывания моделей глубокого обучения. В свободное время Саураб любит ходить в походы, узнавать об инновационных технологиях, следить за TechCrunch и проводить время со своей семьей.

Дипти Рагха — инженер-разработчик программного обеспечения в команде Amazon SageMaker. Ее текущая работа сосредоточена на создании функций для эффективного размещения моделей машинного обучения. В свободное время она любит путешествовать, ходить в походы и выращивать растения.

Нихил Кулкарни — разработчик программного обеспечения для AWS Machine Learning, специализирующийся на повышении производительности рабочих нагрузок машинного обучения в облаке, а также соавтор контейнеров AWS Deep Learning для обучения и вывода. Он увлечен распределенными системами глубокого обучения. Вне работы он любит читать книги, играть на гитаре и готовить пиццу.

Цзяхонг Лю является архитектором решений в команде поставщиков облачных услуг в NVIDIA. Он помогает клиентам внедрить решения для машинного обучения и искусственного интеллекта, которые используют ускоренные вычисления NVIDIA для решения их задач обучения и логических выводов. В свободное время он увлекается оригами, проектами «сделай сам» и играет в баскетбол.

Элиут Триана является менеджером по связям с разработчиками в команде NVIDIA-AWS. Он связывает руководителей продуктов, разработчиков и ученых Amazon и AWS с технологами и руководителями продуктов NVIDIA, чтобы ускорить рабочие нагрузки Amazon ML/DL, продукты EC2 и сервисы AWS AI. Кроме того, Элиут страстный байкер, лыжник и игрок в покер.

Максимилиано Макканти — главный инженер в AWS, в настоящее время работает в DynamoDB. Я был в команде запуска SageMaker на re:Invent 2017 и провел следующие 5 лет на платформе хостинга, добавляя все виды функций, с которыми сталкиваются клиенты. В свободное время я собираю, ремонтирую и играю на старинных игровых консолях.