AWS Panorama теперь поддерживает NVIDIA JetPack SDK 4.6.2

Панорама АВС представляет собой набор устройств машинного обучения (ML) и комплект для разработки программного обеспечения (SDK), который обеспечивает компьютерное зрение для локальных камер с интернет-протоколом (IP). Варианты устройств AWS Panorama включают AWS Panorama Appliance и Lenovo ThinkEdge SE70 на базе AWS Panorama. Эти варианты устройств предоставляют вам выбор по цене и производительности в зависимости от вашего уникального варианта использования. Оба устройства AWS Panorama построены на основе системы NVIDIA® Jetson™ на модулях (SOM) и используют SDK NVIDIA JetPack.

AWS выпустила новое обновление программного обеспечения для AWS Panorama, которое поддерживает NVIDIA Jetpack SDK версии 4.6.2. Вы можете загрузить это обновление программного обеспечения и применить его к устройству AWS Panorama посредством процесса обновления по беспроводной сети (OTA). Подробнее см. Управление устройством AWS Panorama.

Этот выпуск не имеет обратной совместимости с предыдущими выпусками программного обеспечения для AWS Panorama; вы должны перестроить и повторно развернуть свои приложения. Этот пост содержит пошаговое руководство по обновлению библиотек прикладного программного обеспечения до последних поддерживаемых версий.

Обзор обновления

Ассоциация NVIDIA Jetpack SDK версии 4.6.2 включает поддержку новых версий CUDA 10.2, cuDNN 8.2.1 и TensorRT 8.2.1. Другие известные библиотеки, которые теперь поддерживаются, включают DeepStream 6.0 и Triton Inference Server 21.07. Кроме того, TensorRT 8.2.1 включает расширенный список поддержки операторов DNN, поддержку Sigmoid/Tanh INT8 для DLA и улучшенную интеграцию с TensorFlow и PyTorch. Теперь поддерживается преобразование Torch в TensorRT, а также TensorFlow в TensorRT без необходимости преобразования в ONNX в качестве промежуточного шага. Дополнительные сведения см. NVIDIA анонсирует TensorRT 8.2 и интеграцию с PyTorch и TensorFlow.

Вы можете повторно развернуть свои приложения, выполнив действия, описанные в следующих разделах.

Предпосылки

В качестве предварительного условия вам потребуется учетная запись AWS и Устройство AWS Panorama.

Обновите свое устройство AWS Panorama

Сначала вы обновляете свое устройство AWS Panorama до последней версии.

1. На консоли AWS Panorama выберите Устройства в навигационной панели.
2. Выберите прибор.
3. Выберите Настройки.
4. Под Программное обеспечение, выберите Просмотр обновления программного обеспечения.
   
   
5. Выберите Системное программное обеспечение версии 5.0 или выше, а затем приступайте к установке этого программного обеспечения.

Повторное развертывание вашего приложения

Если вы не используете функцию доступа Open GPU как часть своего приложения, вы используете функцию замены в консоли AWS Panorama. Функция замены перестраивает вашу модель для последней версии программного обеспечения.

1. На консоли AWS Panorama выберите Развернутые приложения в навигационной панели.
2. Выберите приложение.
3. Выберите Замените.
   

Для приложений, использующих функцию открытого доступа к графическому процессору, обновление обычно включает предоставление вашему контейнеру доступа к базовому оборудованию графического процессора, а также развертывание и управление вашими собственными моделями и средой выполнения. Мы рекомендуем использовать NVIDIA TensorRT в вашем приложении, но вы не ограничены этим.

Вам также необходимо обновить библиотеки вашего Dockerfile. Типичные библиотеки для обновления включают CUDA 10.2, cuDNN 8.2.1, TensorRT 8.2.1, DeepStream 6.0, OpenCV 4.1.1 и VPI 1.1. В качестве примечания, все связанные изменения CUDA/NVIDIA в программном стеке можно найти по адресу ДжетПак SDK 4.6.2.

Теперь вы пересобираете модели для TensorRT 8.2.1 и обновляете свой пакет.json файл с обновленными активами. Ты можешь сейчас строить свой контейнер с обновленными зависимостями и моделями и разверните контейнер приложения на своем устройстве с помощью консоли AWS Panorama или API.

На этом этапе ваши приложения AWS Panorama должны иметь возможность использовать Jetpack SDK версии 4.6.2. Примеры приложений AWS Panorama, совместимые с этой версией, находятся на GitHub.

Заключение

С новым обновлением для AWS Panorama вы должны перестроить и повторно развернуть свои приложения. В этом посте описаны шаги по обновлению библиотек приложений AWS Panorama до последних поддерживаемых версий.

С любыми вопросами обращайтесь в AWS Panorama по адресу AWS re:Пост.

Об авторах

Винод Раман является главным менеджером по продуктам в AWS.

Стивен Уайт является старшим архитектором решений Computer Vision/EdgeML в AWS.