AWS Panorama stöder nu NVIDIA JetPack SDK 4.6.2

AWS Panorama är en samling maskininlärningsenheter (ML) och ett mjukvaruutvecklingskit (SDK) som ger datorseende till lokala internetprotokollkameror (IP). AWS Panorama-enhetsalternativ inkluderar AWS Panorama Appliance och Lenovo ThinkEdge SE70, som drivs av AWS Panorama. Dessa enhetsalternativ ger dig val i pris och prestanda, beroende på ditt unika användningsfall. Båda AWS Panorama-enheterna är byggda på NVIDIA® Jetson™ System on Modules (SOMs) och använder NVIDIA JetPack SDK.

AWS har släppt en ny mjukvaruuppdatering för AWS Panorama som stöder NVIDIA Jetpack SDK version 4.6.2. Du kan ladda ner den här mjukvaruuppdateringen och tillämpa den på AWS Panorama-enheten via en OTA-uppgraderingsprocess. För mer information, se Hantera en AWS Panorama Appliance.

Den här utgåvan är inte bakåtkompatibel med tidigare programvaruversioner för AWS Panorama; du måste bygga om och distribuera om dina applikationer. Det här inlägget ger en steg-för-steg-guide för att uppdatera dina programbibliotek till de senaste versionerna som stöds.

Översikt över uppdatering

Smakämnen NVIDIA Jetpack SDK version 4.6.2 inkluderar stöd för nyare versioner av CUDA 10.2, cuDNN 8.2.1 och TensorRT 8.2.1. Andra anmärkningsvärda bibliotek som nu stöds inkluderar DeepStream 6.0 och Triton Inference Server 21.07. Dessutom innehåller TensorRT 8.2.1 en utökad lista över DNN-operatörsstöd, Sigmoid/Tanh INT8-stöd för DLA och bättre integration med TensorFlow och PyTorch. Torch to TensorRT-konvertering stöds nu, liksom TensorFlow till TensorRT, utan att behöva konvertera till ONNX som ett mellansteg. För ytterligare information, se NVIDIA tillkännager TensorRT 8.2 och integrationer med PyTorch och TensorFlow.

Du kan distribuera om dina applikationer genom att följa stegen i följande avsnitt.

Förutsättningar

Som en förutsättning behöver du ett AWS-konto och ett AWS Panorama-enhet.

Uppgradera din AWS Panorama-enhet

Först uppgraderar du din AWS Panorama-enhet till den senaste versionen.

1. Välj på AWS Panorama-konsolen enheter i navigeringsfönstret.
2. Välj en apparat.
3. Välja Inställningar.
4. Enligt Systemmjukvaraväljer Visa programuppdatering.
   
   
5. Välja Systemprogramvara version 5.0 eller högre och fortsätt sedan med att installera denna programvara.

Distribuera om din applikation

Om du inte använder Open GPU-åtkomstfunktionen som en del av din applikation, använder du funktionen Ersätt på AWS Panorama-konsolen. Ersätt-funktionen bygger om din modell för den senaste programvaran.

1. Välj på AWS Panorama-konsolen Utplacerade applikationer i navigeringsfönstret.
2. Välj ett program.
3. Välja ersätta.
   

För applikationer som använder funktionen för öppen GPU-åtkomst innebär uppgradering vanligtvis att ge din behållare åtkomst till den underliggande GPU-hårdvaran och att distribuera och hantera dina egna modeller och körtid. Vi rekommenderar att du använder NVIDIA TensorRT i din applikation, men du är inte begränsad till detta.

Du måste också uppdatera biblioteken i din Dockerfile. Typiska bibliotek att uppdatera inkluderar CUDA 10.2, cuDNN 8.2.1, TensorRT 8.2.1, DeepStream 6.0, OpenCV 4.1.1 och VPI 1.1. Som en notering kan alla relaterade CUDA/NVIDIA-ändringar i mjukvarustacken hittas på JetPack SDK 4.6.2.

Nu bygger du om modellerna för TensorRT 8.2.1 och uppdaterar din package.json fil med de uppdaterade tillgångarna. Du kan nu SLUTRESULTAT din behållare med de uppdaterade beroenden och modellerna och distribuera applikationsbehållaren till din Appliance med hjälp av AWS Panorama-konsolen eller API: er.

Vid det här laget bör dina AWS Panorama-applikationer kunna använda Jetpack SDK version 4.6.2. AWS Panoramas exempelapplikationer som är kompatibla med denna version finns på GitHub.

Slutsats

Med den nya uppdateringen till AWS Panorama måste du bygga om och distribuera om dina applikationer. Det här inlägget ledde dig genom stegen för att uppdatera dina AWS Panorama-programbibliotek till de senaste versionerna som stöds.

Kontakta AWS Panorama med eventuella frågor på AWS re:Post.

Om författarna

Vinod Raman är huvudproduktchef på AWS.

Steven White är Senior Computer Vision/EdgeML Solutions Architect på AWS.