AWS Panorama understøtter nu NVIDIA JetPack SDK 4.6.2

AWS Panorama er en samling af maskinlæringsenheder (ML) og et softwareudviklingskit (SDK), der bringer computervision til lokale internetprotokolkameraer (IP). AWS Panorama-enhedsmuligheder omfatter AWS Panorama Appliance og Lenovo ThinkEdge SE70, drevet af AWS Panorama. Disse enhedsmuligheder giver dig valgmuligheder i pris og ydeevne, afhængigt af din unikke anvendelse. Begge AWS Panorama-enheder er bygget på NVIDIA® Jetson™ System on Modules (SOM'er) og bruger NVIDIA JetPack SDK.

AWS har udgivet en ny softwareopdatering til AWS Panorama, der understøtter NVIDIA Jetpack SDK version 4.6.2. Du kan downloade denne softwareopdatering og anvende den på AWS Panorama-enheden via en over-the-air (OTA) opgraderingsproces. For flere detaljer, se Håndtering af en AWS Panorama Appliance.

Denne udgivelse er ikke bagudkompatibel med tidligere softwareudgivelser til AWS Panorama; du skal genopbygge og geninstallere dine applikationer. Dette indlæg giver en trin-for-trin guide til opdatering af dine applikationssoftwarebiblioteker til de seneste understøttede versioner.

Oversigt over opdatering

NVIDIA Jetpack SDK version 4.6.2 inkluderer understøttelse af nyere versioner af CUDA 10.2, cuDNN 8.2.1 og TensorRT 8.2.1. Andre bemærkelsesværdige biblioteker, der nu understøttes, inkluderer DeepStream 6.0 og Triton Inference Server 21.07. Derudover inkluderer TensorRT 8.2.1 en udvidet liste over DNN-operatørsupport, Sigmoid/Tanh INT8-understøttelse til DLA og bedre integration med TensorFlow og PyTorch. Torch til TensorRT konvertering er nu understøttet, såvel som TensorFlow til TensorRT, uden behov for at konvertere til ONNX som et mellemtrin. For yderligere detaljer, se NVIDIA annoncerer TensorRT 8.2 og integrationer med PyTorch og TensorFlow.

Du kan geninstallere dine applikationer ved at følge trinene i de følgende afsnit.

Forudsætninger

Som en forudsætning skal du have en AWS-konto og en AWS Panorama-enhed.

Opgrader din AWS Panorama-enhed

Først opgraderer du din AWS Panorama-enhed til den nyeste version.

1. På AWS Panorama-konsollen skal du vælge Enheder i navigationsruden.
2. Vælg et apparat.
3. Vælg Indstillinger.
4. Under System software, vælg Se softwareopdatering.
   
   
5. Vælg Systemsoftware version 5.0 eller derover, og fortsæt derefter med at installere denne software.

Geninstaller din applikation

Hvis du ikke bruger funktionen Åbn GPU-adgang som en del af din applikation, bruger du funktionen Erstat på AWS Panorama-konsollen. Erstat-funktionen genopbygger din model til den nyeste software.

1. På AWS Panorama-konsollen skal du vælge Udrullede applikationer i navigationsruden.
2. Vælg et program.
3. Vælg udskifte.
   

For applikationer, der bruger funktionen Open GPU-adgang, involverer opgradering typisk at give din container adgang til den underliggende GPU-hardware og implementere og administrere dine egne modeller og runtime. Vi anbefaler at bruge NVIDIA TensorRT i din applikation, men du er ikke begrænset til dette.

Du skal også opdatere bibliotekerne i din Dockerfile. Typiske biblioteker, der skal opdateres, inkluderer CUDA 10.2, cuDNN 8.2.1, TensorRT 8.2.1, DeepStream 6.0, OpenCV 4.1.1 og VPI 1.1. Som en note kan alle relaterede CUDA/NVIDIA ændringer i softwarestakken findes på JetPack SDK 4.6.2.

Nu genopbygger du modellerne til TensorRT 8.2.1 og opdaterer din pakke.json fil med de opdaterede aktiver. Det kan du nu bygge din container med de opdaterede afhængigheder og modeller og implementer applikationscontaineren til din Appliance ved hjælp af AWS Panorama-konsollen eller API'er.

På dette tidspunkt skulle dine AWS Panorama-applikationer være i stand til at bruge Jetpack SDK version 4.6.2. AWS Panoramas eksempelapplikationer, der er kompatible med denne version, er placeret på GitHub.

Konklusion

Med den nye opdatering til AWS Panorama skal du genopbygge og geninstallere dine applikationer. Dette indlæg ledte dig gennem trinene til at opdatere dine AWS Panorama-applikationssoftwarebiblioteker til de seneste understøttede versioner.

Kontakt venligst AWS Panorama med spørgsmål på AWS re:Post.

Om forfatterne

Vinod Raman er Principal Product Manager hos AWS.

Steven White er Senior Computer Vision/EdgeML Solutions Architect hos AWS.