AWS Panorama toetab nüüd NVIDIA JetPack SDK 4.6.2

AWS Panoraam on masinõppeseadmete (ML) kogum ja tarkvaraarenduskomplekt (SDK), mis toob arvutinägemise kohapealsetesse Interneti-protokolli (IP) kaameratesse. AWS Panorama seadme valikute hulka kuuluvad AWS Panorama Appliance ja Lenovo ThinkEdge SE70, mida toidab AWS Panorama. Need seadme valikud pakuvad teile valikuid hinna ja jõudluse osas, olenevalt teie ainulaadsest kasutusjuhtumist. Mõlemad AWS Panorama seadmed on ehitatud NVIDIA® Jetson™ süsteemile moodulitel (SOM) ja kasutavad NVIDIA JetPack SDK-d.

AWS on välja andnud AWS Panorama jaoks uue tarkvaravärskenduse, mis toetab NVIDIA Jetpack SDK versiooni 4.6.2. Saate selle tarkvaravärskenduse alla laadida ja rakendada AWS Panorama seadmele õhu kaudu (OTA) uuendamise protsessi kaudu. Täpsemalt vt AWS Panorama seadme haldamine.

See väljalase ei ühildu AWS Panorama varasemate tarkvaraversioonidega; peate oma rakendused uuesti üles ehitama ja ümber paigutama. See postitus sisaldab üksikasjalikku juhendit rakendustarkvara teekide värskendamiseks uusimatele toetatud versioonidele.

Ülevaade värskendusest

. NVIDIA Jetpacki SDK versioon 4.6.2 sisaldab tuge CUDA 10.2, cuDNN 8.2.1 ja TensorRT 8.2.1 uuematele versioonidele. Teiste praegu toetatud märkimisväärsete teekide hulka kuuluvad DeepStream 6.0 ja Triton Inference Server 21.07. Lisaks sisaldab TensorRT 8.2.1 laiendatud loendit DNN-i operaatori toest, Sigmoid/Tanh INT8 tuge DLA-le ning paremat integratsiooni TensorFlow ja PyTorchiga. Nüüd toetatakse Torch-i TensorRT-i teisendamist, aga ka TensorFlow-d TensorRT-ks, ilma et oleks vaja vaheetapiks teisendada ONNX-iks. Lisateabe saamiseks vaadake NVIDIA kuulutab välja TensorRT 8.2 ja integratsioonid PyTorchi ja TensorFlow'ga.

Saate oma rakendused ümber paigutada, järgides järgmistes jaotistes toodud samme.

Eeldused

Eeltingimusena on teil vaja AWS-i kontot ja AWS Panorama seade.

Uuendage oma AWS Panorama seadet

Esmalt uuendate oma AWS Panorama seade uusimale versioonile.

1. Valige AWS Panorama konsoolil seadmed navigeerimispaanil.
2. Valige seade.
3. Vali Seaded.
4. alla Süsteemi tarkvara, vali Kuva Tarkvaravärskendus.
   
   
5. Vali Süsteemitarkvara versioon 5.0 või üle selle ja seejärel jätkake selle tarkvara installimisega.

Rakenduse ümberpaigutamine

Kui te ei kasuta oma rakenduse osana GPU juurdepääsu funktsiooni, kasutate AWS Panorama konsooli funktsiooni Asenda. Funktsioon Asenda taastab teie mudeli uusima tarkvara jaoks.

1. Valige AWS Panorama konsoolil Juurutatud rakendused navigeerimispaanil.
2. Valige rakendus.
3. Vali asendama.
   

Avatud GPU-juurdepääsu funktsiooni kasutavate rakenduste puhul hõlmab uuendamine tavaliselt oma konteinerile juurdepääsu võimaldamist aluseks olevale GPU riistvarale ning oma mudelite ja käitusaja juurutamist ja haldamist. Soovitame oma rakenduses kasutada NVIDIA TensorRT-d, kuid te ei piirdu sellega.

Samuti peate värskendama oma Dockerfile'i teeke. Tüüpilised värskendatavad teegid on CUDA 10.2, cuDNN 8.2.1, TensorRT 8.2.1, DeepStream 6.0, OpenCV 4.1.1 ja VPI 1.1. Märkusena võib märkida, et kõik seotud CUDA/NVIDIA muudatused tarkvaravirnas leiate aadressilt JetPack SDK 4.6.2.

Nüüd loote mudelid TensorRT 8.2.1 jaoks ümber ja värskendate oma pakett.json faili värskendatud varadega. Nüüd saate ehitama oma konteinerit koos värskendatud sõltuvuste ja mudelitega ning juurutage rakenduse konteiner oma seadmesse, kasutades AWS Panorama konsooli või API-liidesed.

Sel hetkel peaksid teie AWS Panorama rakendused saama kasutada Jetpacki SDK versiooni 4.6.2. Selle versiooniga ühilduvad AWS Panorama näidisrakendused asuvad aadressil GitHub.

Järeldus

AWS Panorama uue värskendusega peate oma rakendused uuesti üles ehitama ja ümber paigutama. See postitus juhendas teid AWS Panorama rakendustarkvara teekide värskendamiseks uusimatele toetatud versioonidele.

Kõigi küsimustega pöörduge AWS Panorama poole aadressil AWS re:Postitus.

Autoritest

Vinod Raman on AWS-i peamine tootejuht.

Steven White on AWS-i arvutivisiooni/EdgeML-lahenduste vanemarhitekt.