Το AWS Panorama υποστηρίζει τώρα το NVIDIA JetPack SDK 4.6.2

Πανόραμα AWS είναι μια συλλογή συσκευών μηχανικής εκμάθησης (ML) και ενός κιτ ανάπτυξης λογισμικού (SDK) που φέρνει την όραση υπολογιστή σε κάμερες πρωτοκόλλου διαδικτύου (IP) εσωτερικής εγκατάστασης. Οι επιλογές της συσκευής AWS Panorama περιλαμβάνουν το AWS Panorama Appliance και το Lenovo ThinkEdge SE70, που υποστηρίζονται από το AWS Panorama. Αυτές οι επιλογές συσκευής σάς παρέχουν επιλογές σε τιμή και απόδοση, ανάλογα με τη μοναδική περίπτωση χρήσης σας. Και οι δύο συσκευές AWS Panorama είναι χτισμένες στο NVIDIA® Jetson™ System on Modules (SOM) και χρησιμοποιούν το NVIDIA JetPack SDK.

Η AWS κυκλοφόρησε μια νέα ενημέρωση λογισμικού για το AWS Panorama που υποστηρίζει NVIDIA Jetpack SDK έκδοση 4.6.2. Μπορείτε να κάνετε λήψη αυτής της ενημέρωσης λογισμικού και να την εφαρμόσετε στη συσκευή AWS Panorama μέσω μιας διαδικασίας αναβάθμισης over-the-air (OTA). Για περισσότερες λεπτομέρειες, βλ Διαχείριση μιας συσκευής Panorama AWS.

Αυτή η έκδοση δεν είναι συμβατή με προηγούμενες εκδόσεις λογισμικού για το AWS Panorama. πρέπει να αναδημιουργήσετε και να αναδιατάξετε τις εφαρμογές σας. Αυτή η ανάρτηση παρέχει έναν οδηγό βήμα προς βήμα για την ενημέρωση των βιβλιοθηκών λογισμικού εφαρμογών σας στις πιο πρόσφατες υποστηριζόμενες εκδόσεις.

Επισκόπηση της ενημέρωσης

Η NVIDIA Jetpack SDK έκδοση 4.6.2 περιλαμβάνει υποστήριξη για νεότερες εκδόσεις CUDA 10.2, cuDNN 8.2.1 και TensorRT 8.2.1. Άλλες αξιόλογες βιβλιοθήκες που υποστηρίζονται τώρα περιλαμβάνουν το DeepStream 6.0 και το Triton Inference Server 21.07. Επιπλέον, το TensorRT 8.2.1 περιλαμβάνει μια διευρυμένη λίστα υποστήριξης χειριστή DNN, υποστήριξη Sigmoid/Tanh INT8 για DLA και καλύτερη ενσωμάτωση με το TensorFlow και το PyTorch. Η μετατροπή Torch σε TensorRT υποστηρίζεται πλέον, καθώς και το TensorFlow σε TensorRT, χωρίς να χρειάζεται να γίνει μετατροπή σε ONNX ως ενδιάμεσο βήμα. Για περισσότερες λεπτομέρειες, ανατρέξτε στο Η NVIDIA ανακοινώνει το TensorRT 8.2 και τις ενσωματώσεις με PyTorch και TensorFlow.

Μπορείτε να αναδιατάξετε τις εφαρμογές σας ακολουθώντας τα βήματα στις ακόλουθες ενότητες.

Προϋποθέσεις

Ως προαπαιτούμενο, χρειάζεστε έναν λογαριασμό AWS και ένα Συσκευή AWS Panorama.

Αναβαθμίστε τη συσκευή σας AWS Panorama

Αρχικά, αναβαθμίζετε τη συσκευή σας AWS Panorama στην πιο πρόσφατη έκδοση.

1. Στην κονσόλα AWS Panorama, επιλέξτε Συσκευές στο παράθυρο πλοήγησης.
2. Επιλέξτε μια Συσκευή.
3. Επιλέξτε ρυθμίσεις.
4. Κάτω από Λογισμικό συστήματος, επιλέξτε Προβολή ενημέρωσης λογισμικού.
   
   
5. Επιλέξτε Έκδοση λογισμικού συστήματος 5.0 ή παραπάνω και, στη συνέχεια, προχωρήστε στην εγκατάσταση αυτού του λογισμικού.

Αναδιάταξη της εφαρμογής σας

Εάν δεν χρησιμοποιείτε τη δυνατότητα Open Access GPU ως μέρος της εφαρμογής σας, χρησιμοποιείτε τη δυνατότητα Replace στην κονσόλα AWS Panorama. Η λειτουργία Αντικατάσταση αναδομεί το μοντέλο σας για το πιο πρόσφατο λογισμικό.

1. Στην κονσόλα AWS Panorama, επιλέξτε Εφαρμογές που έχουν αναπτυχθεί στο παράθυρο πλοήγησης.
2. Επιλέξτε μια εφαρμογή.
3. Επιλέξτε Αντικαταστήστε.
   

Για εφαρμογές που χρησιμοποιούν τη δυνατότητα πρόσβασης Open GPU, η αναβάθμιση συνήθως περιλαμβάνει την παροχή πρόσβασης στο κοντέινερ στο υποκείμενο υλικό GPU και την ανάπτυξη και διαχείριση των δικών σας μοντέλων και χρόνου εκτέλεσης. Συνιστούμε να χρησιμοποιήσετε το NVIDIA TensorRT στην εφαρμογή σας, αλλά δεν περιορίζεστε σε αυτό.

Πρέπει επίσης να ενημερώσετε τις βιβλιοθήκες του Dockerfile σας. Οι τυπικές βιβλιοθήκες προς ενημέρωση περιλαμβάνουν τις CUDA 10.2, cuDNN 8.2.1, TensorRT 8.2.1, DeepStream 6.0, OpenCV 4.1.1 και VPI 1.1. Σημείωση, όλες οι σχετικές αλλαγές CUDA/NVIDIA στη στοίβα λογισμικού βρίσκονται στη διεύθυνση JetPack SDK 4.6.2.

Τώρα ανακατασκευάζετε τα μοντέλα για το TensorRT 8.2.1 και ενημερώνετε το δικό σας πακέτο.json αρχείο με τα ενημερωμένα στοιχεία. Μπορείς τώρα χτίζω το κοντέινερ σας με τις ενημερωμένες εξαρτήσεις και τα μοντέλα και αναπτύξτε το κοντέινερ της εφαρμογής στο Appliance σας χρησιμοποιώντας την κονσόλα AWS Panorama ή APIs.

Σε αυτό το σημείο, οι εφαρμογές σας AWS Panorama θα πρέπει να μπορούν να χρησιμοποιούν την έκδοση 4.6.2 του Jetpack SDK. Τα δείγματα εφαρμογών του AWS Panorama που είναι συμβατά με αυτήν την έκδοση βρίσκονται στο GitHub.

Συμπέρασμα

Με τη νέα ενημέρωση του AWS Panorama, πρέπει να δημιουργήσετε εκ νέου και να επανατοποθετήσετε τις εφαρμογές σας. Αυτή η ανάρτηση σάς καθοδήγησε στα βήματα για να ενημερώσετε τις βιβλιοθήκες λογισμικού εφαρμογών AWS Panorama στις πιο πρόσφατες υποστηριζόμενες εκδόσεις.

Επικοινωνήστε με το AWS Panorama για τυχόν ερωτήσεις στο AWS re: Post.

Σχετικά με τους Συγγραφείς

Βίνοντ Ραμάν είναι Κύριος Διευθυντής Προϊόντων στην AWS.

Στίβεν Γουάιτ είναι Senior Computer Vision/EdgeML Solutions Architect στην AWS.