AWS Toàn cảnh hiện hỗ trợ NVIDIA JetPack SDK 4.6.2

Toàn cảnh AWS là tập hợp các thiết bị máy học (ML) và bộ công cụ phát triển phần mềm (SDK) mang thị giác máy tính đến với các camera giao thức internet (IP) tại chỗ. Các tùy chọn thiết bị AWS Toàn cảnh bao gồm Thiết bị AWS Toàn cảnh và Lenovo ThinkEdge SE70, được cung cấp bởi AWS Toàn cảnh. Các tùy chọn thiết bị này cung cấp cho bạn các lựa chọn về giá cả và hiệu suất, tùy thuộc vào trường hợp sử dụng riêng của bạn. Cả hai thiết bị AWS Toàn cảnh đều được xây dựng trên Hệ thống NVIDIA® Jetson™ trên Mô-đun (SOM) và sử dụng SDK NVIDIA JetPack.

AWS đã phát hành bản cập nhật phần mềm mới cho AWS Toàn cảnh hỗ trợ NVIDIA Jetpack SDK phiên bản 4.6.2. Bạn có thể tải xuống bản cập nhật phần mềm này và áp dụng nó cho thiết bị AWS Toàn cảnh thông qua quy trình nâng cấp qua mạng (OTA). Để biết thêm chi tiết, xem Quản lý Thiết bị AWS Toàn cảnh.

Bản phát hành này không tương thích ngược với các bản phát hành phần mềm trước đó dành cho AWS Toàn cảnh; bạn phải xây dựng lại và triển khai lại các ứng dụng của mình. Bài đăng này cung cấp hướng dẫn từng bước để cập nhật thư viện phần mềm ứng dụng của bạn lên các phiên bản được hỗ trợ mới nhất.

Tổng quan về cập nhật

Sản phẩm NVIDIA Jetpack SDK phiên bản 4.6.2 bao gồm hỗ trợ cho các phiên bản CUDA 10.2 mới hơn, cuDNN 8.2.1 và TensorRT 8.2.1. Các thư viện đáng chú ý khác hiện được hỗ trợ bao gồm DeepStream 6.0 và Triton Inference Server 21.07. Ngoài ra, TensorRT 8.2.1 còn bao gồm danh sách mở rộng hỗ trợ nhà điều hành DNN, hỗ trợ Sigmoid/Tanh INT8 cho DLA và tích hợp tốt hơn với TensorFlow và PyTorch. Chuyển đổi Torch sang TensorRT hiện đã được hỗ trợ, cũng như TensorFlow sang TensorRT mà không cần phải chuyển đổi sang ONNX như một bước trung gian. Để biết thêm chi tiết, hãy tham khảo NVIDIA công bố TensorRT 8.2 và tích hợp với PyTorch và TensorFlow.

Bạn có thể triển khai lại ứng dụng của mình bằng cách làm theo các bước trong các phần sau.

Điều kiện tiên quyết

Điều kiện tiên quyết là bạn cần có tài khoản AWS và Thiết bị toàn cảnh AWS.

Nâng cấp thiết bị AWS Toàn cảnh của bạn

Trước tiên, bạn nâng cấp thiết bị AWS Toàn cảnh của mình lên phiên bản mới nhất.

1. Trên bảng điều khiển Toàn cảnh AWS, chọn Thiết bị (Devices) trong khung điều hướng.
2. Chọn một thiết bị.
3. Chọn Cài đặt.
4. Theo Phần mềm hệ thống, chọn Xem cập nhật phần mềm.
   
   
5. Chọn Phiên bản phần mềm hệ thống 5.0 trở lên rồi tiến hành cài đặt phần mềm này.

Triển khai lại ứng dụng của bạn

Nếu bạn không sử dụng tính năng truy cập GPU mở như một phần của ứng dụng thì bạn sẽ sử dụng tính năng Thay thế trên bảng điều khiển AWS Toàn cảnh. Chức năng Thay thế sẽ xây dựng lại mô hình của bạn cho phần mềm mới nhất.

1. Trên bảng điều khiển Toàn cảnh AWS, chọn Các ứng dụng đã triển khai trong khung điều hướng.
2. Chọn một ứng dụng.
3. Chọn Thay thế.
   

Đối với các ứng dụng sử dụng tính năng truy cập GPU mở, việc nâng cấp thường bao gồm việc cho phép bộ chứa của bạn truy cập vào phần cứng GPU cơ bản cũng như triển khai và quản lý các mô hình cũng như thời gian chạy của riêng bạn. Chúng tôi khuyên bạn nên sử dụng NVIDIA TensorRT trong ứng dụng của mình nhưng bạn không bị giới hạn ở điều này.

Bạn cũng cần cập nhật các thư viện của Dockerfile. Các thư viện điển hình cần cập nhật bao gồm CUDA 10.2, cuDNN 8.2.1, TensorRT 8.2.1, DeepStream 6.0, OpenCV 4.1.1 và VPI 1.1. Xin lưu ý, bạn có thể tìm thấy tất cả các thay đổi CUDA/NVIDIA liên quan trong ngăn xếp phần mềm tại JetPack SDK 4.6.2.

Bây giờ bạn xây dựng lại các mô hình cho TensorRT 8.2.1 và cập nhật package.json tập tin với các tài sản được cập nhật. Bây giờ bạn có thể xây dựng vùng chứa của bạn với các phần phụ thuộc và mô hình được cập nhật, đồng thời triển khai vùng chứa ứng dụng vào Công cụ của bạn bằng bảng điều khiển AWS Toàn cảnh hoặc API.

Tại thời điểm này, các ứng dụng AWS Toàn cảnh của bạn sẽ có thể sử dụng Jetpack SDK phiên bản 4.6.2. Các ứng dụng mẫu của AWS Panorama tương thích với phiên bản này được đặt trên GitHub.

Kết luận

Với bản cập nhật mới cho AWS Toàn cảnh, bạn phải xây dựng lại và triển khai lại các ứng dụng của mình. Bài đăng này hướng dẫn bạn các bước để cập nhật thư viện phần mềm ứng dụng AWS Toàn cảnh của bạn lên các phiên bản được hỗ trợ mới nhất.

Vui lòng liên hệ với AWS Toàn cảnh nếu có bất kỳ câu hỏi nào tại AWS lại: Đăng.

Về các tác giả

Vinod Raman là Giám đốc sản phẩm chính tại AWS.

Steven trắng là Kiến trúc sư giải pháp EdgeML/Thị giác máy tính cấp cao tại AWS.