Làm sáng tỏ công nghệ máy học thông qua các trường hợp sử dụng thực tế

Cạnh là một thuật ngữ đề cập đến một vị trí, xa đám mây hoặc trung tâm dữ liệu lớn, nơi bạn có một thiết bị máy tính (thiết bị cạnh) có khả năng chạy các ứng dụng (cạnh). Tính toán cạnh là hoạt động chạy khối lượng công việc trên các thiết bị cạnh này. Học máy ở cạnh (ML @ Edge) là một khái niệm mang lại khả năng chạy cục bộ các mô hình ML cho các thiết bị cạnh. Các mô hình ML này sau đó có thể được gọi bởi ứng dụng cạnh. ML @ Edge rất quan trọng đối với nhiều trường hợp dữ liệu thô được thu thập từ các nguồn khác xa đám mây. Các tình huống này cũng có thể có các yêu cầu hoặc hạn chế cụ thể:

• Dự đoán thời gian thực, có độ trễ thấp
• Kết nối kém hoặc không tồn tại với đám mây
• Các hạn chế pháp lý không cho phép gửi dữ liệu đến các dịch vụ bên ngoài
• Bộ dữ liệu lớn cần được xử lý cục bộ trước khi gửi phản hồi lên đám mây

Sau đây là một số trường hợp sử dụng có thể được hưởng lợi từ các mô hình ML chạy gần thiết bị tạo ra dữ liệu được sử dụng cho các dự đoán:

• An ninh và an toàn - Một khu vực hạn chế nơi các máy hạng nặng hoạt động trong một cổng tự động được giám sát bằng camera. Nếu một người đi vào khu vực này do nhầm lẫn, một cơ chế an toàn sẽ được kích hoạt để dừng máy móc và bảo vệ con người.
• Dự đoán bảo trì - Cảm biến rung động và âm thanh thu thập dữ liệu từ hộp số của tuabin gió. Mô hình phát hiện bất thường xử lý dữ liệu cảm biến và xác định xem có bất thường với thiết bị hay không. Nếu phát hiện sự bất thường, thiết bị biên có thể bắt đầu đo lường dự phòng trong thời gian thực để tránh làm hỏng thiết bị, như ngắt kết nối hoặc ngắt kết nối máy phát điện khỏi lưới điện.
• Phát hiện khuyết tật trong dây chuyền sản xuất - Một máy ảnh ghi lại hình ảnh của sản phẩm trên băng chuyền và xử lý khung với mô hình phân loại hình ảnh. Nếu phát hiện ra khuyết tật, sản phẩm có thể tự động bị loại bỏ mà không cần can thiệp thủ công.

Mặc dù ML @ Edge có thể giải quyết nhiều trường hợp sử dụng, nhưng vẫn có những thách thức phức tạp về kiến ​​trúc cần được giải quyết để có được một thiết kế an toàn, mạnh mẽ và đáng tin cậy. Trong bài đăng này, bạn tìm hiểu một số thông tin chi tiết về ML @ Edge, các chủ đề liên quan và cách sử dụng các dịch vụ AWS để vượt qua những thách thức này và triển khai giải pháp hoàn chỉnh cho ML của bạn ở mức công việc cạnh tranh.

Tổng quan về ML @ Edge

Có một sự nhầm lẫn phổ biến khi nói đến ML @ Edge và Internet of Things (IoT), do đó, điều quan trọng là phải làm rõ ML @ Edge khác với IoT như thế nào và cả hai có thể kết hợp với nhau như thế nào để cung cấp một giải pháp mạnh mẽ trong một số trường hợp nhất định.

Giải pháp cạnh sử dụng ML @ Edge có hai thành phần chính: ứng dụng cạnh và mô hình ML (được ứng dụng gọi ra) chạy trên thiết bị cạnh. ML @ Edge là về việc kiểm soát vòng đời của một hoặc nhiều mô hình ML được triển khai cho một nhóm các thiết bị biên. Vòng đời của mô hình ML có thể bắt đầu ở phía đám mây (trên Amazon SageMaker, chẳng hạn) nhưng thường kết thúc khi triển khai độc lập mô hình trên thiết bị cạnh. Mỗi kịch bản yêu cầu các vòng đời mô hình ML khác nhau có thể được cấu tạo bởi nhiều giai đoạn, chẳng hạn như thu thập dữ liệu; chuẩn bị dữ liệu; xây dựng mô hình, biên dịch và triển khai cho thiết bị biên; tải và chạy mô hình; và lặp lại vòng đời.

Cơ chế ML @ Edge không chịu trách nhiệm về vòng đời của ứng dụng. Một cách tiếp cận khác nên được áp dụng cho mục đích đó. Việc tách vòng đời của mô hình ML và vòng đời của ứng dụng mang lại cho bạn sự tự do và linh hoạt để tiếp tục phát triển chúng ở các tốc độ khác nhau. Hãy tưởng tượng một ứng dụng di động nhúng mô hình ML dưới dạng tài nguyên như tệp hình ảnh hoặc XML. Trong trường hợp này, mỗi khi bạn đào tạo một mô hình mới và muốn triển khai nó trên điện thoại di động, bạn cần phải triển khai lại toàn bộ ứng dụng. Điều này tiêu tốn thời gian và tiền bạc, đồng thời có thể tạo ra các lỗi cho ứng dụng của bạn. Bằng cách tách vòng đời của mô hình ML, bạn xuất bản ứng dụng dành cho thiết bị di động một lần và triển khai nhiều phiên bản của mô hình ML như bạn cần.

Nhưng làm thế nào để IoT tương quan với ML @ Edge? IoT liên quan đến các đối tượng vật lý được nhúng với các công nghệ như cảm biến, khả năng xử lý và phần mềm. Các đối tượng này được kết nối với các thiết bị và hệ thống khác qua internet hoặc các mạng truyền thông khác để trao đổi dữ liệu. Hình sau minh họa kiến ​​trúc này. Ban đầu, khái niệm này được tạo ra khi nghĩ đến các thiết bị đơn giản chỉ thu thập dữ liệu từ biên, thực hiện xử lý cục bộ đơn giản và gửi kết quả đến một hệ thống máy tính thống nhất mạnh mẽ hơn, chạy các quy trình phân tích giúp mọi người và công ty trong việc ra quyết định của họ. Giải pháp IoT chịu trách nhiệm kiểm soát vòng đời ứng dụng cạnh. Để biết thêm thông tin về IoT, hãy tham khảo Internet thứ.

Nếu bạn đã có ứng dụng IoT, bạn có thể thêm các tính năng ML @ Edge để làm cho sản phẩm hoạt động hiệu quả hơn, như thể hiện trong hình sau. Hãy nhớ rằng ML @ Edge không phụ thuộc vào IoT, nhưng bạn có thể kết hợp chúng để tạo ra một giải pháp mạnh mẽ hơn. Khi bạn làm điều đó, bạn cải thiện tiềm năng của thiết bị đơn giản của mình để tạo thông tin chi tiết theo thời gian thực cho doanh nghiệp của bạn nhanh hơn so với việc chỉ gửi dữ liệu lên đám mây để xử lý sau này.

Nếu bạn đang tạo ra một giải pháp cạnh mới từ đầu với các khả năng của ML @ Edge, điều quan trọng là phải thiết kế một kiến ​​trúc linh hoạt hỗ trợ cả vòng đời của ứng dụng và mô hình ML. Chúng tôi cung cấp một số kiến ​​trúc tham khảo cho các ứng dụng cạnh với ML @ Edge ở phần sau của bài đăng này. Nhưng trước tiên, hãy đi sâu hơn vào tính toán cạnh và tìm hiểu cách chọn thiết bị cạnh chính xác cho giải pháp của bạn, dựa trên những hạn chế của môi trường.

Điện toán cạnh

Tùy thuộc vào khoảng cách giữa thiết bị với đám mây hoặc trung tâm dữ liệu lớn (cơ sở), ba đặc điểm chính của thiết bị cạnh cần được xem xét để tối đa hóa hiệu suất và tuổi thọ của hệ thống: khả năng tính toán và lưu trữ, khả năng kết nối và mức tiêu thụ điện năng. Sơ đồ sau đây cho thấy ba nhóm thiết bị cạnh kết hợp các thông số kỹ thuật khác nhau của các đặc điểm này, tùy thuộc vào khoảng cách giữa chúng với cơ sở.

Các nhóm như sau:

• MEC (Điện toán cạnh đa truy cập) - MEC hoặc trung tâm dữ liệu nhỏ, được đặc trưng bởi độ trễ thấp hoặc cực thấp và băng thông cao, là những môi trường phổ biến mà ML @ Edge có thể mang lại lợi ích mà không có hạn chế lớn khi so sánh với khối lượng công việc đám mây. Ăng-ten và máy chủ 5G tại các nhà máy, nhà kho, phòng thí nghiệm, v.v. với hạn chế năng lượng tối thiểu và kết nối internet tốt cung cấp các cách khác nhau để chạy các mô hình ML trên GPU và CPU, máy ảo, thùng chứa và máy chủ kim loại trần.
• Gần rìa - Đây là khi tính di động hoặc tổng hợp dữ liệu là yêu cầu và các thiết bị có một số hạn chế liên quan đến tiêu thụ điện năng và sức mạnh xử lý, nhưng vẫn có một số kết nối đáng tin cậy, mặc dù có độ trễ cao hơn, với thông lượng hạn chế và đắt hơn so với "cận kề". Các ứng dụng di động, bo mạch cụ thể để tăng tốc mô hình ML hoặc thiết bị đơn giản có khả năng chạy mô hình ML, được bao phủ bởi mạng không dây, được bao gồm trong nhóm này.
• Rìa xa - Trong trường hợp cực đoan này, các thiết bị cạnh có mức tiêu thụ điện năng nghiêm trọng hoặc các hạn chế về kết nối. Do đó, sức mạnh xử lý cũng bị hạn chế trong nhiều trường hợp xa hơn. Nông nghiệp, khai thác mỏ, giám sát và an ninh, và giao thông hàng hải là một số lĩnh vực mà các thiết bị tiên tiến đóng một vai trò quan trọng. Các bo mạch đơn giản, thường không có GPU hoặc các bộ tăng tốc AI khác, là điều phổ biến. Chúng được thiết kế để tải và chạy các mô hình ML đơn giản, lưu các dự đoán trong cơ sở dữ liệu cục bộ và ngủ cho đến chu kỳ dự đoán tiếp theo. Các thiết bị cần xử lý dữ liệu thời gian thực có thể có các kho lưu trữ cục bộ lớn để tránh mất dữ liệu.

Những thách thức

Các tình huống ML @ Edge thường xảy ra trong đó bạn có hàng trăm hoặc hàng nghìn (thậm chí hàng triệu) thiết bị đang chạy cùng một kiểu máy và các ứng dụng tiên tiến. Khi bạn mở rộng quy mô hệ thống của mình, điều quan trọng là phải có một giải pháp mạnh mẽ có thể quản lý số lượng thiết bị mà bạn cần hỗ trợ. Đây là một nhiệm vụ phức tạp và đối với những tình huống này, bạn cần đặt nhiều câu hỏi:

• Làm cách nào để vận hành các mô hình ML trên một nhóm thiết bị ở rìa?
• Làm cách nào để xây dựng, tối ưu hóa và triển khai các mô hình ML cho nhiều thiết bị cạnh?
• Làm cách nào để bảo mật mô hình của tôi trong khi triển khai và chạy nó ở biên?
• Làm cách nào để theo dõi hiệu suất của mô hình và đào tạo lại, nếu cần?
• Làm cách nào để loại bỏ nhu cầu cài đặt một khuôn khổ lớn như TensorFlow hoặc PyTorch trên thiết bị bị hạn chế của tôi?
• Làm cách nào để hiển thị một hoặc nhiều mô hình với ứng dụng cạnh của tôi dưới dạng một API đơn giản?
• Làm cách nào để tạo tập dữ liệu mới với các trọng tải và dự đoán được các thiết bị cạnh ghi lại?
• Làm cách nào để thực hiện tất cả các tác vụ này một cách tự động (MLOps cộng với ML @ Edge)?

Trong phần tiếp theo, chúng tôi cung cấp câu trả lời cho tất cả những câu hỏi này thông qua các trường hợp sử dụng ví dụ và kiến ​​trúc tham chiếu. Chúng tôi cũng thảo luận về những dịch vụ AWS nào bạn có thể kết hợp để xây dựng các giải pháp hoàn chỉnh cho từng tình huống đã khám phá. Tuy nhiên, nếu bạn muốn bắt đầu với một quy trình rất đơn giản mô tả cách sử dụng một số dịch vụ do AWS cung cấp để tạo giải pháp ML @ Edge của bạn, thì đây là một ví dụ:

Với SageMaker, bạn có thể dễ dàng chuẩn bị tập dữ liệu và xây dựng các mô hình ML được triển khai cho các thiết bị biên. Với Amazon SageMaker Neo, bạn có thể biên dịch và tối ưu hóa mô hình bạn đã đào tạo cho thiết bị cạnh cụ thể mà bạn đã chọn. Sau khi biên dịch mô hình, bạn chỉ cần một thời gian chạy nhẹ để chạy nó (do dịch vụ cung cấp). Trình quản lý Edge của Amazon SageMaker chịu trách nhiệm quản lý vòng đời của tất cả các mô hình ML được triển khai cho nhóm thiết bị biên của bạn. Edge Manager có thể quản lý nhóm lên đến hàng triệu thiết bị. Một tác nhân, được cài đặt cho từng thiết bị cạnh, hiển thị các mô hình ML đã triển khai dưới dạng API cho ứng dụng. Người đại diện cũng chịu trách nhiệm thu thập số liệu, trọng tải và dự đoán mà bạn có thể sử dụng để theo dõi hoặc xây dựng tập dữ liệu mới để đào tạo lại mô hình nếu cần. Cuối cùng, với Đường ống Amazon SageMaker, bạn có thể tạo một đường dẫn tự động với tất cả các bước cần thiết để xây dựng, tối ưu hóa và triển khai các mô hình ML cho nhóm thiết bị của mình. Sau đó, đường dẫn tự động này có thể được kích hoạt bởi các sự kiện đơn giản do bạn xác định mà không cần sự can thiệp của con người.

Trường hợp sử dụng 1

Giả sử một nhà sản xuất máy bay muốn phát hiện và theo dõi các bộ phận và công cụ trong nhà chứa máy bay. Để nâng cao năng suất, tất cả các bộ phận cần thiết và các công cụ chính xác cần phải có sẵn cho các kỹ sư ở mỗi giai đoạn sản xuất. Chúng tôi muốn có thể trả lời những câu hỏi như: Phần A ở đâu? hoặc Dụng cụ B ở đâu? Chúng tôi có nhiều camera IP đã được cài đặt và kết nối với mạng cục bộ. Các camera bao phủ toàn bộ nhà chứa máy bay và có thể truyền phát video HD theo thời gian thực qua mạng.

Toàn cảnh AWS vừa vặn trong trường hợp này. AWS Panorama cung cấp thiết bị ML và dịch vụ được quản lý cho phép bạn thêm thị giác máy tính (CV) vào nhóm camera IP hiện có của mình và tự động hóa. AWS Panorama cung cấp cho bạn khả năng thêm CV vào các camera Giao thức Internet (IP) hiện có của bạn và tự động hóa các tác vụ theo truyền thống yêu cầu sự kiểm tra và giám sát của con người.

Trong kiến ​​trúc tham chiếu sau, chúng tôi hiển thị các thành phần chính của ứng dụng đang chạy trên AWS Panorama Appliance. SDK ứng dụng Panorama giúp dễ dàng quay video từ các luồng máy ảnh, thực hiện suy luận với một chuỗi nhiều mô hình ML và xử lý kết quả bằng cách sử dụng mã Python chạy bên trong vùng chứa. Bạn có thể chạy các mô hình từ bất kỳ thư viện ML phổ biến nào như TensorFlow, PyTorch hoặc TensorRT. Kết quả từ mô hình có thể được tích hợp với các hệ thống kinh doanh trên mạng cục bộ của bạn, cho phép bạn phản hồi các sự kiện trong thời gian thực.

Giải pháp bao gồm các bước sau:

1. Kết nối và định cấu hình thiết bị AWS Panorama với cùng một mạng cục bộ.
2. Đào tạo một mô hình ML (phát hiện đối tượng) để xác định các bộ phận và công cụ trong mỗi khung.
3. Xây dựng Ứng dụng Toàn cảnh AWS lấy dự đoán từ mô hình ML, áp dụng cơ chế theo dõi cho từng đối tượng và gửi kết quả đến cơ sở dữ liệu thời gian thực.
4. Người vận hành có thể gửi các truy vấn đến cơ sở dữ liệu để xác định vị trí các bộ phận và công cụ.

Trường hợp sử dụng 2

Đối với trường hợp sử dụng tiếp theo của chúng tôi, hãy tưởng tượng chúng tôi đang tạo một camera hành trình cho các phương tiện có khả năng hỗ trợ người lái xe trong nhiều tình huống, chẳng hạn như tránh người đi bộ, dựa trên Bảng CV25 từ Ambaralla. Lưu trữ các mô hình ML trên một thiết bị có tài nguyên hệ thống hạn chế có thể khó khăn. Trong trường hợp này, giả sử chúng ta đã có một cơ chế phân phối qua mạng (OTA) được thiết lập tốt để triển khai các thành phần ứng dụng cần thiết cho thiết bị cạnh. Tuy nhiên, chúng tôi vẫn sẽ được hưởng lợi từ khả năng tự triển khai mô hình OTA, do đó cô lập vòng đời ứng dụng và vòng đời mô hình.

Trình quản lý Edge của Amazon SageMaker và Amazon SageMaker Neo phù hợp tốt cho trường hợp sử dụng này.

Edge Manager giúp các nhà phát triển cạnh ML dễ dàng sử dụng cùng một công cụ quen thuộc trong đám mây hoặc trên các thiết bị cạnh. Nó làm giảm thời gian và công sức cần thiết để đưa các mô hình vào sản xuất, đồng thời cho phép bạn liên tục theo dõi và cải thiện chất lượng mô hình trên toàn bộ nhóm thiết bị của mình. SageMaker Edge bao gồm cơ chế triển khai OTA giúp bạn triển khai các mô hình trên nhóm độc lập với ứng dụng hoặc phần sụn thiết bị. Các Đại lý Edge Manager cho phép bạn chạy nhiều mô hình trên cùng một thiết bị. Tác nhân thu thập dữ liệu dự đoán dựa trên logic mà bạn kiểm soát, chẳng hạn như khoảng thời gian và tải dữ liệu đó lên đám mây để bạn có thể đào tạo lại định kỳ các mô hình của mình theo thời gian. SageMaker Edge ký mã hóa các mô hình của bạn để bạn có thể xác minh rằng nó không bị giả mạo khi nó di chuyển từ đám mây sang thiết bị cạnh.

Neo là một trình biên dịch như một dịch vụ và đặc biệt phù hợp trong trường hợp sử dụng này. Neo tự động tối ưu hóa các mô hình ML để suy luận trên các phiên bản đám mây và thiết bị cạnh để chạy nhanh hơn mà không bị giảm độ chính xác. Bạn bắt đầu với một mô hình ML được xây dựng bằng một trong những khung được hỗ trợ và được đào tạo tại SageMaker hoặc bất kỳ nơi nào khác. Sau đó, bạn chọn nền tảng phần cứng mục tiêu của mình, (tham khảo danh sách thiết bị hỗ trợ). Chỉ với một cú nhấp chuột, Neo sẽ tối ưu hóa mô hình được đào tạo và biên dịch nó thành một gói có thể chạy bằng thời gian chạy SageMaker Edge nhẹ. Trình biên dịch sử dụng mô hình ML để áp dụng các tối ưu hóa hiệu suất trích xuất hiệu suất tốt nhất hiện có cho mô hình của bạn trên phiên bản đám mây hoặc thiết bị cạnh. Sau đó, bạn triển khai mô hình dưới dạng điểm cuối SageMaker hoặc trên các thiết bị cạnh được hỗ trợ và bắt đầu đưa ra dự đoán.

Sơ đồ sau minh họa kiến ​​trúc này.

Quy trình giải pháp bao gồm các bước sau:

1. Nhà phát triển xây dựng, đào tạo, xác thực và tạo ra tác phẩm mô hình cuối cùng cần được triển khai vào dashcam.
2. Gọi Neo để biên dịch mô hình được đào tạo.
3. Tác nhân SageMaker Edge được cài đặt và định cấu hình trên thiết bị Edge, trong trường hợp này là camera hành trình.
4. Tạo gói triển khai với mô hình đã ký và thời gian chạy được sử dụng bởi tác nhân SageMaker Edge để tải và gọi mô hình được tối ưu hóa.
5. Triển khai gói bằng cơ chế triển khai OTA hiện có.
6. Ứng dụng edge tương tác với tác nhân SageMaker Edge để thực hiện suy luận.
7. Tác nhân có thể được cấu hình (nếu được yêu cầu) để gửi dữ liệu đầu vào mẫu theo thời gian thực từ ứng dụng cho mục đích giám sát và sàng lọc mô hình.

Trường hợp sử dụng 3

Giả sử khách hàng của bạn đang phát triển một ứng dụng phát hiện sự bất thường trong các cơ chế của tuabin gió (như hộp số, máy phát điện hoặc rôto). Mục đích là để giảm thiểu thiệt hại trên thiết bị bằng cách chạy các quy trình bảo vệ cục bộ khi đang bay. Những tuabin này rất đắt tiền và được đặt ở những nơi không dễ tiếp cận. Mỗi tuabin có thể được trang bị một thiết bị NVIDIA Jetson để theo dõi dữ liệu cảm biến từ tuabin. Sau đó, chúng tôi cần một giải pháp để nắm bắt dữ liệu và sử dụng thuật toán ML để phát hiện các điểm bất thường. Chúng tôi cũng cần cơ chế OTA để cập nhật phần mềm và mô hình ML trên thiết bị.

AWS IoT Greengrass V2 cùng với Edge Manager rất phù hợp trong trường hợp sử dụng này. AWS IoT Greengrass là một dịch vụ đám mây và thời gian chạy cạnh IoT mã nguồn mở giúp bạn xây dựng, triển khai và quản lý các ứng dụng IoT trên thiết bị của mình. Bạn có thể sử dụng AWS IoT Greengrass để xây dựng các ứng dụng tiên tiến bằng cách sử dụng các mô-đun phần mềm được tạo sẵn, được gọi là các thành phần, có thể kết nối các thiết bị cạnh của bạn với các dịch vụ AWS hoặc các dịch vụ của bên thứ ba. Khả năng này của AWS IoT Greengrass giúp dễ dàng triển khai nội dung tới các thiết bị, bao gồm cả tác nhân SageMaker Edge. AWS IoT Greengrass chịu trách nhiệm quản lý vòng đời ứng dụng, trong khi Edge Manager phân tách vòng đời mô hình ML. Điều này mang lại cho bạn sự linh hoạt để tiếp tục phát triển toàn bộ giải pháp bằng cách triển khai các phiên bản mới của ứng dụng cạnh và các mô hình ML một cách độc lập. Sơ đồ sau đây minh họa kiến ​​trúc này.

Giải pháp bao gồm các bước sau:

1. Nhà phát triển xây dựng, đào tạo, xác nhận và tạo ra tác phẩm mô hình cuối cùng cần được triển khai cho tuabin gió.
2. Gọi Neo để biên dịch mô hình được đào tạo.
3. Tạo thành phần mô hình bằng Trình quản lý Edge có tích hợp AWS IoT Greengrass V2.
4. Thiết lập AWS IoT Greengrass V2.
5. Tạo thành phần suy luận bằng AWS IoT Greengrass V2.
6. Ứng dụng edge tương tác với tác nhân SageMaker Edge để thực hiện suy luận.
7. Tác nhân có thể được cấu hình (nếu được yêu cầu) để gửi dữ liệu đầu vào mẫu theo thời gian thực từ ứng dụng cho mục đích giám sát và sàng lọc mô hình.

Trường hợp sử dụng 4

Đối với trường hợp sử dụng cuối cùng của chúng ta, hãy xem xét một tàu vận chuyển container, trong đó mỗi container có một vài cảm biến và truyền tín hiệu đến cơ sở hạ tầng máy tính và lưu trữ được triển khai cục bộ. Thách thức là chúng tôi muốn biết nội dung của mỗi container và tình trạng của hàng hóa dựa trên nhiệt độ, độ ẩm và khí bên trong mỗi container. Chúng tôi cũng muốn theo dõi tất cả hàng hóa trong từng container. Không có kết nối internet trong suốt chuyến đi và chuyến đi có thể kéo dài hàng tháng. Các mô hình ML chạy trên cơ sở hạ tầng này nên xử lý trước dữ liệu và tạo ra thông tin để trả lời tất cả các câu hỏi của chúng tôi. Dữ liệu được tạo ra cần được lưu trữ cục bộ trong nhiều tháng. Ứng dụng edge lưu trữ tất cả các suy luận trong cơ sở dữ liệu cục bộ và sau đó đồng bộ hóa kết quả với đám mây khi tàu đến gần cảng.

AWS Snowcone và Quả cầu tuyết AWS từ Gia đình tuyết AWS có thể rất phù hợp trong trường hợp sử dụng này.

AWS Snowcone là một thiết bị di chuyển dữ liệu và tính toán biên nhỏ, chắc chắn và an toàn. Snowcone được thiết kế theo tiêu chuẩn OSHA cho thiết bị có thể nâng một người. Snowcone cho phép bạn chạy khối lượng công việc cạnh bằng cách sử dụng Đám mây điện toán đàn hồi Amazon (Amazon EC2) điện toán và lưu trữ cục bộ trong môi trường thực địa khắc nghiệt, không kết nối, chẳng hạn như giàn khoan dầu, phương tiện tìm kiếm và cứu hộ, địa điểm quân sự hoặc tầng nhà máy, cũng như văn phòng từ xa, bệnh viện và rạp chiếu phim.

Snowball bổ sung nhiều tính toán hơn khi so sánh với Snowcone và do đó có thể rất phù hợp cho các ứng dụng đòi hỏi khắt khe hơn. Tính năng Tối ưu hóa tính toán cung cấp GPU NVIDIA Tesla V100 tùy chọn cùng với các phiên bản EC2 để tăng tốc hiệu suất của ứng dụng trong môi trường bị ngắt kết nối. Với tùy chọn GPU, bạn có thể chạy các ứng dụng như ML nâng cao và phân tích video chuyển động đầy đủ trong môi trường có ít hoặc không có kết nối.

Trên phiên bản EC2, bạn có quyền tự do xây dựng và triển khai bất kỳ loại giải pháp cạnh nào. Ví dụ: bạn có thể sử dụng Amazon ECS hoặc trình quản lý vùng chứa khác để triển khai ứng dụng cạnh, Tác nhân Trình quản lý Edge và mô hình ML dưới dạng các vùng chứa riêng lẻ. Kiến trúc này sẽ tương tự như Use Case 2 (ngoại trừ việc nó sẽ hoạt động ngoại tuyến hầu hết thời gian), với việc bổ sung công cụ quản lý vùng chứa.

Sơ đồ sau minh họa kiến ​​trúc giải pháp này.

Để thực hiện giải pháp này, chỉ cần đặt hàng thiết bị Snow của bạn từ Bảng điều khiển quản lý AWS và khởi chạy tài nguyên của bạn.

Kết luận

Trong bài đăng này, chúng tôi đã thảo luận về các khía cạnh khác nhau của edge mà bạn có thể chọn làm việc dựa trên trường hợp sử dụng của mình. Chúng tôi cũng đã thảo luận về một số khái niệm chính xung quanh ML @ Edge và cách tách vòng đời ứng dụng và vòng đời mô hình ML cho phép bạn tự do phát triển chúng mà không phụ thuộc vào nhau. Chúng tôi nhấn mạnh cách chọn thiết bị cạnh phù hợp với khối lượng công việc của bạn và đặt câu hỏi phù hợp trong quá trình giải pháp có thể giúp bạn làm việc lùi và thu hẹp các dịch vụ AWS phù hợp. Chúng tôi cũng đã trình bày các trường hợp sử dụng khác nhau cùng với các kiến ​​trúc tham khảo để truyền cảm hứng cho bạn tạo ra các giải pháp của riêng bạn phù hợp với khối lượng công việc của bạn.

---

Về các tác giả

Dinesh Kumar Subramani là Kiến trúc sư Giải pháp Cao cấp của nhóm UKIR SMB, có trụ sở tại Edinburgh, Scotland. Anh ấy chuyên về trí tuệ nhân tạo và máy học. Dinesh thích làm việc với khách hàng trong các ngành để giúp họ giải quyết các vấn đề của mình với các dịch vụ AWS. Ngoài công việc, anh ấy thích dành thời gian cho gia đình, chơi cờ vua và thưởng thức âm nhạc ở nhiều thể loại.

Samir Araújo là Kiến trúc sư Giải pháp AI / ML tại AWS. Anh ấy giúp khách hàng tạo ra các giải pháp AI / ML giải quyết các thách thức kinh doanh của họ bằng AWS. Anh ấy đã và đang thực hiện một số dự án AI / ML liên quan đến thị giác máy tính, xử lý ngôn ngữ tự nhiên, dự báo, ML ở rìa và hơn thế nữa. Anh ấy thích chơi với các dự án phần cứng và tự động hóa trong thời gian rảnh, và anh ấy có niềm yêu thích đặc biệt với người máy.

• Coinsmart. Sàn giao dịch Bitcoin và tiền điện tử tốt nhất Châu Âu.
• Platoblockchain. Web3 Metaverse Intelligence. Khuếch đại kiến ​​thức. TRUY CẬP MIỄN PHÍ.
• CryptoHawk. Radar Altcoin. Dùng thử miễn phí.
• Nguồn: https://aws.amazon.com/blogs/machine-learning/demystifying-machine-learning-at-the-edge-through-real-use-case/