Đánh giá thiệt hại bằng khả năng không gian địa lý của Amazon SageMaker và các mô hình SageMaker tùy chỉnh

Trong bài đăng này, chúng tôi trình bày cách đào tạo, triển khai và dự đoán thiệt hại do thiên tai với Amazon SageMaker với khả năng không gian địa lý. Chúng tôi sử dụng các khả năng không gian địa lý mới của SageMaker để tạo dữ liệu suy luận mới nhằm kiểm tra mô hình. Nhiều tổ chức chính phủ và nhân đạo cần nhận thức tình huống nhanh chóng và chính xác khi xảy ra thảm họa. Biết được mức độ nghiêm trọng, nguyên nhân và vị trí thiệt hại có thể hỗ trợ cho chiến lược ứng phó và ra quyết định của người phản ứng đầu tiên. Việc thiếu thông tin chính xác và kịp thời có thể góp phần vào nỗ lực cứu trợ không đầy đủ hoặc sai hướng.

Khi tần suất và mức độ nghiêm trọng của thiên tai tăng lên, điều quan trọng là chúng ta phải trang bị cho những người ra quyết định và những người ứng phó đầu tiên khả năng đánh giá thiệt hại nhanh chóng và chính xác. Trong ví dụ này, chúng tôi sử dụng hình ảnh không gian địa lý để dự đoán thiệt hại do thiên tai. Dữ liệu không gian địa lý có thể được sử dụng ngay sau thảm họa tự nhiên để nhanh chóng xác định thiệt hại đối với các tòa nhà, đường xá hoặc cơ sở hạ tầng quan trọng khác. Trong bài đăng này, chúng tôi chỉ cho bạn cách đào tạo và triển khai mô hình phân đoạn không gian địa lý được sử dụng để phân loại thiệt hại do thiên tai. Chúng tôi chia ứng dụng thành ba chủ đề: đào tạo mô hình, triển khai mô hình và suy luận.

Đào tạo người mẫu

Trong trường hợp sử dụng này, chúng tôi đã tạo một mô hình PyTorch tùy chỉnh bằng cách sử dụng Amazon SageMaker để phân đoạn hình ảnh của thiệt hại tòa nhà. Khả năng không gian địa lý trong SageMaker bao gồm các mô hình được đào tạo để bạn sử dụng. Các mô hình tích hợp này bao gồm phân đoạn và loại bỏ đám mây cũng như phân đoạn che phủ đất. Đối với bài đăng này, chúng tôi đào tạo một mô hình tùy chỉnh để phân đoạn thiệt hại. Trước tiên, chúng tôi đào tạo mô hình SegFormer dựa trên dữ liệu từ cuộc thi xView2. SegFormer là một kiến ​​trúc dựa trên máy biến áp đã được giới thiệu trong bài báo năm 2021 SegFormer: Thiết kế đơn giản và hiệu quả cho phân đoạn ngữ nghĩa với Transformers. Nó dựa trên kiến ​​trúc biến áp khá phổ biến với khối lượng công việc xử lý ngôn ngữ tự nhiên; tuy nhiên, kiến ​​trúc SegFormer được xây dựng để phân đoạn ngữ nghĩa. Nó kết hợp cả bộ mã hóa dựa trên máy biến áp và bộ giải mã nhẹ. Điều này cho phép hiệu suất tốt hơn so với các phương pháp trước đó, đồng thời cung cấp kích thước mô hình nhỏ hơn đáng kể so với các phương pháp trước đó. Cả hai mô hình SegFormer được đào tạo trước và chưa được đào tạo đều có sẵn từ thư viện biến áp Hugging Face phổ biến. Đối với trường hợp sử dụng này, chúng tôi tải xuống kiến ​​trúc SegFormer được đào tạo trước và đào tạo nó trên tập dữ liệu mới.

Tập dữ liệu được sử dụng trong ví dụ này đến từ cuộc thi khoa học dữ liệu xView2. Cuộc thi này đã phát hành bộ dữ liệu xBD, một trong những bộ dữ liệu lớn nhất và chất lượng cao nhất có sẵn công khai về hình ảnh vệ tinh có độ phân giải cao được chú thích với vị trí tòa nhà và điểm số thiệt hại (các loại) trước và sau thiên tai. Bộ dữ liệu chứa dữ liệu từ 15 quốc gia bao gồm 6 loại thảm họa (động đất/sóng thần, lũ lụt, núi lửa phun trào, cháy rừng, gió) với dữ liệu không gian địa lý chứa 850,736 chú thích tòa nhà trên 45,362 km^2 hình ảnh. Hình ảnh sau đây cho thấy một ví dụ về bộ dữ liệu. Hình ảnh này hiển thị hình ảnh sau thảm họa với mặt nạ phân đoạn thiệt hại của tòa nhà được phủ lên. Mỗi hình ảnh bao gồm: hình ảnh vệ tinh trước thảm họa, mặt nạ phân đoạn tòa nhà trước thảm họa, hình ảnh vệ tinh sau thảm họa và mặt nạ phân đoạn tòa nhà sau thảm họa với các loại thiệt hại.

Trong ví dụ này, chúng tôi chỉ sử dụng hình ảnh trước và sau thảm họa để dự đoán phân loại thiệt hại sau thảm họa (mặt nạ phân đoạn). Chúng tôi không sử dụng mặt nạ phân khúc tòa nhà trước thảm họa. Cách tiếp cận này đã được chọn để đơn giản. Có các tùy chọn khác để tiếp cận tập dữ liệu này. Một số phương pháp giành chiến thắng trong cuộc thi xView2 đã sử dụng giải pháp gồm hai bước: đầu tiên, dự đoán mặt nạ phân đoạn đường viền tòa nhà trước thảm họa. Các phác thảo của tòa nhà và hình ảnh sau thiệt hại sau đó được sử dụng làm đầu vào để dự đoán phân loại thiệt hại. Chúng tôi để lại điều này cho người đọc để khám phá các phương pháp mô hình hóa khác để cải thiện hiệu suất phân loại và phát hiện.

Kiến trúc SegFormer được đào tạo trước được xây dựng để chấp nhận một hình ảnh kênh ba màu duy nhất làm đầu vào và xuất ra mặt nạ phân đoạn. Có một số cách chúng tôi có thể sửa đổi mô hình để chấp nhận cả hình ảnh trước và sau vệ tinh làm đầu vào, tuy nhiên, chúng tôi đã sử dụng một kỹ thuật xếp chồng đơn giản để xếp cả hai hình ảnh lại với nhau thành một hình ảnh kênh sáu màu. Chúng tôi đã đào tạo mô hình bằng cách sử dụng các kỹ thuật tăng cường tiêu chuẩn trên tập dữ liệu đào tạo xView2 để dự đoán mặt nạ phân đoạn sau thảm họa. Lưu ý rằng chúng tôi đã thay đổi kích thước tất cả các hình ảnh đầu vào từ 1024 thành 512 pixel. Điều này là để giảm hơn nữa độ phân giải không gian của dữ liệu đào tạo. Mô hình đã được đào tạo với SageMaker bằng cách sử dụng một phiên bản dựa trên GPU p3.2xlarge duy nhất. Một ví dụ về đầu ra mô hình được đào tạo được hiển thị trong các hình sau. Bộ hình ảnh đầu tiên là hình ảnh trước và sau khi bị hư hại từ bộ xác thực.

Các số liệu sau đây cho thấy mặt nạ thiệt hại dự đoán và mặt nạ thiệt hại thực tế trên mặt đất.

Thoạt nhìn, có vẻ như mô hình này không hoạt động tốt so với dữ liệu thực tế cơ bản. Nhiều tòa nhà được phân loại không chính xác, gây nhầm lẫn giữa thiệt hại nhỏ với không bị hư hại và hiển thị nhiều phân loại cho một phác thảo tòa nhà. Tuy nhiên, một phát hiện thú vị khi xem xét hiệu suất của mô hình là nó dường như đã học được cách khoanh vùng phân loại thiệt hại của tòa nhà. Mỗi tòa nhà có thể được phân loại thành No Damage, Minor Damage, Major Damage, hoặc là Destroyed. Mặt nạ thiệt hại dự đoán cho thấy mô hình đã phân loại tòa nhà lớn ở giữa thành phần lớn No Damage, nhưng góc trên cùng bên phải được phân loại là Destroyed. Bản địa hóa thiệt hại của tòa nhà phụ này có thể hỗ trợ thêm cho người ứng cứu bằng cách hiển thị thiệt hại cục bộ cho mỗi tòa nhà.

Triển khai mô hình

Sau đó, mô hình được đào tạo đã được triển khai tới điểm cuối suy luận SageMaker không đồng bộ. Lưu ý rằng chúng tôi đã chọn điểm cuối không đồng bộ để cho phép thời gian suy luận lâu hơn, kích thước đầu vào tải trọng lớn hơn và khả năng thu nhỏ điểm cuối xuống phiên bản XNUMX (không tính phí) khi không sử dụng. Hình dưới đây cho thấy mã cấp cao để triển khai điểm cuối không đồng bộ. Trước tiên, chúng tôi nén từ điển trạng thái PyTorch đã lưu và tải các tạo phẩm mô hình đã nén lên Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3). Chúng tôi tạo một mô hình SageMaker PyTorch trỏ đến mã suy luận và các tạo phẩm mô hình của chúng tôi. Mã suy luận được yêu cầu để tải và phục vụ mô hình của chúng tôi. Để biết thêm chi tiết về mã suy luận tùy chỉnh cần thiết cho mô hình SageMaker PyTorch, hãy tham khảo Sử dụng PyTorch với SageMaker Python SDK.

Hình dưới đây hiển thị mã cho chính sách tự động thay đổi quy mô cho điểm cuối suy luận không đồng bộ.

Lưu ý rằng có các tùy chọn điểm cuối khác, chẳng hạn như thời gian thực, hàng loạt và không có máy chủ, có thể được sử dụng cho ứng dụng của bạn. Bạn sẽ muốn chọn tùy chọn phù hợp nhất cho trường hợp sử dụng và nhớ lại điều đó Người đề xuất suy luận của Amazon SageMaker có sẵn để giúp đề xuất các cấu hình điểm cuối máy học (ML).

suy luận mô hình

Với mô hình được đào tạo được triển khai, giờ đây chúng ta có thể sử dụng Khả năng không gian địa lý của SageMaker để thu thập dữ liệu cho suy luận. Với khả năng không gian địa lý của SageMaker, một số mô hình tích hợp sẵn có sẵn ngay lập tức. Trong ví dụ này, chúng tôi sử dụng thao tác xếp chồng dải để xếp các kênh màu đỏ, lục và lam cho công việc quan sát trái đất của chúng tôi. Công việc thu thập dữ liệu từ bộ dữ liệu Sentinel-2. Để định cấu hình công việc quan sát trái đất, trước tiên chúng ta cần tọa độ của vị trí quan tâm. Thứ hai, chúng ta cần khoảng thời gian quan sát. Với điều này, giờ đây chúng ta có thể gửi công việc quan sát trái đất bằng tính năng xếp chồng. Ở đây chúng tôi xếp chồng các dải màu đỏ, lục và lam để tạo ra hình ảnh màu. Hình dưới đây cho thấy cấu hình công việc được sử dụng để tạo dữ liệu từ lũ lụt ở Rochester, Australia, vào giữa tháng 2022 năm XNUMX. Chúng tôi sử dụng các hình ảnh từ trước và sau thảm họa làm thông tin đầu vào cho mô hình ML đã đào tạo của mình.

Sau khi cấu hình công việc được xác định, chúng tôi có thể gửi công việc. Khi công việc hoàn tất, chúng tôi xuất kết quả sang Amazon S3. Lưu ý rằng chúng tôi chỉ có thể xuất kết quả sau khi công việc đã hoàn thành. Kết quả của tác vụ có thể được xuất sang một vị trí Amazon S3 do người dùng chỉ định trong cấu hình tác vụ xuất. Giờ đây, với dữ liệu mới của chúng tôi trong Amazon S3, chúng tôi có thể nhận dự đoán thiệt hại bằng cách sử dụng mô hình đã triển khai. Trước tiên, chúng tôi đọc dữ liệu vào bộ nhớ và sắp xếp các hình ảnh trước và sau thảm họa lại với nhau.

Kết quả của mặt nạ phân đoạn cho lũ lụt ở Rochester được hiển thị trong các hình ảnh sau. Ở đây chúng ta có thể thấy rằng mô hình đã xác định được các vị trí trong vùng ngập lụt có khả năng bị hư hại. Cũng lưu ý rằng độ phân giải không gian của hình ảnh suy luận khác với dữ liệu huấn luyện. Tăng độ phân giải không gian có thể giúp hiệu suất mô hình; tuy nhiên, đây không phải là vấn đề đối với mô hình SegFormer cũng như đối với các mô hình khác do kiến ​​trúc mô hình đa tỷ lệ.

Đánh giá thiệt hại

Kết luận

Trong bài đăng này, chúng tôi đã chỉ ra cách đào tạo, triển khai và dự đoán thiệt hại do thiên tai với SageMaker với khả năng không gian địa lý. Chúng tôi đã sử dụng các khả năng không gian địa lý mới của SageMaker để tạo dữ liệu suy luận mới nhằm kiểm tra mô hình. Mã cho bài đăng này đang trong quá trình phát hành và bài đăng này sẽ được cập nhật với các liên kết đến toàn bộ mã đào tạo, triển khai và suy luận. Ứng dụng này cho phép những người phản ứng đầu tiên, chính phủ và các tổ chức nhân đạo tối ưu hóa phản ứng của họ, cung cấp nhận thức về tình huống quan trọng ngay sau thảm họa thiên nhiên. Ứng dụng này chỉ là một ví dụ về khả năng của các công cụ ML hiện đại như SageMaker.

Hãy thử các khả năng không gian địa lý của SageMaker ngay hôm nay bằng cách sử dụng các mô hình của riêng bạn; chúng tôi mong muốn được nhìn thấy những gì bạn xây dựng tiếp theo.

Giới thiệu về tác giả

Aaron Sengstacken là kiến ​​trúc sư giải pháp chuyên về máy học tại Amazon Web Services. Aaron hợp tác chặt chẽ với các khách hàng thuộc khu vực công thuộc mọi quy mô để phát triển và triển khai các ứng dụng máy học sản xuất. Anh ấy quan tâm đến tất cả mọi thứ về máy học, công nghệ và khám phá không gian.