Εκτίμηση ζημιών χρησιμοποιώντας γεωχωρικές δυνατότητες του Amazon SageMaker και προσαρμοσμένα μοντέλα SageMaker

Σε αυτήν την ανάρτηση, δείχνουμε πώς να εκπαιδεύσουμε, να αναπτύξουμε και να προβλέψουμε ζημιές από φυσικές καταστροφές Amazon SageMaker με γεωχωρικές δυνατότητες. Χρησιμοποιούμε τις νέες γεωχωρικές δυνατότητες του SageMaker για τη δημιουργία νέων δεδομένων συμπερασμάτων για τη δοκιμή του μοντέλου. Πολλές κυβερνητικές και ανθρωπιστικές οργανώσεις χρειάζονται γρήγορη και ακριβή επίγνωση της κατάστασης όταν χτυπήσει μια καταστροφή. Η γνώση της σοβαρότητας, της αιτίας και της τοποθεσίας της ζημιάς μπορεί να βοηθήσει στη στρατηγική απόκρισης και στη λήψη αποφάσεων του πρώτου ανταποκρινόμενου. Η έλλειψη ακριβών και έγκαιρων πληροφοριών μπορεί να συμβάλει σε μια ελλιπή ή εσφαλμένη προσπάθεια ανακούφισης.

Καθώς η συχνότητα και η σοβαρότητα των φυσικών καταστροφών αυξάνεται, είναι σημαντικό να εξοπλίσουμε τους υπεύθυνους λήψης αποφάσεων και τους πρώτους ανταποκριτές με γρήγορη και ακριβή εκτίμηση των ζημιών. Σε αυτό το παράδειγμα, χρησιμοποιούμε γεωχωρικές εικόνες για να προβλέψουμε ζημιές από φυσικές καταστροφές. Τα γεωχωρικά δεδομένα μπορούν να χρησιμοποιηθούν αμέσως μετά από μια φυσική καταστροφή για τον γρήγορο εντοπισμό ζημιών σε κτίρια, δρόμους ή άλλες υποδομές ζωτικής σημασίας. Σε αυτήν την ανάρτηση, σας δείχνουμε πώς να εκπαιδεύσετε και να αναπτύξετε ένα μοντέλο γεωχωρικής τμηματοποίησης που θα χρησιμοποιηθεί για την ταξινόμηση ζημιών από καταστροφές. Αναλύουμε την εφαρμογή σε τρία θέματα: εκπαίδευση μοντέλων, ανάπτυξη μοντέλου και συμπέρασμα.

Εκπαίδευση μοντέλων

Σε αυτήν την περίπτωση χρήσης, δημιουργήσαμε ένα προσαρμοσμένο μοντέλο PyTorch χρησιμοποιώντας Amazon Sage Maker για τμηματοποίηση εικόνας ζημιών κτιρίου. Οι γεωχωρικές δυνατότητες του SageMaker περιλαμβάνουν εκπαιδευμένα μοντέλα που μπορείτε να χρησιμοποιήσετε. Αυτά τα ενσωματωμένα μοντέλα περιλαμβάνουν τμηματοποίηση και αφαίρεση cloud και τμηματοποίηση κάλυψης γης. Για αυτήν την ανάρτηση, εκπαιδεύουμε ένα προσαρμοσμένο μοντέλο για τμηματοποίηση ζημιών. Αρχικά εκπαιδεύσαμε το μοντέλο SegFormer σε δεδομένα από τον διαγωνισμό xView2. Το SegFormer είναι μια αρχιτεκτονική που βασίζεται σε μετασχηματιστή που εισήχθη στο έγγραφο του 2021 SegFormer: Απλή και αποτελεσματική σχεδίαση για σημασιολογική τμηματοποίηση με μετασχηματιστές. Βασίζεται στις αρχιτεκτονικές μετασχηματιστών που είναι αρκετά δημοφιλείς με φόρτους εργασίας επεξεργασίας φυσικής γλώσσας. Ωστόσο, η αρχιτεκτονική SegFormer έχει κατασκευαστεί για σημασιολογική κατάτμηση. Συνδυάζει τόσο τον κωδικοποιητή που βασίζεται σε μετασχηματιστή όσο και έναν ελαφρύ αποκωδικοποιητή. Αυτό επιτρέπει καλύτερη απόδοση από προηγούμενες μεθόδους, ενώ παρέχει σημαντικά μικρότερα μεγέθη μοντέλων από προηγούμενες μεθόδους. Τόσο τα προεκπαιδευμένα όσο και τα μη εκπαιδευμένα μοντέλα SegFormer είναι διαθέσιμα από τη δημοφιλή βιβλιοθήκη μετασχηματιστών Hugging Face. Για αυτήν την περίπτωση χρήσης, κατεβάζουμε μια προεκπαιδευμένη αρχιτεκτονική SegFormer και την εκπαιδεύουμε σε ένα νέο σύνολο δεδομένων.

Το σύνολο δεδομένων που χρησιμοποιείται σε αυτό το παράδειγμα προέρχεται από το Διαγωνισμός επιστήμης δεδομένων xView2. Αυτός ο διαγωνισμός κυκλοφόρησε το Σύνολο δεδομένων xBD, ένα από τα μεγαλύτερα και υψηλότερης ποιότητας διαθέσιμα δημόσια σύνολα δεδομένων δορυφορικών εικόνων υψηλής ανάλυσης με σχόλια τοποθεσίας κτιρίου και βαθμολογίες ζημιών (τάξεις) πριν και μετά από φυσικές καταστροφές. Το σύνολο δεδομένων περιέχει δεδομένα από 15 χώρες, συμπεριλαμβανομένων 6 τύπων καταστροφών (σεισμός/τσουνάμι, πλημμύρα, ηφαιστειακή έκρηξη, πυρκαγιά, άνεμος) με γεωχωρικά δεδομένα που περιέχουν 850,736 σχολιασμούς κτιρίων σε 45,362 km^2 εικόνων. Η παρακάτω εικόνα δείχνει ένα παράδειγμα του συνόλου δεδομένων. Αυτή η εικόνα δείχνει την εικόνα μετά την καταστροφή με την επικάλυψη της μάσκας τμηματοποίησης ζημιών κτιρίου. Κάθε εικόνα περιλαμβάνει τα ακόλουθα: δορυφορική εικόνα πριν από την καταστροφή, μάσκα τμηματοποίησης κτιρίου πριν από την καταστροφή, δορυφορική εικόνα μετά την καταστροφή και μάσκα τμηματοποίησης κτιρίου μετά την καταστροφή με κατηγορίες ζημιών.

Σε αυτό το παράδειγμα, χρησιμοποιούμε μόνο τις εικόνες πριν και μετά την καταστροφή για να προβλέψουμε την ταξινόμηση ζημιών μετά την καταστροφή (μάσκα τμηματοποίησης). Δεν χρησιμοποιούμε τις μάσκες τμηματοποίησης κτιρίων πριν από την καταστροφή. Αυτή η προσέγγιση επιλέχθηκε για λόγους απλότητας. Υπάρχουν και άλλες επιλογές για την προσέγγιση αυτού του συνόλου δεδομένων. Ορισμένες από τις νικητήριες προσεγγίσεις για τον διαγωνισμό xView2 χρησιμοποίησαν μια λύση δύο βημάτων: πρώτα, προβλέψτε τη μάσκα τμηματοποίησης του περιγράμματος του κτιρίου πριν από την καταστροφή. Τα περιγράμματα του κτιρίου και οι εικόνες μετά τη ζημιά χρησιμοποιούνται στη συνέχεια ως δεδομένα για την πρόβλεψη της ταξινόμησης ζημιών. Το αφήνουμε στον αναγνώστη να εξερευνήσει άλλες προσεγγίσεις μοντελοποίησης για τη βελτίωση της απόδοσης ταξινόμησης και ανίχνευσης.

Η προ-εκπαιδευμένη αρχιτεκτονική SegFormer έχει κατασκευαστεί για να δέχεται μια εικόνα τριών χρωμάτων καναλιών ως είσοδο και να εξάγει μια μάσκα τμηματοποίησης. Υπάρχουν διάφοροι τρόποι με τους οποίους θα μπορούσαμε να τροποποιήσουμε το μοντέλο ώστε να δεχόμαστε τόσο τις προ- και τις μεταδορυφορικές εικόνες ως είσοδο, ωστόσο, χρησιμοποιήσαμε μια απλή τεχνική στοίβαξης για να στοιβάξουμε και τις δύο εικόνες μαζί σε μια εικόνα έξι καναλιών. Εκπαιδεύσαμε το μοντέλο χρησιμοποιώντας τυπικές τεχνικές αύξησης στο σύνολο δεδομένων εκπαίδευσης xView2 για να προβλέψουμε τη μάσκα τμηματοποίησης μετά την καταστροφή. Σημειώστε ότι αλλάξαμε το μέγεθος όλων των εικόνων εισόδου από 1024 σε 512 pixel. Αυτό έγινε για να μειωθεί περαιτέρω η χωρική ανάλυση των δεδομένων εκπαίδευσης. Το μοντέλο εκπαιδεύτηκε με το SageMaker χρησιμοποιώντας ένα μόνο στιγμιότυπο που βασίζεται σε GPU p3.2xlarge. Ένα παράδειγμα της παραγωγής εκπαιδευμένου μοντέλου φαίνεται στα παρακάτω σχήματα. Το πρώτο σύνολο εικόνων είναι οι εικόνες πριν και μετά τη ζημιά από το σύνολο επικύρωσης.

Τα παρακάτω σχήματα δείχνουν την προβλεπόμενη μάσκα ζημιάς και τη μάσκα αληθείας ζημιάς.

Με την πρώτη ματιά, φαίνεται ότι το μοντέλο δεν αποδίδει καλά σε σύγκριση με τα βασικά δεδομένα αλήθειας. Πολλά από τα κτίρια είναι εσφαλμένα ταξινομημένα, μπερδεύοντας μικρές ζημιές για καμία ζημιά και εμφανίζοντας πολλαπλές ταξινομήσεις για ένα μόνο περίγραμμα κτιρίου. Ωστόσο, ένα ενδιαφέρον εύρημα κατά την ανασκόπηση της απόδοσης του μοντέλου είναι ότι φαίνεται ότι έχει μάθει να εντοπίζει την ταξινόμηση των ζημιών του κτιρίου. Κάθε κτίριο μπορεί να ταξινομηθεί σε No Damage, Minor Damage, Major Damage, ή Destroyed. Η προβλεπόμενη μάσκα ζημιάς δείχνει ότι το μοντέλο έχει ταξινομήσει το μεγάλο κτίριο στη μέση σε ως επί το πλείστον No Damage, αλλά η επάνω δεξιά γωνία ταξινομείται ως Destroyed. Αυτός ο εντοπισμός ζημιών σε υποκτήριο μπορεί να βοηθήσει περαιτέρω τους ανταποκριτές δείχνοντας την εντοπισμένη ζημιά ανά κτίριο.

Ανάπτυξη μοντέλου

Το εκπαιδευμένο μοντέλο στη συνέχεια αναπτύχθηκε σε ένα ασύγχρονο τελικό σημείο συμπερασμάτων SageMaker. Λάβετε υπόψη ότι επιλέξαμε ένα ασύγχρονο τελικό σημείο για να επιτρέψουμε μεγαλύτερους χρόνους συμπερασμάτων, μεγαλύτερα μεγέθη εισόδου ωφέλιμου φορτίου και τη δυνατότητα κλιμάκωσης του τελικού σημείου σε μηδενικές περιπτώσεις (χωρίς χρεώσεις) όταν δεν χρησιμοποιείται. Το παρακάτω σχήμα δείχνει τον κώδικα υψηλού επιπέδου για ασύγχρονη ανάπτυξη τελικού σημείου. Αρχικά συμπιέζουμε το αποθηκευμένο λεξικό κατάστασης PyTorch και ανεβάζουμε τα συμπιεσμένα τεχνουργήματα του μοντέλου στο Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3). Δημιουργούμε ένα μοντέλο SageMaker PyTorch που δείχνει τον κώδικα συμπερασμάτων μας και τα τεχνουργήματα του μοντέλου. Ο κωδικός συμπερασμάτων απαιτείται για τη φόρτωση και την προβολή του μοντέλου μας. Για περισσότερες λεπτομέρειες σχετικά με τον απαιτούμενο προσαρμοσμένο κώδικα συμπερασμάτων για ένα μοντέλο SageMaker PyTorch, ανατρέξτε στο Χρησιμοποιήστε το PyTorch με το SageMaker Python SDK.

Το ακόλουθο σχήμα δείχνει τον κώδικα για την πολιτική αυτόματης κλιμάκωσης για το τελικό σημείο ασύγχρονης εξαγωγής συμπερασμάτων.

Λάβετε υπόψη ότι υπάρχουν και άλλες επιλογές τερματικού σημείου, όπως σε πραγματικό χρόνο, παρτίδα και χωρίς διακομιστή, που θα μπορούσαν να χρησιμοποιηθούν για την εφαρμογή σας. Θα θελήσετε να επιλέξετε την επιλογή που ταιριάζει καλύτερα στην περίπτωση χρήσης και να το θυμηθείτε Amazon SageMaker Inference Recommender είναι διαθέσιμο για να σας βοηθήσει να προτείνουμε διαμορφώσεις τελικού σημείου μηχανικής εκμάθησης (ML).

Συμπέρασμα μοντέλου

Με το εκπαιδευμένο μοντέλο που έχει αναπτυχθεί, μπορούμε πλέον να χρησιμοποιήσουμε Γεωχωρικές δυνατότητες του SageMaker για τη συλλογή δεδομένων για συμπέρασμα. Με τις γεωχωρικές δυνατότητες του SageMaker, πολλά ενσωματωμένα μοντέλα είναι διαθέσιμα εκτός συσκευασίας. Σε αυτό το παράδειγμα, χρησιμοποιούμε τη λειτουργία στοίβαξης ζώνης για τη στοίβαξη των καναλιών κόκκινου, πράσινου και μπλε χρώματος για την εργασία παρατήρησης γης. Η εργασία συλλέγει τα δεδομένα από το σύνολο δεδομένων Sentinel-2. Για να διαμορφώσουμε μια εργασία παρατήρησης γης, χρειαζόμαστε πρώτα τις συντεταγμένες της τοποθεσίας ενδιαφέροντος. Δεύτερον, χρειαζόμαστε το χρονικό εύρος της παρατήρησης. Με αυτό μπορούμε τώρα να υποβάλουμε μια εργασία παρατήρησης της γης χρησιμοποιώντας τη δυνατότητα στοίβαξης. Εδώ στοιβάζουμε τις κόκκινες, πράσινες και μπλε ζώνες για να δημιουργήσουμε μια έγχρωμη εικόνα. Το παρακάτω σχήμα δείχνει τη διαμόρφωση εργασίας που χρησιμοποιήθηκε για τη δημιουργία δεδομένων από τις πλημμύρες στο Ρότσεστερ της Αυστραλίας, στα μέσα Οκτωβρίου 2022. Χρησιμοποιούμε εικόνες από πριν και μετά την καταστροφή ως είσοδο στο εκπαιδευμένο μοντέλο ML μας.

Αφού οριστεί η διαμόρφωση της εργασίας, μπορούμε να υποβάλουμε την εργασία. Όταν ολοκληρωθεί η εργασία, εξάγουμε τα αποτελέσματα στο Amazon S3. Σημειώστε ότι μπορούμε να εξαγάγουμε τα αποτελέσματα μόνο μετά την ολοκλήρωση της εργασίας. Τα αποτελέσματα της εργασίας μπορούν να εξαχθούν σε μια τοποθεσία Amazon S3 που καθορίζεται από τον χρήστη στη διαμόρφωση εργασίας εξαγωγής. Τώρα με τα νέα μας δεδομένα στο Amazon S3, μπορούμε να λάβουμε προβλέψεις ζημιών χρησιμοποιώντας το αναπτυγμένο μοντέλο. Αρχικά διαβάζουμε τα δεδομένα στη μνήμη και στοιβάζουμε τις εικόνες πριν και μετά την καταστροφή μαζί.

Τα αποτελέσματα της μάσκας κατάτμησης για τις πλημμύρες του Ρότσεστερ φαίνονται στις παρακάτω εικόνες. Εδώ μπορούμε να δούμε ότι το μοντέλο έχει εντοπίσει τοποθεσίες εντός της πλημμυρισμένης περιοχής ως πιθανώς κατεστραμμένες. Σημειώστε επίσης ότι η χωρική ανάλυση της εικόνας συμπερασμάτων είναι διαφορετική από τα δεδομένα εκπαίδευσης. Η αύξηση της χωρικής ανάλυσης θα μπορούσε να βοηθήσει στην απόδοση του μοντέλου. Ωστόσο, αυτό είναι λιγότερο πρόβλημα για το μοντέλο SegFormer όπως και για άλλα μοντέλα λόγω της αρχιτεκτονικής μοντέλων πολλαπλών κλιμάκων.

Εκτίμηση Ζημιών

Συμπέρασμα

Σε αυτήν την ανάρτηση, δείξαμε πώς να εκπαιδεύσουμε, να αναπτύξουμε και να προβλέψουμε ζημιές από φυσικές καταστροφές SageMaker με γεωχωρικές δυνατότητες. Χρησιμοποιήσαμε τις νέες γεωχωρικές δυνατότητες του SageMaker για να δημιουργήσουμε νέα δεδομένα συμπερασμάτων για να δοκιμάσουμε το μοντέλο. Ο κώδικας για αυτήν την ανάρτηση βρίσκεται στη διαδικασία δημοσίευσης και αυτή η ανάρτηση θα ενημερωθεί με συνδέσμους προς τον πλήρη κώδικα εκπαίδευσης, ανάπτυξης και συμπερασμάτων. Αυτή η εφαρμογή επιτρέπει στους πρώτους ανταποκριτές, τις κυβερνήσεις και τις ανθρωπιστικές οργανώσεις να βελτιστοποιήσουν την απόκρισή τους, παρέχοντας επίγνωση της κρίσιμης κατάστασης αμέσως μετά από μια φυσική καταστροφή. Αυτή η εφαρμογή είναι μόνο ένα παράδειγμα του τι είναι δυνατό με τα σύγχρονα εργαλεία ML όπως το SageMaker.

Δοκιμάστε τις γεωχωρικές δυνατότητες του SageMaker σήμερα χρησιμοποιώντας τα δικά σας μοντέλα. ανυπομονούμε να δούμε τι θα φτιάξετε στη συνέχεια.

Σχετικά με τον Συγγραφέα

Aaron Sengstacken είναι ένας ειδικός αρχιτέκτονας λύσεων μηχανικής μάθησης στην Amazon Web Services. Ο Aaron συνεργάζεται στενά με πελάτες του δημόσιου τομέα όλων των μεγεθών για την ανάπτυξη και την ανάπτυξη εφαρμογών μηχανικής εκμάθησης παραγωγής. Ενδιαφέρεται για όλα τα πράγματα για τη μηχανική μάθηση, την τεχνολογία και την εξερεύνηση του διαστήματος.