Ανίχνευση διακύμανσης πληθυσμών απειλούμενων ειδών χρησιμοποιώντας το Amazon Rekognition

Ο πλανήτης μας αντιμετωπίζει μια παγκόσμια κρίση εξαφάνισης. Έκθεση του ΟΗΕ δείχνει έναν εκπληκτικό αριθμό άνω του ενός εκατομμυρίου ειδών που φοβούνται ότι βρίσκονται στο δρόμο της εξαφάνισης. Οι πιο συνηθισμένοι λόγοι εξαφάνισης περιλαμβάνουν την απώλεια ενδιαιτημάτων, τη λαθροθηρία και τα χωροκατακτητικά είδη. Αρκετά ιδρύματα διατήρησης της άγριας ζωής, ερευνητές επιστήμονες, εθελοντές και θηροφύλακες κατά της λαθροθηρίας εργάζονται ακούραστα για την αντιμετώπιση αυτής της κρίσης. Η κατοχή ακριβών και τακτικών πληροφοριών σχετικά με τα απειλούμενα ζώα στη φύση θα βελτιώσει την ικανότητα των συντηρητών της άγριας ζωής να μελετούν και να διατηρούν είδη που απειλούνται με εξαφάνιση. Οι επιστήμονες της άγριας ζωής και το προσωπικό πεδίου χρησιμοποιούν κάμερες εξοπλισμένες με υπέρυθρες σκανδάλες, που ονομάζονται παγίδες κάμεραςκαι τοποθετήστε τα στις πιο αποτελεσματικές τοποθεσίες στα δάση για να τραβήξετε εικόνες της άγριας ζωής. Στη συνέχεια, αυτές οι εικόνες εξετάζονται χειροκίνητα, κάτι που είναι μια πολύ χρονοβόρα διαδικασία.

Σε αυτήν την ανάρτηση, παρουσιάζουμε μια λύση χρησιμοποιώντας Προσαρμοσμένες ετικέτες αναγνώρισης Amazon μαζί με παγίδες κάμερας με αισθητήρα κίνησης για την αυτοματοποίηση αυτής της διαδικασίας για την αναγνώριση των γενεσιουργών ειδών και τη μελέτη τους. Το Rekognition Custom Labels είναι μια πλήρως διαχειριζόμενη υπηρεσία υπολογιστικής όρασης που επιτρέπει στους προγραμματιστές να δημιουργούν προσαρμοσμένα μοντέλα για την ταξινόμηση και την αναγνώριση αντικειμένων σε εικόνες που είναι συγκεκριμένα και μοναδικά για την περίπτωση χρήσης τους. Αναλύουμε τον τρόπο αναγνώρισης απειλούμενων ζωικών ειδών από εικόνες που συλλέγονται από παγίδες κάμερας, αντλούμε πληροφορίες σχετικά με τον αριθμό των πληθυσμών τους και ανιχνεύουμε ανθρώπους γύρω τους. Αυτές οι πληροφορίες θα είναι χρήσιμες για τους οικολόγους, οι οποίοι μπορούν να λάβουν προληπτικές αποφάσεις για να τους σώσουν.

Επισκόπηση λύσεων

Το παρακάτω διάγραμμα απεικονίζει την αρχιτεκτονική της λύσης.

Αυτή η λύση χρησιμοποιεί τις ακόλουθες υπηρεσίες τεχνητής νοημοσύνης, τεχνολογίες χωρίς διακομιστές και διαχειριζόμενες υπηρεσίες για την υλοποίηση μιας κλιμακούμενης και οικονομικά αποδοτικής αρχιτεκτονικής:

• Αμαζόν Αθηνά – Μια διαδραστική υπηρεσία ερωτημάτων χωρίς διακομιστή που διευκολύνει την ανάλυση δεδομένων στο Amazon S3 χρησιμοποιώντας τυπική SQL
• amazoncloudwatch – Μια υπηρεσία παρακολούθησης και παρατηρησιμότητας που συλλέγει δεδομένα παρακολούθησης και λειτουργίας με τη μορφή αρχείων καταγραφής, μετρήσεων και συμβάντων
• Amazon DynamoDB – Μια βάση δεδομένων κλειδιού-τιμής και εγγράφων που παρέχει μονοψήφια απόδοση χιλιοστών του δευτερολέπτου σε οποιαδήποτε κλίμακα
• AWS Lambda – Μια υπηρεσία υπολογισμού χωρίς διακομιστή που σας επιτρέπει να εκτελείτε κώδικα ως απόκριση σε ενεργοποιήσεις όπως αλλαγές στα δεδομένα, αλλαγές στην κατάσταση του συστήματος ή ενέργειες χρήστη
• Amazon QuickSight – Μια υπηρεσία επιχειρηματικής ευφυΐας χωρίς διακομιστές, με υποστήριξη μηχανικής μάθησης (ML) που παρέχει πληροφορίες, διαδραστικούς πίνακες εργαλείων και πλούσια αναλυτικά στοιχεία
• Αναγνώριση Amazon – Χρησιμοποιεί την ML για την αναγνώριση αντικειμένων, ανθρώπων, κειμένου, σκηνών και δραστηριοτήτων σε εικόνες και βίντεο, καθώς και για τον εντοπισμό τυχόν ακατάλληλου περιεχομένου
• Προσαρμοσμένες ετικέτες αναγνώρισης Amazon – Χρησιμοποιεί την AutoML για να βοηθήσει στην εκπαίδευση προσαρμοσμένων μοντέλων για τον εντοπισμό αντικειμένων και σκηνών σε εικόνες που είναι ειδικά για τις ανάγκες της επιχείρησής σας
• Υπηρεσία απλής ουράς Amazon (Amazon SQS) – Μια πλήρως διαχειριζόμενη υπηρεσία ουράς μηνυμάτων που σας δίνει τη δυνατότητα να αποσυνδέσετε και να κλιμακώσετε μικροϋπηρεσίες, κατανεμημένα συστήματα και εφαρμογές χωρίς διακομιστή
• Υπηρεσία απλής αποθήκευσης Amazon (Amazon S3) – Λειτουργεί ως χώρος αποθήκευσης αντικειμένων για έγγραφα και επιτρέπει την κεντρική διαχείριση με βελτιωμένα στοιχεία ελέγχου πρόσβασης.

Τα βήματα υψηλού επιπέδου σε αυτή τη λύση είναι τα εξής:

1. Εκπαιδεύστε και δημιουργήστε ένα προσαρμοσμένο μοντέλο χρησιμοποιώντας προσαρμοσμένες ετικέτες αναγνώρισης για να αναγνωρίσετε είδη που απειλούνται με εξαφάνιση στην περιοχή. Για αυτήν την ανάρτηση, εκπαιδευόμαστε σε εικόνες ρινόκερου.
2. Οι εικόνες που καταγράφονται μέσω των παγίδων κάμερας με αισθητήρα κίνησης μεταφορτώνονται σε έναν κάδο S3, ο οποίος δημοσιεύει ένα συμβάν για κάθε μεταφορτωμένη εικόνα.
3. Για κάθε δημοσιευμένο συμβάν ενεργοποιείται μια συνάρτηση Lambda, η οποία ανακτά την εικόνα από τον κάδο S3 και τη μεταβιβάζει στο προσαρμοσμένο μοντέλο για να ανιχνεύσει το απειλούμενο ζώο.
4. Η συνάρτηση Lambda χρησιμοποιεί το Amazon Rekognition API για την αναγνώριση των ζώων στην εικόνα.
5. Εάν η εικόνα έχει κάποιο απειλούμενο είδος ρινόκερου, η συνάρτηση ενημερώνει τη βάση δεδομένων DynamoDB με τον αριθμό του ζώου, την ημερομηνία λήψης της εικόνας και άλλα χρήσιμα μεταδεδομένα που μπορούν να εξαχθούν από την εικόνα EXIF header.
6. Το QuickSight χρησιμοποιείται για την απεικόνιση του αριθμού των ζώων και των δεδομένων τοποθεσίας που συλλέγονται στη βάση δεδομένων DynamoDB για την κατανόηση της διακύμανσης του πληθυσμού των ζώων με την πάροδο του χρόνου. Εξετάζοντας τακτικά τους πίνακες εργαλείων, οι ομάδες διατήρησης μπορούν να εντοπίσουν μοτίβα και να απομονώσουν πιθανές αιτίες όπως ασθένειες, κλίμα ή λαθροθηρία που θα μπορούσαν να προκαλούν αυτή τη διακύμανση και να λάβουν προληπτικά μέτρα για την αντιμετώπιση του ζητήματος.

Προϋποθέσεις

Απαιτείται ένα καλό σετ εκπαίδευσης για τη δημιουργία ενός αποτελεσματικού μοντέλου χρησιμοποιώντας προσαρμοσμένες ετικέτες αναγνώρισης. Χρησιμοποιήσαμε τις εικόνες από το AWS Marketplace (Σετ δεδομένων Animals & Wildlife από το Shutterstock) Και Kaggle για να φτιάξετε το μοντέλο.

Εφαρμόστε τη λύση

Η ροή εργασίας μας περιλαμβάνει τα ακόλουθα βήματα:

1. Εκπαιδεύστε ένα προσαρμοσμένο μοντέλο για την ταξινόμηση των απειλούμενων ειδών (ρινός στο παράδειγμά μας) χρησιμοποιώντας την ικανότητα AutoML των Προσαρμοσμένων Ετικετών Αναγνώρισης.

Μπορείτε επίσης να εκτελέσετε αυτά τα βήματα από την κονσόλα Προσαρμοσμένων ετικετών αναγνώρισης. Για οδηγίες, ανατρέξτε στο Δημιουργία έργου, Δημιουργία συνόλων δεδομένων εκπαίδευσης και δοκιμής, να Εκπαίδευση ενός μοντέλου προσαρμοσμένων ετικετών αναγνώρισης Amazon.

Σε αυτό το παράδειγμα, χρησιμοποιούμε το σύνολο δεδομένων από το Kaggle. Ο παρακάτω πίνακας συνοψίζει τα περιεχόμενα των δεδομένων.

2. Ανεβάστε τις φωτογραφίες που τραβήχτηκαν από τις παγίδες κάμερας σε έναν καθορισμένο κάδο S3.
3. Ορίστε τις ειδοποιήσεις συμβάντων στο Δικαιώματα τμήμα του κάδου S3 για να στείλετε μια ειδοποίηση σε μια καθορισμένη ουρά SQS όταν προστίθεται ένα αντικείμενο στον κάδο.

Η ενέργεια μεταφόρτωσης ενεργοποιεί ένα συμβάν που βρίσκεται σε ουρά στο Amazon SQS χρησιμοποιώντας την ειδοποίηση συμβάντος Amazon S3.

4. Προσθέστε τα κατάλληλα δικαιώματα μέσω της πολιτικής πρόσβασης της ουράς SQS για να επιτρέψετε στον κάδο S3 να στείλει την ειδοποίηση στην ουρά.

5. Διαμορφώστε έναν κανόνα ετικέτας Lambda για την ουρά SQS, ώστε η συνάρτηση Lambda να καλείται όταν λαμβάνεται ένα νέο μήνυμα.

6. Τροποποιήστε την πολιτική πρόσβασης για να επιτρέψετε στη συνάρτηση Lambda να έχει πρόσβαση στην ουρά SQS.

Η συνάρτηση Lambda θα πρέπει τώρα να έχει τα σωστά δικαιώματα για πρόσβαση στην ουρά SQS.

7. Ρυθμίστε τις μεταβλητές περιβάλλοντος ώστε να είναι προσβάσιμες στον κώδικα.

Κωδικός λειτουργίας λάμδα

Η συνάρτηση Lambda εκτελεί τις ακόλουθες εργασίες κατά τη λήψη μιας ειδοποίησης από την ουρά SNS:

1. Πραγματοποιήστε μια κλήση API στο Amazon Rekognition για να εντοπίσετε ετικέτες από το προσαρμοσμένο μοντέλο που προσδιορίζουν τα απειλούμενα είδη:

exports.handler = async (event) => {
const id = AWS.util.uuid.v4();
const bucket = event.Records[0].s3.bucket.name;
const photo = decodeURIComponent(event.Records[0].s3.object.key.replace(/+/g, ' '));
const client = new AWS.Rekognition({ region: REGION });
const paramsCustomLabel = {
Image: {
S3Object: {
Bucket: bucket,
Name: photo
},
},
ProjectVersionArn: REK_CUSTOMMODEL,
MinConfidence: MIN_CONFIDENCE
}
let response = await client.detectCustomLabels(paramsCustomLabel).promise();
console.log("Rekognition customLabels response = ",response);

2. Λάβετε τις ετικέτες EXIF ​​από την εικόνα για να λάβετε την ημερομηνία λήψης της φωτογραφίας και άλλα σχετικά δεδομένα EXIF. Ο παρακάτω κώδικας χρησιμοποιεί τις εξαρτήσεις (πακέτο – έκδοση) exif-reader – ^1.0.3, sharp – ^0.30.7:

const getExifMetaData = async (bucket,key)=>{
return new Promise((resolve) => {
const s3 = new AWS.S3({ region: REGION });
const param = {
Bucket: bucket,
Key : key
};

s3.getObject(param, (error, data) => {
if (error) {
console.log("Error getting S3 file",error);
resolve({status:false,errorText: error.message});
} else {
sharp(data.Body)
.metadata()
.then(({ exif }) => {
const exifProperties = exifReader(exif);
resolve({status:true,exifProp: exifProperties});
}).catch(err => {console.log("Error Processing Exif ");resolve({status:false});})
}
});
});
}

var gpsData = "";
var createDate = "";
const imageS3 = await getExifMetaData(bucket, photo);
if(imageS3.status){
gpsData = imageS3.exifProp.gps;
createDate = imageS3.exifProp.image.CreateDate;
}else{
createDate = event.Records[0].eventTime;
console.log("No exif found in image, setting createDate as the date of event", createDate);
}

Η λύση που περιγράφεται εδώ είναι ασύγχρονη. οι εικόνες καταγράφονται από τις παγίδες της κάμερας και στη συνέχεια μεταφορτώνονται σε έναν κάδο S3 για επεξεργασία. Εάν οι εικόνες της κάμερας μεταφορτώνονται συχνότερα, μπορείτε να επεκτείνετε τη λύση για τον εντοπισμό ανθρώπων στην παρακολουθούμενη περιοχή και να στείλετε ειδοποιήσεις σε ενδιαφερόμενους ακτιβιστές για να υποδείξουν πιθανή λαθροθηρία στην περιοχή αυτών των ζώων που απειλούνται με εξαφάνιση. Αυτό υλοποιείται μέσω της συνάρτησης Lambda που καλεί το Amazon Rekognition API για να ανιχνεύσει ετικέτες για την παρουσία ανθρώπου. Εάν εντοπιστεί άνθρωπος, καταγράφεται ένα μήνυμα σφάλματος στα αρχεία καταγραφής CloudWatch. Μια φιλτραρισμένη μέτρηση στο αρχείο καταγραφής σφαλμάτων ενεργοποιεί έναν συναγερμό CloudWatch που στέλνει ένα μήνυμα ηλεκτρονικού ταχυδρομείου στους ακτιβιστές για τη διατήρηση, οι οποίοι μπορούν στη συνέχεια να προβούν σε περαιτέρω ενέργειες.

3. Αναπτύξτε τη λύση με τον ακόλουθο κώδικα:

const paramHumanLabel = {
Image: {
S3Object: {
Bucket: bucket,
Name: photo
},
},
MinConfidence: MIN_CONFIDENCE
}

let humanLabel = await client.detectLabels(paramHumanLabel).promise();
let humanFound = humanLabel.Labels.filter(obj => obj.Name === HUMAN);
var humanDetected = false;
if(humanFound.length > 0){
console.error("Human Face Detected");
humanDetected = true;
}

4. Εάν εντοπιστεί κάποιο είδος υπό εξαφάνιση, η συνάρτηση Lambda ενημερώνει το DynamoDB με την καταμέτρηση, την ημερομηνία και άλλα προαιρετικά μεταδεδομένα που λαμβάνονται από τις ετικέτες EXIF ​​της εικόνας:

let dbresponse = await dynamo.putItem({
Item: {
id: { S: id },
type: { S: response.CustomLabels[0].Name },
image: {S : photo},
createDate: {S: createDate.toString()},
confidence: {S: response.CustomLabels[0].Confidence.toString()},
gps: {S: gpsData.toString()},
humanDetected: {BOOL: humanDetected}
},

TableName: ANIMAL_TABLENAME,
}).promise();

Ερώτηση και οπτικοποίηση των δεδομένων

Τώρα μπορείτε να χρησιμοποιήσετε το Athena και το QuickSight για να οπτικοποιήσετε τα δεδομένα.

1. Ορίστε τον πίνακα DynamoDB ως πηγή δεδομένων για το Athena.

2. Προσθέστε τις λεπτομέρειες της πηγής δεδομένων.

Το επόμενο σημαντικό βήμα είναι να ορίσετε μια συνάρτηση Lambda που συνδέεται με την πηγή δεδομένων.

3. Επιλέξτε Δημιουργία συνάρτησης Λάμδα.

4. Εισαγάγετε ονόματα για AthenaCatalogΌνομα και SpillBucket; τα υπόλοιπα μπορεί να είναι προεπιλεγμένες ρυθμίσεις.
5. Αναπτύξτε τη λειτουργία σύνδεσης.

Μετά την επεξεργασία όλων των εικόνων, μπορείτε να χρησιμοποιήσετε το QuickSight για να οπτικοποιήσετε τα δεδομένα για τη διακύμανση του πληθυσμού με την πάροδο του χρόνου από το Athena.

6. Στην κονσόλα Athena, επιλέξτε μια πηγή δεδομένων και εισαγάγετε τις λεπτομέρειες.
7. Επιλέξτε Δημιουργία συνάρτησης Λάμδα για να παρέχει μια σύνδεση στο DynamoDB.

8. Στον πίνακα εργαλείων QuickSight, επιλέξτε Νέα Ανάλυση και Νέο σύνολο δεδομένων.
9. Επιλέξτε το Athena ως πηγή δεδομένων.

10. Εισαγάγετε τον κατάλογο, τη βάση δεδομένων και τον πίνακα για να συνδεθείτε και επιλέξτε Αγορά.

11. Ολοκληρωμένη δημιουργία δεδομένων.

Το παρακάτω διάγραμμα δείχνει τον αριθμό των απειλούμενων ειδών που αιχμαλωτίστηκαν μια δεδομένη ημέρα.

Τα δεδομένα GPS παρουσιάζονται ως μέρος των ετικετών EXIF ​​μιας ληφθείσας εικόνας. Λόγω της ευαισθησίας της τοποθεσίας αυτών των ζώων που απειλούνται με εξαφάνιση, το σύνολο δεδομένων μας δεν είχε την τοποθεσία GPS. Ωστόσο, δημιουργήσαμε ένα γεωχωρικό γράφημα χρησιμοποιώντας προσομοιωμένα δεδομένα για να δείξουμε πώς μπορείτε να οπτικοποιήσετε τοποθεσίες όταν είναι διαθέσιμα δεδομένα GPS.

εκκαθάριση

Για να αποφύγετε απροσδόκητα έξοδα, φροντίστε να απενεργοποιήσετε τις υπηρεσίες AWS που χρησιμοποιήσατε ως μέρος αυτής της επίδειξης—τους κουβάδες S3, τον πίνακα DynamoDB, το QuickSight, το Athena και το εκπαιδευμένο μοντέλο Προσαρμοσμένων Ετικετών Αναγνώρισης. Θα πρέπει να διαγράψετε αυτούς τους πόρους απευθείας μέσω των αντίστοιχων κονσόλων υπηρεσιών τους, εάν δεν τους χρειάζεστε πλέον. Αναφέρομαι σε Διαγραφή μοντέλου προσαρμοσμένων ετικετών αναγνώρισης Amazon για περισσότερες πληροφορίες σχετικά με τη διαγραφή του μοντέλου.

Συμπέρασμα

Σε αυτήν την ανάρτηση, παρουσιάσαμε ένα αυτοματοποιημένο σύστημα που προσδιορίζει τα απειλούμενα είδη, καταγράφει τον αριθμό των πληθυσμών τους και παρέχει πληροφορίες σχετικά με τη διακύμανση του πληθυσμού με την πάροδο του χρόνου. Μπορείτε επίσης να επεκτείνετε τη λύση για να ειδοποιήσετε τις αρχές όταν άνθρωποι (πιθανοί λαθροκυνηγοί) βρίσκονται κοντά σε αυτά τα απειλούμενα είδη. Με τις δυνατότητες AI/ML του Amazon Rekognition, μπορούμε να υποστηρίξουμε τις προσπάθειες των ομάδων διατήρησης για την προστασία των απειλούμενων ειδών και των οικοσυστημάτων τους.

Για περισσότερες πληροφορίες σχετικά με τις προσαρμοσμένες ετικέτες αναγνώρισης, ανατρέξτε στο Ξεκινώντας με τις προσαρμοσμένες ετικέτες αναγνώρισης Amazon και Εποπτεία περιεχομένου. Εάν είστε νέοι στις Προσαρμοσμένες Ετικέτες Αναγνώρισης, μπορείτε να χρησιμοποιήσετε το Free Tier, το οποίο διαρκεί 3 μήνες και περιλαμβάνει 10 δωρεάν ώρες εκπαίδευσης ανά μήνα και 4 δωρεάν ώρες συμπερασμάτων ανά μήνα. Το Amazon Rekognition Free Tier περιλαμβάνει επεξεργασία 5,000 εικόνων το μήνα για 12 μήνες.

Σχετικά με τους Συγγραφείς

Jyothi Goudar είναι Partner Solutions Architect Manager στην AWS. Συνεργάζεται στενά με τον παγκόσμιο συνεργάτη ολοκληρωμένου συστήματος για να επιτρέψει και να υποστηρίξει τους πελάτες να μεταφέρουν τον φόρτο εργασίας τους στο AWS.

Τζέι Ράο είναι κύριος αρχιτέκτονας λύσεων στην AWS. Του αρέσει να παρέχει τεχνική και στρατηγική καθοδήγηση στους πελάτες και να τους βοηθά να σχεδιάζουν και να εφαρμόζουν λύσεις στο AWS.