Phát hiện phương sai dân số của các loài có nguy cơ tuyệt chủng bằng Amazon Rekognition

Hành tinh của chúng ta đang phải đối mặt với một cuộc khủng hoảng tuyệt chủng toàn cầu. Báo cáo của LHQ cho thấy một con số đáng kinh ngạc với hơn một triệu loài có nguy cơ tuyệt chủng. Những lý do phổ biến nhất dẫn đến tuyệt chủng bao gồm mất môi trường sống, săn trộm và các loài xâm lấn. Một số quỹ bảo tồn động vật hoang dã, các nhà khoa học nghiên cứu, tình nguyện viên, và kiểm lâm chống săn trộm đã làm việc không mệt mỏi để giải quyết cuộc khủng hoảng này. Có thông tin chính xác và thường xuyên về các loài động vật có nguy cơ tuyệt chủng trong tự nhiên sẽ cải thiện khả năng nghiên cứu và bảo tồn các loài có nguy cơ tuyệt chủng của các nhà bảo tồn động vật hoang dã. Các nhà khoa học về động vật hoang dã và nhân viên hiện trường sử dụng máy ảnh được trang bị bộ kích hoạt hồng ngoại, được gọi là bẫy máy ảnhvà đặt chúng ở những vị trí hiệu quả nhất trong rừng để chụp ảnh động vật hoang dã. Những hình ảnh này sau đó sẽ được xem xét thủ công, đây là một quá trình rất tốn thời gian.

Trong bài đăng này, chúng tôi trình bày một giải pháp sử dụng Nhãn tùy chỉnh Rekognition của Amazon cùng với bẫy camera cảm biến chuyển động để tự động hóa quá trình này nhằm nhận biết các loài sinh sản và nghiên cứu chúng. Nhãn tùy chỉnh Rekognition là một dịch vụ thị giác máy tính được quản lý hoàn toàn, cho phép các nhà phát triển xây dựng các mô hình tùy chỉnh để phân loại và xác định các đối tượng trong hình ảnh cụ thể và duy nhất cho trường hợp sử dụng của họ. Chúng tôi trình bày chi tiết cách nhận biết các loài động vật có nguy cơ tuyệt chủng từ hình ảnh được thu thập từ bẫy ảnh, rút ​​ra thông tin chi tiết về số lượng quần thể của chúng và phát hiện con người xung quanh chúng. Thông tin này sẽ hữu ích cho các nhà bảo tồn, những người có thể đưa ra quyết định chủ động để cứu chúng.

Tổng quan về giải pháp

Sơ đồ sau minh họa kiến ​​trúc của giải pháp.

Giải pháp này sử dụng các dịch vụ AI, công nghệ không máy chủ và dịch vụ được quản lý sau đây để triển khai kiến ​​trúc có thể mở rộng và hiệu quả về chi phí:

• amazon Athena – Dịch vụ truy vấn tương tác serverless giúp dễ dàng phân tích dữ liệu trong Amazon S3 bằng SQL tiêu chuẩn
• amazoncloudwatch – Dịch vụ giám sát và quan sát thu thập dữ liệu giám sát và vận hành dưới dạng nhật ký, số liệu và sự kiện
• Máy phát điện Amazon – Cơ sở dữ liệu tài liệu và khóa-giá trị mang lại hiệu suất một phần nghìn giây ở mọi quy mô
• AWS Lambda – Dịch vụ điện toán serverless cho phép bạn chạy mã để phản hồi các kích hoạt như thay đổi dữ liệu, thay đổi trạng thái hệ thống hoặc hành động của người dùng
• Amazon QuickSight – Dịch vụ thông minh kinh doanh được hỗ trợ bằng máy học (ML) không có máy chủ, cung cấp thông tin chi tiết, bảng điều khiển tương tác và phân tích phong phú
• Nhận thức lại Amazon – Sử dụng ML để xác định các đối tượng, con người, văn bản, cảnh và hoạt động trong hình ảnh và video cũng như phát hiện mọi nội dung không phù hợp
• Nhãn tùy chỉnh Rekognition của Amazon – Sử dụng AutoML để giúp đào tạo các mô hình tùy chỉnh nhằm xác định các đối tượng và cảnh trong hình ảnh dành riêng cho nhu cầu kinh doanh của bạn
• Dịch vụ xếp hàng đơn giản của Amazon (Amazon SQS) – Dịch vụ xếp hàng tin nhắn được quản lý hoàn toàn cho phép bạn tách rời và mở rộng quy mô các dịch vụ vi mô, hệ thống phân tán và ứng dụng không có máy chủ
• Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3) – Phục vụ như một kho lưu trữ đối tượng cho các tài liệu và cho phép quản lý tập trung với các biện pháp kiểm soát truy cập được tinh chỉnh.

Các bước cấp cao trong giải pháp này như sau:

1. Đào tạo và xây dựng mô hình tùy chỉnh bằng cách sử dụng Nhãn tùy chỉnh Rekognition để nhận biết các loài có nguy cơ tuyệt chủng trong khu vực. Đối với bài đăng này, chúng tôi đào tạo về hình ảnh của tê giác.
2. Hình ảnh được chụp qua bẫy camera cảm biến chuyển động sẽ được tải lên bộ chứa S3, bộ chứa này sẽ xuất bản một sự kiện cho mỗi hình ảnh được tải lên.
3. Hàm Lambda được kích hoạt cho mọi sự kiện được xuất bản. Hàm này sẽ truy xuất hình ảnh từ bộ chứa S3 và chuyển nó đến mô hình tùy chỉnh để phát hiện động vật có nguy cơ tuyệt chủng.
4. Hàm Lambda sử dụng API Amazon Rekognition để xác định các động vật trong hình ảnh.
5. Nếu hình ảnh có bất kỳ loài tê giác có nguy cơ tuyệt chủng nào, hàm sẽ cập nhật cơ sở dữ liệu DynamoDB với số lượng động vật, ngày chụp ảnh và siêu dữ liệu hữu ích khác có thể được trích xuất từ ​​hình ảnh EXIF tiêu đề.
6. QuickSight được dùng để trực quan hóa dữ liệu vị trí và số lượng động vật được thu thập trong cơ sở dữ liệu DynamoDB nhằm hiểu được sự khác biệt của quần thể động vật theo thời gian. Bằng cách thường xuyên xem bảng thông tin, các nhóm bảo tồn có thể xác định các mô hình và tách biệt các nguyên nhân có thể xảy ra như bệnh tật, khí hậu hoặc nạn săn trộm có thể gây ra sự khác biệt này và chủ động thực hiện các bước để giải quyết vấn đề.

Điều kiện tiên quyết

Cần có một bộ đào tạo tốt để xây dựng một mô hình hiệu quả bằng cách sử dụng Nhãn tùy chỉnh Rekognition. Chúng tôi đã sử dụng hình ảnh từ AWS Marketplace (Tập dữ liệu về Động vật & Động vật hoang dã từ Shutterstock) Và Kaggle để xây dựng mô hình.

Thực hiện giải pháp

Quy trình làm việc của chúng tôi bao gồm các bước sau:

1. Huấn luyện một mô hình tùy chỉnh để phân loại các loài có nguy cơ tuyệt chủng (tê giác trong ví dụ của chúng tôi) bằng cách sử dụng khả năng AutoML của Nhãn tùy chỉnh Rekognition.

Bạn cũng có thể thực hiện các bước này từ bảng điều khiển Nhãn tùy chỉnh Rekognition. Để biết hướng dẫn, hãy tham khảo Tạo một dự án, Tạo tập dữ liệu huấn luyện và kiểm travà Đào tạo mô hình Nhãn tùy chỉnh Amazon Rekognition.

Trong ví dụ này, chúng tôi sử dụng tập dữ liệu từ Kaggle. Bảng sau đây tóm tắt nội dung của tập dữ liệu.

2. Tải ảnh chụp từ bẫy ảnh lên bộ chứa S3 được chỉ định.
3. Xác định thông báo sự kiện trong Quyền của nhóm S3 để gửi thông báo đến hàng đợi SQS đã xác định khi một đối tượng được thêm vào nhóm.

Hành động tải lên sẽ kích hoạt một sự kiện được xếp hàng đợi trong Amazon SQS bằng cách sử dụng thông báo sự kiện của Amazon S3.

4. Thêm các quyền thích hợp thông qua chính sách truy cập của hàng đợi SQS để cho phép nhóm S3 gửi thông báo đến hàng đợi.

5. Định cấu hình trình kích hoạt Lambda cho hàng đợi SQS để hàm Lambda được gọi khi nhận được tin nhắn mới.

6. Sửa đổi chính sách truy cập để cho phép hàm Lambda truy cập vào hàng đợi SQS.

Hàm Lambda giờ đây sẽ có quyền phù hợp để truy cập vào hàng đợi SQS.

7. Thiết lập các biến môi trường để chúng có thể được truy cập trong mã.

Mã hàm Lambda

Hàm Lambda thực hiện các tác vụ sau khi nhận được thông báo từ hàng đợi SNS:

1. Thực hiện lệnh gọi API tới Amazon Rekognition để phát hiện nhãn từ mô hình tùy chỉnh xác định các loài có nguy cơ tuyệt chủng:

exports.handler = async (event) => {
const id = AWS.util.uuid.v4();
const bucket = event.Records[0].s3.bucket.name;
const photo = decodeURIComponent(event.Records[0].s3.object.key.replace(/+/g, ' '));
const client = new AWS.Rekognition({ region: REGION });
const paramsCustomLabel = {
Image: {
S3Object: {
Bucket: bucket,
Name: photo
},
},
ProjectVersionArn: REK_CUSTOMMODEL,
MinConfidence: MIN_CONFIDENCE
}
let response = await client.detectCustomLabels(paramsCustomLabel).promise();
console.log("Rekognition customLabels response = ",response);

2. Tìm nạp thẻ EXIF ​​​​từ hình ảnh để biết ngày chụp ảnh và dữ liệu EXIF ​​​​có liên quan khác. Đoạn mã sau sử dụng các phần phụ thuộc (gói – phiên bản) Exif-reader – ^1.0.3, Sharp – ^0.30.7:

const getExifMetaData = async (bucket,key)=>{
return new Promise((resolve) => {
const s3 = new AWS.S3({ region: REGION });
const param = {
Bucket: bucket,
Key : key
};

s3.getObject(param, (error, data) => {
if (error) {
console.log("Error getting S3 file",error);
resolve({status:false,errorText: error.message});
} else {
sharp(data.Body)
.metadata()
.then(({ exif }) => {
const exifProperties = exifReader(exif);
resolve({status:true,exifProp: exifProperties});
}).catch(err => {console.log("Error Processing Exif ");resolve({status:false});})
}
});
});
}

var gpsData = "";
var createDate = "";
const imageS3 = await getExifMetaData(bucket, photo);
if(imageS3.status){
gpsData = imageS3.exifProp.gps;
createDate = imageS3.exifProp.image.CreateDate;
}else{
createDate = event.Records[0].eventTime;
console.log("No exif found in image, setting createDate as the date of event", createDate);
}

Giải pháp được nêu ở đây là không đồng bộ; hình ảnh được chụp bằng bẫy camera và sau đó được tải lên bộ chứa S3 để xử lý. Nếu hình ảnh bẫy camera được tải lên thường xuyên hơn, bạn có thể mở rộng giải pháp để phát hiện con người trong khu vực được giám sát và gửi thông báo đến các nhà hoạt động liên quan để chỉ ra khả năng xảy ra nạn săn trộm ở khu vực lân cận những loài động vật có nguy cơ tuyệt chủng này. Điều này được triển khai thông qua hàm Lambda gọi API Amazon Rekognition để phát hiện các nhãn về sự hiện diện của con người. Nếu phát hiện thấy con người, thông báo lỗi sẽ được ghi vào Nhật ký CloudWatch. Số liệu được lọc trên nhật ký lỗi sẽ kích hoạt cảnh báo CloudWatch gửi email đến các nhà hoạt động bảo tồn để họ có thể thực hiện hành động tiếp theo.

3. Mở rộng giải pháp với đoạn mã sau:

const paramHumanLabel = {
Image: {
S3Object: {
Bucket: bucket,
Name: photo
},
},
MinConfidence: MIN_CONFIDENCE
}

let humanLabel = await client.detectLabels(paramHumanLabel).promise();
let humanFound = humanLabel.Labels.filter(obj => obj.Name === HUMAN);
var humanDetected = false;
if(humanFound.length > 0){
console.error("Human Face Detected");
humanDetected = true;
}

4. Nếu phát hiện bất kỳ loài có nguy cơ tuyệt chủng nào, hàm Lambda sẽ cập nhật DynamoDB với số lượng, ngày tháng và siêu dữ liệu tùy chọn khác thu được từ thẻ EXIF ​​​​hình ảnh:

let dbresponse = await dynamo.putItem({
Item: {
id: { S: id },
type: { S: response.CustomLabels[0].Name },
image: {S : photo},
createDate: {S: createDate.toString()},
confidence: {S: response.CustomLabels[0].Confidence.toString()},
gps: {S: gpsData.toString()},
humanDetected: {BOOL: humanDetected}
},

TableName: ANIMAL_TABLENAME,
}).promise();

Truy vấn và trực quan hóa dữ liệu

Bây giờ bạn có thể sử dụng Athena và QuickSight để trực quan hóa dữ liệu.

1. Đặt bảng DynamoDB làm nguồn dữ liệu cho Athena.

2. Thêm chi tiết nguồn dữ liệu.

Bước quan trọng tiếp theo là xác định hàm Lambda kết nối với nguồn dữ liệu.

3. Lựa chọn Tạo hàm Lambda.

4. Nhập tên cho AthenaCatalogTên và Tràn Xô; phần còn lại có thể là cài đặt mặc định.
5. Triển khai chức năng kết nối.

Sau khi tất cả hình ảnh được xử lý, bạn có thể sử dụng QuickSight để trực quan hóa dữ liệu về phương sai dân số theo thời gian từ Athena.

6. Trên bảng điều khiển Athena, chọn nguồn dữ liệu và nhập thông tin chi tiết.
7. Chọn Tạo hàm Lambda để cung cấp trình kết nối với DynamoDB.

8. Trên bảng thông tin QuickSight, chọn Phân tích mới và Tập dữ liệu mới.
9. Chọn Athena làm nguồn dữ liệu.

10. Nhập danh mục, cơ sở dữ liệu và bảng để kết nối và chọn Chọn.

11. Hoàn thành việc tạo tập dữ liệu.

Biểu đồ sau đây cho thấy số lượng các loài có nguy cơ tuyệt chủng bị bắt trong một ngày nhất định.

Dữ liệu GPS được trình bày dưới dạng một phần của thẻ EXIF ​​​​của ảnh đã chụp. Do tính nhạy cảm về vị trí của những loài động vật có nguy cơ tuyệt chủng này nên tập dữ liệu của chúng tôi không có vị trí GPS. Tuy nhiên, chúng tôi đã tạo biểu đồ không gian địa lý bằng cách sử dụng dữ liệu mô phỏng để hiển thị cách bạn có thể hình dung các vị trí khi có sẵn dữ liệu GPS.

Làm sạch

Để tránh phát sinh chi phí ngoài dự kiến, hãy nhớ tắt các dịch vụ AWS mà bạn đã sử dụng trong phần minh họa này—bộ chứa S3, bảng DynamoDB, QuickSight, Athena và mô hình Nhãn tùy chỉnh Rekognition đã được đào tạo. Bạn nên xóa các tài nguyên này trực tiếp thông qua bảng điều khiển dịch vụ tương ứng nếu bạn không cần chúng nữa. tham khảo Xóa mô hình Nhãn tùy chỉnh Rekognition của Amazon để biết thêm thông tin về cách xóa mô hình.

Kết luận

Trong bài đăng này, chúng tôi đã trình bày một hệ thống tự động xác định các loài có nguy cơ tuyệt chủng, ghi lại số lượng quần thể của chúng và cung cấp thông tin chi tiết về sự khác biệt về quần thể theo thời gian. Bạn cũng có thể mở rộng giải pháp để cảnh báo chính quyền khi con người (có thể là những kẻ săn trộm) ở gần những loài có nguy cơ tuyệt chủng này. Với khả năng AI/ML của Amazon Rekognition, chúng tôi có thể hỗ trợ nỗ lực của các nhóm bảo tồn nhằm bảo vệ các loài có nguy cơ tuyệt chủng và hệ sinh thái của chúng.

Để biết thêm thông tin về Nhãn tùy chỉnh Rekognition, hãy tham khảo Bắt đầu với Amazon Rekognition Custom Labels và Kiểm duyệt nội dung. Nếu mới sử dụng Nhãn tùy chỉnh Rekognition, bạn có thể sử dụng Bậc miễn phí của chúng tôi, kéo dài 3 tháng và bao gồm 10 giờ đào tạo miễn phí mỗi tháng và 4 giờ suy luận miễn phí mỗi tháng. Bậc miễn phí của Amazon Rekognition bao gồm xử lý 5,000 hình ảnh mỗi tháng trong 12 tháng.

Về các tác giả

Jyothi Goudar là Giám đốc kiến ​​trúc sư giải pháp đối tác tại AWS. Cô hợp tác chặt chẽ với đối tác tích hợp hệ thống toàn cầu để hỗ trợ và hỗ trợ khách hàng chuyển khối lượng công việc của họ sang AWS.

Jay Rao là Kiến trúc sư giải pháp chính tại AWS. Anh ấy thích cung cấp hướng dẫn kỹ thuật và chiến lược cho khách hàng, đồng thời giúp họ thiết kế và triển khai các giải pháp trên AWS.