في السنوات الأخيرة ، مكّن التقدم في رؤية الكمبيوتر الباحثين وأول المستجيبين والحكومات من معالجة المشكلة الصعبة المتمثلة في معالجة صور الأقمار الصناعية العالمية لفهم كوكبنا وتأثيرنا عليه. تم إصدار AWS مؤخرًا قدرات Amazon SageMaker الجغرافية المكانية لتزويدك بصور الأقمار الصناعية ونماذج التعلم الآلي (ML) الجيومكانية الحديثة ، مما يقلل من الحواجز أمام هذه الأنواع من حالات الاستخدام. لمزيد من المعلومات ، يرجى الرجوع إلى معاينة: استخدم Amazon SageMaker لإنشاء نماذج ML وتدريبها ونشرها باستخدام البيانات الجغرافية المكانية.
تستخدم العديد من الوكالات ، بما في ذلك المستجيبون الأوائل ، هذه العروض لاكتساب الوعي بالحالة على نطاق واسع وإعطاء الأولوية لجهود الإغاثة في المناطق الجغرافية التي ضربتها الكوارث الطبيعية. غالبًا ما تتعامل هذه الوكالات مع صور الكوارث من ارتفاعات منخفضة ومصادر ساتلية ، وغالبًا ما تكون هذه البيانات غير مصنفة ويصعب استخدامها. غالبًا ما تكون نماذج الرؤية الحاسوبية الحديثة ضعيفة الأداء عند النظر إلى صور الأقمار الصناعية لمدينة ضربها إعصار أو حريق هائل. نظرًا لعدم وجود مجموعات البيانات هذه ، فحتى نماذج ML الحديثة غالبًا ما تكون غير قادرة على تقديم الدقة والدقة اللازمتين للتنبؤ بتصنيفات الكوارث الفيدرالية القياسية.
تحتوي مجموعات البيانات الجغرافية المكانية على بيانات وصفية مفيدة مثل إحداثيات خطوط الطول والعرض والطوابع الزمنية ، والتي يمكن أن توفر سياقًا لهذه الصور. هذا مفيد بشكل خاص في تحسين دقة ML الجغرافي المكاني لمشاهد الكوارث ، لأن هذه الصور بطبيعتها فوضوية وفوضوية. المباني مستطيلة بشكل أقل ، والنباتات تعرضت لأضرار ، والطرق الخطية تعطلت بسبب الفيضانات أو الانهيارات الطينية. نظرًا لأن تسمية مجموعات البيانات الضخمة هذه أمر مكلف ويدوي ويستغرق وقتًا طويلاً ، فإن تطوير نماذج ML التي يمكنها أتمتة وضع العلامات والتعليقات التوضيحية على الصور أمر بالغ الأهمية.
لتدريب هذا النموذج ، نحتاج إلى مجموعة فرعية معنونة لحقيقة الأرض من مجموعة بيانات صور الكوارث ذات الارتفاع المنخفض (LADI). تتكون مجموعة البيانات هذه من صور بشرية وآلية محمولة جواً تم جمعها بواسطة دورية الطيران المدني لدعم الاستجابات المختلفة للكوارث من 2015-2019. تركز مجموعات بيانات LADI هذه على مواسم الأعاصير في المحيط الأطلسي والدول الساحلية على طول المحيط الأطلسي وخليج المكسيك. هناك فرقان رئيسيان هما الارتفاع المنخفض والمنظور المائل للصور والميزات المتعلقة بالكوارث ، والتي نادرًا ما تظهر في معايير رؤية الكمبيوتر ومجموعات البيانات. استخدمت الفرق فئات FEMA الحالية للأضرار مثل الفيضانات ، والحطام ، والحرائق والدخان ، أو الانهيارات الأرضية ، والتي وحدت فئات الملصقات. ثم يكون الحل قادرًا على إجراء تنبؤات بشأن بقية بيانات التدريب ، وتوجيه نتائج الثقة المنخفضة للمراجعة البشرية.
في هذا المنشور ، نصف تصميمنا وتنفيذنا للحل وأفضل الممارسات والمكونات الرئيسية لبنية النظام.
حل نظرة عامة
باختصار ، تضمن الحل بناء ثلاثة خطوط أنابيب:
- خط البيانات - استخراج البيانات الوصفية للصور
- خط أنابيب التعلم الآلي - تصنيف وتسميات الصور
- خط أنابيب مراجعة الإنسان في الحلقة - يستخدم فريقًا بشريًا لمراجعة النتائج
يوضح الرسم البياني التالي بنية الحل.
نظرًا لطبيعة نظام وضع العلامات مثل هذا ، فقد صممنا بنية قابلة للتطوير أفقيًا من شأنها التعامل مع ارتفاعات العرض دون الإفراط في التزويد باستخدام بنية بدون خادم. نستخدم نمط رأس بأطراف من خدمة Amazon Simple Queue Service (Amazon SQS) إلى AWS لامدا في أماكن متعددة لدعم طفرات الابتلاع ، تقديم المرونة.
استخدام قائمة انتظار SQS للمعالجة خدمة تخزين أمازون البسيطة تساعدنا أحداث (Amazon S3) في التحكم في تزامن المعالجة النهائية (وظائف Lambda ، في هذه الحالة) والتعامل مع الارتفاع المفاجئ للبيانات الواردة. تعمل خدمة وضع الرسائل الواردة في قائمة انتظار أيضًا كمخزن مؤقت في حالة حدوث أي إخفاقات في مجرى النهر.
نظرًا للاحتياجات المتوازية للغاية ، اخترنا Lambda لمعالجة صورنا. Lambda هي خدمة حوسبة بدون خادم تتيح لنا تشغيل التعليمات البرمجية دون توفير الخوادم أو إدارتها ، وإنشاء منطق نطاق مجموعة مدرك لأعباء العمل ، والحفاظ على تكامل الأحداث ، وإدارة أوقات التشغيل.
نستخدم خدمة Amazon OpenSearch كمخزن بيانات مركزي لدينا للاستفادة من عمليات البحث السريعة والقابلة للتطوير بدرجة كبيرة وأداة التصور المتكاملة ، لوحات معلومات OpenSearch. يمكننا من إضافة سياق إلى الصورة بشكل متكرر ، دون الحاجة إلى إعادة ترجمة أو إعادة قياس ، والتعامل مع تطور المخطط.
الأمازون إعادة الاعتراف يجعل من السهل إضافة تحليل الصور والفيديو إلى تطبيقاتنا ، باستخدام تقنية التعلم العميق التي أثبتت جدواها وقابليتها للتطوير. مع Amazon Rekognition ، نحصل على أساس جيد للأشياء المكتشفة.
في الأقسام التالية ، نتعمق في كل خط أنابيب بمزيد من التفصيل.
خط البيانات
يُظهر الرسم التخطيطي التالي سير عمل خط أنابيب البيانات.
يبدأ خط أنابيب بيانات LADI باستيعاب صور البيانات الأولية من ملف بروتوكول التنبيه المشترك FEMA (CAP) في دلو S3. عندما نستوعب الصور في حاوية البيانات الأولية ، تتم معالجتها في الوقت الفعلي تقريبًا في خطوتين:
- تقوم حاوية S3 بتشغيل إشعارات الأحداث لجميع عمليات إنشاء الكائنات ، وإنشاء رسائل في قائمة انتظار SQS لكل صورة يتم استيعابها.
- تستدعي قائمة انتظار SQS بشكل متزامن وظائف Lambda المعالجة المسبقة على الصورة.
تقوم وظائف Lambda بتنفيذ خطوات المعالجة المسبقة التالية:
- احسب UUID لكل صورة ، مع توفير معرف فريد لكل صورة. سيحدد هذا المعرف الصورة طوال دورة حياتها.
- استخرج البيانات الوصفية مثل إحداثيات GPS وحجم الصورة ومعلومات GIS وموقع S3 من الصورة واستمر في ذلك في OpenSearch.
- استنادًا إلى البحث في رموز FIPS ، تنقل الوظيفة الصورة إلى حاوية البيانات المنسقة S3. نقوم بتقسيم البيانات حسب FIPS-State-code / FIPS-County-code / السنة / الشهر للصورة.
خط أنابيب التعلم الآلي
يبدأ خط أنابيب ML من الصور التي تهبط في حاوية البيانات المنسقة S3 في خطوة خط أنابيب البيانات ، والتي تؤدي إلى تنفيذ الخطوات التالية:
- تنشئ خدمة Amazon S3 رسالة في قائمة انتظار SQS أخرى لكل كائن تم إنشاؤه في حاوية البيانات المنظمة S3.
- تقوم قائمة انتظار SQS بتشغيل وظائف Lambda بشكل متزامن لتشغيل وظيفة استدلال ML على الصورة.
تقوم وظائف Lambda بتنفيذ الإجراءات التالية:
- أرسل كل صورة إلى Amazon Rekognition لاكتشاف الكائنات وتخزين الملصقات المرتجعة ودرجات الثقة ذات الصلة.
- قم بتكوين إخراج Amazon Rekognition في معلمات الإدخال الخاصة بنا الأمازون SageMaker نقطة نهاية متعددة النماذج. تستضيف نقطة النهاية هذه مجموعتنا من المصنفات ، والتي يتم تدريبها على مجموعات محددة من ملصقات التلف.
- قم بتمرير نتائج نقطة نهاية SageMaker إلى أمازون المعزز بالذكاء الاصطناعي (أمازون A2I).
يوضح الرسم التخطيطي التالي سير عمل خط الأنابيب.
خط أنابيب مراجعة الإنسان في الحلقة
يوضح الرسم البياني التالي خط أنابيب الإنسان في الحلقة (HIL).
باستخدام Amazon A2I ، يمكننا تكوين عتبات تؤدي إلى إجراء مراجعة بشرية بواسطة فريق خاص عندما ينتج عن النموذج تنبؤ منخفض الثقة. يمكننا أيضًا استخدام Amazon A2I لتوفير مراجعة مستمرة لتوقعات نموذجنا. خطوات سير العمل كالتالي:
- توجه Amazon A2I تنبؤات عالية الثقة إلى OpenSearch Service ، لتحديث بيانات تسمية الصورة.
- توجه Amazon A2I تنبؤات الثقة المنخفضة إلى الفريق الخاص لإضافة تعليقات توضيحية للصور يدويًا.
- يكمل المراجع البشري التعليق التوضيحي ، وينشئ ملف إخراج تعليق توضيحي يتم تخزينه في حاوية HIL Output S3.
- تقوم حاوية HIL Output S3 بتشغيل وظيفة Lambda التي تحلل مخرجات التعليقات التوضيحية البشرية وتقوم بتحديث بيانات الصورة في OpenSearch Service.
من خلال توجيه نتائج التعليقات التوضيحية البشرية إلى مخزن البيانات ، يمكننا إعادة تدريب نماذج المجموعة وتحسين دقة النموذج بشكل متكرر.
من خلال تخزين نتائجنا عالية الجودة الآن في OpenSearch Service ، يمكننا إجراء البحث الجغرافي المكاني والزمني عبر واجهة برمجة تطبيقات REST ، باستخدام بوابة أمازون API و Geoserver. تتيح لوحة تحكم OpenSearch أيضًا للمستخدمين البحث وتشغيل التحليلات باستخدام مجموعة البيانات هذه.
النتائج
يظهر الكود التالي مثالاً لنتائجنا.
من خلال خط الأنابيب الجديد هذا ، نقوم بإنشاء دعامة بشرية للنماذج التي لم تحقق الأداء الكامل بعد. تم وضع خط أنابيب ML الجديد هذا في الإنتاج للاستخدام مع أ خدمة مصغرة لتصفية صور دورية الهواء المدني يسمح بتصفية صور دورية الهواء المدني في بورتوريكو. يمكّن هذا المستجيبين الأوائل من عرض مدى الضرر وعرض الصور المرتبطة بهذا الضرر بعد الأعاصير. عمل AWS Data Lab و AWS Open Data Program وفريق Amazon Disaster Response وفريق AWS البشري في الحلقة مع العملاء لتطوير خط أنابيب مفتوح المصدر يمكن استخدامه لتحليل بيانات دورية الهواء المدنية المخزنة في البيانات المفتوحة تسجيل البرنامج عند الطلب بعد أي كارثة طبيعية. لمزيد من المعلومات حول بنية خطوط الأنابيب ولمحة عامة عن التعاون والتأثير ، تحقق من الفيديو التركيز على الاستجابة للكوارث باستخدام Amazon Augmented AI و AWS Open Data Program و AWS Snowball.
وفي الختام
مع استمرار تغير المناخ في زيادة تواتر وشدة العواصف وحرائق الغابات ، ما زلنا نرى أهمية استخدام ML لفهم تأثير هذه الأحداث على المجتمعات المحلية. يمكن لهذه الأدوات الجديدة تسريع جهود الاستجابة للكوارث وتسمح لنا باستخدام البيانات من تحليلات ما بعد الحدث لتحسين دقة التنبؤ لهذه النماذج من خلال التعلم النشط. يمكن لنماذج ML الجديدة هذه أتمتة التعليقات التوضيحية للبيانات ، والتي تمكننا من استنتاج مدى الضرر الناجم عن كل من هذه الأحداث حيث نقوم بتراكب ملصقات التلف ببيانات الخريطة. يمكن أن تساعد هذه البيانات التراكمية أيضًا في تحسين قدرتنا على التنبؤ بأضرار أحداث الكوارث المستقبلية ، والتي يمكن أن توجه استراتيجيات التخفيف. يمكن أن يؤدي هذا بدوره إلى تحسين مرونة المجتمعات والاقتصادات والنظم البيئية من خلال تزويد صانعي القرار بالمعلومات التي يحتاجون إليها لتطوير سياسات تعتمد على البيانات لمواجهة هذه التهديدات البيئية الناشئة.
ناقشنا في منشور المدونة هذا استخدام رؤية الكمبيوتر في صور الأقمار الصناعية. من المفترض أن يكون هذا الحل بنية مرجعية أو دليل بدء سريع يمكنك تخصيصه وفقًا لاحتياجاتك الخاصة.
قم بتجربته وأخبرنا كيف أدى ذلك إلى حل حالة الاستخدام الخاصة بك من خلال ترك التعليقات في قسم التعليقات. لمزيد من المعلومات، راجع قدرات Amazon SageMaker الجغرافية المكانية.
حول المؤلف
فامشي كريشنا إينابوثالا مهندس معماري متخصص في الذكاء الاصطناعي في AWS. يعمل مع عملاء من قطاعات مختلفة لتسريع مبادرات البيانات والتحليلات والتعلم الآلي عالية التأثير. إنه متحمس لأنظمة التوصية ، ومعالجة اللغات الطبيعية ، ومجالات رؤية الكمبيوتر في الذكاء الاصطناعي والتعلم الآلي. خارج العمل ، Vamshi هو متحمس RC ، يبني معدات RC (طائرات ، سيارات ، وطائرات بدون طيار) ، كما أنه يستمتع بالبستنة.
مورجان داتون هو مدير برنامج تقني أقدم مع فريق Amazon Augmented AI و Amazon SageMaker Ground Truth. تعمل مع عملاء المؤسسات والأكاديميين والقطاع العام لتسريع تبني خدمات التعلم الآلي وتعلم الآلة البشرية.
سانديب فيرما هو مهندس نماذج أولية كبير مع AWS. إنه يستمتع بالتعمق في تحديات العملاء وبناء نماذج أولية للعملاء لتسريع الابتكار. لديه خلفية في AI / ML ، مؤسس New Knowledge ، وشغوف بشكل عام بالتكنولوجيا. في أوقات فراغه يحب السفر والتزلج مع عائلته.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- بلاتوبلوكشين. Web3 Metaverse Intelligence. تضخيم المعرفة. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/machine-learning/accelerate-disaster-response-with-computer-vision-for-satellite-imagery-using-amazon-sagemaker-and-amazon-augmented-ai/
- 100
- 7
- 98
- a
- القدرة
- ماهرون
- من نحن
- أكاديمي
- تسريع
- دقة
- الإجراءات
- نشط
- الأفعال
- العنوان
- تبني
- السلف
- مميزات
- ضد
- وكالات
- AI
- AI / ML
- AIR
- الكل
- يسمح
- أمازون
- أمازون المعزز بالذكاء الاصطناعي
- الأمازون إعادة الاعتراف
- الأمازون SageMaker
- الحقيقة الأمازون SageMaker الأرض
- تحليل
- تحليل
- تحليلات
- تحليل
- و
- آخر
- API
- التطبيقات
- تطبيقي
- تطبيق AI
- هندسة معمارية
- المناطق
- أسوشيتد
- التدقيق
- المعزز
- أتمتة
- وعي
- AWS
- الى الخلف
- خلفية
- مساندة
- الحواجز
- خط الأساس
- لان
- المعايير
- أفضل
- أفضل الممارسات
- المدونة
- العازلة
- نساعدك في بناء
- ابني
- قبعة
- cars
- حقيبة
- الحالات
- الفئات
- مركزي
- التحديات
- تحدي
- تغيير
- التحقق
- اختار
- المدينة
- مناخ
- التغيرات المناخية
- كتلة
- الكود
- للاتعاون
- تعليقات
- مشترك
- المجتمعات
- يكمل
- مكونات
- إحصاء
- الكمبيوتر
- رؤية الكمبيوتر
- الثقة
- تحتوي على
- سياق الكلام
- استمر
- تواصل
- مراقبة
- خلق
- خلق
- خلق
- إبداعات
- حرج
- من تنسيق
- زبون
- العملاء
- تصميم
- لوحة أجهزة القياس
- البيانات
- تعتمد على البيانات
- قواعد البيانات
- تعامل
- صناع القرار
- عميق
- التعلم العميق
- نقل
- الطلب
- نشر
- وصف
- تصميم
- تصميم
- التفاصيل
- الكشف عن
- كشف
- تطوير
- التطوير التجاري
- مختلف
- صعبة
- كارثة
- الكوارث
- ناقش
- طائرات بدون طيار
- كل
- الاقتصادات
- النظم البيئية
- جهود
- الناشئة
- تمكين
- تمكن
- نقطة النهاية
- مشروع
- متحمس
- كامل
- بيئي
- معدات
- خاصة
- حتى
- الحدث/الفعالية
- أحداث
- تطور
- مثال
- القائمة
- ذو تكلفة باهظة
- مقتطفات
- للعائلات
- FAST
- عقار مميز
- المميزات
- ردود الفعل
- قم بتقديم
- تصفية
- تصفية
- نار
- الاسم الأول
- تركز
- متابعيك
- متابعات
- مؤسس
- مجانا
- تردد
- تبدأ من
- تماما
- وظيفة
- وظائف
- مستقبل
- ربح
- على العموم
- يولد
- توليد
- الجغرافية
- ML الجغرافي المكاني
- دولار فقط واحصل على خصم XNUMX% على جميع
- معطى
- إعطاء
- العالمية
- خير
- الحكومات
- نظام تحديد المواقع
- أرض
- توجيه
- مقبض
- وجود
- مساعدة
- مفيد
- يساعد
- مرتفع
- عالي الجودة
- جدا
- ضرب
- المضيفين
- كيفية
- HTML
- HTTPS
- الانسان
- الإعصار
- ID
- معرف
- تحديد
- صورة
- صور
- التأثير
- التنفيذ
- أهمية
- تحسن
- تحسين
- in
- بما فيه
- الوارد
- القيمة الاسمية
- معلومات
- المبادرات
- الابتكار
- إدخال
- المتكاملة
- التكاملات
- متقطع
- يتضرع
- المشاركة
- IT
- وظيفة
- القفل
- علم
- المعرفة
- مختبر
- تُشير
- وصفها
- ملصقات
- نقص
- هبوط
- على نطاق واسع
- تعلم
- مغادرة
- يتيح
- دورة حياة
- محلي
- موقع
- أبحث
- بحث
- منخفض
- آلة
- آلة التعلم
- الحفاظ على
- جعل
- يصنع
- مدير
- إدارة
- كتيب
- يدويا
- رسم خريطة
- برنامج Maps
- هائل
- الرسالة
- رسائل
- البيانات الوصفية
- المكسيك
- تخفيف
- ML
- نموذج
- عارضات ازياء
- الأكثر من ذلك
- التحركات
- نقطة نهاية متعددة النماذج
- متعدد
- طبيعي
- الطبيعة
- حاجة
- إحتياجات
- جديد
- البرمجة اللغوية العصبية
- الإخطارات
- موضوع
- كشف الكائن
- الأجسام
- محيط
- عروض
- جارية
- جاكيت
- بيانات مفتوحة
- المصدر المفتوح
- في الخارج
- نظرة عامة
- الخاصة
- موازية
- المعلمات
- عاطفي
- نمط
- نفذ
- منظور
- خط أنابيب
- كوكب
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- منشور
- الممارسات
- دقة
- تنبأ
- تنبؤ
- تنبؤات
- أولويات
- خاص
- المشكلة
- عملية المعالجة
- معالجتها
- معالجة
- الإنتــاج
- البرنامج
- بروتوكول
- نماذج
- النماذج
- ثبت
- تزود
- توفير
- جمهور
- بويرتو
- بورتوريكو
- وضع
- سريع
- الخام
- الأخيرة
- مؤخرا
- توصية مجاناً
- تقليص
- سجل
- صدر
- الإغاثة
- مطلوب
- الباحثين
- مرونة
- هؤلاء
- استجابة
- REST
- النتائج
- مراجعة
- RICO
- طريق
- طرق
- يجري
- sagemaker
- الأقمار الصناعية
- تحجيم
- التحجيم
- مشاهد
- بحث
- مواسم
- القسم
- أقسام
- القطاع
- قطاعات
- كبير
- Serverless
- خوادم
- الخدمة
- خدماتنا
- باكجات
- يظهر
- الاشارات
- المقاس
- التدخين
- لقطة
- حل
- مصادر
- متخصص
- محدد
- التموج
- معيار
- بداية
- يبدأ
- دولة من بين الفن
- المحافظة
- خطوة
- خطوات
- تخزين
- متجر
- تخزين
- العواصف
- استراتيجيات
- هذه
- الدعم
- نظام
- أنظمة
- أخذ
- فريق
- فريق
- التكنولوجيا
- تقني
- تكنولوجيا
- •
- المعلومات
- التهديدات
- ثلاثة
- الوقت
- استهلاك الوقت
- إلى
- أداة
- أدوات
- قطار
- متدرب
- قادة الإيمان
- السفر
- يثير
- منعطف أو دور
- أنواع
- فهم
- فريد من نوعه
- آخر التحديثات
- تحديث
- us
- تستخدم
- حالة الاستخدام
- المستخدمين
- مختلف
- بواسطة
- فيديو
- المزيد
- رؤيتنا
- التصور
- التي
- سوف
- بدون
- للعمل
- عمل
- أعمال
- سوف
- سنوات
- عائدات
- أنت
- حل متجر العقارات الشامل الخاص بك في جورجيا
- موقع YouTube
- زفيرنت