في مجلة الجزء الاول في هذه السلسلة المكونة من ثلاثة أجزاء، قدمنا حلاً يوضح كيف يمكنك أتمتة اكتشاف التلاعب بالمستندات والاحتيال على نطاق واسع باستخدام خدمات AWS AI والتعلم الآلي (ML) لحالة استخدام اكتتاب الرهن العقاري.
في هذا المنشور، نقدم طريقة لتطوير نموذج رؤية حاسوبية قائم على التعلم العميق لاكتشاف الصور المزورة في اكتتاب الرهن العقاري وتسليط الضوء عليها. نحن نقدم إرشادات حول بناء وتدريب ونشر شبكات التعلم العميق الأمازون SageMaker.
في الجزء الثالث، نوضح كيفية تنفيذ الحل كاشف احتيال الأمازون.
حل نظرة عامة
لتحقيق هدف اكتشاف التلاعب بالمستندات في اكتتاب الرهن العقاري، نستخدم نموذج رؤية كمبيوتر مستضافًا على SageMaker لحل كشف تزوير الصور الخاص بنا. يتلقى هذا النموذج صورة اختبار كمدخل ويولد تنبؤًا باحتمالية التزوير كمخرج له. بنية الشبكة كما هو موضح في الرسم البياني التالي.
يتضمن تزوير الصور بشكل أساسي أربع تقنيات: الربط، ونقل النسخ، والإزالة، والتحسين. اعتمادًا على خصائص التزوير، يمكن استخدام أدلة مختلفة كأساس للكشف وتحديد الموقع. تتضمن هذه القرائن عناصر ضغط JPEG، وعدم تناسق الحواف، وأنماط الضوضاء، وتناسق الألوان، والتشابه البصري، وتناسق EXIF، ونموذج الكاميرا.
نظرًا للمجال الواسع لاكتشاف تزوير الصور، فإننا نستخدم خوارزمية تحليل مستوى الخطأ (ELA) كطريقة توضيحية للكشف عن عمليات التزوير. لقد اخترنا تقنية ELA لهذا المنشور للأسباب التالية:
- إنه أسرع في التنفيذ ويمكنه بسهولة اكتشاف التلاعب بالصور.
- إنه يعمل عن طريق تحليل مستويات الضغط لأجزاء مختلفة من الصورة. وهذا يسمح لها باكتشاف التناقضات التي قد تشير إلى التلاعب، على سبيل المثال، إذا تم نسخ منطقة واحدة ولصقها من صورة أخرى تم حفظها بمستوى ضغط مختلف.
- إنه جيد في اكتشاف التلاعب الدقيق أو السلس الذي قد يصعب اكتشافه بالعين المجردة. حتى التغييرات الصغيرة في الصورة يمكن أن تؤدي إلى حالات شاذة في الضغط يمكن اكتشافها.
- لا يعتمد على وجود الصورة الأصلية غير المعدلة للمقارنة. يمكن لـ ELA التعرف على علامات التلاعب داخل الصورة المشكوك فيها فقط. غالبًا ما تتطلب التقنيات الأخرى مقارنة النسخة الأصلية غير المعدلة بها.
- إنها تقنية خفيفة الوزن تعتمد فقط على تحليل عناصر الضغط في بيانات الصورة الرقمية. ولا يعتمد الأمر على الأجهزة المتخصصة أو خبرة الطب الشرعي. وهذا يجعل ELA متاحًا كأداة تحليل أولية.
- يمكن لصورة ELA الناتجة أن تسلط الضوء بوضوح على الاختلافات في مستويات الضغط، مما يجعل المناطق التي تم العبث بها واضحة بشكل واضح. وهذا يسمح حتى لغير الخبراء بالتعرف على علامات التلاعب المحتملة.
- وهو يعمل على العديد من أنواع الصور (مثل JPEG وPNG وGIF) ويتطلب تحليل الصورة نفسها فقط. قد تكون تقنيات الطب الشرعي الأخرى مقيدة بشكل أكبر في التنسيقات أو متطلبات الصورة الأصلية.
ومع ذلك، في سيناريوهات العالم الحقيقي حيث قد يكون لديك مجموعة من مستندات الإدخال (JPEG، PNG، GIF، TIFF، PDF)، نوصي باستخدام ELA جنبًا إلى جنب مع طرق أخرى مختلفة، مثل اكتشاف التناقضات في الحواف, أنماط الضوضاء, توحيد اللون, اتساق بيانات EXIF, تحديد طراز الكاميراو توحيد الخط. نحن نهدف إلى تحديث الكود الخاص بهذا المنشور بتقنيات إضافية للكشف عن التزوير.
تفترض الفرضية الأساسية لـ ELA أن الصور المدخلة تكون بتنسيق JPEG، المعروف بضغطه مع فقدان البيانات. ومع ذلك، يمكن أن تظل هذه الطريقة فعالة حتى لو كانت الصور المدخلة في الأصل بتنسيق بدون فقدان (مثل PNG أو GIF أو BMP) وتم تحويلها لاحقًا إلى JPEG أثناء عملية التلاعب. عند تطبيق ELA على التنسيقات الأصلية غير المفقودة، فإنه يشير عادةً إلى جودة صورة متسقة دون أي تدهور، مما يجعل من الصعب تحديد المناطق التي تم تغييرها. في صور JPEG، المعيار المتوقع هو أن تعرض الصورة بأكملها مستويات ضغط مماثلة. ومع ذلك، إذا كان قسم معين داخل الصورة يعرض مستوى خطأ مختلفًا بشكل ملحوظ، فغالبًا ما يشير ذلك إلى إجراء تغيير رقمي.
يسلط ELA الضوء على الاختلافات في معدل ضغط JPEG. من المحتمل أن يكون للمناطق ذات الألوان الموحدة نتيجة ELA أقل (على سبيل المثال، لون أغمق مقارنة بالحواف عالية التباين). تتضمن الأشياء التي يجب البحث عنها لتحديد التلاعب أو التعديل ما يلي:
- يجب أن يكون للحواف المتشابهة سطوع مماثل في نتيجة ELA. يجب أن تبدو جميع الحواف عالية التباين متشابهة مع بعضها البعض، ويجب أن تبدو جميع الحواف منخفضة التباين متشابهة. في الصورة الأصلية، يجب أن تكون الحواف منخفضة التباين ساطعة تقريبًا مثل الحواف عالية التباين.
- يجب أن يكون للأنسجة المماثلة ألوان مماثلة تحت ELA. من المرجح أن تحصل المناطق التي تحتوي على تفاصيل سطحية أكثر، مثل صورة مقربة لكرة السلة، على نتيجة ELA أعلى من السطح الأملس.
- بغض النظر عن اللون الفعلي للسطح، يجب أن يكون لجميع الأسطح المسطحة نفس اللون تقريبًا تحت ELA.
تستخدم صور JPEG نظام ضغط مع فقدان البيانات. تضيف كل عملية إعادة ترميز (إعادة حفظ) للصورة مزيدًا من فقدان الجودة للصورة. على وجه التحديد، تعمل خوارزمية JPEG على شبكة مقاس 8 × 8 بكسل. يتم ضغط كل مربع 8×8 بشكل مستقل. إذا كانت الصورة غير معدلة تمامًا، فيجب أن تحتوي جميع المربعات 8 × 8 على احتمالات خطأ مماثلة. إذا لم يتم تعديل الصورة وإعادة حفظها، فيجب أن يتدهور كل مربع بنفس المعدل تقريبًا.
تقوم ELA بحفظ الصورة بمستوى جودة JPEG محدد. تقدم عملية إعادة الحفظ هذه قدرًا معروفًا من الأخطاء عبر الصورة بأكملها. ثم تتم مقارنة الصورة المعاد حفظها بالصورة الأصلية. إذا تم تعديل صورة ما، فإن كل مربع 8 × 8 تم لمسه بواسطة التعديل يجب أن يكون عرضة لاحتمال خطأ أعلى من بقية الصورة.
تعتمد نتائج ELA بشكل مباشر على جودة الصورة. قد ترغب في معرفة ما إذا تمت إضافة شيء ما، ولكن إذا تم نسخ الصورة عدة مرات، فقد يسمح ELA فقط باكتشاف عمليات إعادة الحفظ. حاول العثور على أفضل نسخة من الصورة.
من خلال التدريب والممارسة، يمكن لـ ELA أيضًا أن تتعلم كيفية تحديد حجم الصورة، والجودة، والاقتصاص، وإعادة حفظ التحويلات. على سبيل المثال، إذا كانت صورة غير JPEG تحتوي على خطوط شبكة مرئية (عرض 1 بكسل في مربعات 8×8)، فهذا يعني أن الصورة بدأت بتنسيق JPEG وتم تحويلها إلى تنسيق غير JPEG (مثل PNG). إذا كانت بعض مناطق الصورة تفتقر إلى خطوط الشبكة أو إذا تحركت خطوط الشبكة، فهذا يشير إلى لصق أو جزء مرسوم في صورة ليست بتنسيق JPEG.
في الأقسام التالية، نعرض خطوات تكوين نموذج رؤية الكمبيوتر والتدريب عليه ونشره.
المتطلبات الأساسية المسبقة
لمتابعة هذا المنشور ، أكمل المتطلبات الأساسية التالية:
- لديك حساب AWS.
- اقامة أمازون ساجميكر ستوديو. يمكنك تشغيل SageMaker Studio بسرعة باستخدام الإعدادات المسبقة الافتراضية، مما يسهل التشغيل السريع. لمزيد من المعلومات، راجع يعمل Amazon SageMaker على تبسيط إعداد Amazon SageMaker Studio للمستخدمين الفرديين.
- افتح SageMaker Studio وقم بتشغيل محطة النظام.
- قم بتشغيل الأمر التالي في المحطة:
git clone https://github.com/aws-samples/document-tampering-detection.git
- تبلغ التكلفة الإجمالية لتشغيل SageMaker Studio لمستخدم واحد وتكوينات بيئة الكمبيوتر المحمول 7.314 دولارًا أمريكيًا في الساعة.
قم بإعداد دفتر التدريب النموذجي
أكمل الخطوات التالية لإعداد دفتر التدريب الخاص بك:
- فتح
tampering_detection_training.ipynb
ملف من دليل الكشف عن العبث بالمستندات. - قم بإعداد بيئة الكمبيوتر المحمول باستخدام الصورة TensorFlow 2.6 Python 3.8 CPU أو GPU Optimized.
قد تواجه مشكلة عدم كفاية التوفر أو الوصول إلى حد الحصة النسبية لمثيلات GPU داخل حساب AWS الخاص بك عند تحديد مثيلات GPU المحسنة. لزيادة الحصة النسبية، قم بزيارة وحدة تحكم Service Quotas وقم بزيادة حد الخدمة لنوع المثيل المحدد الذي تحتاجه. يمكنك أيضًا استخدام بيئة كمبيوتر محمول محسنة لوحدة المعالجة المركزية (CPU) في مثل هذه الحالات. - في حالة نواة، اختر Python3.
- في حالة نوع الطلب، اختر ml.m5d.24xlarge أو أي مثيل كبير آخر.
لقد اخترنا نوع مثيل أكبر لتقليل وقت تدريب النموذج. مع بيئة الكمبيوتر المحمول ml.m5d.24xlarge، تبلغ التكلفة في الساعة 7.258 دولارًا أمريكيًا في الساعة.
قم بتشغيل دفتر التدريب
قم بتشغيل كل خلية في دفتر الملاحظات tampering_detection_training.ipynb
مرتب. نناقش بعض الخلايا بمزيد من التفصيل في الأقسام التالية.
قم بإعداد مجموعة البيانات بقائمة من الصور الأصلية والمتلاعب بها
قبل تشغيل الخلية التالية في دفتر الملاحظات، قم بإعداد مجموعة بيانات من المستندات الأصلية والمستندات التي تم التلاعب بها بناءً على متطلبات العمل المحددة الخاصة بك. في هذا المنشور، نستخدم مجموعة بيانات نموذجية لقسائم الدفع وبيانات البنك التي تم العبث بها. مجموعة البيانات متاحة ضمن دليل الصور الخاص بـ مستودع جيثب.
يقرأ دفتر الملاحظات الصور الأصلية والمتلاعب بها من images/training
الدليل.
يتم إنشاء مجموعة البيانات للتدريب باستخدام ملف CSV مع عمودين: المسار إلى ملف الصورة وتسمية الصورة (0 للصورة الأصلية و1 للصورة التي تم العبث بها).
قم بمعالجة مجموعة البيانات عن طريق إنشاء نتائج ELA لكل صورة تدريب
في هذه الخطوة، نقوم بإنشاء نتيجة ELA (بجودة 90%) لصورة تدريب الإدخال. الوظيفة convert_to_ela_image
يأخذ معلمتين: المسار، وهو المسار إلى ملف الصورة، والجودة، التي تمثل معلمة الجودة لضغط JPEG. تقوم الدالة بالخطوات التالية:
- قم بتحويل الصورة إلى تنسيق RGB وأعد حفظ الصورة كملف JPEG بالجودة المحددة تحت الاسم tempresaved.jpg.
- احسب الفرق بين الصورة الأصلية وصورة JPEG المعاد حفظها (ELA) لتحديد الحد الأقصى للفرق في قيم البكسل بين الصور الأصلية والصور المعاد حفظها.
- احسب عامل القياس بناءً على الحد الأقصى للفرق لضبط سطوع صورة ELA.
- قم بتعزيز سطوع صورة ELA باستخدام عامل المقياس المحسوب.
- قم بتغيير حجم نتيجة ELA إلى 128x128x3، حيث يمثل 3 عدد القنوات لتقليل حجم الإدخال للتدريب.
- قم بإرجاع صورة ELA.
في تنسيقات الصور التي تتعرض لفقدان البيانات مثل JPEG، تؤدي عملية الحفظ الأولية إلى فقدان كبير للألوان. ومع ذلك، عندما يتم تحميل الصورة وإعادة ترميزها لاحقًا بنفس التنسيق المفقود، يكون هناك عمومًا انخفاض أقل في تدهور الألوان المضافة. تؤكد نتائج ELA على مناطق الصورة الأكثر عرضة لتدهور اللون عند إعادة الحفظ. بشكل عام، تظهر التعديلات بشكل بارز في المناطق التي تظهر احتمالية أعلى للتدهور مقارنة ببقية الصورة.
بعد ذلك، تتم معالجة الصور في مصفوفة NumPy للتدريب. قمنا بعد ذلك بتقسيم مجموعة بيانات الإدخال بشكل عشوائي إلى بيانات التدريب والاختبار أو التحقق من الصحة (80/20). يمكنك تجاهل أية تحذيرات عند تشغيل هذه الخلايا.
اعتمادًا على حجم مجموعة البيانات، قد يستغرق تشغيل هذه الخلايا وقتًا حتى يكتمل. بالنسبة لمجموعة البيانات النموذجية التي قدمناها في هذا المستودع، قد يستغرق الأمر من 5 إلى 10 دقائق.
تكوين نموذج CNN
في هذه الخطوة، نقوم ببناء نسخة مصغرة من شبكة VGG باستخدام مرشحات تلافيفية صغيرة. يتكون VGG-16 من 13 طبقة تلافيفية وثلاث طبقات متصلة بالكامل. توضح لقطة الشاشة التالية بنية نموذج الشبكة العصبية التلافيفية (CNN).
لاحظ التكوينات التالية:
- إدخال - يأخذ النموذج حجم إدخال صورة يبلغ 128x128x3.
- طبقات تلافيفية - تستخدم الطبقات التلافيفية الحد الأدنى من مجال الاستقبال (3×3)، وهو أصغر حجم ممكن لا يزال يلتقط أعلى / أسفل ويسار / يمين. ويلي ذلك وظيفة تنشيط الوحدة الخطية المعدلة (ReLU) التي تقلل وقت التدريب. هذه دالة خطية ستخرج المدخلات إذا كانت موجبة؛ وإلا فإن الناتج يكون صفراً. يتم تثبيت خطوة الالتواء على الوضع الافتراضي (1 بكسل) للحفاظ على الدقة المكانية بعد الالتفاف (الخطوة هي عدد إزاحات البكسل عبر مصفوفة الإدخال).
- طبقات متصلة بالكامل - تحتوي الشبكة على طبقتين متصلتين بالكامل. تستخدم الطبقة الكثيفة الأولى تنشيط ReLU، وتستخدم الطبقة الثانية softmax لتصنيف الصورة على أنها أصلية أو تم التلاعب بها.
يمكنك تجاهل أية تحذيرات عند تشغيل هذه الخلايا.
حفظ التحف النموذجية
احفظ النموذج الذي تم تدريبه باسم ملف فريد — على سبيل المثال، استنادًا إلى التاريخ والوقت الحاليين — في دليل يسمى النموذج.
يتم حفظ النموذج بتنسيق Keras بالملحق .keras
. نقوم أيضًا بحفظ عناصر النموذج كدليل يسمى 1 يحتوي على التوقيعات المتسلسلة والحالة اللازمة لتشغيلها، بما في ذلك القيم المتغيرة والمفردات لنشرها في وقت تشغيل SageMaker (والتي سنناقشها لاحقًا في هذا المنشور).
قياس أداء النموذج
يوضح منحنى الخسارة التالي تطور خسارة النموذج خلال فترات التدريب (التكرارات).
تقيس دالة الخسارة مدى مطابقة تنبؤات النموذج للأهداف الفعلية. تشير القيم المنخفضة إلى توافق أفضل بين التوقعات والقيم الحقيقية. يشير انخفاض الخسارة على مدى العصور إلى أن النموذج آخذ في التحسن. يوضح منحنى الدقة دقة النموذج خلال فترات التدريب. الدقة هي نسبة التنبؤات الصحيحة إلى العدد الإجمالي للتنبؤات. تشير الدقة الأعلى إلى نموذج أفضل أداء. عادةً، تزداد الدقة أثناء التدريب حيث يتعلم النموذج الأنماط ويحسن قدرته التنبؤية. سيساعدك ذلك في تحديد ما إذا كان النموذج مفرط التجهيز (يؤدي أداءً جيدًا في بيانات التدريب ولكن ضعيفًا في البيانات غير المرئية) أو غير مناسب (لا يتعلم بشكل كافٍ من بيانات التدريب).
تمثل مصفوفة الارتباك التالية بصريًا مدى دقة النموذج في التمييز بين الفئات الإيجابية (الصورة المزورة، ممثلة بالقيمة 1) والسلبية (الصورة غير المتلاعب بها، الممثلة بالقيمة 0).
بعد التدريب على النموذج، تتضمن خطوتنا التالية نشر نموذج رؤية الكمبيوتر كواجهة برمجة التطبيقات (API). سيتم دمج واجهة برمجة التطبيقات (API) هذه في تطبيقات الأعمال كجزء من سير عمل الاكتتاب. ولتحقيق ذلك، نستخدم Amazon SageMaker Inference، وهي خدمة مُدارة بالكامل. تتكامل هذه الخدمة بسلاسة مع أدوات MLOps، مما يتيح نشر النماذج القابلة للتطوير والاستدلال الفعال من حيث التكلفة وإدارة النماذج المحسنة في الإنتاج وتقليل التعقيد التشغيلي. في هذا المنشور، نقوم بنشر النموذج كنقطة نهاية للاستدلال في الوقت الفعلي. ومع ذلك، من المهم ملاحظة أنه، اعتمادًا على سير عمل تطبيقات الأعمال الخاصة بك، يمكن أيضًا تخصيص نشر النموذج كمعالجة مجمعة، أو معالجة غير متزامنة، أو من خلال بنية نشر بدون خادم.
قم بإعداد دفتر ملاحظات نشر النموذج
أكمل الخطوات التالية لإعداد دفتر ملاحظات نشر النموذج الخاص بك:
- فتح
tampering_detection_model_deploy.ipynb
ملف من دليل الكشف عن العبث بالمستندات. - قم بإعداد بيئة الكمبيوتر المحمول باستخدام الصورة Data Science 3.0.
- في حالة نواة، اختر Python3.
- في حالة نوع الطلب، اختر مل .3.
مع بيئة الكمبيوتر المحمول ml.t3.medium، تبلغ التكلفة في الساعة 0.056 دولارًا أمريكيًا.
قم بإنشاء سياسة مضمنة مخصصة لدور SageMaker للسماح بجميع إجراءات Amazon S3
• إدارة الهوية والوصول AWS سيكون دور (IAM) لـ SageMaker بالتنسيق AmazonSageMaker- ExecutionRole-<random numbers>
. تأكد من أنك تستخدم الدور الصحيح. يمكن العثور على اسم الدور ضمن تفاصيل المستخدم ضمن تكوينات مجال SageMaker.
قم بتحديث دور IAM ليشمل سياسة مضمنة للسماح للجميع خدمة تخزين أمازون البسيطة إجراءات (أمازون S3). سيكون هذا مطلوبًا لأتمتة إنشاء وحذف مجموعات S3 التي ستقوم بتخزين عناصر النموذج. يمكنك تقييد الوصول إلى مجموعات S3 محددة. لاحظ أننا استخدمنا حرف بدل لاسم حاوية S3 في سياسة IAM (tamperingdetection*
).
تشغيل دفتر النشر
قم بتشغيل كل خلية في دفتر الملاحظات tampering_detection_model_deploy.ipynb
مرتب. نناقش بعض الخلايا بمزيد من التفصيل في الأقسام التالية.
قم بإنشاء دلو S3
قم بتشغيل الخلية لإنشاء دلو S3. سيتم تسمية الدلو tamperingdetection<current date time>
وفي نفس منطقة AWS التي توجد بها بيئة SageMaker Studio الخاصة بك.
قم بإنشاء أرشيف العناصر النموذجية وتحميلها إلى Amazon S3
قم بإنشاء ملف tar.gz من العناصر النموذجية. لقد حفظنا عناصر النموذج كدليل اسمه 1، يحتوي على التوقيعات التسلسلية والحالة اللازمة لتشغيلها، بما في ذلك القيم المتغيرة والمفردات لنشرها في وقت تشغيل SageMaker. يمكنك أيضًا تضمين ملف استدلال مخصص يسمى inference.py
داخل مجلد التعليمات البرمجية في قطعة أثرية النموذج. يمكن استخدام الاستدلال المخصص للمعالجة المسبقة والمعالجة اللاحقة لصورة الإدخال.
قم بإنشاء نقطة نهاية استدلال SageMaker
قد يستغرق اكتمال الخلية المخصصة لإنشاء نقطة نهاية استدلال SageMaker بضع دقائق.
اختبار نقطة نهاية الاستدلال
وظيفة check_image
يقوم بمعالجة الصورة مسبقًا كصورة ELA، وإرسالها إلى نقطة نهاية SageMaker للاستدلال، واسترداد تنبؤات النموذج ومعالجتها، وطباعة النتائج. يأخذ النموذج مصفوفة NumPy من الصورة المدخلة كصورة ELA لتوفير التنبؤات. يتم إخراج التنبؤات كـ 0، وهو ما يمثل صورة غير تم العبث بها، و1، وهو ما يمثل صورة مزورة.
دعونا نستدعي النموذج مع صورة غير معدلة لكعب الراتب ونتحقق من النتيجة.
يقوم النموذج بإخراج التصنيف على أنه 0، وهو ما يمثل صورة غير تم العبث بها.
الآن دعونا نستدعي النموذج مع صورة تم العبث بها لكعب الراتب ونتحقق من النتيجة.
يُخرج النموذج التصنيف على أنه 1، وهو ما يمثل صورة مزورة.
القيود
على الرغم من أن ELA أداة ممتازة للمساعدة في اكتشاف التعديلات، إلا أن هناك عددًا من القيود، مثل ما يلي:
- قد لا يؤدي تغيير بكسل واحد أو تعديل بسيط للألوان إلى إحداث تغيير ملحوظ في ELA لأن JPEG يعمل على شبكة.
- تحدد ELA فقط المناطق التي لديها مستويات ضغط مختلفة. إذا تم دمج صورة ذات جودة منخفضة في صورة ذات جودة أعلى، فقد تظهر الصورة ذات الجودة المنخفضة كمنطقة داكنة.
- سيؤدي تغيير حجم الصورة أو إعادة تلوينها أو إضافة ضوضاء إليها إلى تعديل الصورة بأكملها، مما يؤدي إلى احتمالية حدوث مستوى خطأ أعلى.
- إذا تمت إعادة حفظ الصورة عدة مرات، فقد تكون عند الحد الأدنى من مستوى الخطأ بالكامل، حيث لا تؤدي عمليات إعادة الحفظ الإضافية إلى تغيير الصورة. في هذه الحالة، سيرجع ELA صورة سوداء ولا يمكن تحديد أي تعديلات باستخدام هذه الخوارزمية.
- باستخدام Photoshop، يمكن أن تؤدي عملية حفظ الصورة البسيطة إلى زيادة وضوح الأنسجة والحواف تلقائيًا، مما يؤدي إلى احتمالية حدوث مستوى خطأ أعلى. لا تحدد هذه القطعة الأثرية التعديل المتعمد؛ فهو يحدد أنه تم استخدام منتج Adobe. من الناحية الفنية، يظهر ELA كتعديل لأن Adobe قامت بإجراء تعديل تلقائيًا، ولكن التعديل لم يكن بالضرورة مقصودًا من قبل المستخدم.
نوصي باستخدام ELA جنبًا إلى جنب مع التقنيات الأخرى التي تمت مناقشتها مسبقًا في المدونة من أجل اكتشاف نطاق أكبر من حالات معالجة الصور. يمكن لـ ELA أيضًا أن تكون بمثابة أداة مستقلة للفحص البصري لتباينات الصور، خاصة عندما يصبح تدريب النموذج المستند إلى CNN أمرًا صعبًا.
تنظيف
لإزالة الموارد التي قمت بإنشائها كجزء من هذا الحل، أكمل الخطوات التالية:
- قم بتشغيل خلايا دفتر الملاحظات أسفل تنظيف قسم. سيؤدي هذا إلى حذف ما يلي:
- نقطة النهاية لاستدلال SageMaker - سيكون اسم نقطة نهاية الاستدلال
tamperingdetection-<datetime>
. - الكائنات الموجودة داخل حاوية S3 وحاوية S3 نفسها - اسم الدلو سيكون
tamperingdetection<datetime>
.
- نقطة النهاية لاستدلال SageMaker - سيكون اسم نقطة نهاية الاستدلال
- غلق موارد دفتر ملاحظات SageMaker Studio.
وفي الختام
في هذا المنشور، قدمنا حلاً شاملاً لاكتشاف التلاعب بالمستندات والاحتيال باستخدام التعلم العميق وSageMaker. استخدمنا ELA لمعالجة الصور مسبقًا وتحديد التناقضات في مستويات الضغط التي قد تشير إلى التلاعب. ثم قمنا بتدريب نموذج CNN على مجموعة البيانات المعالجة هذه لتصنيف الصور على أنها أصلية أو تم التلاعب بها.
يمكن للنموذج تحقيق أداء قوي، بدقة تزيد عن 95% مع مجموعة بيانات (مزورة وأصلية) مناسبة لمتطلبات عملك. يشير هذا إلى أنه يمكنه اكتشاف المستندات المزورة بشكل موثوق مثل إيصالات الدفع وبيانات الحساب البنكي. يتم نشر النموذج المُدرب على نقطة نهاية SageMaker لتمكين الاستدلال بزمن الوصول المنخفض على نطاق واسع. ومن خلال دمج هذا الحل في سير عمل الرهن العقاري، يمكن للمؤسسات تلقائيًا الإبلاغ عن المستندات المشبوهة لإجراء مزيد من التحقيقات في الاحتيال.
على الرغم من قوتها، إلا أن ELA لديها بعض القيود في تحديد أنواع معينة من التلاعب الأكثر دقة. وكخطوات تالية، يمكن تعزيز النموذج من خلال دمج تقنيات الطب الشرعي الإضافية في التدريب واستخدام مجموعات بيانات أكبر وأكثر تنوعًا. بشكل عام، يوضح هذا الحل كيف يمكنك استخدام التعلم العميق وخدمات AWS لبناء حلول مؤثرة تعمل على تعزيز الكفاءة وتقليل المخاطر ومنع الاحتيال.
في الجزء الثالث، نوضح كيفية تنفيذ الحل على Amazon Fraud Detector.
عن المؤلفين
أنوب رافيندراناث هو مهندس حلول أول في Amazon Web Services (AWS) ومقره في تورونتو ، كندا ويعمل مع مؤسسات الخدمات المالية. إنه يساعد العملاء على تحويل أعمالهم والابتكار على السحابة.
فيني سايني هو مهندس حلول أول في Amazon Web Services (AWS) ومقره في تورنتو ، كندا. لقد ساعدت عملاء الخدمات المالية على التحول إلى السحابة ، مع حلول تعتمد على الذكاء الاصطناعي والتعلم الآلي وضعت على ركائز تأسيسية قوية للتميز المعماري.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/machine-learning/train-and-host-a-computer-vision-model-for-tampering-detection-on-amazon-sagemaker-part-2/
- :لديها
- :يكون
- :ليس
- :أين
- $ UP
- 056
- 1
- 100
- 13
- 195
- 258
- 408
- 7
- 75
- 8
- 95%
- a
- القدرة
- من نحن
- الوصول
- يمكن الوصول
- حسابي
- دقة
- بدقة
- التأهيل
- في
- عمل
- الإجراءات
- تفعيل
- يقدم
- وأضاف
- مضيفا
- إضافي
- يضيف
- تعديل
- أدوبي
- بعد
- ضد
- AI
- هدف
- خوارزمية
- انحياز
- الكل
- السماح
- يسمح
- تقريبا
- على طول
- جنبا إلى جنب
- أيضا
- التعديلات
- تغيير
- أمازون
- كاشف احتيال الأمازون
- الأمازون SageMaker
- أمازون ساجميكر ستوديو
- أمازون ويب سيرفيسز
- أمازون ويب سيرفيسز (أوس)
- كمية
- an
- تحليل
- تحليل
- تحليل
- و
- الشذوذ
- آخر
- أي وقت
- API
- تظهر
- يبدو
- التطبيقات
- تطبيقي
- نهج
- ما يقرب من
- معماري
- هندسة معمارية
- أرشيف
- هي
- المنطقة
- المناطق
- مجموعة
- AS
- يفترض
- At
- أتمتة
- تلقائيا
- توفر
- متاح
- AWS
- مصرف
- على أساس
- كره السلة
- BE
- لان
- يصبح
- كان
- أفضل
- أفضل
- ما بين
- اسود
- المدونة
- زيادة
- مشرق
- نساعدك في بناء
- ابني
- الأعمال
- تطبيقات الأعمال
- الأعمال
- لكن
- by
- محسوب
- تسمى
- وكاميرا
- CAN
- كندا
- يلتقط
- حقيبة
- الحالات
- يو كاتش
- الخلية
- خلايا
- معين
- تحدي
- تغيير
- التغييرات
- قنوات
- الخصائص
- التحقق
- اختار
- فصول
- تصنيف
- صنف
- بوضوح
- سحابة
- سي ان ان
- الكود
- اللون
- الأعمدة
- مجموعة
- قارن
- مقارنة
- مقارنة
- إكمال
- تماما
- تعقيد
- عنصر
- الكمبيوتر
- رؤية الكمبيوتر
- تكوين
- ارتباك
- بالتزامن
- متصل
- كبير
- ثابتة
- يتكون
- كنسولات
- بناء
- يحتوي
- تحول
- تحويلها
- تصحيح
- التكلفة
- استطاع
- خلق
- خلق
- خلق
- خلق
- حالياًّ
- منحنى
- على
- العملاء
- قتامة
- البيانات
- علم البيانات
- قواعد البيانات
- التاريخ
- عميق
- التعلم العميق
- الترتيب
- شرح
- يوضح
- ترمز
- تعتمد
- تابع
- اعتمادا
- مصور
- نشر
- نشر
- نشر
- نشر
- التفاصيل
- تفاصيل
- بكشف أو
- كشف
- حدد
- تطوير
- رسم بياني
- فرق
- الخلافات
- مختلف
- رقمي
- مباشرة
- بحث
- ناقش
- يعرض
- يميز
- عدة
- do
- وثيقة
- وثائق
- لا
- نطاق
- تعادل
- مدفوع
- أثناء
- كل
- بسهولة
- حافة
- الطُرق الفعّالة
- كفاءة
- التأكيد
- توظيف
- تمكين
- تمكين
- النهائي إلى نهاية
- نقطة النهاية
- تعزيز
- كاف
- كامل
- تماما
- البيئة
- عهود
- خطأ
- أخطاء
- خاصة
- حتى
- كل
- دراسة
- مثال
- التشغيلي
- ممتاز
- عرض
- نستعرض
- توسعية
- متوقع
- خبرة
- تمديد
- عين
- تيسير
- عامل
- قليل
- حقل
- قم بتقديم
- مرشحات
- مالي
- الخدمات المالية
- الاسم الأول
- ثابت
- مسطحة
- اتباع
- يتبع
- متابعيك
- في حالة
- الطب الشرعي
- التحاليل الجنائية
- مزور
- تزوير
- شكل
- وجدت
- دورة تأسيسية
- التأسيسية
- أربعة
- احتيال
- تبدأ من
- تماما
- وظيفة
- إضافي
- على العموم
- توليد
- يولد
- توليد
- GIF
- بوابة
- خير
- وحدة معالجة الرسوميات:
- أكبر
- شبكة
- توجيه
- كان
- معالجة
- الثابت
- أجهزة التبخير
- يملك
- وجود
- he
- مساعدة
- مساعدة
- يساعد
- أعلى
- تسليط الضوء
- ويبرز
- ضرب
- مضيف
- استضافت
- ساعة
- كيفية
- كيفية
- لكن
- HTML
- HTTP
- HTTPS
- محدد
- يحدد
- تحديد
- تحديد
- هوية
- IEEE
- if
- تجاهل
- يوضح
- صورة
- صور
- تأثيرا
- تنفيذ
- أهمية
- يحسن
- تحسين
- in
- تتضمن
- بما فيه
- التناقضات
- دمج
- القيمة الاسمية
- الزيادات
- مستقل
- بشكل مستقل
- تشير
- يشير
- فرد
- معلومات
- في البداية
- بدء
- الابتكار
- إدخال
- مثل
- المؤسسات
- المتكاملة
- يدمج
- دمج
- مقصود
- إلى
- تقديم
- يدخل
- تحقيق
- ينطوي
- قضية
- IT
- التكرارات
- انها
- نفسها
- JPG
- احتفظ
- keras
- علم
- معروف
- تُشير
- نقص
- وضعت
- كبير
- أكبر
- الى وقت لاحق
- إطلاق
- طبقة
- طبقات
- يؤدي
- تعلم
- تعلم
- يتعلم
- أقل
- مستوى
- ومستوياتها
- خفيفة الوزن
- مثل
- أرجحية
- على الأرجح
- مما سيحدث
- القيود
- خطي
- خطوط
- قائمة
- التعريب
- بحث
- خسارة
- خفض
- آلة
- آلة التعلم
- صنع
- في الأساس
- جعل
- يصنع
- القيام ب
- تمكن
- إدارة
- تلاعب
- كثير
- مباراة
- مصفوفة
- أقصى
- مايو..
- يعني
- الإجراءات
- متوسط
- تعرف علي
- طريقة
- طرق
- أدنى
- الحد الأدنى
- قاصر
- دقيقة
- ML
- MLOps
- نموذج
- التعديلات
- تم التعديل
- تعديل
- الأكثر من ذلك
- رهن
- أكثر
- متعدد
- الاسم
- عين
- بالضرورة
- حاجة
- بحاجة
- سلبي
- شبكة
- الشبكات
- عصبي
- الشبكة العصبية
- مع ذلك
- التالي
- لا
- ضجيج
- لاحظ
- مفكرة
- عدد
- نمباي
- موضوعي
- واضح
- of
- غالبا
- on
- ONE
- فقط
- تعمل
- تشغيل
- الأمثل
- or
- طلب
- المنظمات
- أصلي
- في الأصل
- أخرى
- وإلا
- لنا
- النتائج
- الناتج
- النتائج
- على مدى
- الكلي
- المعلمة
- المعلمات
- جزء
- خاص
- أجزاء
- مسار
- أنماط
- إلى
- أداء
- تنفيذ
- أداء
- ينفذ
- صور
- صورة
- أعمدة
- بكسل
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- مؤامرة
- سياسة
- جزء
- إيجابي
- ممكن
- منشور
- محتمل
- الإمكانيات
- قوي
- ممارسة
- تنبؤ
- تنبؤات
- إعداد
- الشروط
- يقدم
- قدم
- منع
- سابقا
- مطبوعات
- عملية المعالجة
- معالجتها
- العمليات
- معالجة
- المنتج
- الإنتــاج
- تقدم
- تزود
- المقدمة
- بايثون
- جودة
- وردا على سؤال
- أسرع
- عشوائية
- نطاق
- سريع
- معدل
- نسبة
- العالم الحقيقي
- في الوقت الحقيقي
- مملكة
- الأسباب
- يتلقى
- الاعتراف
- نوصي
- تصحيحه
- تخفيض
- عقار مخفض
- يقلل
- الرجوع
- منطقة
- المناطق
- استئناف
- اعتمد
- إزالة
- إزالة
- أداء
- مستودع
- ممثلة
- تمثل
- يمثل
- تطلب
- مطلوب
- المتطلبات الأساسية
- يتطلب
- دقة الشاشة
- الموارد
- REST
- مقيد
- نتيجة
- النتائج
- عائد أعلى
- RGB
- المخاطرة
- النوع
- يجري
- تشغيل
- وقت التشغيل
- sagemaker
- الاستدلال SageMaker
- نفسه
- عينة مجموعة بيانات
- حفظ
- تم الحفظ
- إنقاذ
- تحجيم
- حجم
- التحجيم
- سيناريوهات
- علوم
- سلس
- بسلاسة
- الثاني
- القسم
- أقسام
- مختار
- اختيار
- يرسل
- كبير
- مسلسلات
- خدمة
- Serverless
- الخدمة
- خدماتنا
- طقم
- الإعداد
- هي
- نقل
- التحولات
- ينبغي
- يظهر
- التوقيعات
- يدل على
- لوحات
- مماثل
- الاشارات
- يبسط
- عزباء
- المقاس
- صغير
- كمنعم
- حل
- الحلول
- بعض
- شيء
- مكاني
- متخصص
- محدد
- على وجه التحديد
- محدد
- انقسم
- بقعة
- مربع
- المربعات
- بدأت
- الولايه او المحافظه
- البيانات
- خطوة
- خطوات
- لا يزال
- تخزين
- متجر
- خطوة
- قوي
- ستوديو
- بعد ذلك
- هذه
- وتقترح
- بالتأكيد
- المساحة
- عرضة
- مشكوك فيه
- بسرعة
- نظام
- تناسب
- أخذ
- يأخذ
- الأهداف
- فنيا
- تقنية
- تقنيات
- tensorflow
- محطة
- تجربه بالعربي
- الاختبار
- من
- أن
- •
- الدولة
- من مشاركة
- منهم
- then
- هناك.
- تشبه
- الأشياء
- ثلاثة
- عبر
- الوقت
- مرات
- إلى
- أداة
- أدوات
- تورونتو
- الإجمالي
- لمست
- قطار
- متدرب
- قادة الإيمان
- تحول
- التحولات
- صحيح
- محاولة
- اثنان
- نوع
- أنواع
- عادة
- مع
- التي تقوم عليها
- الاكتتاب
- فريد من نوعه
- وحدة
- تحديث
- بناء على
- USD
- تستخدم
- حالة الاستخدام
- مستعمل
- مستخدم
- يستخدم
- استخدام
- التحقق من صحة
- قيمنا
- القيم
- متغير
- مختلف
- الإصدار
- مرئي
- رؤيتنا
- قم بزيارتنا
- بصري
- بصريا
- تريد
- وكان
- we
- الويب
- خدمات ويب
- حسن
- كان
- ابحث عن
- متى
- التي
- واسع
- سوف
- مع
- في غضون
- بدون
- سير العمل
- سير العمل
- عامل
- أعمال
- أنت
- حل متجر العقارات الشامل الخاص بك في جورجيا
- زفيرنت
- صفر