ম্যালওয়্যার সনাক্তকরণ এবং অ্যামাজন স্বীকৃতির সাথে শ্রেণীবিভাগ

একটি মতে প্রবন্ধ সাইবারসিকিউরিটি ভেঞ্চারস দ্বারা, Ransomware দ্বারা সৃষ্ট ক্ষতি (এক ধরনের ম্যালওয়্যার যা ব্যবহারকারীদের তাদের ডেটা অ্যাক্সেস করতে বাধা দিতে পারে যদি না তারা একটি মুক্তিপণ প্রদান করে) 57 এর তুলনায় 2021 সালে 2015 গুণ বেড়েছে। উপরন্তু, এটির শিকারদের $265 বিলিয়ন খরচ হবে বলে পূর্বাভাস দেওয়া হয়েছে ( USD) বার্ষিক 2031 সালের মধ্যে। লেখার সময়, Ransomware আক্রমণ থেকে আর্থিক ক্ষতির পরিমাণ 50-এর উপরে^th তাদের দ্বারা র্যাঙ্ক করা দেশের তালিকায় অবস্থান জিডিপি.

ম্যালওয়্যার দ্বারা সৃষ্ট হুমকির পরিপ্রেক্ষিতে, ম্যালওয়্যার আক্রমণ সনাক্ত এবং ধারণ করার জন্য বেশ কয়েকটি কৌশল তৈরি করা হয়েছে। বর্তমানে ব্যবহৃত দুটি সবচেয়ে সাধারণ কৌশল হল স্বাক্ষর- এবং আচরণ-ভিত্তিক সনাক্তকরণ।

স্বাক্ষর-ভিত্তিক সনাক্তকরণ একটি পরিচিত দূষিত বস্তু সম্পর্কে একটি অনন্য শনাক্তকারী স্থাপন করে যাতে ভবিষ্যতে বস্তুটি সনাক্ত করা যায়। এটি একটি ফাইলের সাথে সংযুক্ত কোডের একটি অনন্য প্যাটার্ন হতে পারে, অথবা এটি একটি পরিচিত ম্যালওয়্যার কোডের হ্যাশ হতে পারে৷ নতুন বস্তু স্ক্যান করার সময় যদি একটি পরিচিত প্যাটার্ন শনাক্তকারী (স্বাক্ষর) আবিষ্কৃত হয়, তাহলে বস্তুটিকে দূষিত হিসাবে পতাকাঙ্কিত করা হয়। স্বাক্ষর-ভিত্তিক সনাক্তকরণ দ্রুত এবং কম গণনা শক্তি প্রয়োজন। যাইহোক, এটি পলিমরফিক ম্যালওয়্যার প্রকারের বিরুদ্ধে লড়াই করে, যা সনাক্তকরণ এড়াতে ক্রমাগত তাদের ফর্ম পরিবর্তন করে।

আচরণ-ভিত্তিক সনাক্তকরণ তাদের আচরণের উপর ভিত্তি করে সন্দেহজনক বস্তুর বিচার করে। অ্যান্টি-ম্যালওয়্যার পণ্য দ্বারা বিবেচিত শিল্পকর্মগুলি হল প্রক্রিয়া মিথস্ক্রিয়া, ডিএনএস কোয়েরি, এবং বস্তুর নেটওয়ার্ক সংযোগ। এই কৌশলটি স্বাক্ষর-ভিত্তিক তুলনায় পলিমরফিক ম্যালওয়্যার সনাক্তকরণে আরও ভাল পারফর্ম করে, তবে এর কিছু খারাপ দিক রয়েছে। একটি বস্তু দূষিত কিনা তা মূল্যায়ন করতে, এটি অবশ্যই হোস্টে চালাতে হবে এবং এটি সনাক্ত করার জন্য অ্যান্টি-ম্যালওয়্যার পণ্যের জন্য যথেষ্ট আর্টিফ্যাক্ট তৈরি করতে হবে। এই অন্ধ স্থানটি ম্যালওয়্যারটিকে হোস্টকে সংক্রমিত করতে এবং নেটওয়ার্কের মাধ্যমে ছড়িয়ে দিতে পারে।

বিদ্যমান কৌশল নিখুঁত থেকে অনেক দূরে. ফলস্বরূপ, নতুন বিকল্প কৌশল বিকাশের লক্ষ্যে গবেষণা চলতে থাকে যা ম্যালওয়্যারের বিরুদ্ধে লড়াই করার জন্য আমাদের ক্ষমতাকে উন্নত করবে। সাম্প্রতিক বছরগুলিতে আবির্ভূত একটি অভিনব কৌশল হল ছবি-ভিত্তিক ম্যালওয়্যার সনাক্তকরণ। এই কৌশলটি গ্রেস্কেল চিত্রগুলিতে রূপান্তরিত পরিচিত ম্যালওয়্যার বাইনারিগুলির সাথে একটি গভীর-শিক্ষার নেটওয়ার্ককে প্রশিক্ষণ দেওয়ার প্রস্তাব করে। এই পোস্টে, আমরা কীভাবে ইমেজ-ভিত্তিক ম্যালওয়্যার সনাক্তকরণ সম্পাদন করতে হয় তা দেখাই আমাজন রেকোনিশন কাস্টম লেবেল.

সমাধান ওভারভিউ

একটি মাল্টি-ক্ল্যাসিফিকেশন মডেল এবং একটি ম্যালওয়্যার-শনাক্তকরণ মডেল প্রশিক্ষণের জন্য, আমরা প্রথমে প্রশিক্ষণ এবং পরীক্ষা ডেটাসেটগুলি প্রস্তুত করি যাতে বিভিন্ন ধরনের ম্যালওয়্যার যেমন ফ্লাডার, অ্যাডওয়্যার, স্পাইওয়্যার, ইত্যাদির পাশাপাশি সৌম্য বস্তু রয়েছে৷ তারপর আমরা পোর্টেবল এক্সিকিউটেবল (PE) অবজেক্টকে গ্রেস্কেল ইমেজে রূপান্তর করি। এরপরে, আমরা Amazon Recognition এর মাধ্যমে ছবি ব্যবহার করে একটি মডেলকে প্রশিক্ষণ দিই।

Amazon Recognition হল একটি পরিষেবা যা আপনার অ্যাপ্লিকেশনগুলিতে বিভিন্ন ধরনের ভিজ্যুয়াল বিশ্লেষণ করা সহজ করে তোলে৷ স্বীকৃতি চিত্র আপনাকে লক্ষ লক্ষ চিত্র অনুসন্ধান, যাচাই এবং সংগঠিত করতে শক্তিশালী অ্যাপ্লিকেশন তৈরি করতে সহায়তা করে।

অ্যামাজন রেকগনিশন কাস্টম লেবেলগুলি স্বীকৃতির বিদ্যমান ক্ষমতাগুলিকে তৈরি করে, যেগুলি ইতিমধ্যেই অনেকগুলি বিভাগে লক্ষ লক্ষ ছবির উপর প্রশিক্ষিত।

Amazon Recognition Custom Labels হল একটি সম্পূর্ণ-পরিচালিত পরিষেবা যা ব্যবহারকারীদের লক্ষ লক্ষ ছবি বিশ্লেষণ করতে দেয় এবং ছবি শ্রেণীবিভাগ, মুখ সনাক্তকরণ এবং বিষয়বস্তু সংযম সহ বিভিন্ন মেশিন লার্নিং (ML) সমস্যাগুলি সমাধান করতে ব্যবহার করতে দেয়৷ পর্দার আড়ালে, Amazon Recognition একটি গভীর শিক্ষার প্রযুক্তির উপর ভিত্তি করে। পরিষেবাটি একটি কনভোলিউশন নিউরাল নেটওয়ার্ক (সিএনএন) নিযুক্ত করে, যা একটি বড় লেবেলযুক্ত ডেটাসেটে প্রাক-প্রশিক্ষিত। এই ধরনের গ্রাউন্ড ট্রুথ ডেটার সংস্পর্শে আসার মাধ্যমে, অ্যালগরিদম বিভিন্ন ডোমেন থেকে ইমেজের প্যাটার্ন চিনতে শিখতে পারে এবং অনেক শিল্প ব্যবহারের ক্ষেত্রে ব্যবহার করা যেতে পারে। যেহেতু AWS মডেল আর্কিটেকচার নির্মাণ ও রক্ষণাবেক্ষণের মালিকানা নেয় এবং হাতে থাকা টাস্কের জন্য একটি উপযুক্ত প্রশিক্ষণ পদ্ধতি নির্বাচন করে, তাই ব্যবহারকারীদের প্রশিক্ষণের কাজগুলির জন্য প্রয়োজনীয় অবকাঠামো পরিচালনা করতে সময় ব্যয় করতে হবে না।

সমাধান আর্কিটেকচার

নিম্নলিখিত আর্কিটেকচার ডায়াগ্রাম সমাধানটির একটি ওভারভিউ প্রদান করে।

সমাধান ব্যবহার করে নির্মিত হয় AWS ব্যাচ, AWS Fargate, এবং আমাজন রেকোনিশন. AWS ব্যাচ আপনাকে ফারগেটে শত শত ব্যাচ কম্পিউটিং কাজ চালাতে দেয়। ফারগেট উভয়ের সাথে সামঞ্জস্যপূর্ণ আমাজন ইলাস্টিক কন্টেইনার সার্ভিস (অ্যামাজন ইসিএস) এবং আমাজন ইলাস্টিক কুবারনেটস সার্ভিস (অ্যামাজন ইকেএস). Amazon Recognition কাস্টম লেবেলগুলি আপনাকে ম্যালওয়্যার সনাক্ত করতে এবং বিভিন্ন ম্যালওয়্যার বিভাগ শ্রেণীবদ্ধ করতে কাস্টম মডেলগুলিকে প্রশিক্ষণ দিতে কম্পিউটার ভিশনের জন্য AutoML ব্যবহার করতে দেয়৷ AWS স্টেপ ফাংশনগুলি ডেটা প্রিপ্রসেসিং অর্কেস্ট্রেট করতে ব্যবহৃত হয়।

এই সমাধানের জন্য, আমরা এর মাধ্যমে প্রিপ্রসেসিং রিসোর্স তৈরি করি এডাব্লুএস ক্লাউডফর্মেশন. ক্লাউডফরমেশন স্ট্যাক টেমপ্লেট এবং AWS ব্যাচ, ফারগেট এবং স্টেপ ফাংশনের জন্য সোর্স কোড পাওয়া যায় গিটহাব সংগ্রহস্থল.

ডেটা সেটটি

এই উদাহরণে মডেলটিকে প্রশিক্ষণ দিতে, আমরা দূষিত এবং সৌম্য বের করতে নিম্নলিখিত পাবলিক ডেটাসেটগুলি ব্যবহার করেছি৷ পোর্টেবল এক্সিকিউটেবল (PE):

আমরা আপনাকে ডেটাসেট ডকুমেন্টেশনের মাধ্যমে সাবধানে পড়তে উত্সাহিত করি (সোফোস/রিভার্সিং ল্যাবস README, PE ম্যালওয়্যার মেশিন লার্নিং ডেটাসেট) নিরাপদে ম্যালওয়্যার বস্তু পরিচালনা করতে. আপনার পছন্দের উপর ভিত্তি করে, আপনি অন্যান্য ডেটাসেটগুলিও ব্যবহার করতে পারেন যতক্ষণ না তারা বাইনারি বিন্যাসে ম্যালওয়্যার এবং সৌম্য বস্তু প্রদান করে।

এর পরে, আমরা আপনাকে সমাধানের নিম্নলিখিত ধাপগুলি দিয়ে হেঁটে যাব:

• প্রিপ্রসেস অবজেক্ট এবং ইমেজ রূপান্তর
• ক্লাউডফর্মেশনের সাথে প্রিপ্রসেসিং সংস্থান স্থাপন করুন
• মডেল নির্বাচন করুন
• মডেল প্রশিক্ষণ
• মডেল মূল্যায়ন
• খরচ এবং কর্মক্ষমতা

প্রিপ্রসেস অবজেক্ট এবং ইমেজ রূপান্তর

অবজেক্ট প্রিপ্রসেসিং ওয়ার্কফ্লো অর্কেস্ট্রেট করতে আমরা স্টেপ ফাংশন ব্যবহার করি যার মধ্যে নিম্নলিখিত ধাপগুলি রয়েছে:

1. নিন meta.db sqllite ডাটাবেস থেকে sorel-20 মি S3 বালতি এবং এটি একটি .csv ফাইলে রূপান্তর করুন। এটি আমাদের একটি Fargate কন্টেইনারে .csv ফাইল লোড করতে এবং ম্যালওয়্যার বস্তুগুলি প্রক্রিয়া করার সময় মেটাডেটা উল্লেখ করতে সহায়তা করে।
2. sorel-20m S3 বালতি থেকে বস্তুগুলি নিন এবং csv বিন্যাসে বস্তুর একটি তালিকা তৈরি করুন৷ এই পদক্ষেপটি সম্পাদন করার মাধ্যমে, আমরা .csv ফাইলগুলির একটি সিরিজ তৈরি করছি যা সমান্তরালভাবে প্রক্রিয়া করা যেতে পারে, যার ফলে প্রি-প্রসেসিংয়ের জন্য নেওয়া সময় কমানো যায়।
3. sorel-20m S3 বালতি থেকে বস্তুগুলিকে কাজের একটি অ্যারের সাথে ছবিতে রূপান্তর করুন। AWS ব্যাচ অ্যারে কাজগুলি ম্যালওয়্যার বস্তুকে ছবিতে রূপান্তর করার জন্য সাধারণ পরামিতিগুলি ভাগ করে। তারা ইমেজ রূপান্তর কাজের একটি সংগ্রহ হিসাবে চালায় যা একাধিক হোস্ট জুড়ে বিতরণ করা হয় এবং একই সাথে চলে।
4. ম্যালওয়্যারের বিভাগগুলির সাথে সম্পর্কিত কাজের একটি অ্যারের সাথে মডেল প্রশিক্ষণের জন্য পূর্বনির্ধারিত সংখ্যক চিত্র চয়ন করুন৷
5. ধাপ 2-এর মতই, আমরা benign-160k S3 বালতি থেকে সৌম্য বস্তুগুলি নিয়ে csv ফর্ম্যাটে বস্তুর একটি তালিকা তৈরি করি।
6. ধাপ 3 এর অনুরূপ, আমরা benign-160k S3 বালতি থেকে বস্তুগুলিকে কাজের একটি অ্যারের সাথে ছবিতে রূপান্তর করি।
7. কাস্টম লেবেল প্রশিক্ষণের জন্য Amazon Recognition ডিফল্ট কোটার কারণে (250K ছবি), মডেল প্রশিক্ষণের জন্য একটি পূর্বনির্ধারিত সংখ্যক সৌম্য ছবি বেছে নিন।
8. নীচের ছবিতে দেখানো হয়েছে, ছবিগুলি প্রথমে ম্যালওয়্যার এবং সৌম্য ফোল্ডার দ্বারা বিভাজিত একটি S3 বালতিতে সংরক্ষণ করা হয়, এবং তারপরে ম্যালওয়্যারটি ম্যালওয়্যার প্রকারের দ্বারা বিভাজিত হয়।
   
   

ক্লাউডফর্মেশনের সাথে প্রিপ্রসেসিং সংস্থানগুলি স্থাপন করুন

পূর্বশর্ত

চালিয়ে যাওয়ার আগে নিম্নলিখিত পূর্বশর্তগুলি প্রয়োজন:

সম্পদ স্থাপনা

CloudFormation স্ট্যাক নিম্নলিখিত সংস্থান তৈরি করবে:

পরামিতি

• STACK_NAME - ক্লাউডফর্মেশন স্ট্যাকের নাম
• AWS_REGION G - AWS অঞ্চল যেখানে সমাধান স্থাপন করা হবে
• AWS_PROFILE - নামযুক্ত প্রোফাইল যা AWS CLI কমান্ডে প্রযোজ্য হবে
• ARTEFACT_S3_BUCKET - S3 বালতি যেখানে অবকাঠামো কোড সংরক্ষণ করা হবে। (বালতিটি অবশ্যই একই অঞ্চলে তৈরি করতে হবে যেখানে সমাধান থাকে)।
• AWS_ACCOUNT - AWS অ্যাকাউন্ট আইডি।

সম্পদ স্থাপন করতে নিম্নলিখিত কমান্ড ব্যবহার করুন

নিশ্চিত করুন যে ডকার এজেন্ট মেশিনে চলছে। স্থাপনাগুলি ব্যাশ স্ক্রিপ্ট ব্যবহার করে করা হয় এবং এই ক্ষেত্রে আমরা নিম্নলিখিত কমান্ডটি ব্যবহার করি:

bash malware_detection_deployment_scripts/deploy.sh -s '' -b 'malware-
detection--artifacts' -p  -r "" -a

এটি ক্লাউডফরমেশন টেমপ্লেট (যেমন, Cloudformation.yaml) রেফারেন্স করছে এমন স্থানীয় শিল্পকর্মগুলি তৈরি করে এবং স্থাপন করে।

মডেল প্রশিক্ষণ

যেহেতু Amazon Recognition আপনার জন্য মডেল প্রশিক্ষণের যত্ন নেয়, তাই কম্পিউটার দৃষ্টি বা উচ্চ বিশেষায়িত ML জ্ঞানের প্রয়োজন নেই। যাইহোক, আপনাকে যথাযথভাবে লেবেলযুক্ত ইনপুট চিত্রে ভরা একটি বালতি সহ অ্যামাজন স্বীকৃতি প্রদান করতে হবে।

এই পোস্টে, আমরা কাস্টম লেবেল বৈশিষ্ট্যের মাধ্যমে দুটি স্বাধীন চিত্র শ্রেণিবিন্যাসের মডেলকে প্রশিক্ষণ দেব:

1. ম্যালওয়্যার সনাক্তকরণ মডেল (বাইনারী শ্রেণীবিভাগ) - প্রদত্ত বস্তুটি দূষিত বা সৌম্য কিনা তা সনাক্ত করুন
2. ম্যালওয়্যার শ্রেণীবিভাগ মডেল (মাল্টি-ক্লাস শ্রেণীবিভাগ) - একটি প্রদত্ত দূষিত বস্তুর জন্য ম্যালওয়্যার পরিবার সনাক্ত করুন

মডেল প্রশিক্ষণ ওয়াকথ্রু

নিম্নলিখিত ওয়াকথ্রুতে তালিকাভুক্ত পদক্ষেপগুলি উভয় মডেলের জন্য প্রযোজ্য। অতএব, উভয় মডেলকে প্রশিক্ষণ দেওয়ার জন্য আপনাকে দুইবার পদক্ষেপের মধ্য দিয়ে যেতে হবে।

1. সাইন ইন করুন এডাব্লুএস ম্যানেজমেন্ট কনসোল এবং Amazon Recognition খুলুন কনসোল.
2. বাম ফলকে, নির্বাচন করুন কাস্টম লেবেল ব্যবহার করুন. Amazon Recognition কাস্টম লেবেল ল্যান্ডিং পৃষ্ঠা দেখানো হয়েছে।
3. Amazon Recognition Custom Labels ল্যান্ডিং পৃষ্ঠা থেকে, বেছে নিন এবার শুরু করা যাক.
4. বাম ফলকে, চয়ন করুন প্রকল্প.
5. বেছে নিন প্রকল্প তৈরি করুন.
6. In প্রকল্প নাম, আপনার প্রকল্পের জন্য একটি নাম লিখুন।
7. বেছে নিন প্রকল্প তৈরি করুন আপনার প্রকল্প তৈরি করতে।
8. মধ্যে প্রকল্প পৃষ্ঠায়, আপনি একটি ডেটাসেট যোগ করতে চান এমন প্রকল্পটি বেছে নিন। আপনার প্রকল্পের জন্য বিস্তারিত পৃষ্ঠা প্রদর্শিত হয়.
9. বেছে নিন ডেটাসেট তৈরি করুন. দ্য ডেটাসেট তৈরি করুন পৃষ্ঠা দেখানো হয়।
10. In কনফিগারেশন শুরু হচ্ছেনির্বাচন একটি একক ডেটাসেট দিয়ে শুরু করুন আমাজন স্বীকৃতিকে প্রশিক্ষণ এবং পরীক্ষায় ডেটাসেট বিভক্ত করতে দিতে। মনে রাখবেন যে আপনি প্রতিটি মডেল প্রশিক্ষণের পুনরাবৃত্তিতে বিভিন্ন পরীক্ষার নমুনা দিয়ে শেষ করতে পারেন, যার ফলে ফলাফল এবং মূল্যায়নের মেট্রিক্স কিছুটা ভিন্ন হতে পারে।
11. বেছে নিন Amazon S3 বালতি থেকে ছবি আমদানি করুন.
12. In S3 URI, S3 বালতি অবস্থান এবং ফোল্ডার পাথ লিখুন। প্রিপ্রসেসিং ধাপ থেকে প্রদত্ত একই S3 বালতি উভয় ডেটাসেট তৈরি করতে ব্যবহৃত হয়: ম্যালওয়্যার সনাক্তকরণ এবং ম্যালওয়্যার শ্রেণীবিভাগ। ম্যালওয়্যার সনাক্তকরণ ডেটাসেট মূলের দিকে নির্দেশ করে (যেমন, s3://malware-detection-training-{account-id}-{region}/). s3://malware-detection-training-{account-id}-{region}/malware) S3 বালতি।
13. বেছে নিন ফোল্ডারের উপর ভিত্তি করে ইমেজগুলিতে স্বয়ংক্রিয়ভাবে লেবেল সংযুক্ত করুন.
14. বেছে নিন ডেটাসেট তৈরি করুন. আপনার প্রকল্পের জন্য ডেটাসেট পৃষ্ঠা খোলে।
15. উপরে ট্রেন মডেল পৃষ্ঠা, চয়ন করুন ট্রেন মডেল. আপনার প্রকল্পের জন্য অ্যামাজন রিসোর্স নেম (ARN) এর মধ্যে থাকা উচিত প্রকল্প নির্বাচন করুন সম্পাদনা বাক্স। যদি না হয়, তাহলে আপনার প্রকল্পের জন্য ARN লিখুন।
16. মধ্যে আপনি আপনার মডেল প্রশিক্ষণ করতে চান? ডায়ালগ বক্স, নির্বাচন করুন ট্রেন মডেল.
17. প্রশিক্ষণ শেষ হওয়ার পরে, মডেলের নাম নির্বাচন করুন। মডেল স্ট্যাটাস হলে ট্রেনিং শেষ হয় TRAINING_COMPLETED.
18. মধ্যে মডেল বিভাগ, নির্বাচন করুন মডেল ব্যবহার করুন মডেল ব্যবহার শুরু করতে ট্যাব.

আরো বিস্তারিত জানার জন্য, Amazon Recognition কাস্টম লেবেল দেখুন শুরু হচ্ছে গাইড।

মডেল মূল্যায়ন

প্রশিক্ষণের মডেলগুলি সম্পূর্ণ হলে, আপনি নির্বাচন করে মূল্যায়ন মেট্রিক্স অ্যাক্সেস করতে পারেন মেট্রিক্স চেক করুন মডেল পৃষ্ঠায়। Amazon Recognition আপনাকে নিম্নলিখিত মেট্রিক্স প্রদান করে: F1 স্কোর, গড় নির্ভুলতা, এবং সামগ্রিকভাবে প্রত্যাহার, যা সাধারণত শ্রেণিবিন্যাসের মডেলগুলির কার্যকারিতা মূল্যায়ন করতে ব্যবহৃত হয়। পরবর্তীগুলি লেবেলের সংখ্যার উপর গড় মেট্রিক্স।

মধ্যে প্রতি লেবেল কর্মক্ষমতা বিভাগে, আপনি লেবেল প্রতি এই মেট্রিক্সের মান খুঁজে পেতে পারেন। উপরন্তু, সত্য ইতিবাচক, মিথ্যা ইতিবাচক এবং মিথ্যা নেতিবাচক জন্য মান পেতে, নির্বাচন করুন পরীক্ষার ফলাফল দেখুন.

ম্যালওয়্যার সনাক্তকরণ মডেল মেট্রিক্স

দুটি লেবেল (সৌম্য এবং ম্যালওয়্যার) সহ 199,750টি চিত্রের সুষম ডেটাসেটে আমরা নিম্নলিখিত ফলাফলগুলি পেয়েছি:

• F1 স্কোর - 0.980
• গড় নির্ভুলতা - 0.980
• সামগ্রিকভাবে প্রত্যাহার - 0.980

ম্যালওয়্যার ক্লাসিফিকেশন মডেল মেট্রিক্স

130,609টি লেবেল সহ 11টি ছবির সুষম ডেটাসেটে (11টি ম্যালওয়্যার পরিবার), আমরা নিম্নলিখিত ফলাফলগুলি পেয়েছি:

• F1 স্কোর - 0.921
• গড় নির্ভুলতা - 0.938
• সামগ্রিকভাবে প্রত্যাহার - 0.906

মডেলটি ভাল পারফরম্যান্স করছে কিনা তা মূল্যায়ন করার জন্য, আমরা একই (বা অন্তত অনুরূপ) ডেটাসেটে প্রশিক্ষণপ্রাপ্ত অন্যান্য শিল্প বেঞ্চমার্কের সাথে এর কার্যক্ষমতা তুলনা করার পরামর্শ দিই। দুর্ভাগ্যবশত, এই পোস্টটি লেখার সময়, গবেষণার কোন তুলনামূলক সংস্থা নেই যা একই কৌশল এবং একই ডেটাসেট ব্যবহার করে এই সমস্যার সমাধান করে। যাইহোক, ডেটা সায়েন্স সম্প্রদায়ের মধ্যে, 1-এর উপরে F0.9 স্কোর সহ একটি মডেলকে খুব ভাল পারফর্ম বলে মনে করা হয়।

খরচ এবং কর্মক্ষমতা

সম্পদের সার্ভারহীন প্রকৃতির কারণে, সামগ্রিক খরচ প্রতিটি পরিষেবা ব্যবহার করা সময়ের পরিমাণ দ্বারা প্রভাবিত হয়। অন্যদিকে, কর্মক্ষমতা প্রভাবিত হয় ডেটার পরিমাণ প্রক্রিয়াকরণের দ্বারা এবং প্রশিক্ষণ ডেটাসেট আকারের ফিড অ্যামাজন স্বীকৃতিতে। আমাদের খরচ এবং কর্মক্ষমতা অনুমান অনুশীলনের জন্য, আমরা নিম্নলিখিত পরিস্থিতি বিবেচনা করি:

• সোরেল ডেটাসেট থেকে 20 মিলিয়ন বস্তু তালিকাভুক্ত এবং প্রক্রিয়া করা হয়।
• PE ম্যালওয়্যার মেশিন লার্নিং ডেটাসেট থেকে 160,000টি অবজেক্ট তালিকাভুক্ত এবং প্রক্রিয়া করা হয়।
• প্রশিক্ষণ S240,000 বালতিতে প্রায় 3 বস্তু লেখা হয়েছে: 160,000 ম্যালওয়্যার বস্তু এবং 80,000 সৌম্য বস্তু।

এই দৃশ্যের উপর ভিত্তি করে, মডেলগুলিকে প্রিপ্রসেস এবং স্থাপনের গড় খরচ হল $510.99 USD৷ আপনি যে মডেলটি ব্যবহার করেন প্রতি ঘন্টার জন্য আপনাকে অতিরিক্ত $4 USD/ঘন্টা চার্জ করা হবে। আপনি বিস্তারিত খরচ ব্রেকডাউন খুঁজে পেতে পারেন হিসাব এর মাধ্যমে উৎপন্ন হয় AWS প্রাইসিং ক্যালকুলেটর.

কর্মক্ষমতা অনুসারে, এইগুলি আমাদের পরিমাপের ফলাফল:

• প্রিপ্রসেসিং ফ্লো সম্পূর্ণ করার জন্য ~2 ঘন্টা
• ম্যালওয়্যার সনাক্তকরণ মডেল প্রশিক্ষণ সম্পূর্ণ করার জন্য ~40 ঘন্টা
• ম্যালওয়্যার শ্রেণীবিভাগ মডেল প্রশিক্ষণ সম্পূর্ণ করার জন্য ~40 ঘন্টা

পরিষ্কার কর

ভবিষ্যতে চার্জ এড়াতে, বন্ধ করা এবং মুছে ফেলা অ্যামাজন রেকগনিশন মডেলগুলি, এবং এর মাধ্যমে প্রিপ্রসেসিং সংস্থানগুলি মুছে দিন ধ্বংস.শ লিপি. স্ক্রিপ্টটি সফলভাবে চালানোর জন্য নিম্নলিখিত পরামিতিগুলির প্রয়োজন:

• STACK_NAME - ক্লাউডফর্মেশন স্ট্যাকের নাম
• AWS_REGION G - যে অঞ্চলে সমাধানটি স্থাপন করা হয়েছে
• AWS_PROFILE - নামযুক্ত প্রোফাইল যা AWS CLI কমান্ডে প্রযোজ্য

চালানোর জন্য নিম্নলিখিত কমান্ড ব্যবহার করুন ./malware_detection_deployment_scripts/destroy.sh লিপি:

bash malware_detection_deployment_scripts/destroy.sh -s  -p
 -r 

উপসংহার

এই পোস্টে, আমরা দেখিয়েছি কিভাবে অ্যামাজন স্বীকৃতি ব্যবহার করে ম্যালওয়্যার সনাক্তকরণ এবং শ্রেণীবিভাগ করা যায়। সমাধানগুলি একটি সার্ভারহীন প্যাটার্ন অনুসরণ করে, ডেটা প্রিপ্রসেসিং, অর্কেস্ট্রেশন এবং মডেল স্থাপনের জন্য পরিচালিত পরিষেবাগুলিকে ব্যবহার করে। আমরা আশা করি যে এই পোস্টটি ম্যালওয়্যার মোকাবেলায় আপনার চলমান প্রচেষ্টায় আপনাকে সাহায্য করবে৷

ভবিষ্যতের একটি পোস্টে আমরা এই পোস্টে মোতায়েন করা মডেলগুলি ব্যবহার করে ম্যালওয়্যার সনাক্তকরণের একটি ব্যবহারিক ব্যবহারের ক্ষেত্রে দেখাব৷

---

লেখক সম্পর্কে

এডভিন হলভ্যাক্সিউ তিনি AWS প্রফেশনাল সার্ভিসেস সহ একজন সিনিয়র গ্লোবাল সিকিউরিটি আর্কিটেক্ট এবং সাইবার সিকিউরিটি এবং অটোমেশন সম্পর্কে আগ্রহী। তিনি গ্রাহকদের ক্লাউডে নিরাপদ এবং কমপ্লায়েন্ট সমাধান তৈরি করতে সাহায্য করেন। কাজের বাইরে, তিনি ভ্রমণ এবং খেলাধুলা পছন্দ করেন।

রাহুল শৌর্য AWS প্রফেশনাল সার্ভিসেস সহ একজন প্রধান ডেটা আর্কিটেক্ট। তিনি গ্রাহকদের AWS-এ ডেটা প্ল্যাটফর্ম এবং বিশ্লেষণাত্মক অ্যাপ্লিকেশন তৈরি করতে সাহায্য করেন এবং ঘনিষ্ঠভাবে কাজ করেন। কাজের বাইরে, রাহুল তার কুকুর বার্নির সাথে দীর্ঘ হাঁটা পছন্দ করে।

ব্রুনো ধেফটো AWS প্রফেশনাল সার্ভিসের সাথে একজন গ্লোবাল সিকিউরিটি আর্কিটেক্ট। তিনি গ্রাহকদের AWS-এ নিরাপদ এবং নির্ভরযোগ্য আর্কিটেকচার তৈরি করতে সহায়তা করার দিকে মনোনিবেশ করছেন। কাজের বাইরে, তিনি সর্বশেষ প্রযুক্তি আপডেট এবং ভ্রমণে আগ্রহী।

নাদিম মাজেদ AWS পেশাদার পরিষেবাগুলির মধ্যে একজন ডেটা আর্কিটেক্ট৷ তিনি গ্রাহকদের সাথে AWS-এ তাদের ডেটা প্ল্যাটফর্ম তৈরির পাশাপাশি কাজ করেন। কাজের বাইরে, নাদিম টেবিল টেনিস খেলে এবং ফুটবল/সকার দেখতে পছন্দ করে।