Azure AI-তে মাইক্রোসফট বিফস আপ ডিফেন্স

মাইক্রোসফ্ট Azure AI স্টুডিওতে বেশ কয়েকটি নতুন ক্ষমতার ঘোষণা করেছে যে সংস্থাটি বলেছে যে ডেভেলপারদের জেনারেটিভ এআই অ্যাপ তৈরি করতে সাহায্য করা উচিত যা দূষিত মডেল ম্যানিপুলেশন এবং অন্যান্য উদীয়মান হুমকির বিরুদ্ধে আরও নির্ভরযোগ্য এবং স্থিতিস্থাপক।

29 মার্চের একটি ব্লগ পোস্টে, মাইক্রোসফ্টের দায়িত্বশীল AI-এর প্রধান পণ্য কর্মকর্তা, সারাহ বার্ড, হুমকি অভিনেতাদের ব্যবহার সম্পর্কে ক্রমবর্ধমান উদ্বেগের দিকে ইঙ্গিত করেছেন প্রম্পট ইনজেকশন আক্রমণ নতুন টুলগুলির জন্য প্রাথমিক ড্রাইভিং ফ্যাক্টর হিসাবে AI সিস্টেমগুলিকে বিপজ্জনক এবং অপ্রত্যাশিত উপায়ে আচরণ করার জন্য।

“সংগঠন এছাড়াও গুণমান এবং নির্ভরযোগ্যতা সম্পর্কে উদ্বিগ্ন," পাখি বলল. "তারা নিশ্চিত করতে চায় যে তাদের AI সিস্টেমগুলি ত্রুটি তৈরি করছে না বা এমন তথ্য যোগ করছে না যা অ্যাপ্লিকেশনের ডেটা উত্সগুলিতে প্রমাণিত নয়, যা ব্যবহারকারীর আস্থা নষ্ট করতে পারে।"

Azure AI স্টুডিও এটি একটি হোস্ট করা প্ল্যাটফর্ম যা সংস্থাগুলি তাদের নিজস্ব ডেটাতে ভিত্তি করে কাস্টম এআই সহকারী, কপিলট, বট, অনুসন্ধান সরঞ্জাম এবং অন্যান্য অ্যাপ্লিকেশন তৈরি করতে ব্যবহার করতে পারে। নভেম্বর 2023-এ ঘোষণা করা হয়েছে, এই প্ল্যাটফর্মটি মাইক্রোসফটের মেশিন লার্নিং মডেল এবং OpenAI সহ অন্যান্য বিভিন্ন উত্স থেকে মডেলগুলি হোস্ট করে। মেটা, আলিঙ্গন মুখ এবং এনভিডিয়া। এটি বিকাশকারীদের তাদের মডেলগুলিতে মাল্টি-মোডাল ক্ষমতা এবং দায়িত্বশীল AI বৈশিষ্ট্যগুলিকে দ্রুত সংহত করতে দেয়।

অ্যামাজন এবং গুগলের মতো অন্যান্য বড় প্লেয়ারগুলি বিশ্বব্যাপী এআই প্রযুক্তিতে ক্রমবর্ধমান আগ্রহের সাথে ট্যাপ করার জন্য গত বছর ধরে একই ধরনের অফার নিয়ে বাজারে ছুটে এসেছে। সাম্প্রতিক একটি আইবিএম-কমিশনড গবেষণায় এটি পাওয়া গেছে 42% সংগঠন 1,000-এরও বেশি কর্মচারী ইতিমধ্যেই সক্রিয়ভাবে কিছু ফ্যাশনে AI ব্যবহার করছে এবং তাদের মধ্যে অনেকেই আগামী কয়েক বছরে প্রযুক্তিতে বিনিয়োগ বাড়ানো এবং ত্বরান্বিত করার পরিকল্পনা করছে। এবং তাদের সব না আইটি বলছিলেন তাদের AI ব্যবহার সম্পর্কে আগেই।

প্রম্পট ইঞ্জিনিয়ারিং বিরুদ্ধে সুরক্ষা

Azure AI স্টুডিওতে মাইক্রোসফট যে পাঁচটি নতুন ক্ষমতা যোগ করেছে—বা শীঘ্রই যোগ করবে—তা হল: প্রম্পট শিল্ডস; স্থলতা সনাক্তকরণ; নিরাপত্তা ব্যবস্থা বার্তা; নিরাপত্তা মূল্যায়ন; এবং ঝুঁকি এবং নিরাপত্তা পর্যবেক্ষণ। বৈশিষ্ট্যগুলি এমন কিছু উল্লেখযোগ্য চ্যালেঞ্জ মোকাবেলা করার জন্য ডিজাইন করা হয়েছে যা গবেষকরা সম্প্রতি আবিষ্কার করেছেন-এবং নিয়মিত ভিত্তিতে উন্মোচন চালিয়ে যাচ্ছেন-বড় ভাষার মডেল এবং জেনারেটিভ এআই টুল ব্যবহারের ক্ষেত্রে।

প্রম্পট শিল্ডস উদাহরণস্বরূপ পরোক্ষ প্রম্পট আক্রমণ এবং জেলব্রেক হিসাবে পরিচিত যা মাইক্রোসফ্টের প্রশমন। জেলব্রেক ঝুঁকির বিরুদ্ধে Azure AI স্টুডিওতে বিদ্যমান প্রশমনের উপর বৈশিষ্ট্যটি তৈরি করে। ভিতরে প্রম্পট ইঞ্জিনিয়ারিং আক্রমণ, প্রতিপক্ষরা এমন প্রম্পট ব্যবহার করে যা ক্ষতিকর এবং অবাঞ্ছিত প্রতিক্রিয়া তৈরি করার জন্য একটি AI মডেলকে চালিত করার চেষ্টা করার জন্য নিরীহ এবং প্রকাশ্যভাবে ক্ষতিকারক নয়। প্রম্পট ইঞ্জিনিয়ারিং আক্রমণের ক্রমবর্ধমান শ্রেণীর মধ্যে সবচেয়ে বিপজ্জনক যা চেষ্টা করে জেলব্রেক এআই মডেল অথবা ডেভেলপাররা যে কোনো ফিল্টার এবং সীমাবদ্ধতার সাথে সামঞ্জস্যপূর্ণ নয় এমন আচরণ করতে পারেন।  

গবেষকরা সম্প্রতি দেখিয়েছেন যে কীভাবে প্রতিপক্ষরা প্রম্পট ইঞ্জিনিয়ারিং আক্রমণে জড়িত হতে পারে জেনারেটিভ এআই মডেলগুলি পেতে তাদের প্রশিক্ষণ তথ্য ছড়িয়েব্যক্তিগত তথ্য প্রকাশ করতে, ভুল তথ্য তৈরি করা এবং সম্ভাব্য ক্ষতিকারক বিষয়বস্তু, যেমন একটি গাড়িকে কীভাবে হটওয়্যার করতে হয় তার নির্দেশাবলী।

Prompt Shields-এর সাহায্যে ডেভেলপাররা তাদের মডেলগুলিতে এমন ক্ষমতা একীভূত করতে পারে যা বৈধ এবং সম্ভাব্য অবিশ্বস্ত সিস্টেম ইনপুটগুলির মধ্যে পার্থক্য করতে সাহায্য করে; ইনপুট টেক্সটের শুরু এবং শেষ চিহ্নিত করতে এবং ইনপুট টেক্সট চিহ্নিত করতে ডেটা মার্কিং ব্যবহার করতে সাহায্য করার জন্য ডিলিমিটার সেট করুন। Prompt Shields বর্তমানে Azure AI কন্টেন্ট সেফটি-তে প্রিভিউ মোডে উপলব্ধ এবং Microsoft এর মতে শীঘ্রই সাধারণভাবে উপলব্ধ হবে।

মডেল হ্যালুসিনেশন এবং ক্ষতিকারক বিষয়বস্তুর জন্য প্রশমন

গ্রাউন্ডেডনেস সনাক্তকরণের সাথে, ইতিমধ্যে, মাইক্রোসফ্ট Azure AI স্টুডিওতে একটি বৈশিষ্ট্য যুক্ত করেছে যা এটি বলে যে ডেভেলপারদের তাদের AI মডেলগুলির "হ্যালুসিনেটিং" ঝুঁকি কমাতে সহায়তা করতে পারে। মডেল হ্যালুসিনেশন হল এআই মডেলের এমন একটি প্রবণতা যা এমন ফলাফল তৈরি করে যা প্রশংসনীয় বলে মনে হয় কিন্তু সম্পূর্ণরূপে তৈরি এবং প্রশিক্ষণের ডেটার উপর ভিত্তি করে নয়। এলএলএম হ্যালুসিনেশনগুলি অত্যন্ত সমস্যাযুক্ত হতে পারে যদি কোনও সংস্থা আউটপুটকে বাস্তব হিসাবে গ্রহণ করে এবং কোনও উপায়ে এটির উপর কাজ করে। উদাহরণস্বরূপ, একটি সফ্টওয়্যার ডেভেলপমেন্ট পরিবেশে, এলএলএম হ্যালুসিনেশনের ফলে বিকাশকারীরা সম্ভাব্যভাবে তাদের অ্যাপ্লিকেশনগুলিতে দুর্বল কোড প্রবর্তন করতে পারে।

Azure AI স্টুডিওর নতুন স্থলতা সনাক্তকরণ সক্ষমতা মূলত শনাক্ত করতে সাহায্য করে—আরও নির্ভরযোগ্যভাবে এবং বৃহত্তর স্কেলে—সম্ভাব্যভাবে ভিত্তিহীন জেনারেটিভ এআই আউটপুট। লক্ষ্য হল ডেভেলপারদেরকে তাদের AI মডেলগুলিকে মাইক্রোসফ্ট যাকে গ্রাউন্ডেডনেস মেট্রিক্স বলে তার বিরুদ্ধে পরীক্ষা করার একটি উপায় দেওয়া, মডেলটিকে পণ্যে স্থাপন করার আগে। বৈশিষ্ট্যটি এলএলএম আউটপুটগুলিতে সম্ভাব্য ভিত্তিহীন বিবৃতিগুলিকেও হাইলাইট করে, যাতে ব্যবহারকারীরা এটি ব্যবহার করার আগে আউটপুটটি সত্যতা যাচাই করতে জানেন। গ্রাউন্ডেডনেস সনাক্তকরণ এখনও উপলব্ধ নয়, তবে মাইক্রোসফ্ট অনুসারে অদূর ভবিষ্যতে উপলব্ধ হওয়া উচিত।

নতুন সিস্টেম মেসেজ ফ্রেমওয়ার্ক ডেভেলপারদের তাদের মডেলের ক্ষমতা, এটির প্রোফাইল এবং তাদের নির্দিষ্ট পরিবেশে সীমাবদ্ধতা স্পষ্টভাবে সংজ্ঞায়িত করার একটি উপায় অফার করে। ডেভেলপাররা আউটপুটের বিন্যাস সংজ্ঞায়িত করার ক্ষমতা ব্যবহার করতে পারে এবং উদ্দেশ্যমূলক আচরণের উদাহরণ প্রদান করতে পারে, তাই ব্যবহারকারীদের জন্য উদ্দিষ্ট আচরণ থেকে বিচ্যুতি সনাক্ত করা সহজ হয়ে যায়। এটি আরেকটি নতুন বৈশিষ্ট্য যা এখনও উপলব্ধ নয় তবে শীঘ্রই হওয়া উচিত।

Azure AI স্টুডিওর নতুন ঘোষণা নিরাপত্তা মূল্যায়ন ক্ষমতা এবং তার ঝুঁকি এবং নিরাপত্তা পর্যবেক্ষণ বৈশিষ্ট্য উভয়ই বর্তমানে প্রিভিউ স্ট্যাটাসে উপলব্ধ। সংগঠনগুলি তাদের LLM মডেলের জেলব্রেক আক্রমণ এবং অপ্রত্যাশিত বিষয়বস্তু তৈরির দুর্বলতা মূল্যায়ন করতে পূর্বেরটি ব্যবহার করতে পারে। ঝুঁকি এবং নিরাপত্তা পর্যবেক্ষণ ক্ষমতা ডেভেলপারদের এমন মডেল ইনপুটগুলি সনাক্ত করতে দেয় যা সমস্যাযুক্ত এবং হ্যালুসিনেটেড বা অপ্রত্যাশিত বিষয়বস্তু ট্রিগার করতে পারে, যাতে তারা এর বিরুদ্ধে প্রশমন বাস্তবায়ন করতে পারে।

"জেনারেটিভ এআই প্রতিটি বিভাগ, কোম্পানি এবং শিল্পের জন্য একটি শক্তি গুণক হতে পারে," মাইক্রোসফ্টের বার্ড বলেছে। "একই সময়ে, ফাউন্ডেশন মডেলগুলি সুরক্ষা এবং সুরক্ষার জন্য নতুন চ্যালেঞ্জগুলি প্রবর্তন করে যার জন্য অভিনব প্রশমন এবং অবিচ্ছিন্ন শিক্ষার প্রয়োজন হয়।"

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
• প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
• প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
• উত্স: https://www.darkreading.com/application-security/microsoft-adds-tools-for-protecting-against-prompt-injection-other-threats-in-azure-ai