যাদু ভাগ করার জন্য ডাল·ই ২ একটি বিস্তৃত শ্রোতাদের সাথে, আমাদের শক্তিশালী ইমেজ জেনারেশন মডেলগুলির সাথে সম্পর্কিত ঝুঁকিগুলি কমাতে হবে৷ এই লক্ষ্যে, আমরা বিভিন্ন করা পার্শ্বস্থ রেলিং আমাদের লঙ্ঘন থেকে উত্পন্ন ইমেজ প্রতিরোধ করার জায়গায় বিষয়বস্তু নীতি. এই পোস্ট ফোকাস প্রাক-প্রশিক্ষণ প্রশমন, এই গার্ডেলগুলির একটি উপসেট যা সরাসরি ডেটা পরিবর্তন করে যা DALL·E 2 থেকে শেখে। বিশেষ করে, DALL·E 2 কে ইন্টারনেট থেকে লক্ষ লক্ষ ক্যাপশন করা ছবির উপর প্রশিক্ষিত করা হয়েছে, এবং মডেলটি যা শেখে তা পরিবর্তন করতে আমরা এই ছবিগুলির কিছুকে সরিয়ে ফেলি এবং পুনরায় ওজন করি।
এই পোস্টটি তিনটি বিভাগে সংগঠিত, প্রতিটি একটি ভিন্ন প্রাক-প্রশিক্ষণ প্রশমনের বর্ণনা করে:
- প্রথম বিভাগে, আমরা বর্ণনা করি কিভাবে আমরা DALL·E 2-এর প্রশিক্ষণ ডেটাসেট থেকে হিংসাত্মক এবং যৌন ছবিগুলিকে ফিল্টার করেছি। এই প্রশমন ছাড়া, মডেলটি তাদের জন্য অনুরোধ করা হলে গ্রাফিক বা স্পষ্ট চিত্রগুলি তৈরি করতে শিখবে এবং এমনকি আপাতদৃষ্টিতে নিরীহ প্রম্পটের প্রতিক্রিয়া হিসাবে অনিচ্ছাকৃতভাবে এই জাতীয় চিত্রগুলি ফিরিয়ে দিতে পারে।
- দ্বিতীয় বিভাগে, আমরা দেখতে পাই যে ফিল্টারিং প্রশিক্ষণ ডেটা পক্ষপাতকে প্রসারিত করতে পারে, এবং এই প্রভাব কমানোর জন্য আমাদের কৌশল বর্ণনা করতে পারে। উদাহরণস্বরূপ, এই প্রশমন ছাড়া, আমরা লক্ষ্য করেছি যে ফিল্টার করা ডেটাতে প্রশিক্ষিত মডেলগুলি কখনও কখনও পুরুষদের চিত্রিত করে আরও বেশি চিত্র তৈরি করে এবং মূল ডেটাসেটে প্রশিক্ষিত মডেলগুলির তুলনায় মহিলাদের চিত্রিত করে কম চিত্র তৈরি করে৷
- চূড়ান্ত বিভাগে, আমরা মুখস্থ করার বিষয়টিতে ফিরে আসি, আবিষ্কার করি যে DALL·E 2-এর মতো মডেলগুলি কখনও কখনও অভিনব ছবি তৈরি করার পরিবর্তে তাদের প্রশিক্ষিত চিত্রগুলি পুনরুত্পাদন করতে পারে। অনুশীলনে, আমরা এটি খুঁজে পেয়েছি ইমেজ regurgitation এটি এমন চিত্রগুলির কারণে ঘটে যা ডেটাসেটে অনেকবার প্রতিলিপি করা হয় এবং ডেটাসেটের অন্যান্য চিত্রগুলির সাথে দৃশ্যমানভাবে অনুরূপ ছবিগুলি সরিয়ে সমস্যাটি হ্রাস করে৷
গ্রাফিক এবং স্পষ্ট প্রশিক্ষণ ডেটা হ্রাস করা
যেহেতু প্রশিক্ষণ ডেটা যেকোনো শেখা মডেলের ক্ষমতাকে আকার দেয়, তাই ডেটা ফিল্টারিং অবাঞ্ছিত মডেলের ক্ষমতা সীমিত করার জন্য একটি শক্তিশালী হাতিয়ার। আমরা DALL·E 2 প্রশিক্ষণের আগে ডেটাসেটের বাইরে এই শ্রেণীতে থাকা ছবিগুলিকে ফিল্টার করার জন্য ক্লাসিফায়ার ব্যবহার করে দুটি বিভাগে—গ্রাফিক সহিংসতা এবং যৌন বিষয়বস্তুকে চিত্রিত করা ছবিগুলিতে এই পদ্ধতি প্রয়োগ করেছি। আমাদের প্রশিক্ষিত মডেলে ডেটাসেট ফিল্টারিংয়ের প্রভাব।
আমাদের ইমেজ ক্লাসিফায়ারদের প্রশিক্ষণ দেওয়ার জন্য, আমরা একটি পদ্ধতির পুনঃব্যবহার করেছি যা আমরা পূর্বে প্রশিক্ষণ ডেটা ফিল্টার করার জন্য নিযুক্ত করেছিলাম পিছলে পড়া. এই পদ্ধতির প্রাথমিক পদক্ষেপগুলি নিম্নরূপ: প্রথমত, আমরা লেবেল করতে চাই এমন চিত্র বিভাগগুলির জন্য আমরা একটি স্পেসিফিকেশন তৈরি করি; দ্বিতীয়ত, আমরা প্রতিটি বিভাগের জন্য কয়েকশো ইতিবাচক এবং নেতিবাচক উদাহরণ সংগ্রহ করি; তৃতীয়ত, আমরা আরও ডেটা সংগ্রহ করতে এবং সূক্ষ্মতা/প্রত্যাহার ট্রেড-অফ উন্নত করতে একটি সক্রিয় শিক্ষা পদ্ধতি ব্যবহার করি; এবং পরিশেষে, আমরা রক্ষণশীল শ্রেণীবিন্যাস থ্রেশহোল্ড সহ সম্পূর্ণ ডেটাসেটে ফলাফলের শ্রেণীবিভাগকে চালাই যাতে নির্ভুলতার উপর প্রত্যাহার করা যায়। এই থ্রেশহোল্ড সেট করতে, আমরা সমস্ত ফিল্টার আউট অগ্রাধিকার পায়খানা সমস্ত ছেড়ে যাওয়ার উপর ডেটা ভাল তথ্য এর কারণ হল আমরা সবসময় আমাদের মডেলটিকে নতুন জিনিস শেখানোর জন্য পরবর্তীতে আরও ডেটা দিয়ে সূক্ষ্ম-টিউন করতে পারি, কিন্তু মডেলটিকে এমন কিছু ভুলে যাওয়া অনেক কঠিন যা এটি ইতিমধ্যেই শিখেছে৷
সক্রিয় শেখার পর্যায়ে, আমরা সম্ভাব্য কঠিন বা ভুল শ্রেণীবদ্ধ চিত্রগুলির জন্য মানব লেবেলগুলি সংগ্রহ করার মাধ্যমে আমাদের শ্রেণীবিভাগকে পুনরাবৃত্তভাবে উন্নত করেছি। উল্লেখযোগ্যভাবে, আমরা আমাদের ডেটাসেট থেকে ছবিগুলি বেছে নিতে দুটি সক্রিয় শিক্ষার কৌশল ব্যবহার করেছি (যাতে লক্ষ লক্ষ লেবেলবিহীন ছবি রয়েছে) লেবেলিংয়ের জন্য মানুষের কাছে উপস্থাপন করতে। প্রথমত, আমাদের শ্রেণীবদ্ধকারীর মিথ্যা ইতিবাচক হার কমাতে (অর্থাৎ, যে ফ্রিকোয়েন্সি সহ এটি একটি সৌম্য ইমেজকে হিংসাত্মক বা যৌন হিসাবে ভুল শ্রেণিবদ্ধ করে), আমরা সেই চিত্রগুলিতে মানব লেবেলগুলি বরাদ্দ করেছি যা বর্তমান মডেলটি ইতিবাচক হিসাবে শ্রেণীবদ্ধ করেছে৷ এই পদক্ষেপটি ভালভাবে কাজ করার জন্য, আমরা প্রায় 100% রিকলের জন্য আমাদের শ্রেণীবিভাগের থ্রেশহোল্ড টিউন করেছি কিন্তু একটি উচ্চ মিথ্যা-ইতিবাচক হার; এইভাবে, আমাদের লেবেলাররা বেশিরভাগই সত্যিকারের নেতিবাচক ক্ষেত্রে লেবেল করে। যদিও এই কৌশলটি মিথ্যা ইতিবাচক কমাতে সাহায্য করে এবং সম্ভাব্য ক্ষতিকারক চিত্রগুলি দেখার জন্য লেবেলারদের প্রয়োজনীয়তা হ্রাস করে, এটি মডেলটি বর্তমানে অনুপস্থিত আরও ইতিবাচক ক্ষেত্রে খুঁজে পেতে সহায়তা করে না।
আমাদের ক্লাসিফায়ারের মিথ্যা নেতিবাচক হার কমাতে, আমরা একটি দ্বিতীয় সক্রিয় শেখার কৌশল নিযুক্ত করেছি: নিকটতম প্রতিবেশী অনুসন্ধান। বিশেষ করে, আমরা আমাদের বর্তমান লেবেলযুক্ত ডেটাসেটে ইতিবাচক নমুনাগুলি খুঁজে পেতে বহুগুণ ক্রস-ভ্যালিডেশন চালিয়েছি যা মডেলটি নেতিবাচক হিসাবে ভুল শ্রেণিবদ্ধ করার প্রবণতা করেছিল (এটি করার জন্য, আমরা আক্ষরিকভাবে বিভিন্ন ট্রেন-বৈধকরণ বিভাজন সহ ক্লাসিফায়ারের শত শত সংস্করণকে প্রশিক্ষণ দিয়েছি)। তারপরে আমরা আমাদের লেবেলবিহীন চিত্রগুলির বৃহৎ সংগ্রহকে এই নমুনার নিকটতম প্রতিবেশীদের জন্য একটি উপলব্ধিগত বৈশিষ্ট্যের জায়গায় স্ক্যান করেছি এবং আবিষ্কৃত চিত্রগুলিতে মানব লেবেলগুলি বরাদ্দ করেছি৷ আমাদের কম্পিউট পরিকাঠামোর জন্য ধন্যবাদ, ক্লাসিফায়ার প্রশিক্ষণ এবং নিকটতম প্রতিবেশী অনুসন্ধান উভয়কেই অনেক GPU-তে স্কেল করা তুচ্ছ ছিল, সক্রিয় শেখার পদক্ষেপটি ঘন্টা বা দিনের চেয়ে কয়েক মিনিটের মধ্যে হতে দেয়।
আমাদের ডেটা ফিল্টারগুলির কার্যকারিতা যাচাই করার জন্য, আমরা একই হাইপারপ্যারামিটার সহ দুটি GLIDE মডেলকে প্রশিক্ষিত করেছি: একটি ফিল্টার না করা ডেটাতে এবং একটি ফিল্টার করার পরে ডেটাসেটে। আমরা হিসাবে প্রাক্তন মডেল উল্লেখ আনফিল্টার মডেল, এবং পরেরটি হিসাবে ফিল্টার করা মডেল. প্রত্যাশিত হিসাবে, আমরা দেখেছি যে এই ধরণের সামগ্রীর অনুরোধের প্রতিক্রিয়া হিসাবে আনফিল্টার করা মডেলটি সাধারণত কম স্পষ্ট বা গ্রাফিক সামগ্রী তৈরি করে৷ যাইহোক, আমরা ডেটা ফিল্টারিংয়ের একটি অপ্রত্যাশিত পার্শ্ব-প্রতিক্রিয়াও খুঁজে পেয়েছি: এটি নির্দিষ্ট জনসংখ্যার প্রতি মডেলের পক্ষপাত তৈরি বা প্রসারিত করেছে।
ডাটা ফিল্টার দ্বারা প্রবর্তিত পক্ষপাত ফিক্সিং
জেনারেটিভ মডেলগুলি তাদের প্রশিক্ষণের ডেটা বিতরণের সাথে মেলানোর চেষ্টা করে, এতে যেকোন পক্ষপাতিত্ব সহ। ফলস্বরূপ, প্রশিক্ষণ ডেটা ফিল্টার করার ফলে ডাউনস্ট্রিম মডেলগুলিতে পক্ষপাত তৈরি বা প্রসারিত করার সম্ভাবনা রয়েছে। সাধারণভাবে, মূল ডেটাসেটে পক্ষপাতগুলি ঠিক করা একটি কঠিন সামাজিক প্রযুক্তিগত কাজ যা আমরা অধ্যয়ন চালিয়ে যাচ্ছি এবং এই পোস্টের সুযোগের বাইরে। আমরা এখানে যে সমস্যাটির সমাধান করি তা হল বিশেষত ডেটা ফিল্টারিং দ্বারা সৃষ্ট পক্ষপাতের পরিবর্ধন। আমাদের পদ্ধতির সাথে, আমরা ফিল্টার করা মডেলটিকে প্রতিরোধ করার লক্ষ্য রাখি অধিক আনফিল্টার করা মডেলের চেয়ে পক্ষপাতদুষ্ট, মূলত ডেটা ফিল্টারিংয়ের কারণে বন্টন স্থানান্তর হ্রাস করে।
ফিল্টারিংয়ের কারণে পক্ষপাতের পরিবর্ধনের একটি সুনির্দিষ্ট উদাহরণ হিসাবে, "একটি সিইও" প্রম্পটটি বিবেচনা করুন। যখন আমাদের আনফিল্টার করা মডেলটি এই প্রম্পটের জন্য ছবি তৈরি করে, তখন এটি মহিলাদের তুলনায় পুরুষদের বেশি ছবি তৈরি করার প্রবণতা দেখায়, এবং আমরা আশা করি যে এই পক্ষপাতের বেশিরভাগই আমাদের বর্তমান প্রশিক্ষণের ডেটার প্রতিফলন। যাইহোক, যখন আমরা আমাদের ফিল্টার করা মডেলের মাধ্যমে একই প্রম্পট চালাই, তখন পক্ষপাতটি প্রসারিত হতে দেখা গেল; প্রজন্ম প্রায় একচেটিয়াভাবে পুরুষদের ইমেজ ছিল.
আমরা অনুমান করি যে পক্ষপাতের পরিবর্ধনের এই বিশেষ কেসটি দুটি জায়গা থেকে এসেছে: প্রথমত, এমনকি যদি নারী এবং পুরুষদের মূল ডেটাসেটে মোটামুটি সমান প্রতিনিধিত্ব থাকে, তবে ডেটাসেটটি মহিলাদের আরও যৌন প্রেক্ষাপটে উপস্থাপনের দিকে পক্ষপাতদুষ্ট হতে পারে; এবং দ্বিতীয়ত, আমাদের শ্রেণীবিভাগকারীরা নিজেরাই হয় বাস্তবায়ন বা শ্রেণী সংজ্ঞার কারণে পক্ষপাতদুষ্ট হতে পারে, তথ্য সংগ্রহ এবং যাচাইকরণের পর্যায়গুলির সময় এটি এমন হয়নি তা নিশ্চিত করার জন্য আমাদের প্রচেষ্টা সত্ত্বেও। এই উভয় প্রভাবের কারণে, আমাদের ফিল্টার পুরুষদের তুলনায় মহিলাদের বেশি ছবি মুছে ফেলতে পারে, যা লিঙ্গ অনুপাতকে পরিবর্তন করে যা মডেল প্রশিক্ষণে পর্যবেক্ষণ করে।
ফিল্টার-প্ররোচিত পক্ষপাত আরও পুঙ্খানুপুঙ্খভাবে তদন্ত করার জন্য, আমরা আমাদের ডেটা ফিল্টারগুলি বিভিন্ন ধারণার প্রতি পক্ষপাতকে কতটা প্রভাবিত করছে তা পরিমাপ করার একটি উপায় চেয়েছিলাম। উল্লেখযোগ্যভাবে, আমাদের সহিংসতা এবং যৌন বিষয়বস্তু ফিল্টারগুলি সম্পূর্ণরূপে চিত্র-ভিত্তিক, কিন্তু আমাদের ডেটাসেটের মাল্টিমোডাল প্রকৃতি আমাদের সরাসরি পাঠ্যের উপর এই ফিল্টারগুলির প্রভাব পরিমাপ করতে দেয়৷ যেহেতু প্রতিটি চিত্রের সাথে একটি টেক্সট ক্যাপশন রয়েছে, তাই ফিল্টারগুলি কোন প্রদত্ত ধারণাকে কতটা প্রভাবিত করছে তা অনুমান করতে আমরা ফিল্টার করা এবং আনফিল্টার করা ডেটাসেট জুড়ে হ্যান্ড-সিলেক্ট করা কীওয়ার্ডগুলির আপেক্ষিক ফ্রিকোয়েন্সি দেখতে সক্ষম হয়েছি।
এটিকে বাস্তবে প্রয়োগ করার জন্য, আমরা আমাদের ফিল্টার করা এবং আনফিল্টার করা ডেটাসেটের সমস্ত ক্যাপশনের উপর মুষ্টিমেয় কিছু কীওয়ার্ডের (যেমন, "পিতামাতা", "নারী", "বাচ্চা") ফ্রিকোয়েন্সি গণনা করতে Apache Spark ব্যবহার করেছি। যদিও আমাদের ডেটাসেটে কয়েক মিলিয়ন টেক্সট-ইমেজ জোড়া রয়েছে, এই কীওয়ার্ড ফ্রিকোয়েন্সিগুলি গণনা করতে আমাদের কম্পিউট ক্লাস্টার ব্যবহার করে মাত্র কয়েক মিনিট সময় লেগেছে।
কীওয়ার্ড ফ্রিকোয়েন্সি কম্পিউট করার পরে, আমরা নিশ্চিত করতে পেরেছি যে আমাদের ডেটাসেট ফিল্টারগুলি প্রকৃতপক্ষে নির্দিষ্ট কীওয়ার্ডের ফ্রিকোয়েন্সি অন্যদের থেকে বেশি তির্যক করেছে। উদাহরণস্বরূপ, ফিল্টারগুলি "নারী" শব্দের ফ্রিকোয়েন্সি 14% কমিয়েছে, যখন "পুরুষ" শব্দের ফ্রিকোয়েন্সি মাত্র 6% হ্রাস পেয়েছে। এটি নিশ্চিত করেছে, একটি বৃহৎ পরিসরে, উভয় ডেটাসেটে প্রশিক্ষিত GLIDE মডেলগুলি থেকে নমুনা নিয়ে আমরা ইতিমধ্যেই উপাখ্যানগতভাবে যা পর্যবেক্ষণ করেছি।
এখন যেহেতু আমাদের কাছে ফিল্টার-প্ররোচিত পক্ষপাত পরিমাপের জন্য একটি প্রক্সি ছিল, আমাদের এটি প্রশমিত করার একটি উপায় প্রয়োজন। এই সমস্যাটি মোকাবেলা করার জন্য, আমরা ফিল্টার করা ডেটাসেটটিকে পুনরায় ওজন করার লক্ষ্য রেখেছি যাতে এর বিতরণটি ফিল্টার না করা চিত্রগুলির বিতরণের সাথে আরও ভালভাবে মেলে। এই ধারণাটি ব্যাখ্যা করার জন্য একটি খেলনা উদাহরণ হিসাবে, ধরুন আমাদের ডেটাসেটে 50% বিড়ালের ফটো এবং 50% কুকুরের ফটো রয়েছে, কিন্তু আমাদের ডেটা ফিল্টারগুলি 75% কুকুরকে সরিয়ে দেয় কিন্তু বিড়ালের মাত্র 50%। চূড়ান্ত ডেটাসেট হবে ⅔ বিড়াল এবং ⅓ কুকুর, এবং এই ডেটাসেটে প্রশিক্ষিত একটি সম্ভাবনা-ভিত্তিক জেনারেটিভ মডেল সম্ভবত কুকুরের চেয়ে বিড়ালের বেশি ছবি তৈরি করবে। আমরা একটি কুকুরের প্রতিটি চিত্রের প্রশিক্ষণের ক্ষতিকে 2 দ্বারা গুণ করে, প্রতিটি কুকুরের চিত্রকে দুবার পুনরাবৃত্তি করার প্রভাবকে অনুকরণ করে এই ভারসাম্যহীনতা ঠিক করতে পারি। দেখা যাচ্ছে যে আমরা এই পদ্ধতিটিকে আমাদের আসল ডেটাসেট এবং মডেলগুলিতে এমনভাবে স্কেল করতে পারি যা মূলত স্বয়ংক্রিয়ভাবে – অর্থাৎ, আমরা যে বৈশিষ্ট্যগুলিকে পুনরায় ওজন করতে চাই সেগুলি আমাদের হাতে-নির্বাচনের দরকার নেই৷
আমরা ফিল্টার করা ডেটাসেটে চিত্রগুলির জন্য একটি বিশেষ শ্রেণিবিন্যাসকারী থেকে সম্ভাব্যতা ব্যবহার করে ওজন গণনা করি, যা দ্বারা ব্যবহৃত পদ্ধতির অনুরূপ Choi et al। (2019). এই ক্লাসিফায়ারকে প্রশিক্ষণ দেওয়ার জন্য, আমরা উভয় ডেটাসেট থেকে অভিন্নভাবে নমুনা ছবি করি এবং ভবিষ্যদ্বাণী করি যে ছবিটি কোন ডেটাসেট থেকে এসেছে। বিশেষ করে, এই মডেল ভবিষ্যদ্বাণী করে P(আনফিল্টারড|ছবি), একটি আগে দেওয়া P(আনফিল্টারড) = 0.5. অনুশীলনে, আমরা এই মডেলটি খুব শক্তিশালী হতে চাই না, অন্যথায় এটি প্রথম স্থানে আমাদের ফিল্টার দ্বারা বাস্তবায়িত সঠিক ফাংশন শিখতে পারে। পরিবর্তে, আমরা চাই যে মডেলটি আমাদের আসল ডেটা ফিল্টারগুলির চেয়ে মসৃণ হোক, ফিল্টারগুলির দ্বারা প্রভাবিত বিস্তৃত বিভাগগুলি ক্যাপচার করে যখন একটি নির্দিষ্ট চিত্র ফিল্টার করা হবে কিনা সে সম্পর্কে এখনও অনিশ্চিত। এই লক্ষ্যে, আমরা একটি ছোট উপরে একটি লিনিয়ার প্রোব প্রশিক্ষিত ক্লিপ মডেল.
একবার আমাদের কাছে একটি ক্লাসিফায়ার আছে যেটি সম্ভাব্যতা ভবিষ্যদ্বাণী করে যে একটি চিত্র আনফিল্টার করা ডেটাসেট থেকে, আমাদের এখনও এই ভবিষ্যদ্বাণীটিকে চিত্রের ওজনে রূপান্তর করতে হবে। উদাহরণস্বরূপ, ধরুন যে P(আনফিল্টারড|ছবি) = 0.8। এর মানে হল যে ফিল্টার করা ডেটার তুলনায় নমুনাটি 4 গুণ বেশি ফিল্টার করা ডেটাতে পাওয়া যায় এবং 4 এর ওজন ভারসাম্যহীনতা সংশোধন করা উচিত। আরও সাধারণভাবে, আমরা ওজন ব্যবহার করতে পারি P(আনফিল্টারড|ইমেজ)/P(ফিল্টার করা|ছবি).[1]
এই রিওয়েটিং স্কিমটি কতটা ভালভাবে প্রশস্ত পক্ষপাতকে প্রশমিত করে? যখন আমরা আমাদের পূর্ববর্তী ফিল্টার করা মডেলটিকে নতুন ওয়েটিং স্কিমের সাথে সূক্ষ্ম-টিউন করি, তখন সূক্ষ্ম-টিউন করা মডেলের আচরণটি আমাদের পূর্বে পাওয়া পক্ষপাতদুষ্ট উদাহরণগুলিতে আনফিল্টার করা মডেলের সাথে অনেক বেশি ঘনিষ্ঠভাবে মিলে যায়। যদিও এটি উত্সাহজনক ছিল, আমরা আমাদের কীওয়ার্ড-ভিত্তিক পক্ষপাত হিউরিস্টিক ব্যবহার করে এই প্রশমনকে আরও পুঙ্খানুপুঙ্খভাবে মূল্যায়ন করতে চেয়েছিলাম। আমাদের নতুন ওয়েটিং স্কিমকে বিবেচনায় নেওয়ার সময় কীওয়ার্ড ফ্রিকোয়েন্সি পরিমাপ করার জন্য, আমরা ফিল্টার করা ডেটাসেটে একটি কীওয়ার্ডের প্রতিটি উদাহরণকে এটিতে থাকা নমুনার ওজন দ্বারা ওজন করতে পারি। এটি করার ফলে, আমরা কীওয়ার্ড ফ্রিকোয়েন্সিগুলির একটি নতুন সেট পাই যা ফিল্টার করা ডেটাসেটে নমুনা ওজনকে প্রতিফলিত করে।
আমরা চেক করা বেশিরভাগ কীওয়ার্ড জুড়ে, রিওয়েটিং স্কিম ফিল্টারিং দ্বারা প্ররোচিত ফ্রিকোয়েন্সি পরিবর্তনকে হ্রাস করেছে। আমাদের "পুরুষ" এবং "মহিলা" এর পূর্ববর্তী উদাহরণগুলির জন্য, আপেক্ষিক ফ্রিকোয়েন্সি হ্রাস 1% এবং -1% হয়েছে, যেখানে তাদের পূর্ববর্তী মানগুলি যথাক্রমে 14% এবং 6% ছিল৷ যদিও এই মেট্রিকটি প্রকৃত ফিল্টারিং পক্ষপাতের জন্য একটি প্রক্সি, এটি আশ্বস্ত করে যে আমাদের চিত্র-ভিত্তিক রিওয়েটিং স্কিমটি আসলে একটি পাঠ্য-ভিত্তিক মেট্রিককে এত উল্লেখযোগ্যভাবে উন্নত করে।
মডেলের আচরণের বৃহত্তর মূল্যায়ন এবং ফিল্টারিং কীভাবে পক্ষপাতিত্ব এবং সক্ষমতা বিকাশকে প্রভাবিত করে তার তদন্তের মাধ্যমে আমরা DALL·E 2-এ অবশিষ্ট পক্ষপাতের তদন্ত চালিয়ে যাচ্ছি।
ইমেজ পুনর্গঠন প্রতিরোধ
আমরা লক্ষ্য করেছি যে DALL·E 2-এর আমাদের অভ্যন্তরীণ পূর্বসূরিরা কখনও কখনও প্রশিক্ষণ চিত্রগুলিকে মৌখিকভাবে পুনরুত্পাদন করবে। এই আচরণটি অবাঞ্ছিত ছিল, যেহেতু আমরা চাই DALL·E 2 ডিফল্টরূপে আসল, অনন্য ছবি তৈরি করুক এবং শুধুমাত্র বিদ্যমান ছবিগুলির টুকরো "একসাথে সেলাই" না করে৷ অতিরিক্তভাবে, প্রশিক্ষণের ছবিগুলি মৌখিকভাবে পুনরুত্পাদন করা কপিরাইট লঙ্ঘন, মালিকানা এবং গোপনীয়তার বিষয়ে আইনি প্রশ্ন তুলতে পারে (যদি প্রশিক্ষণের ডেটাতে লোকেদের ফটো উপস্থিত থাকে)।
ইমেজ রিগারজিটেশনের সমস্যাটি আরও ভালোভাবে বোঝার জন্য, আমরা প্রম্পটের একটি ডেটাসেট সংগ্রহ করেছি যা প্রায়শই ডুপ্লিকেট ইমেজ তৈরি করে। এটি করার জন্য, আমরা আমাদের প্রশিক্ষণ ডেটাসেট থেকে 50,000টি প্রম্পটের জন্য চিত্রের নমুনা দেওয়ার জন্য একটি প্রশিক্ষিত মডেল ব্যবহার করেছি এবং সংশ্লিষ্ট প্রশিক্ষণ চিত্রের সাথে উপলব্ধিগত সাদৃশ্য দ্বারা নমুনাগুলিকে সাজিয়েছি। অবশেষে, আমরা হাতে হাতে শীর্ষ ম্যাচগুলি পরিদর্শন করেছি, 50k মোট প্রম্পটের মধ্যে মাত্র কয়েকশ সত্য ডুপ্লিকেট জোড়া খুঁজে পেয়েছি। যদিও regurgitation হার 1% এর কম বলে মনে হয়েছিল, আমরা মনে করেছি যে উপরে উল্লিখিত কারণগুলির জন্য এই হারকে 0-এ নামিয়ে আনা প্রয়োজন।
যখন আমরা আমাদের পুনর্গঠিত চিত্রগুলির ডেটাসেট অধ্যয়ন করেছি, তখন আমরা দুটি নিদর্শন লক্ষ্য করেছি৷ প্রথমত, ইমেজগুলো ছিল প্রায় সব সাধারণ ভেক্টর গ্রাফিক্স, যেগুলো কম তথ্যের কারণে মনে রাখা সহজ ছিল। দ্বিতীয়ত, এবং আরও গুরুত্বপূর্ণভাবে, প্রশিক্ষণ ডেটাসেটে সমস্ত চিত্রগুলির অনেকগুলি প্রায়-সদৃশ ছিল৷ উদাহরণস্বরূপ, একটি ভেক্টর গ্রাফিক থাকতে পারে যা দেখতে একটি ঘড়ির মতো দেখায় যা 1 টা বাজে - কিন্তু তারপরে আমরা একটি প্রশিক্ষণের নমুনা আবিষ্কার করব যেখানে একই ঘড়িটি 2 টা বাজে এবং তারপর 3 বাজে ইত্যাদি দেখায়। আমরা এটি উপলব্ধি করেছি, আমরা একটি বিতরণ করা নিকটতম প্রতিবেশী অনুসন্ধান ব্যবহার করে যাচাই করেছি যে, প্রকৃতপক্ষে, সমস্ত পুনর্গঠিত চিত্রগুলি ডেটাসেটে অনুরূপভাবে অনুরূপ অনুরূপ ছিল৷ অন্যান্য কাজ বৃহৎ ভাষার মডেলগুলিতে অনুরূপ ঘটনা পর্যবেক্ষণ করেছেন, খুঁজে পেয়েছেন যে ডেটা অনুলিপি মুখস্তকরণের সাথে দৃঢ়ভাবে যুক্ত।
উপরের অনুসন্ধানগুলি পরামর্শ দিয়েছে যে, যদি আমরা আমাদের ডেটাসেটটি অনুলিপি করি, তাহলে আমরা রিগারজিটেশন সমস্যা সমাধান করতে পারি। এটি অর্জন করার জন্য, আমরা একটি নিউরাল নেটওয়ার্ক ব্যবহার করার পরিকল্পনা করেছি যেগুলি একই রকমের ছবিগুলির গোষ্ঠী সনাক্ত করতে এবং তারপরে প্রতিটি গোষ্ঠী থেকে একটি ছবি বাদে সবগুলি সরিয়ে ফেলতে হবে৷[2] যাইহোক, এটি প্রতিটি ছবির জন্য চেক করতে হবে, এটি ডেটাসেটের অন্য প্রতিটি ছবির ডুপ্লিকেট কিনা। যেহেতু আমাদের পুরো ডেটাসেটে লক্ষ লক্ষ ছবি রয়েছে, তাই সমস্ত সদৃশগুলি খুঁজে পেতে আমাদের নির্বোধভাবে শত শত চতুর্ভুজ ছবি জোড়া পরীক্ষা করতে হবে। যদিও এটি প্রযুক্তিগতভাবে নাগালের মধ্যে, বিশেষ করে একটি বড় কম্পিউট ক্লাস্টারে, আমরা একটি অনেক বেশি দক্ষ বিকল্প খুঁজে পেয়েছি যা খরচের একটি ছোট ভগ্নাংশে প্রায় পাশাপাশি কাজ করে।
ডিডপ্লিকেশন করার আগে আমরা আমাদের ডেটাসেট ক্লাস্টার করলে কী হবে তা বিবেচনা করুন। যেহেতু কাছাকাছি নমুনাগুলি প্রায়শই একই ক্লাস্টারে পড়ে, তাই বেশিরভাগ ডুপ্লিকেট জোড়া ক্লাস্টারের সিদ্ধান্তের সীমানা অতিক্রম করবে না। আমরা তখন ক্লাস্টারের বাইরের সদৃশগুলির জন্য পরীক্ষা না করে প্রতিটি ক্লাস্টারের মধ্যে নমুনাগুলি কেটে ফেলতে পারি, যখন সমস্ত সদৃশ জোড়ার একটি ছোট ভগ্নাংশ অনুপস্থিত থাকে৷ এটি নিষ্পাপ পদ্ধতির চেয়ে অনেক দ্রুত, যেহেতু আমাদের আর প্রতিটি এক জোড়া চিত্র পরীক্ষা করতে হবে না।[3] যখন আমরা আমাদের ডেটার একটি ছোট উপসেটে এই পদ্ধতিটি পরীক্ষামূলকভাবে পরীক্ষা করেছি, তখন এটি ব্যবহার করার সময় সমস্ত সদৃশ জোড়ার 85% পাওয়া গেছে K = 1024 গুচ্ছ
উপরের অ্যালগরিদমের সাফল্যের হার উন্নত করার জন্য, আমরা একটি মূল পর্যবেক্ষণের সুবিধা নিয়েছি: যখন আপনি একটি ডেটাসেটের বিভিন্ন এলোমেলো উপসেটগুলিকে ক্লাস্টার করেন, ফলে ক্লাস্টার সিদ্ধান্তের সীমানাগুলি প্রায়শই বেশ ভিন্ন হয়৷ অতএব, যদি একটি ডুপ্লিকেট জোড়া ডেটার একটি ক্লাস্টারিংয়ের জন্য একটি ক্লাস্টার সীমানা অতিক্রম করে, তবে একই জোড়া একটি আলাদা ক্লাস্টারিং-এ একটি একক ক্লাস্টারের মধ্যে পড়তে পারে। আপনি যত বেশি ক্লাস্টারিং চেষ্টা করবেন, প্রদত্ত সদৃশ জোড়া আবিষ্কার করার সম্ভাবনা তত বেশি। অনুশীলনে, আমরা পাঁচটি ক্লাস্টারিং ব্যবহার করার বিষয়ে স্থির হয়েছি, যার অর্থ হল আমরা পাঁচটি ভিন্ন ক্লাস্টারের মিলনে প্রতিটি চিত্রের সদৃশ অনুসন্ধান করি। অনুশীলনে, এটি আমাদের ডেটার একটি উপসেটে সমস্ত সদৃশ জোড়ার 97% পাওয়া গেছে।
আশ্চর্যজনকভাবে, আমাদের ডেটাসেটের প্রায় এক চতুর্থাংশ ডিডপ্লিকেশনের মাধ্যমে সরানো হয়েছে। যখন আমরা কাছাকাছি-সদৃশ জোড়ার দিকে তাকাই যেগুলি পাওয়া গেছে, তাদের মধ্যে অনেকগুলি অর্থপূর্ণ পরিবর্তন অন্তর্ভুক্ত করেছে। উপরে থেকে ঘড়ির উদাহরণটি স্মরণ করুন: ডেটাসেটে দিনের বিভিন্ন সময়ে একই ঘড়ির অনেকগুলি চিত্র অন্তর্ভুক্ত থাকতে পারে। যদিও এই চিত্রগুলি মডেলটিকে এই নির্দিষ্ট ঘড়িটির চেহারা মনে রাখতে পারে, তারা মডেলটিকে ঘড়িতে দিনের সময়ের মধ্যে পার্থক্য করতে শিখতেও সাহায্য করতে পারে। কতটা ডেটা মুছে ফেলা হয়েছে তা বিবেচনা করে, আমরা উদ্বিগ্ন ছিলাম যে এই ধরনের ছবিগুলি সরানো হলে মডেলের কর্মক্ষমতা ক্ষতিগ্রস্ত হতে পারে।
আমাদের মডেলগুলিতে অনুকরণের প্রভাব পরীক্ষা করার জন্য, আমরা অভিন্ন হাইপারপ্যারামিটার সহ দুটি মডেলকে প্রশিক্ষণ দিয়েছি: একটি সম্পূর্ণ ডেটাসেটে এবং একটি ডেটাসেটের অনুলিপি করা সংস্করণে৷ মডেলগুলির তুলনা করার জন্য, আমরা আমাদের আসল গ্লাইড মডেলের মূল্যায়ন করার জন্য একই মানব মূল্যায়ন ব্যবহার করেছি। আশ্চর্যজনকভাবে, আমরা খুঁজে পেয়েছি যে মানব মূল্যায়নকারীরা সামান্য পছন্দের মডেলটি অনুলিপিকৃত ডেটার উপর প্রশিক্ষিত, পরামর্শ দেয় যে ডেটাসেটে প্রচুর পরিমাণে অপ্রয়োজনীয় ছবি আসলে কার্যক্ষমতাকে ক্ষতিগ্রস্ত করছে।
একবার আমরা একটি মডেলের অনুলিপিকৃত ডেটার উপর প্রশিক্ষিত হওয়ার পরে, আমরা প্রশিক্ষণ ডেটাসেট থেকে পূর্বে 50k এর বেশি প্রম্পট করেছিলাম তা আমরা পুনরায় সাজিয়েছি। আমরা দেখেছি যে প্রশিক্ষণ ডেটাসেট থেকে চিত্রটির জন্য সঠিক প্রম্পট দেওয়া হলে নতুন মডেলটি কখনই একটি প্রশিক্ষণ চিত্রকে পুনর্গঠিত করেনি। এই পরীক্ষাটিকে আরও একটি ধাপ এগিয়ে নেওয়ার জন্য, আমরা 50k জেনারেট করা চিত্রগুলির প্রতিটির জন্য সমগ্র প্রশিক্ষণ ডেটাসেটে একটি নিকটতম প্রতিবেশী অনুসন্ধানও করেছি৷ এইভাবে, আমরা ভেবেছিলাম যে আমরা প্রদত্ত প্রম্পটের সাথে যুক্ত একটির চেয়ে আলাদা একটি চিত্রের পুনর্গঠনকারী মডেলটিকে ধরতে পারি। এমনকি এই আরও পুঙ্খানুপুঙ্খ চেক করার পরেও, আমরা কখনই চিত্র পুনর্গঠনের ঘটনা খুঁজে পাইনি।
পরবর্তী পদক্ষেপ
যদিও উপরে আলোচনা করা সমস্ত প্রশমন DALL·E 2 এর সাথে সম্পর্কিত ঝুঁকিগুলি হ্রাস করার লক্ষ্যে উল্লেখযোগ্য অগ্রগতির প্রতিনিধিত্ব করে, প্রতিটি প্রশমনে এখনও উন্নতি করার জায়গা রয়েছে:
- আরও ভাল প্রাক-প্রশিক্ষণ ফিল্টারগুলি আমাদের আরও ডেটার উপর DALL·E 2 প্রশিক্ষিত করতে এবং মডেলের পক্ষপাত কমাতে পারে। আমাদের বর্তমান ফিল্টারগুলি অনেক মিথ্যা ইতিবাচক মূল্যে একটি কম মিস-রেটের জন্য টিউন করা হয়েছে৷ ফলস্বরূপ, আমরা আমাদের সম্পূর্ণ ডেটাসেটের প্রায় 5% ফিল্টার আউট করেছি যদিও এই ফিল্টার করা ছবিগুলির বেশিরভাগই আমাদের বিষয়বস্তু নীতি লঙ্ঘন করে না। আমাদের ফিল্টার উন্নত করা আমাদের এই প্রশিক্ষণের কিছু ডেটা পুনরুদ্ধার করার অনুমতি দিতে পারে।
- সিস্টেমের বিকাশ এবং স্থাপনার অনেক পর্যায়ে পক্ষপাত প্রবর্তিত এবং সম্ভাব্যভাবে পরিবর্ধিত হয়। DALL·E 2-এর মতো সিস্টেমে পক্ষপাতিত্বের মূল্যায়ন করা এবং প্রশমিত করা এবং এই পক্ষপাতের দ্বারা সৃষ্ট ক্ষতি একটি গুরুত্বপূর্ণ আন্তঃবিভাগীয় সমস্যা যা আমরা আমাদের বৃহত্তর মিশনের অংশ হিসেবে OpenAI-তে অধ্যয়ন চালিয়ে যাচ্ছি। এই বিষয়ে আমাদের কাজের মধ্যে রয়েছে সমস্যাটি আরও ভালভাবে বোঝার জন্য মূল্যায়ন তৈরি করা, নতুন ডেটাসেট তৈরি করা, এবং আরও শক্তিশালী এবং প্রতিনিধিত্বমূলক প্রযুক্তি তৈরি করতে মানুষের প্রতিক্রিয়া এবং সূক্ষ্ম-টিউনিংয়ের মতো কৌশল প্রয়োগ করা।
- এটাও গুরুত্বপূর্ণ যে আমরা গভীর শিক্ষা ব্যবস্থায় মুখস্থ এবং সাধারণীকরণ অধ্যয়ন চালিয়ে যাই। যদিও ডিডপ্লিকেশন হল মুখস্থ রোধ করার জন্য একটি ভাল প্রথম পদক্ষেপ, এটি কেন বা কীভাবে DALL·E 2-এর মতো মডেলগুলি প্রশিক্ষণের ডেটা মুখস্থ করে সে সম্পর্কে শেখার জন্য যা আছে তা আমাদের জানায় না।
- 000
- 2019
- a
- সম্পর্কে
- হিসাব
- অর্জন করা
- দিয়ে
- সক্রিয়
- ঠিকানা
- প্রভাবিত
- অ্যালগরিদম
- সব
- অনুমতি
- অনুমতি
- ইতিমধ্যে
- বিকল্প
- সর্বদা
- পরিমাণ
- অন্য
- হাজির
- ফলিত
- প্রয়োগ করা হচ্ছে
- অভিগমন
- কাছাকাছি
- নির্ধারিত
- যুক্ত
- পাঠকবর্গ
- কারণ
- আগে
- হচ্ছে
- উত্তম
- মধ্যে
- তার পরেও
- নির্মাণ করা
- ভবন
- ক্ষমতা
- ক্যাপশন
- কেস
- মামলা
- দঙ্গল
- বিভাগ
- ঘটিত
- কিছু
- পরিবর্তন
- পরীক্ষণ
- বেছে নিন
- শ্রেণী
- শ্রেণীবিন্যাস
- শ্রেণীবদ্ধ
- ঘড়ি
- সংগ্রহ
- তুলনা
- গনা
- কম্পিউটিং
- ধারণা
- বিবেচনা
- ধারণ
- বিষয়বস্তু
- প্রসঙ্গ
- অবিরত
- কপিরাইট
- কপিরাইট লঙ্ঘন
- অনুরূপ
- পারা
- সৃষ্টি
- নির্মিত
- তৈরি করা হচ্ছে
- কঠোর
- বর্তমান
- এখন
- উপাত্ত
- দিন
- দিন
- রায়
- গভীর
- জনসংখ্যার উপাত্ত
- বিস্তৃতি
- বর্ণনা করা
- সত্ত্বেও
- উন্নয়ন
- বিভিন্ন
- কঠিন
- সরাসরি
- আবিষ্কার করা
- আবিষ্কৃত
- দূরত্ব
- বণ্টিত
- বিতরণ
- নিচে
- সদৃশ
- সময়
- প্রতি
- প্রভাব
- কার্যকরীভাবে
- কার্যকারিতা
- প্রভাব
- দক্ষ
- প্রচেষ্টা
- উদ্দীপক
- বিশেষত
- মূলত
- হিসাব
- ইত্যাদি
- মূল্যায়ন
- সব
- উদাহরণ
- উদাহরণ
- কেবলমাত্র
- বিদ্যমান
- আশা করা
- প্রত্যাশিত
- দ্রুত
- বৈশিষ্ট্য
- বৈশিষ্ট্য
- প্রতিক্রিয়া
- ব্যক্তিত্ব
- ফিল্টারিং
- ফিল্টার
- পরিশেষে
- আবিষ্কার
- প্রথম
- ঠিক করা
- গুরুত্ত্ব
- অনুসরণ
- পাওয়া
- থেকে
- সম্পূর্ণ
- ক্রিয়া
- অধিকতর
- জমায়েত
- লিঙ্গ
- সাধারণ
- সাধারণত
- উত্পাদন করা
- উত্পন্ন
- প্রজন্ম
- প্রজন্ম
- সৃজক
- লক্ষ্য
- ভাল
- জিপিইউ
- গ্রাফিক্স
- গ্রুপ
- গ্রুপের
- নিশ্চিত
- থাবা
- সাহায্য
- সাহায্য
- এখানে
- উচ্চ
- কিভাবে
- যাহোক
- HTTPS দ্বারা
- মানবীয়
- মানুষেরা
- শত শত
- ধারণা
- সনাক্ত করা
- ভাবমূর্তি
- চিত্র
- বাস্তবায়ন
- বাস্তবায়িত
- গুরুত্বপূর্ণ
- উন্নত করা
- উন্নত
- উন্নতি
- অন্তর্ভুক্ত করা
- অন্তর্ভুক্ত
- অন্তর্ভুক্ত
- সুদ্ধ
- তথ্য
- পরিকাঠামো
- উদাহরণ
- Internet
- তদন্ত করা
- সমস্যা
- IT
- নিজেই
- চাবি
- লেবেল
- লেবেল
- লেবেলগুলি
- ভাষা
- বড়
- বৃহত্তর
- শিখতে
- জ্ঞানী
- শিক্ষা
- আইনগত
- সম্ভবত
- দেখুন
- তাকিয়ে
- করা
- ছাপ
- ম্যাচ
- অর্থপূর্ণ
- মানে
- মাপ
- পরিমাপ
- পুরুষদের
- হতে পারে
- সামরিক
- লক্ষ লক্ষ
- মিশন
- মডেল
- মডেল
- অধিক
- সেতু
- গুণমান
- প্রকৃতি
- প্রয়োজনীয়
- নেতিবাচক
- নেটওয়ার্ক
- সংখ্যা
- ক্রম
- সংগঠিত
- মূল
- অন্যান্য
- মালিকানা
- অংশ
- বিশেষ
- কর্মক্ষমতা
- করণ
- ফেজ
- টুকরা
- পরিকল্পিত
- নীতি
- ধনাত্মক
- সম্ভব
- সম্ভাব্য
- ক্ষমতাশালী
- অনুশীলন
- ভবিষ্যদ্বাণী করা
- ভবিষ্যদ্বাণী
- বর্তমান
- নিরোধক
- আগে
- গোপনীয়তা
- প্রোবের
- সমস্যা
- প্রক্রিয়া
- উৎপাদন করা
- প্রযোজনা
- আপত্তি
- প্রক্সি
- সিকি
- বৃদ্ধি
- নাগাল
- প্রতীত
- কারণে
- হ্রাস করা
- হ্রাসপ্রাপ্ত
- হ্রাস
- প্রতিফলিত করা
- প্রতিফলন
- অবশিষ্ট
- সরানোর
- চিত্রিত করা
- প্রতিনিধিত্ব
- প্রতিনিধি
- অনুরোধ
- প্রয়োজন
- প্রয়োজন
- প্রতিক্রিয়া
- ফলে এবং
- প্রত্যাবর্তন
- ঝুঁকি
- চালান
- একই
- স্কেল
- পরিকল্পনা
- সার্চ
- সেট
- আকার
- শেয়ার
- পরিবর্তন
- গুরুত্বপূর্ণ
- অনুরূপ
- সহজ
- থেকে
- একক
- আয়তন
- ছোট
- So
- সমাধান
- কিছু
- কিছু
- স্থান
- প্রশিক্ষণ
- বিশেষভাবে
- সবিস্তার বিবরণী
- টুকরা
- ইন্টার্নশিপ
- শুরু
- বিবৃত
- এখনো
- অধ্যয়ন
- সাফল্য
- পদ্ধতি
- সিস্টেম
- গ্রহণ
- প্রযুক্তি
- প্রযুক্তি
- পরীক্ষা
- সার্জারির
- অতএব
- কিছু
- পুঙ্খানুপুঙ্খভাবে
- তিন
- গোবরাট
- দ্বারা
- সময়
- বার
- টুল
- শীর্ষ
- প্রতি
- রেলগাড়ি
- প্রশিক্ষণ
- বোঝা
- মিলন
- অনন্য
- us
- ব্যবহার
- বৈধতা
- বিভিন্ন
- যাচাই
- সংস্করণ
- চেয়েছিলেন
- কি
- কিনা
- যখন
- মধ্যে
- ছাড়া
- নারী
- হয়া যাই ?
- কাজ
- চিন্তিত
- would
- X