NeurIPS 2023: আমন্ত্রিত আলোচনা থেকে মূল টেকওয়ে

মিডজার্নি দিয়ে তৈরি

নিউ অরলিন্সের প্রাণবন্ত শহর 2023 থেকে 10 ই ডিসেম্বর পর্যন্ত অনুষ্ঠিত NeurIPS 16 কনফারেন্সে জেনারেটিভ AI এবং বড় ভাষা মডেলের (LLMs) উপর বিশেষ জোর দেওয়া হয়েছিল। এই ডোমেনে সাম্প্রতিক যুগান্তকারী অগ্রগতির আলোকে, এই বিষয়গুলি আলোচনায় আধিপত্য বিস্তার করে এতে অবাক হওয়ার কিছু নেই।

এই বছরের সম্মেলনের মূল থিমগুলির মধ্যে একটি ছিল আরও দক্ষ এআই সিস্টেমের সন্ধান। গবেষক এবং বিকাশকারীরা সক্রিয়ভাবে AI তৈরির উপায় খুঁজছেন যা শুধুমাত্র বর্তমান LLM-এর চেয়ে দ্রুত শেখে না বরং কম কম্পিউটিং সংস্থানগুলি ব্যবহার করার সময় উন্নত যুক্তির ক্ষমতাও রাখে। কৃত্রিম সাধারণ বুদ্ধিমত্তা (AGI) অর্জনের দৌড়ে এই সাধনা অত্যন্ত গুরুত্বপূর্ণ, একটি লক্ষ্য যা অদূর ভবিষ্যতে ক্রমবর্ধমানভাবে অর্জনযোগ্য বলে মনে হয়।

NeurIPS 2023-এ আমন্ত্রিত আলোচনা এই গতিশীল এবং দ্রুত বিকশিত আগ্রহের প্রতিফলন। এআই গবেষণার বিভিন্ন ক্ষেত্রের উপস্থাপকরা তাদের সর্বশেষ কৃতিত্ব শেয়ার করেছেন, অত্যাধুনিক এআই উন্নয়নের একটি উইন্ডো অফার করে। এই প্রবন্ধে, আমরা এই আলোচনাগুলি নিয়ে আলোচনা করব, মূল টেকওয়ে এবং শেখার বিষয়ে আলোচনা করব, যা AI উদ্ভাবনের বর্তমান এবং ভবিষ্যতের ল্যান্ডস্কেপ বোঝার জন্য অপরিহার্য।

NextGenAI: স্কেলিং এর বিভ্রম এবং জেনারেটিভ এআই এর ভবিষ্যত 

In তার কথা, মিউনিখের লুডউইগ ম্যাক্সিমিলিয়ান ইউনিভার্সিটির কম্পিউটার ভিশন অ্যান্ড লার্নিং গ্রুপের প্রধান বজর্ন ওমার, কীভাবে তার ল্যাব স্থিতিশীল ডিফিউশন বিকাশ করতে এসেছিল, এই প্রক্রিয়া থেকে তারা কিছু পাঠ শিখেছে এবং সাম্প্রতিক উন্নয়নগুলি, যার সাথে আমরা কীভাবে ডিফিউশন মডেলগুলিকে মিশ্রিত করতে পারি তা সহ শেয়ার করেছেন। ফ্লো ম্যাচিং, পুনরুদ্ধার বৃদ্ধি, এবং LoRA অনুমান, অন্যদের মধ্যে।

কী Takeaways:

• জেনারেটিভ এআই-এর যুগে, আমরা দৃষ্টি মডেলে উপলব্ধির উপর ফোকাস (অর্থাৎ, বস্তুর স্বীকৃতি) থেকে অনুপস্থিত অংশগুলির ভবিষ্যদ্বাণী করার দিকে চলে এসেছি (যেমন, বিচ্ছুরণ মডেল সহ চিত্র এবং ভিডিও তৈরি করা)।
• 20 বছর ধরে, কম্পিউটার দৃষ্টি বেঞ্চমার্ক গবেষণার উপর দৃষ্টি নিবদ্ধ করেছিল, যা সবচেয়ে বিশিষ্ট সমস্যাগুলিতে ফোকাস করতে সাহায্য করেছিল। জেনারেটিভ এআই-তে, আমাদের কাছে অপ্টিমাইজ করার মতো কোনো বেঞ্চমার্ক নেই, যা প্রত্যেকের নিজস্ব পথে যাওয়ার ক্ষেত্র খুলে দিয়েছে।
• ডিফিউশন মডেলগুলি একটি স্থিতিশীল প্রশিক্ষণ পদ্ধতি এবং দক্ষ নমুনা সম্পাদনার মাধ্যমে স্কোর-ভিত্তিক হওয়ার মাধ্যমে পূর্ববর্তী জেনারেটিভ মডেলগুলির সুবিধাগুলিকে একত্রিত করে, তবে তাদের দীর্ঘ মার্কভ চেইনের কারণে সেগুলি ব্যয়বহুল।
• দৃঢ় সম্ভাবনার মডেলগুলির সাথে চ্যালেঞ্জ হল যে বেশিরভাগ বিটগুলি এমন বিশদগুলিতে যায় যা মানুষের চোখে খুব কমই অনুধাবন করা যায়, যখন শব্দার্থবিদ্যা এনকোডিং, যা সবচেয়ে গুরুত্বপূর্ণ, শুধুমাত্র কয়েকটি বিট লাগে। একা স্কেলিং এই সমস্যার সমাধান করবে না কারণ কম্পিউটিং সংস্থানগুলির চাহিদা GPU সরবরাহের চেয়ে 9 গুণ দ্রুত বাড়ছে।
• প্রস্তাবিত সমাধানটি হল ডিফিউশন মডেল এবং কনভনেটের শক্তিগুলিকে একত্রিত করা, বিশেষ করে স্থানীয় বিশদ উপস্থাপনের জন্য কনভলিউশনের দক্ষতা এবং দীর্ঘ-পরিসরের প্রসঙ্গের জন্য ডিফিউশন মডেলগুলির অভিব্যক্তি।
• Björn Ommer এছাড়াও ছোট সুপ্ত প্রসারণ মডেল থেকে উচ্চ-রেজোলিউশন ইমেজ সংশ্লেষণ সক্ষম করতে একটি ফ্লো-ম্যাচিং পদ্ধতি ব্যবহার করার পরামর্শ দেন।
• চিত্র সংশ্লেষণের দক্ষতা বাড়ানোর আরেকটি পদ্ধতি হল বিবরণ পূরণ করার জন্য পুনরুদ্ধার বৃদ্ধি ব্যবহার করার সময় দৃশ্য রচনার উপর ফোকাস করা।
• অবশেষে, তিনি নিয়ন্ত্রিত স্টোকাস্টিক ভিডিও সংশ্লেষণের জন্য iPoke পদ্ধতির প্রবর্তন করেন।

যদি এই গভীর বিষয়বস্তু আপনার জন্য উপযোগী হয়, আমাদের AI মেলিং লিস্টে সাবস্ক্রাইব করুন সতর্কতা অবলম্বন করার জন্য যখন আমরা নতুন উপাদান প্রকাশ করি। 

দায়িত্বশীল এআই-এর অনেকগুলো মুখ 

In তার উপস্থাপনা, লোরা আরয়ো, গুগল রিসার্চের একজন গবেষণা বিজ্ঞানী, প্রথাগত মেশিন লার্নিং পদ্ধতির একটি মূল সীমাবদ্ধতা তুলে ধরেছেন: ইতিবাচক বা নেতিবাচক উদাহরণ হিসাবে ডেটার বাইনারি শ্রেণীকরণের উপর তাদের নির্ভরতা। এই অতি সরলীকরণ, তিনি যুক্তি দিয়েছিলেন, বাস্তব-বিশ্বের পরিস্থিতি এবং বিষয়বস্তুর অন্তর্নিহিত জটিল বিষয়বস্তুকে উপেক্ষা করে। বিভিন্ন ব্যবহারের ক্ষেত্রে, Aroyo দেখিয়েছেন কিভাবে বিষয়বস্তুর অস্পষ্টতা এবং মানুষের দৃষ্টিভঙ্গির স্বাভাবিক ভিন্নতা প্রায়ই অনিবার্য মতবিরোধের দিকে নিয়ে যায়। তিনি এই মতবিরোধকে নিছক শব্দের পরিবর্তে অর্থবহ সংকেত হিসাবে বিবেচনা করার গুরুত্বের উপর জোর দিয়েছিলেন।

এখানে আলোচনা থেকে মূল টেকওয়ে আছে:

• মানব শ্রমিকদের মধ্যে মতানৈক্য ফলদায়ক হতে পারে। সমস্ত প্রতিক্রিয়াকে সঠিক বা ভুল হিসাবে বিবেচনা করার পরিবর্তে, লোরা আরয়ো "অসম্মতির দ্বারা সত্য" প্রবর্তন করেছিলেন, রেটারের মতবিরোধকে কাজে লাগিয়ে ডেটার নির্ভরযোগ্যতা মূল্যায়নের জন্য বিতরণমূলক সত্যের একটি পদ্ধতি।
• এমনকি বিশেষজ্ঞদের কাছেও ডেটার গুণমান কঠিন কারণ বিশেষজ্ঞরা ভিড় শ্রমিকদের মতই একমত নন। এই মতবিরোধগুলি একক বিশেষজ্ঞের প্রতিক্রিয়াগুলির চেয়ে অনেক বেশি তথ্যপূর্ণ হতে পারে।
  • নিরাপত্তা মূল্যায়ন কর্মে, বিশেষজ্ঞরা 40% উদাহরণের সাথে একমত নন। এই মতপার্থক্যগুলি সমাধান করার চেষ্টা করার পরিবর্তে, আমাদের এই ধরনের আরও উদাহরণ সংগ্রহ করতে হবে এবং মডেল এবং মূল্যায়ন মেট্রিক্স উন্নত করতে তাদের ব্যবহার করতে হবে।
• লোরা আরয়োও তাদের উপস্থাপন করেন বৈচিত্র্য সহ নিরাপত্তা এটিতে কী আছে এবং কে এটি টীকা করেছে তার পরিপ্রেক্ষিতে ডেটা যাচাই করার পদ্ধতি।
  • এই পদ্ধতিটি রেটারের বিভিন্ন জনসংখ্যাগত গোষ্ঠী (মোট 2.5 মিলিয়ন রেটিং) জুড়ে এলএলএম সুরক্ষা বিচারের পরিবর্তনশীলতার সাথে একটি বেঞ্চমার্ক ডেটাসেট তৈরি করেছে।
  • 20% কথোপকথনের জন্য, চ্যাটবট প্রতিক্রিয়া নিরাপদ বা অনিরাপদ কিনা তা নির্ধারণ করা কঠিন ছিল, কারণ সেখানে মোটামুটি সমান সংখ্যক উত্তরদাতা তাদের নিরাপদ বা অনিরাপদ হিসাবে লেবেল করেছেন।
• রেটার এবং ডেটার বৈচিত্র্য মডেল মূল্যায়নে একটি গুরুত্বপূর্ণ ভূমিকা পালন করে। মানুষের দৃষ্টিভঙ্গির বিস্তৃত পরিসরকে স্বীকার করতে ব্যর্থ হওয়া এবং বিষয়বস্তুতে উপস্থিত অস্পষ্টতা বাস্তব-বিশ্বের প্রত্যাশার সাথে মেশিন লার্নিং পারফরম্যান্সের প্রান্তিককরণকে বাধাগ্রস্ত করতে পারে।
• AI সুরক্ষা প্রচেষ্টার 80% ইতিমধ্যেই বেশ ভাল, কিন্তু বাকি 20% এজ কেস এবং বৈচিত্র্যের অসীম স্থানের সমস্ত রূপগুলিকে মোকাবেলা করার প্রচেষ্টাকে দ্বিগুণ করতে হবে।

সমন্বিত পরিসংখ্যান, স্ব-উত্পাদিত অভিজ্ঞতা এবং কেন তরুণরা বর্তমান AI এর চেয়ে অনেক বেশি স্মার্ট 

In তার কথা, লিন্ডা স্মিথ, ইন্ডিয়ানা ইউনিভার্সিটি ব্লুমিংটনের একজন বিশিষ্ট অধ্যাপক, শিশু এবং ছোট বাচ্চাদের শেখার প্রক্রিয়ায় ডেটা স্পারসিটির বিষয়টি অন্বেষণ করেছেন। তিনি বিশেষভাবে অবজেক্ট রিকগনিশন এবং নাম শেখার উপর দৃষ্টি নিবদ্ধ করেছেন, কীভাবে শিশুর দ্বারা স্ব-উত্পাদিত অভিজ্ঞতার পরিসংখ্যান ডেটা স্প্যার্সিটির চ্যালেঞ্জের সম্ভাব্য সমাধান প্রদান করে তা আবিষ্কার করে।

কী Takeaways:

• তিন বছর বয়সের মধ্যে, শিশুরা বিভিন্ন ডোমেনে এক-শট লার্নার হওয়ার ক্ষমতা তৈরি করে। তাদের চতুর্থ জন্মদিন পর্যন্ত 16,000-এরও কম সময় জেগে ওঠার মধ্যে, তারা 1,000টিরও বেশি অবজেক্ট ক্যাটাগরি শিখতে, তাদের স্থানীয় ভাষার সিনট্যাক্স আয়ত্ত করতে এবং তাদের পরিবেশের সাংস্কৃতিক ও সামাজিক সূক্ষ্মতাগুলিকে শোষণ করতে পরিচালনা করে।
• ডঃ লিন্ডা স্মিথ এবং তার দল মানব শিক্ষার তিনটি নীতি আবিষ্কার করেছে যা শিশুদের এই ধরনের বিক্ষিপ্ত তথ্য থেকে অনেক কিছু ক্যাপচার করতে দেয়:
  • শিক্ষার্থীরা ইনপুটকে নিয়ন্ত্রণ করে, মুহূর্তের মধ্যে তারা ইনপুটকে আকার দিচ্ছে এবং গঠন করছে। উদাহরণস্বরূপ, তাদের জীবনের প্রথম কয়েক মাসে, শিশুরা সাধারণ প্রান্তযুক্ত বস্তুর দিকে বেশি নজর দেয়।
  • যেহেতু শিশুরা ক্রমাগত তাদের জ্ঞান এবং ক্ষমতার বিকাশ ঘটায়, তাই তারা একটি অত্যন্ত সীমাবদ্ধ পাঠ্যক্রম অনুসরণ করে। তারা যে ডেটা প্রকাশ করে তা গভীরভাবে উল্লেখযোগ্য উপায়ে সংগঠিত হয়। উদাহরণস্বরূপ, 4 মাসের কম বয়সী শিশুরা মুখের দিকে সবচেয়ে বেশি সময় ব্যয় করে, প্রতি ঘন্টায় প্রায় 15 মিনিট, যেখানে 12 মাসের বেশি বয়সীরা প্রাথমিকভাবে হাতে ফোকাস করে, প্রতি ঘন্টায় প্রায় 20 মিনিট ধরে তাদের পর্যবেক্ষণ করে।
  • শেখার পর্বগুলি আন্তঃসংযুক্ত অভিজ্ঞতার একটি সিরিজ নিয়ে গঠিত। স্থানিক এবং অস্থায়ী পারস্পরিক সম্পর্ক সুসংগতি তৈরি করে, যা এককালীন ঘটনা থেকে স্থায়ী স্মৃতি গঠনের সুবিধা দেয়। উদাহরণস্বরূপ, যখন খেলনাগুলির একটি এলোমেলো ভাণ্ডার সহ উপস্থাপন করা হয়, তখন শিশুরা প্রায়শই কয়েকটি 'পছন্দের' খেলনাগুলিতে ফোকাস করে। তারা পুনরাবৃত্তিমূলক নিদর্শন ব্যবহার করে এই খেলনাগুলির সাথে জড়িত থাকে, যা বস্তুর দ্রুত শিখতে সহায়তা করে।
• ক্ষণস্থায়ী (কাজ করা) স্মৃতি সংবেদনশীল ইনপুটের চেয়ে বেশি সময় ধরে থাকে। যে বৈশিষ্ট্যগুলি শেখার প্রক্রিয়াকে উন্নত করে তার মধ্যে রয়েছে মাল্টিমোডালিটি, অ্যাসোসিয়েশন, ভবিষ্যদ্বাণীমূলক সম্পর্ক এবং অতীত স্মৃতির সক্রিয়করণ।
• দ্রুত শেখার জন্য, ডেটা তৈরি করে এমন মেকানিজম এবং শেখার পদ্ধতিগুলির মধ্যে আপনার একটি জোট দরকার।

স্কেচিং: মূল সরঞ্জাম, শেখার-বর্ধন, এবং অভিযোজিত দৃঢ়তা 

জেলনি নেলসন, ইউসি বার্কলে এর ইলেকট্রিক্যাল ইঞ্জিনিয়ারিং এবং কম্পিউটার সায়েন্সের অধ্যাপক, ডেটা 'স্কেচ' ধারণার প্রবর্তন - একটি ডেটাসেটের মেমরি-সংকুচিত উপস্থাপনা যা এখনও দরকারী প্রশ্নের উত্তর দিতে সক্ষম করে। যদিও আলোচনাটি বেশ প্রযুক্তিগত ছিল, এটি সাম্প্রতিক অগ্রগতি সহ কিছু মৌলিক স্কেচিং সরঞ্জামগুলির একটি চমৎকার ওভারভিউ প্রদান করেছে।

মূল টেকওয়ে:

• CountSketch, মূল স্কেচিং টুল, প্রথম 2002 সালে প্রদত্ত আইটেমগুলির প্রবাহ থেকে সবচেয়ে ঘন ঘন আইটেমগুলির একটি ছোট তালিকা রিপোর্ট করে 'ভারী হিটার' সমস্যা সমাধানের জন্য চালু করা হয়েছিল। CountSketch ছিল এই উদ্দেশ্যে ব্যবহৃত প্রথম পরিচিত সাবলাইনার অ্যালগরিদম।
• ভারী হিটারের দুটি নন-স্ট্রিমিং অ্যাপ্লিকেশনের মধ্যে রয়েছে:
  • অভ্যন্তরীণ পয়েন্ট-ভিত্তিক পদ্ধতি (IPM) যা রৈখিক প্রোগ্রামিংয়ের জন্য একটি অ্যাসিম্পটোটিকভাবে দ্রুত পরিচিত অ্যালগরিদম দেয়।
  • হাইপার অ্যাটেনশন পদ্ধতি যা এলএলএম-এ ব্যবহৃত দীর্ঘ প্রসঙ্গগুলির ক্রমবর্ধমান জটিলতার দ্বারা সৃষ্ট কম্পিউটেশনাল চ্যালেঞ্জ মোকাবেলা করে।
• অনেক সাম্প্রতিক কাজ স্কেচ ডিজাইন করার উপর দৃষ্টি নিবদ্ধ করা হয়েছে যা অভিযোজিত মিথস্ক্রিয়ায় শক্তিশালী। প্রধান ধারণা হল অভিযোজিত ডেটা বিশ্লেষণ থেকে অন্তর্দৃষ্টি ব্যবহার করা।

স্কেলিং প্যানেলের বাইরে 

এই বৃহৎ ভাষার মডেলের উপর দুর্দান্ত প্যানেল আলেকজান্ডার রাশ, কর্নেল টেকের একজন সহযোগী অধ্যাপক এবং আলিঙ্গন মুখের একজন গবেষক দ্বারা পরিচালনা করেছিলেন। অন্যান্য অংশগ্রহণকারীদের অন্তর্ভুক্ত:

• আকাঙ্ক্ষা চৌধুরী – সিস্টেম, এলএলএম প্রিট্রেনিং এবং মাল্টিমোডালিটিতে গবেষণার আগ্রহ নিয়ে গুগল ডিপমাইন্ডের গবেষণা বিজ্ঞানী। তিনি PaLM, Gemini, এবং Pathways বিকাশকারী দলের অংশ ছিলেন।
• অ্যাঞ্জেলা ফ্যান - সারিবদ্ধকরণ, ডেটা সেন্টার এবং বহুভাষিকতায় গবেষণার আগ্রহ সহ মেটা জেনারেটিভ এআই-এর গবেষণা বিজ্ঞানী। তিনি লামা-২ এবং মেটা এআই সহকারীর উন্নয়নে অংশগ্রহণ করেছিলেন।
• পার্সি লিয়াং - স্ট্যানফোর্ডের প্রফেসর যিনি স্রষ্টা, ওপেন সোর্স এবং জেনারেটিভ এজেন্টদের নিয়ে গবেষণা করছেন। তিনি স্ট্যানফোর্ডের সেন্টার ফর রিসার্চ অন ফাউন্ডেশন মডেলের (CRFM) পরিচালক এবং টুগেদার এআই-এর প্রতিষ্ঠাতা।

আলোচনাটি চারটি মূল বিষয়ের উপর দৃষ্টি নিবদ্ধ করে: (1) স্থাপত্য এবং প্রকৌশল, (2) ডেটা এবং প্রান্তিককরণ, (3) মূল্যায়ন এবং স্বচ্ছতা এবং (4) নির্মাতা এবং অবদানকারী।

এখানে এই প্যানেল থেকে কিছু টেকওয়ে আছে:

• বর্তমান ভাষা মডেল প্রশিক্ষণ সহজাতভাবে কঠিন নয়. Llama-2-7b-এর মতো একটি মডেলকে প্রশিক্ষণ দেওয়ার ক্ষেত্রে প্রধান চ্যালেঞ্জ হল অবকাঠামোগত প্রয়োজনীয়তা এবং একাধিক GPU, ডেটা সেন্টার, ইত্যাদির মধ্যে সমন্বয় সাধনের প্রয়োজনীয়তার মধ্যে। যাইহোক, যদি পরামিতির সংখ্যা একটি একক GPU-তে প্রশিক্ষণের অনুমতি দেওয়ার জন্য যথেষ্ট কম হয়, এমনকি একজন স্নাতক এটি পরিচালনা করতে পারে।
• যদিও অটোরিগ্রেসিভ মডেলগুলি সাধারণত টেক্সট জেনারেশন এবং ডিফিউশন মডেলের জন্য ইমেজ এবং ভিডিও তৈরির জন্য ব্যবহার করা হয়, এই পন্থাগুলিকে বিপরীত করার জন্য পরীক্ষা করা হয়েছে। বিশেষত, জেমিনি প্রকল্পে, একটি অটোরিগ্রেসিভ মডেল ইমেজ তৈরির জন্য ব্যবহার করা হয়। টেক্সট জেনারেশনের জন্য ডিফিউশন মডেল ব্যবহার করার জন্যও অন্বেষণ করা হয়েছে, কিন্তু এগুলি এখনও যথেষ্ট কার্যকর বলে প্রমাণিত হয়নি।
• প্রশিক্ষণ মডেলের জন্য ইংরেজি-ভাষা ডেটার সীমিত প্রাপ্যতা দেওয়া, গবেষকরা বিকল্প পদ্ধতির অন্বেষণ করছেন। একটি সম্ভাবনা হল পাঠ্য, ভিডিও, চিত্র এবং অডিওর সংমিশ্রণে মাল্টিমোডাল মডেলগুলিকে প্রশিক্ষণ দেওয়া, এই প্রত্যাশার সাথে যে এই বিকল্প পদ্ধতিগুলি থেকে শেখা দক্ষতাগুলি পাঠ্যে স্থানান্তরিত হতে পারে। আরেকটি বিকল্প হল সিন্থেটিক ডেটা ব্যবহার। এটা মনে রাখা গুরুত্বপূর্ণ যে সিন্থেটিক ডেটা প্রায়শই বাস্তব ডেটাতে মিশে যায়, কিন্তু এই ইন্টিগ্রেশন এলোমেলো নয়। অনলাইনে প্রকাশিত পাঠ্য সাধারণত মানুষের কিউরেশন এবং সম্পাদনার মধ্য দিয়ে যায়, যা মডেল প্রশিক্ষণের জন্য অতিরিক্ত মান যোগ করতে পারে।
• খোলা ফাউন্ডেশন মডেলগুলিকে প্রায়শই উদ্ভাবনের জন্য উপকারী হিসাবে দেখা হয় তবে এআই সুরক্ষার জন্য সম্ভাব্য ক্ষতিকারক হিসাবে দেখা হয়, কারণ সেগুলি দূষিত অভিনেতাদের দ্বারা শোষিত হতে পারে। যাইহোক, ডাঃ পার্সি লিয়াং যুক্তি দেন যে খোলা মডেলগুলিও নিরাপত্তার ক্ষেত্রে ইতিবাচক অবদান রাখে। তিনি যুক্তি দেন যে অ্যাক্সেসযোগ্য হওয়ার মাধ্যমে, তারা আরও গবেষকদের এআই সুরক্ষা গবেষণা পরিচালনা করার এবং সম্ভাব্য দুর্বলতার জন্য মডেলগুলি পর্যালোচনা করার সুযোগ দেয়।
• আজ, পাঁচ বছর আগের তুলনায় টীকা ডোমেনে ডেটা টীকা করা উল্লেখযোগ্যভাবে বেশি দক্ষতার দাবি করে। যাইহোক, যদি AI সহকারীরা ভবিষ্যতে প্রত্যাশিতভাবে কাজ করে, তাহলে আমরা ব্যবহারকারীদের কাছ থেকে আরও মূল্যবান ফিডব্যাক ডেটা পাব, যা টীকাকারদের কাছ থেকে ব্যাপক ডেটার উপর নির্ভরতা কমিয়ে দেবে।

ফাউন্ডেশন মডেলের জন্য সিস্টেম এবং সিস্টেমের জন্য ফাউন্ডেশন মডেল 

In এই কথা, ক্রিস্টোফার রে, স্ট্যানফোর্ড ইউনিভার্সিটির কম্পিউটার সায়েন্স বিভাগের একজন সহযোগী অধ্যাপক, দেখান কিভাবে ফাউন্ডেশন মডেলগুলি আমাদের তৈরি করা সিস্টেমগুলিকে পরিবর্তন করে৷ তিনি কীভাবে দক্ষতার সাথে ফাউন্ডেশন মডেল তৈরি করতে হয়, ডাটাবেস সিস্টেম গবেষণা থেকে অন্তর্দৃষ্টি ধার করেন এবং ট্রান্সফরমারের তুলনায় ফাউন্ডেশন মডেলের জন্য সম্ভাব্য আরও দক্ষ আর্কিটেকচার নিয়ে আলোচনা করেন।

এখানে এই আলোচনার মূল টেকওয়ে রয়েছে:

• ফাউন্ডেশন মডেলগুলি '1000 কাট দ্বারা মৃত্যু' সমস্যাগুলি মোকাবেলায় কার্যকর, যেখানে প্রতিটি স্বতন্ত্র কাজ তুলনামূলকভাবে সহজ হতে পারে, তবে নিছক প্রস্থ এবং কাজের বিভিন্নতা একটি উল্লেখযোগ্য চ্যালেঞ্জ উপস্থাপন করে। এর একটি ভালো উদাহরণ হল ডেটা ক্লিনিং সমস্যা, যা এলএলএম এখন অনেক বেশি দক্ষতার সাথে সমাধান করতে সাহায্য করতে পারে।
• অ্যাক্সিলারেটরগুলি দ্রুততর হওয়ার সাথে সাথে স্মৃতি প্রায়শই একটি বাধা হিসাবে আবির্ভূত হয়। এটি এমন একটি সমস্যা যা ডাটাবেস গবেষকরা কয়েক দশক ধরে সমাধান করে আসছেন এবং আমরা তাদের কিছু কৌশল অবলম্বন করতে পারি। উদাহরণস্বরূপ, ফ্ল্যাশ অ্যাটেনশন পদ্ধতি ব্লকিং এবং আক্রমনাত্মক ফিউশনের মাধ্যমে ইনপুট-আউটপুট প্রবাহকে কমিয়ে দেয়: যখনই আমরা তথ্যের একটি অংশ অ্যাক্সেস করি, আমরা এটিতে যতটা সম্ভব অপারেশন করি।
• সিগন্যাল প্রসেসিং-এর মধ্যে একটি নতুন শ্রেণীবদ্ধ আর্কিটেকচার রয়েছে, যা ট্রান্সফরমার মডেলের চেয়ে বেশি দক্ষ হতে পারে, বিশেষ করে দীর্ঘ ক্রম পরিচালনার ক্ষেত্রে। সিগন্যাল প্রসেসিং S4 এর মত উদ্ভাবনী মডেলের ভিত্তি স্থাপন করে স্থিতিশীলতা এবং দক্ষতা প্রদান করে।

ডিজিটাল হেলথ ইন্টারভেনশনে অনলাইন রিইনফোর্সমেন্ট লার্নিং 

In তার কথা, সুসান মারফি, হার্ভার্ড ইউনিভার্সিটির পরিসংখ্যান এবং কম্পিউটার বিজ্ঞানের অধ্যাপক, ডিজিটাল স্বাস্থ্য হস্তক্ষেপে ব্যবহারের জন্য অনলাইন RL অ্যালগরিদম বিকাশে তাদের মুখোমুখি হওয়া কয়েকটি চ্যালেঞ্জের প্রথম সমাধান শেয়ার করেছেন৷

এখানে উপস্থাপনা থেকে কিছু টেকওয়ে আছে:

• ডঃ সুসান মারফি দুটি প্রকল্প নিয়ে আলোচনা করেছেন যেগুলিতে তিনি কাজ করছেন:
  • হার্টস্টেপ, যেখানে স্মার্টফোন এবং পরিধানযোগ্য ট্র্যাকার থেকে ডেটার উপর ভিত্তি করে কার্যকলাপের পরামর্শ দেওয়া হয়েছে, এবং
  • ওরাল হেলথ কোচিং এর জন্য ওরালিটিক্স, যেখানে হস্তক্ষেপগুলি একটি ইলেকট্রনিক টুথব্রাশ থেকে প্রাপ্ত এনগেজমেন্ট ডেটার উপর ভিত্তি করে ছিল।
• একটি এআই এজেন্টের জন্য একটি আচরণ নীতি তৈরি করার ক্ষেত্রে, গবেষকদের অবশ্যই নিশ্চিত করতে হবে যে এটি স্বায়ত্তশাসিত এবং বৃহত্তর স্বাস্থ্যসেবা ব্যবস্থায় সম্ভাব্যভাবে প্রয়োগ করা যেতে পারে। এটি নিশ্চিত করে যে একজন ব্যক্তির ব্যস্ততার জন্য প্রয়োজনীয় সময়টি যুক্তিসঙ্গত, এবং প্রস্তাবিত ক্রিয়াগুলি উভয়ই নৈতিকভাবে সঠিক এবং বৈজ্ঞানিকভাবে বিশ্বাসযোগ্য।
• ডিজিটাল স্বাস্থ্য হস্তক্ষেপের জন্য একটি RL এজেন্ট বিকাশের প্রাথমিক চ্যালেঞ্জগুলির মধ্যে রয়েছে উচ্চ শব্দের মাত্রার সাথে মোকাবিলা করা, যেহেতু লোকেরা তাদের জীবন যাপন করে এবং তারা সবসময় বার্তাগুলিতে প্রতিক্রিয়া জানাতে সক্ষম নাও হতে পারে, এমনকি শক্তিশালী, বিলম্বিত নেতিবাচক প্রভাবগুলি পরিচালনা করার পাশাপাশি .

আপনি দেখতে পাচ্ছেন, NeurIPS 2023 AI এর ভবিষ্যতের একটি আলোকিত আভাস দিয়েছে। আমন্ত্রিত আলোচনাগুলি ঐতিহ্যগত দৃষ্টান্তের বাইরে আরও দক্ষ, সম্পদ-সচেতন মডেল এবং অভিনব স্থাপত্যের অন্বেষণের দিকে একটি প্রবণতা তুলে ধরে।

এই নিবন্ধটি উপভোগ করবেন? আরও এআই গবেষণা আপডেটের জন্য সাইন আপ করুন।

আমরা যখন এর মতো আরও সংক্ষিপ্ত নিবন্ধগুলি প্রকাশ করি তখন আমরা আপনাকে জানাব।

সংশ্লিষ্ট

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
• প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
• প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
• উত্স: https://www.topbots.com/neurips-2023-invited-talks/