কখনও একটি শিশু হরিণ হাঁটতে শিখতে দেখেছেন? একটি শস্যদানা, যা মূলত একটি স্তন্যপায়ী বাবার লম্বা পা, পায়ে আঁচড়ে পড়ে, পড়ে যায়, দাঁড়ায় এবং আবার পড়ে যায়। শেষ পর্যন্ত, এটি তার টুথপিকের মতো পাগুলিকে কাছাকাছি জলপ্রপাতের একটি সিরিজে ফ্ল্যাল করার জন্য যথেষ্ট লম্বা হয়…আহেম, পদক্ষেপ। আশ্চর্যজনকভাবে, এই প্রিয় ডিসপ্লের কয়েক মিনিট পরে, ফ্যানটি পুরোনো পেশাদারের মতো ঘুরে বেড়াচ্ছে।
ঠিক আছে, এখন আমাদের কাছে এই ক্লাসিক সেরেঙ্গেটি দৃশ্যের একটি রোবট সংস্করণ রয়েছে।
এই ক্ষেত্রে ফ্যান হল ক্যালিফোর্নিয়া বিশ্ববিদ্যালয়ের একটি রোবোটিক কুকুর, বার্কলে। এবং এটি একইভাবে একটি আশ্চর্যজনকভাবে দ্রুত শিক্ষানবিস (বাকী রোবট ধরনের আপেক্ষিক)। রোবটটিও বিশেষ কারণ, অন্যান্য ফ্ল্যাশিয়ার রোবটের বিপরীতে আপনি অনলাইনে দেখেছেন, এটি কৃত্রিম বুদ্ধিমত্তা ব্যবহার করে নিজেকে কীভাবে হাঁটতে হয় তা শেখায়।
তার পিঠে শুরু করে, পা নাড়ানো, রোবটটি নিজেকে উল্টাতে, দাঁড়াতে এবং এক ঘন্টার মধ্যে হাঁটতে শেখে। কার্ডবোর্ডের রোল দিয়ে আরও দশ মিনিটের হয়রানি এটিকে কীভাবে সহ্য করতে হয় এবং এর হ্যান্ডলারদের দ্বারা ঠেলে দেওয়া থেকে পুনরুদ্ধার করতে হয় তা শেখানোর জন্য যথেষ্ট।
এটি প্রথমবার নয় হাঁটা শেখার জন্য একটি রোবট কৃত্রিম বুদ্ধিমত্তা ব্যবহার করেছে. কিন্তু পূর্ববর্তী রোবটরা সিমুলেশনে অসংখ্য পুনরাবৃত্তির মাধ্যমে ট্রায়াল এবং ত্রুটির মাধ্যমে দক্ষতা শিখেছিল, বার্কলে বট বাস্তব জগতে সম্পূর্ণভাবে শিখেছিল।
[এম্বেড করা সামগ্রী]
একটি ইন কাগজ প্রকাশিত arXiv প্রিপ্রিন্ট সার্ভারে, গবেষকরা—Danijar Hafner, Alejandro Escontrela, এবং Philipp Wu—বলেন যে অ্যালগরিদমগুলিকে বাস্তব জগতে স্থানান্তর করা সহজ নয়। বাস্তব জগত এবং সিমুলেশনের মধ্যে সামান্য বিশদ বিবরণ এবং পার্থক্যগুলি নতুন রোবটগুলিকে ট্রিপ করতে পারে৷ অন্যদিকে, বাস্তব জগতে অ্যালগরিদম প্রশিক্ষণ অব্যবহারিক: এতে অনেক বেশি সময় লাগবে এবং ছিঁড়ে যাবে।
চার বছর আগে, উদাহরণস্বরূপ, ওপেনএআই একটি এআই-সক্ষম রোবোটিক হাত দেখিয়েছিল যা একটি ঘনক্ষেত্রকে ম্যানিপুলেট করতে পারে। কন্ট্রোল অ্যালগরিদম, Dactyl, এই অপেক্ষাকৃত সহজ কাজটি সম্পন্ন করতে 100 CPU এবং 6,144 Nvidia V8 GPU দ্বারা চালিত একটি সিমুলেশনে প্রায় 100 বছরের অভিজ্ঞতার প্রয়োজন। তারপর থেকে জিনিসগুলি অগ্রসর হয়েছে, তবে সমস্যাটি মূলত রয়ে গেছে। বিশুদ্ধ শক্তিবৃদ্ধি শেখার অ্যালগরিদমগুলিকে বাস্তব জগতে প্রশিক্ষণ দেওয়ার জন্য দক্ষতা শেখার জন্য খুব বেশি পরীক্ষা এবং ত্রুটির প্রয়োজন। সহজ কথায়, শেখার প্রক্রিয়া গবেষকদের ভেঙে দেবে এবং কোনো অর্থপূর্ণ অগ্রগতি করার আগে রোবট।
বার্কলে দল ড্রিমার নামক একটি অ্যালগরিদম দিয়ে এই সমস্যার সমাধান করার জন্য যাত্রা করে। নির্মাণ করা যাকে বলা হয় "বিশ্ব মডেল,” স্বপ্নদর্শী ভবিষ্যতের একটি ক্রিয়া তার লক্ষ্য অর্জনের সম্ভাবনাকে প্রজেক্ট করতে পারে। অভিজ্ঞতার সাথে, এর অনুমানগুলির যথার্থতা উন্নত হয়। আগে থেকে কম সফল ক্রিয়াগুলি ফিল্টার করে, বিশ্ব মডেলটি রোবটকে আরও দক্ষতার সাথে কী কাজ করে তা খুঁজে বের করার অনুমতি দেয়৷
"অতীতের অভিজ্ঞতা থেকে বিশ্বের মডেলগুলি শেখা রোবটকে সম্ভাব্য কর্মের ভবিষ্যত ফলাফল কল্পনা করতে সক্ষম করে, সফল আচরণ শেখার জন্য প্রয়োজনীয় বাস্তব পরিবেশে ট্রায়াল এবং ত্রুটির পরিমাণ হ্রাস করে," গবেষকরা লিখেছেন। "ভবিষ্যত ফলাফলের ভবিষ্যদ্বাণী করে, বিশ্ব মডেলগুলি বাস্তব বিশ্বের মিথস্ক্রিয়া মাত্র অল্প পরিমাণে পরিকল্পনা এবং আচরণ শেখার অনুমতি দেয়।"
অন্য কথায়, একটি বিশ্ব মডেল একটি সিমুলেশনে প্রশিক্ষণের বছরের সমতুল্য সময়কে বাস্তব জগতে একটি বিশ্রী ঘন্টার চেয়ে কম করতে পারে।
পদ্ধতির রোবট কুকুরের চেয়েও ব্যাপক প্রাসঙ্গিকতা থাকতে পারে। দলটি একটি পিক-এন্ড-প্লেস রোবোটিক আর্ম এবং একটি চাকাযুক্ত রোবটে ড্রিমার প্রয়োগ করেছে। উভয় ক্ষেত্রেই, তারা দেখতে পান যে ড্রিমার তাদের রোবটকে দক্ষতার সাথে প্রাসঙ্গিক দক্ষতা শিখতে দেয়, কোন সিম সময় প্রয়োজন হয় না। আরো উচ্চাভিলাষী ভবিষ্যতের অ্যাপ্লিকেশন অন্তর্ভুক্ত হতে পারে স্ব ড্রাইভিং গাড়ি.
অবশ্যই, এখনও মোকাবেলা করার চ্যালেঞ্জ আছে। যদিও রিইনফোর্সমেন্ট লার্নিং আজকের সবচেয়ে উন্নত রোবটগুলির পিছনে কিছু জটিল হ্যান্ড-কোডিংকে স্বয়ংক্রিয় করে, তবুও এটির জন্য ইঞ্জিনিয়ারদের একটি রোবটের লক্ষ্য এবং কী সাফল্য গঠন করে তা নির্ধারণ করতে হবে—একটি অনুশীলন যা বাস্তব-বিশ্বের পরিবেশের জন্য সময়সাপেক্ষ এবং উন্মুক্ত উভয়ই। এছাড়াও, যদিও রোবটটি এখানে দলের পরীক্ষা-নিরীক্ষা থেকে বেঁচে গিয়েছিল, আরও উন্নত দক্ষতার উপর দীর্ঘ প্রশিক্ষণ ভবিষ্যতের বটগুলির ক্ষতি ছাড়াই বেঁচে থাকার জন্য অনেক বেশি প্রমাণ করতে পারে। গবেষকরা বলছেন যে দ্রুত বাস্তব-বিশ্ব শেখার সাথে সিমুলেটর প্রশিক্ষণকে একত্রিত করা ফলপ্রসূ হতে পারে।
তবুও, ফলাফলগুলি রোবোটিক্সে এআইকে আরও একটি ধাপ এগিয়ে নিয়ে যায়। ওরেগন স্টেট ইউনিভার্সিটির রোবোটিক্সের অধ্যাপক জোনাথন হার্স্ট বলেন, "রোবট নিয়ন্ত্রণের ভবিষ্যতের ক্ষেত্রে শক্তিবৃদ্ধি শেখার একটি ভিত্তিপ্রস্তর হাতিয়ার হবে।" বলা এমআইটি প্রযুক্তি পর্যালোচনা.
চিত্র ক্রেডিট: দানিজার হাফনার / ইউটিউব
