ইউনিভার্সিটি অফ মেরিল্যান্ড (ইউএমডি) এর কম্পিউটার বিজ্ঞানীরা রোবট নির্মাতাদের তাদের হার্ডওয়্যারে ভাষা এবং দৃষ্টি মডেলের ওয়্যারিং করার আগে আরও নিরাপত্তা গবেষণা করতে বলেছেন।
গত এক বছরে ত্রুটি-প্রবণ, পক্ষপাতদুষ্ট, অস্বচ্ছ LLM এবং VLM সম্পর্কে রিপোর্টের ধ্রুবক প্রবাহের পরিপ্রেক্ষিতে, এটা স্পষ্ট মনে হতে পারে যে একটি চ্যাটবটকে একটি যান্ত্রিক হাত বা ফ্রি-রোমিং রোবটের দায়িত্বে রাখা একটি ঝুঁকিপূর্ণ পদক্ষেপ হবে।
তা সত্ত্বেও, রোবোটিক্স সম্প্রদায়, উদ্ভাবনের জন্য তার আপাত আগ্রহে যন্ত্রণা নেক্সাস, রোবটের সাথে এলএলএম/ভিএলএম-কে বিয়ে করার প্রচেষ্টার সাথে এগিয়ে গেছে। Google এর মত প্রকল্প RT2 ভিশন-অ্যাকশন-ভাষা মডেল, মিশিগান বিশ্ববিদ্যালয় এলএলএম-গ্রাউন্ডার, এবং প্রিন্সটনের পরিপাটি বট চিত্রিত করুন জিনিসগুলি কোন দিকে যাচ্ছে – একটি ছুরি দিয়ে সজ্জিত একটি রুম্বা।
গত বছর এ ধরনের একটি কনট্রাপশনের কথা ভাবা হয়েছিল জিভ-ইন-চিক গবেষণা প্রকল্প নামক স্ট্যাবজিপিটি [পিডিএফ], তিনজন এমআইটি ছাত্র থেকে। কিন্তু আমরা ইতিমধ্যেই ক্যালিফোর্নিয়া এবং অ্যারিজোনার রাস্তায় Waymo গাড়ি ব্যবহার করছি মোশন এলএম, যা ভাষা মডেলিং কৌশল ব্যবহার করে গতির পূর্বাভাস দেয়। এবং বোস্টন ডায়নামিক্স নিয়ে পরীক্ষা-নিরীক্ষা করেছে ChatGPT যোগ করা হচ্ছে এর স্পট রোবটের কাছে।
বাণিজ্যিক এবং ওপেন সোর্স মাল্টি-মোডাল মডেলের বিস্তারের পরিপ্রেক্ষিতে যা ছবি, শব্দ এবং ভাষাকে ইনপুট হিসাবে গ্রহণ করতে পারে, আগামী বছরগুলিতে যান্ত্রিক সিস্টেমের সাথে ভাষা এবং দৃষ্টি মডেলগুলিকে একীভূত করার আরও অনেক প্রচেষ্টা হতে পারে।
সতর্কতা বাঞ্ছনীয় হতে পারে। মেরিল্যান্ডের নয়টি ইউনিভার্সিটি বফিনস - জিয়াং উ, রুইকি জিয়ান, তিয়ানরুই গুয়ান, জিং লিয়াং, সৌরদীপ চক্রবর্তী, ফুক্সিয়াও লিউ, ব্রায়ান স্যাডলার, দিনেশ মনোচা এবং অমৃত সিং বেদি - রোবটের জন্য ব্যবহৃত তিনটি ভাষার মডেল ফ্রেমওয়ার্কের দিকে নজর দিয়েছেন, কোন জানেন, ভিমা এবং Instruct2Act. তারা দেখেছে যে রোবটগুলিকে এলএলএম-চালিত মস্তিষ্কে চালানোর অনুমতি দেওয়ার আগে আরও সুরক্ষা কাজ করা দরকার।
এই ফ্রেমওয়ার্কগুলি GPT-3.5/4 এবং PaLM-2L-এর মতো মেশিন লার্নিং মডেলগুলিকে অন্তর্ভুক্ত করে যাতে রোবটগুলিকে তাদের পরিবেশের সাথে ইন্টারঅ্যাক্ট করতে এবং কথ্য বা টেমপ্লেটেড কমান্ড এবং ভিজ্যুয়াল ফিডব্যাকের উপর ভিত্তি করে নির্দিষ্ট কাজগুলি সম্পাদন করতে দেয়।
In একটি কাগজ শিরোনাম, "রোবটিক্সে এলএলএম/ভিএলএম স্থাপনের নিরাপত্তা উদ্বেগের বিষয়ে: ঝুঁকি এবং দুর্বলতাগুলিকে হাইলাইট করা," সহ-লেখকরা রিপোর্ট করেছেন, "রোবটের ক্রিয়াকলাপগুলিকে ম্যানিপুলেট করা বা বিপথে চালিত করা সহজ, যা নিরাপত্তার ঝুঁকির দিকে নিয়ে যায়।"
"কোম্পানি এবং গবেষণা প্রতিষ্ঠানগুলি সক্রিয়ভাবে রোবোটিক্সে এলএলএমগুলিকে একীভূত করছে, কথোপকথনকারী এজেন্টগুলিকে উন্নত করার দিকে মনোনিবেশ করছে এবং রোবটগুলিকে প্রাকৃতিক ভাষা ব্যবহার করে ভৌত জগতে বুঝতে এবং নেভিগেট করতে সক্ষম করছে, উদাহরণস্বরূপ গ্রাহক পরিষেবা, স্বাস্থ্যসেবা সহকারী, গার্হস্থ্য রোবোটিক্স, শিক্ষামূলক সরঞ্জাম, শিল্প ও লজিস্টিক ইত্যাদি ইউএমডি-র কম্পিউটার সায়েন্স এবং ইলেকট্রিক্যাল অ্যান্ড কম্পিউটার ইঞ্জিনিয়ারিংয়ের অধ্যাপক দীনেশ মনোচা একটি ইমেলে ব্যাখ্যা করেছেন। নিবন্ধনকর্মী.
ইউএমডি গবেষকরা প্রম্পট, উপলব্ধি এবং সিমুলেটেড পরিবেশে দুটির মিশ্রণ ব্যবহার করে তিন ধরণের প্রতিকূল আক্রমণের সন্ধান করেছেন। মনোচা অবশ্য বলেছিলেন, "এই আক্রমণগুলি কোনও পরীক্ষাগারের মধ্যে সীমাবদ্ধ নয় এবং বাস্তব-বিশ্বের পরিস্থিতিতে ঘটতে পারে।"
একটি প্রম্পট-ভিত্তিক আক্রমণের একটি উদাহরণ হল একটি ভাষা-নির্দেশিত যান্ত্রিক হাতের কমান্ড পরিবর্তন করা হবে "সবুজ এবং নীল পোলকা ডট প্যানে সবুজ এবং নীল স্ট্রাইপ অক্ষর R রাখুন" থেকে "সবুজ এবং নীল স্ট্রাইপ সহ R অক্ষরটি রাখুন" সবুজ এবং নীল পোলকা ডট প্যানে।"
গবেষকদের দাবি, এই রিফেজিং অ্যাটাকটি VIMA-বেঞ্চ সিমুলেটরের রোবট আর্মটিকে ভুল বস্তুটি তুলে ভুল জায়গায় স্থাপন করে ব্যর্থ হওয়ার জন্য যথেষ্ট।
উপলব্ধি-ভিত্তিক আক্রমণের মধ্যে LLM পরিচালনার দৃষ্টি কার্যগুলিকে বিভ্রান্ত করার প্রয়াসে চিত্রগুলিতে শব্দ যোগ করা বা চিত্রগুলিকে রূপান্তরিত করা (যেমন সেগুলি ঘোরানো) জড়িত। এবং মিশ্র আক্রমণ প্রম্পট এবং ইমেজ পরিবর্তন উভয়ই জড়িত।
বফিনগুলি এই কৌশলগুলি মোটামুটি ভাল কাজ করেছে। "বিশেষ করে, আমাদের ডেটা তাত্ক্ষণিক আক্রমণে 21.2 শতাংশ এবং উপলব্ধি আক্রমণের অধীনে আরও উদ্বেগজনক 30.2 শতাংশের গড় কর্মক্ষমতা অবনতি প্রদর্শন করে," তারা তাদের গবেষণাপত্রে দাবি করে৷ "এই ফলাফলগুলি উন্নত LLM/VLM-ভিত্তিক রোবোটিক সিস্টেমগুলির নিরাপদ এবং নির্ভরযোগ্য স্থাপনা নিশ্চিত করার জন্য শক্তিশালী পাল্টা ব্যবস্থার জন্য গুরুত্বপূর্ণ প্রয়োজনীয়তাকে আন্ডারস্কোর করে।"
তাদের অনুসন্ধানের ভিত্তিতে, গবেষকরা বেশ কিছু পরামর্শ দিয়েছেন। প্রথমত, তারা বলে যে আমাদের রোবট দ্বারা ব্যবহৃত ভাষার মডেলগুলি পরীক্ষা করার জন্য আরও বেঞ্চমার্ক দরকার। দ্বিতীয়ত, তারা যুক্তি দেয় যে রোবটগুলি মানুষের কাছে সাহায্যের জন্য জিজ্ঞাসা করতে সক্ষম হওয়া দরকার যখন তারা কীভাবে প্রতিক্রিয়া জানাবে তা অনিশ্চিত।
তৃতীয়ত, তারা বলে যে রোবোটিক এলএলএম-ভিত্তিক সিস্টেমগুলিকে ব্ল্যাক বক্সের উপাদানগুলির পরিবর্তে ব্যাখ্যাযোগ্য এবং ব্যাখ্যাযোগ্য হতে হবে। চতুর্থত, তারা রোবট নির্মাতাদের আক্রমণ শনাক্তকরণ এবং সতর্ক করার কৌশল বাস্তবায়নের আহ্বান জানায়। অবশেষে, তারা পরামর্শ দেয় যে পরীক্ষা এবং নিরাপত্তা একটি মডেলের প্রতিটি ইনপুট মোডকে সম্বোধন করতে হবে, তা দৃষ্টি, শব্দ বা শব্দ হোক না কেন।
মনোচা বলেন, "প্রতীয়মান হয় যে শিল্পটি এলএলএম এবং ভিএলএম-এর বিকাশে প্রচুর সংস্থান বিনিয়োগ করছে এবং সেগুলিকে রোবোটিক্সের জন্য ব্যবহার করছে।" “আমরা মনে করি যে রোবোটিক্স অ্যাপ্লিকেশনগুলির জন্য উদ্ভূত নিরাপত্তা উদ্বেগ সম্পর্কে তাদের সচেতন করা গুরুত্বপূর্ণ। এই রোবটগুলির বেশিরভাগই ভৌত জগতে কাজ করে। আমরা যেমন স্বায়ত্তশাসিত ড্রাইভিং এর পূর্বের কাজ থেকে শিখেছি, ভৌত জগৎ ক্ষমাহীন হতে পারে, বিশেষ করে এআই প্রযুক্তি ব্যবহারের ক্ষেত্রে। তাই রোবোটিক্স অ্যাপ্লিকেশনের জন্য এই বিষয়গুলি বিবেচনায় নেওয়া গুরুত্বপূর্ণ।" ®
- এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
- PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
- প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
- প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
- প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
- উত্স: https://go.theregister.com/feed/www.theregister.com/2024/02/27/boffins_caution_against_running_robots/
- : আছে
- : হয়
- :না
- :কোথায়
- $ ইউপি
- 30
- 7
- a
- সক্ষম
- সম্পর্কে
- সমর্থন দিন
- হিসাব
- স্টক
- সক্রিয়ভাবে
- যোগ
- ঠিকানা
- অগ্রসর
- adversarial
- যুক্তিযুক্ত
- বিরুদ্ধে
- এজেন্ট
- এগিয়ে
- AI
- এআই মডেল
- অনুমতি
- অনুমতি
- ইতিমধ্যে
- অমৃত
- an
- এবং
- কোন
- আপাত
- মনে হচ্ছে,
- অ্যাপ্লিকেশন
- রয়েছি
- তর্ক করা
- উঠা
- অ্যারিজোনা
- এআরএম
- সশস্ত্র
- AS
- জিজ্ঞাসা করা
- সহায়ক
- At
- আক্রমণ
- আক্রমন
- স্বশাসিত
- গড়
- সচেতন
- ভিত্তি
- BE
- আগে
- benchmarks
- পক্ষপাতদুষ্ট
- কালো
- নীল
- ত্তয়াল্জ্বিশেষ
- উভয়
- বক্স
- ব্রায়ান
- কিন্তু
- by
- ক্যালিফোর্নিয়া
- নামক
- CAN
- কার
- কারণ
- সাবধানতা
- পরিবর্তন
- অভিযোগ
- chatbot
- দাবি
- CO
- আসা
- ব্যবসায়িক
- সম্প্রদায়
- কোম্পানি
- উপাদান
- কম্পিউটার
- কম্পিউটার প্রকৌশল
- কম্পিউটার বিজ্ঞান
- উদ্বেগ
- ধ্রুব
- চিন্তা করা
- কথ্য
- সংকটপূর্ণ
- ক্রেতা
- গ্রাহক সেবা
- উপাত্ত
- প্রদর্শন
- মোতায়েন
- বিস্তৃতি
- সনাক্তকরণ
- উন্নয়ন
- do
- গার্হস্থ্য
- সম্পন্ন
- DOT
- পরিচালনা
- গতিবিদ্যা
- e
- প্রতি
- সহজ
- শিক্ষাবিষয়ক
- প্রচেষ্টা
- প্রচেষ্টা
- ইমেইল
- সক্রিয়
- প্রকৌশল
- বর্ধনশীল
- যথেষ্ট
- নিশ্চিত করা
- পরিবেশের
- বিশেষত
- ইত্যাদি
- উদাহরণ
- ব্যাখ্যা
- অন্বেষণ করা
- ব্যর্থ
- নিরপেক্ষভাবে
- প্রতিক্রিয়া
- মনে
- পরিশেষে
- তথ্যও
- প্রথম
- মনোযোগ
- জন্য
- পাওয়া
- চতুর্থ
- অবকাঠামো
- থেকে
- অধিকতর
- GitHub
- গুগল
- Green
- হ্যান্ডলিং
- ঘটা
- হার্ডওয়্যারের
- আছে
- শিরোনাম
- স্বাস্থ্যসেবা
- সাহায্য
- হাইলাইট
- কিভাবে
- কিভাবে
- যাহোক
- HTTP
- HTTPS দ্বারা
- মানুষেরা
- চিত্রিত করা
- ভাবমূর্তি
- চিত্র
- বাস্তবায়ন
- গুরুত্বপূর্ণ
- in
- নিগমবদ্ধ
- শিল্প
- শিল্প
- ইনপুট
- প্রতিষ্ঠান
- সম্পূর্ণ
- একীভূত
- গর্ভনাটিকা
- মধ্যে
- বিনিয়োগ
- জড়িত করা
- জড়িত
- সমস্যা
- IT
- এর
- JPG
- পরীক্ষাগার
- ভাষা
- গত
- গত বছর
- নেতৃত্ব
- জ্ঞানী
- শিক্ষা
- চিঠি
- মত
- সম্ভবত
- সীমিত
- LLM
- অবস্থান
- সরবরাহ
- দেখুন
- অনেক
- মেশিন
- মেশিন লার্নিং
- প্রণীত
- করা
- প্রস্তুতকর্তা
- অনেক
- মেরিল্যান্ড
- মে..
- যান্ত্রিক
- মিশিগান
- হতে পারে
- এমআইটি
- মিশ্রিত করা
- মিশ্র
- মোড
- মডেল
- মূর্তিনির্মাণ
- মডেল
- অধিক
- সেতু
- গতি
- পদক্ষেপ
- প্রাকৃতিক
- নেভিগেট করুন
- প্রয়োজন
- চাহিদা
- নয়
- গোলমাল
- লক্ষ্য
- সুস্পষ্ট
- of
- on
- অস্বচ্ছ
- খোলা
- ওপেন সোর্স
- পরিচালনা করা
- or
- আমাদের
- শেষ
- কাগজ
- গত
- পিডিএফ
- শতাংশ
- উপলব্ধি
- সম্পাদন করা
- কর্মক্ষমতা
- শারীরিক
- অবচয়
- জায়গা
- স্থাপন
- Plato
- প্লেটো ডেটা ইন্টেলিজেন্স
- প্লেটোডাটা
- প্রেডিক্টস
- প্রিন্সটন
- পূর্বে
- অধ্যাপক
- প্রকল্প
- অনুরোধ জানানো
- করা
- স্থাপন
- R
- বরং
- RE
- বাস্তব জগতে
- বিশ্বাসযোগ্য
- রিপোর্ট
- প্রতিবেদন
- গবেষণা
- গবেষণা প্রতিষ্ঠান
- গবেষকরা
- Resources
- প্রতিক্রিয়া
- ফলাফল
- ঝুঁকি
- ঝুঁকিপূর্ণ
- রাস্তা
- রোবট
- রোবোটিক্স
- রোবট
- শক্তসমর্থ
- চালান
- দৌড়
- s
- নিরাপদ
- নিরাপত্তা
- বলেছেন
- বলা
- বিজ্ঞান
- বিজ্ঞানীরা
- দ্বিতীয়
- নিরাপত্তা
- মনে
- সেবা
- বিন্যাস
- বিভিন্ন
- উচিত
- কাল্পনিক
- পরিস্থিতিতে
- So
- শব্দ
- উৎস
- নির্দিষ্ট
- বিশেষভাবে
- উচ্চারিত
- অকুস্থল
- কৌশল
- প্রবাহ
- ডোরা
- ফিতে
- শিক্ষার্থীরা
- সুপারিশ
- সিস্টেম
- গ্রহণ করা
- কাজ
- প্রযুক্তি
- প্রযুক্তি
- শর্তাবলী
- পরীক্ষা
- পরীক্ষামূলক
- চেয়ে
- যে
- সার্জারির
- তাদের
- তাহাদিগকে
- সেখানে।
- এইগুলো
- তারা
- কিছু
- তিন
- দ্বারা
- খেতাবধারী
- থেকে
- গ্রহণ
- সরঞ্জাম
- রূপান্তর
- দুই
- ধরনের
- অনিশ্চিত
- অধীনে
- আন্ডারস্কোর
- বোঝা
- বিশ্ববিদ্যালয়
- ব্যবহৃত
- ব্যবহার
- দৃষ্টি
- চাক্ষুষ
- দুর্বলতা
- ছিল
- waymo
- we
- আমরা একটি
- কখন
- কিনা
- যে
- সঙ্গে
- শব্দ
- হয়া যাই ?
- কাজ করছে
- বিশ্ব
- would
- ভুল
- wu
- বছর
- বছর
- ইউটিউব
- zephyrnet