জিপিইউ সবসময় আপনার সেরা বাজি নয়, টুইটার এমএল পরীক্ষার পরামর্শ দেয়

টুইটারের গ্রাফ লার্নিং রিসার্চের প্রধান মাইকেল ব্রনস্টেইনের মতে, জিপিইউ মেশিন-লার্নিং ওয়ার্কলোডের জন্য একটি শক্তিশালী হাতিয়ার, যদিও তারা প্রতিটি AI কাজের জন্য সঠিক টুল নয়।

তার দল সম্প্রতি দেখিয়েছে যে টেম্পোরাল গ্রাফ নেটওয়ার্ক (TGN) মডেলগুলিতে গ্রাফকোরের এআই হার্ডওয়্যার "একটি একক আইপিইউ প্রসেসরকে এনভিডিয়া এ১০০ জিপিইউর সাথে তুলনা করার সময় ক্রমবর্ধমান গতির ক্রম" প্রদান করে।

"গ্রাফ এমএল মডেলগুলি বাস্তবায়নের জন্য হার্ডওয়্যারের পছন্দ একটি গুরুত্বপূর্ণ, তবুও প্রায়শই উপেক্ষিত সমস্যা," পড়ে যৌথ নিবন্ধ টুইটারের একজন এমএল গবেষক ইমানুয়েল রসি এবং গ্রাফকোরের একজন গবেষক ড্যানিয়েল জাস্টাসের সাথে ব্রনস্টেইন লিখেছেন।

গ্রাফ নিউরাল নেটওয়ার্কগুলি জটিল সিস্টেমে অর্ডার খোঁজার একটি উপায় অফার করে এবং সাধারণত সামাজিক নেটওয়ার্ক এবং সুপারিশকারী সিস্টেমে ব্যবহৃত হয়। যাইহোক, এই পরিবেশের গতিশীল প্রকৃতি এই মডেলগুলিকে প্রশিক্ষণের জন্য বিশেষভাবে চ্যালেঞ্জিং করে তোলে, ত্রয়ী ব্যাখ্যা করেছেন।

গ্রুপটি বেশ কয়েকটি টিজিএন মডেল পরিচালনার ক্ষেত্রে গ্রাফকোরের আইপিইউগুলির কার্যকারিতা তদন্ত করেছে। প্রাথমিক পরীক্ষাটি একটি ছোট টিজিএন মডেলের উপর ভিত্তি করে করা হয়েছিল জোডি উইকিপিডিয়া ডেটাসেট যা ব্যবহারকারীদের তাদের পৃষ্ঠাগুলিতে করা সম্পাদনাগুলির সাথে লিঙ্ক করে। গ্রাফটিতে মোট 8,227টি নোডের জন্য 1,000 জন ব্যবহারকারী এবং 9,227টি নিবন্ধ রয়েছে। JODIE হল একটি ওপেন-সোর্স ভবিষ্যদ্বাণী সিস্টেম যা অস্থায়ী মিথস্ক্রিয়া নেটওয়ার্কগুলিকে বোঝার জন্য ডিজাইন করা হয়েছে৷

ত্রয়ীটির পরীক্ষায় প্রকাশিত হয়েছে যে বড় ব্যাচের আকারগুলি ছোট ব্যাচের আকারের তুলনায় হ্রাসকৃত বৈধতা এবং অনুমান নির্ভুলতার ফলে।

"নোড মেমরি এবং গ্রাফ সংযোগ উভয়ই শুধুমাত্র একটি সম্পূর্ণ ব্যাচ প্রক্রিয়াকরণের পরে আপডেট করা হয়," ত্রয়ী লিখেছেন। "অতএব, একটি ব্যাচের মধ্যে পরবর্তী ঘটনাগুলি পুরানো তথ্যের উপর নির্ভর করতে পারে কারণ তারা আগের ঘটনাগুলি সম্পর্কে সচেতন নয়।"

যাইহোক, 10 এর ব্যাচের আকার ব্যবহার করে, গ্রুপটি সর্বোত্তম বৈধতা এবং অনুমানের নির্ভুলতা অর্জন করতে সক্ষম হয়েছিল, কিন্তু তারা মনে করে যে IPU-তে কর্মক্ষমতা এখনও একটি GPU-এর তুলনায় উচ্চতর ছিল, এমনকি বড় ব্যাচের আকার ব্যবহার করার সময়ও।

"10-এর ব্যাচ সাইড ব্যবহার করার সময়, TGN IPU-তে প্রায় 11-গুণ দ্রুত প্রশিক্ষিত হতে পারে, এবং এমনকি 200-এর বড় ব্যাচের আকারেও IPU-তে প্রশিক্ষণ এখনও তিনগুণ দ্রুততর হয়," পোস্টটি পড়ে৷ "সমস্ত অপারেশন জুড়ে, আইপিইউ ছোট ব্যাচের আকারগুলি আরও দক্ষতার সাথে পরিচালনা করে।"

দলটি দাবি করেছে যে গ্রাফকোরের বড় ইন-প্রসেসর এসআরএএম ক্যাশে দ্বারা অফার করা দ্রুত মেমরি অ্যাক্সেস এবং উচ্চ থ্রুপুট আইপিইউকে একটি প্রান্ত দিয়েছে।

এই পারফরম্যান্স লিডটি গ্রাফ মডেলগুলিতেও প্রসারিত হয়েছে যা IPU-এর ইন-প্রসেসর মেমরিকে ছাড়িয়ে গেছে — প্রতিটি আইপিইউতে একটি 1GB SRAM ক্যাশে রয়েছে — চিপগুলির সাথে সংযুক্ত ধীরগতির DRAM মেমরি ব্যবহার করা প্রয়োজন৷

261 মিলিয়ন টুইটার ব্যবহারকারীদের মধ্যে 15.5 মিলিয়ন অনুসরণকারী একটি গ্রাফ মডেলের উপর পরীক্ষায়, নোড মেমরির জন্য DRAM-এর ব্যবহার দুটির একটি ফ্যাক্টর দ্বারা থ্রুপুট কমিয়ে দেয়, ব্রনস্টেইনের দল খুঁজে পেয়েছে।

যাইহোক, টুইটার গ্রাফের আকার 10X একটি সিন্থেটিক ডেটাসেটের উপর ভিত্তি করে বেশ কয়েকটি সাব-গ্রাফ তৈরি করার সময়, দলটি গ্রাফের আকারের থেকে স্বাধীনভাবে থ্রুপুট স্কেল করা খুঁজে পায়। অন্য কথায়, পারফরম্যান্স হিট ছিল ধীর মেমরি ব্যবহারের ফলাফল এবং মডেলের আকারের ফলাফল নয়।

"আইপিইউতে এই কৌশলটি ব্যবহার করে, টিজিএন প্রায় নির্বিচারে গ্রাফ আকারে প্রয়োগ করা যেতে পারে, শুধুমাত্র উপলব্ধ হোস্ট মেমরির পরিমাণ দ্বারা সীমিত এবং প্রশিক্ষণ এবং অনুমানের সময় খুব উচ্চ থ্রুপুট বজায় রেখে," নিবন্ধটি পড়ে।

দলটি উপসংহারে পৌঁছেছে যে গ্রাফকোরের আইপিইউ আর্কিটেকচারটি কাজের চাপে জিপিইউগুলির তুলনায় উল্লেখযোগ্য সুবিধা দেখায় যেখানে গণনা এবং মেমরি অ্যাক্সেস ভিন্ন।

যাইহোক, বিস্তৃত উপায় হল যে এমএল গবেষকদের তাদের হার্ডওয়্যার পছন্দের বিষয়ে সাবধানে বিবেচনা করা উচিত এবং জিপিইউ ব্যবহারে ডিফল্ট করা উচিত নয়।

"ক্লাউড কম্পিউটিং পরিষেবাগুলির প্রাপ্যতা অন্তর্নিহিত হার্ডওয়্যারকে বিমূর্ত করে এই বিষয়ে নির্দিষ্ট অলসতার দিকে নিয়ে যায়," ত্রয়ী লিখেছেন। "আমরা আশা করি যে আমাদের অধ্যয়ন এই গুরুত্বপূর্ণ বিষয়ে আরও মনোযোগ আকর্ষণ করবে এবং ভবিষ্যতের জন্য পথ প্রশস্ত করবে, গ্রাফ এমএল অ্যাপ্লিকেশনগুলির জন্য আরও দক্ষ অ্যালগরিদম এবং হার্ডওয়্যার আর্কিটেকচার।" ®