এনভিডিয়া সফ্টওয়্যার নির্বাহী করি ব্রিস্কির সাথে সাক্ষাত্কার

সাক্ষাত্কার এনভিডিয়ার জিপিইউ প্রযুক্তি সম্মেলন গত সপ্তাহে শেষ হয়েছে, কোম্পানির ব্ল্যাকওয়েল চিপস এবং এআই-এর বহু-বলিহুড আশ্চর্যের কথা নিয়ে এসেছে, যা বোঝায় সব প্রিয়ভাবে কেনা জিপিইউ হার্ডওয়্যার সহ।

কোম্পানির চারপাশে এমন গুঞ্জন রয়েছে যে এর স্টকের দাম রেকর্ড উচ্চতার সাথে ফ্লার্ট করছে, এই ধারণার উপর ভিত্তি করে যে অনেক সৃজনশীল প্রচেষ্টা দ্রুততর করা যেতে পারে যদি মেশিন লার্নিং মডেলগুলির দ্বারা সক্ষম অটোমেশনের সাথে ভাল না হয়।

এটি এখনও বাজারে পরীক্ষা করা হচ্ছে।

জর্জ সান্তায়না একবার লিখেছেন: "যারা অতীত মনে রাখতে পারে না তাদের পুনরাবৃত্তি করা নিন্দা করা হয়।" এটি একটি বাক্যাংশ প্রায়ই পুনরাবৃত্তি হয়. তবুও অতীতের জিনিসগুলিকে স্মরণ করা সত্যিই এআই মডেলগুলিকে আলাদা করেনি। তারা অতীত মনে রাখতে পারে কিন্তু তারা এখনও দাবিতে এটি পুনরাবৃত্তি করার জন্য নিন্দা করা হয়, মাঝে মাঝে ভুলভাবে।

তা সত্ত্বেও, অনেকে সর্বশক্তিমান AI, বিশেষ করে যারা AI হার্ডওয়্যার বা ক্লাউড পরিষেবা বিক্রি করে তাদের শপথ করে। এনভিডিয়া, অন্যদের মধ্যে, এটিতে বড় বাজি ধরছে। সুতরাং নিবন্ধনকর্মী GPU কনফারেন্সে একটি সংক্ষিপ্ত পরিদর্শন করা হয়েছে তা দেখতে কি সব হৈচৈ ছিল। এটি অবশ্যই বৃহস্পতিবার প্রদর্শনী হলে পরিবেশিত লেবু বারগুলির বিষয়ে ছিল না, যার মধ্যে অনেকগুলি শো ফ্লোর বিনে তাদের প্রাথমিক পাবলিক অফারটি অসমাপ্ত শেষ করেছিল।

অনেক বেশি আকর্ষক একটি কথোপকথন ছিল নিবন্ধনকর্মী এনভিডিয়াতে এআই এবং এইচপিসি সফ্টওয়্যার ডেভেলপমেন্ট কিটের প্রোডাক্ট ম্যানেজমেন্টের ভাইস প্রেসিডেন্ট করি ব্রিস্কির সাথে ছিলেন। তিনি কোম্পানির ফাউন্ডেশন মডেল, লাইব্রেরি, SDK এবং এখন মাইক্রোসার্ভিসের জন্য সফটওয়্যার প্রোডাক্ট ম্যানেজমেন্টের নেতৃত্ব দেন যা নতুন ঘোষণার মতো প্রশিক্ষণ এবং অনুমান নিয়ে কাজ করে তাকে মাইক্রোসার্ভিস এবং আরও ভালভাবে প্রতিষ্ঠিত নেমো স্থাপনার কাঠামো।

নিবন্ধনকর্মী: কিভাবে কোম্পানীগুলো এই মাইক্রোসার্ভিসগুলিকে গ্রাস করবে – ক্লাউডে, প্রাঙ্গনে?

ব্রিস্কি: এটা আসলে সৌন্দর্য কেন আমরা এনআইএম তৈরি করেছি। "NIMs" বলাটা মজার। কিন্তু আমরা অনেক আগেই এই যাত্রা শুরু করেছি। আমি শুরু করার পর থেকে আমরা অনুমানে কাজ করছি - আমি মনে করি এটি টেনসরআরটি 1.0 ছিল যখন আমি 2016 শুরু করেছি।

বছরের পর বছর ধরে আমরা আমাদের অনুমান স্ট্যাক বাড়াচ্ছি, কম্পিউটার দৃষ্টি এবং গভীর সুপারিশকারী সিস্টেম এবং বক্তৃতা, স্বয়ংক্রিয় বক্তৃতা শনাক্তকরণ এবং বক্তৃতা সংশ্লেষণ এবং এখন বড় ভাষার মডেলগুলি দিয়ে শুরু করে প্রতিটি বিভিন্ন ধরণের কাজের চাপ সম্পর্কে আরও শিখছি। এটা সত্যিই একটি ডেভেলপার-কেন্দ্রিক স্ট্যাক হয়েছে. এবং এখন যে এন্টারপ্রাইজগুলি [দেখেছে] OpenAI এবং ChatGPT, তারা তাদের এন্টারপ্রাইজ ডেটার পাশে বা তাদের এন্টারপ্রাইজ অ্যাপ্লিকেশনগুলিতে এই বৃহৎ ভাষার মডেলগুলি চালানোর প্রয়োজনীয়তা বোঝে।

গড় ক্লাউড পরিষেবা প্রদানকারী, তাদের পরিচালিত পরিষেবাগুলির জন্য, তাদের শত শত প্রকৌশলী অনুমান, অপ্টিমাইজেশান কৌশলগুলিতে কাজ করে। এন্টারপ্রাইজগুলি তা করতে পারে না। তাদের এখনই সময়-টু-মূল্য পেতে হবে। এই কারণেই আমরা TensorRT, বড় ভাষার মডেল, আমাদের ট্রাইটন ইনফরেন্স সার্ভার, স্ট্যান্ডার্ড API, এবং স্বাস্থ্য পরীক্ষার মাধ্যমে আমরা যা কিছু শিখেছি সেগুলিকে এনক্যাপসুলেট করেছি। [ধারণাটি হল] এই সমস্ত কিছুকে এনক্যাপসুলেট করতে সক্ষম যাতে আপনি পাঁচ মিনিটের মধ্যে শূন্য থেকে একটি বড় ভাষা মডেলের শেষ পয়েন্টে যেতে পারেন।

[অন-প্রেম বনাম ক্লাউড ডেটাসেন্টার সংক্রান্ত], আমাদের অনেক গ্রাহক হাইব্রিড ক্লাউড। তারা গণনা পছন্দ করেছে। সুতরাং ডেটাগুলিকে একটি পরিচালিত পরিষেবাতে পাঠানোর পরিবর্তে, তারা তাদের ডেটার কাছাকাছি মাইক্রোসার্ভিস চালাতে পারে এবং তারা যেখানে খুশি এটি চালাতে পারে।

নিবন্ধনকর্মী: প্রোগ্রামিং ভাষার পরিপ্রেক্ষিতে AI এর জন্য Nvidia-এর সফটওয়্যার স্ট্যাক দেখতে কেমন? এটা কি এখনও মূলত CUDA, Python, C, এবং C++? আপনি কি বৃহত্তর গতি এবং দক্ষতার জন্য অন্য কোথাও খুঁজছেন?

ব্রিস্কি: ডেভেলপাররা যেখানেই ব্যবহার করছে সেখানে আমরা সবসময় অন্বেষণ করি৷ যে সবসময় আমাদের চাবিকাঠি হয়েছে. তাই যখন থেকে আমি এনভিডিয়াতে শুরু করেছি, আমি ত্বরিত গণিত লাইব্রেরিতে কাজ করেছি। প্রথমত, সমান্তরালতা পেতে আপনাকে CUDA-তে প্রোগ্রাম করতে হয়েছিল। এবং তারপর আমরা C APIs ছিল. এবং আমরা একটি পাইথন API ছিল. তাই ডেভেলপাররা যেখানেই থাকুক না কেন প্ল্যাটফর্ম নিয়ে যাওয়া। এই মুহুর্তে, ডেভেলপাররা একটি সত্যিই সহজ API এন্ডপয়েন্টে আঘাত করতে চান, যেমন একটি কার্ল কমান্ড বা পাইথন কমান্ড বা অনুরূপ কিছু। সুতরাং এটি অত্যন্ত সহজ হতে হবে, কারণ এটি এমন এক ধরণের যেখানে আমরা আজ ডেভেলপারদের সাথে দেখা করছি।

নিবন্ধনকর্মী: CUDA স্পষ্টতই GPU কম্পিউটেশনকে কার্যকরী করার ক্ষেত্রে বিশাল ভূমিকা পালন করে। CUDA কে এগিয়ে নিতে Nvidia কি করছে?

ব্রিস্কি: CUDA হল আমাদের সমস্ত GPU-এর ভিত্তি৷ এটি একটি CUDA-সক্ষম, CUDA-প্রোগ্রামেবল GPU। কয়েক বছর আগে, আমরা এটিকে CUDA-X বলতাম, কারণ আপনার এই ডোমেন-নির্দিষ্ট ভাষা ছিল। তাই যদি আপনার একটি মেডিকেল ইমেজিং [আবেদন] থাকে, আপনার আছে cuCIM. আপনার যদি স্বয়ংক্রিয় স্পিচ রিকগনিশন থাকে, তাহলে আপনার কাছে এটির শেষে একটি CUDA ত্বরিত বিম অনুসন্ধান ডিকোডার রয়েছে। এবং তাই প্রতিটি বিভিন্ন ধরণের কাজের চাপের জন্য এই সমস্ত নির্দিষ্ট জিনিস রয়েছে যা CUDA দ্বারা ত্বরান্বিত হয়েছে। আমরা বছরের পর বছর ধরে এই সমস্ত বিশেষ লাইব্রেরি তৈরি করেছি cuDF এবং cuML, এবং cu-এই-এবং-ওটা। এই সমস্ত CUDA লাইব্রেরিগুলি আমরা বছরের পর বছর ধরে যা তৈরি করেছি তার ভিত্তি এবং এখন আমরা এর উপরে তৈরি করছি।

নিবন্ধনকর্মী: এনভিডিয়া তার সফ্টওয়্যার এবং হার্ডওয়্যার ডিজাইন করার পদ্ধতির পরিপ্রেক্ষিতে খরচের বিবেচনাকে কীভাবে দেখে? এনভিডিয়া এআই এন্টারপ্রাইজের মতো কিছুর সাথে, এটি প্রতি বছর GPU প্রতি $4,500, যা যথেষ্ট।

ব্রিস্কি: প্রথমত, ছোট কোম্পানীর জন্য, আমরা সবসময় আছে গোড়া কার্যক্রম. আমরা সবসময় গ্রাহকদের সাথে কাজ করি - একটি বিনামূল্যে 90-দিনের ট্রায়াল, এটি কি সত্যিই আপনার কাছে মূল্যবান? এটা কি আসলেই এর যোগ্য? তারপরে, আপনি যখন এটি কিনবেন তখন আপনার খরচ কমানোর জন্য, আমরা সর্বদা আমাদের সফ্টওয়্যারটি অপ্টিমাইজ করছি। তাই আপনি যদি প্রতি লাইসেন্স প্রতি বছর প্রতি GPU প্রতি $4,500 কিনছেন, এবং আপনি একটি A100 চালাচ্ছেন, এবং আপনি আগামীকাল একটি H100 চালাচ্ছেন, তবে এটি একই দাম – আপনার খরচ কমে গেছে [আপনার থ্রুপুটের তুলনায়]। তাই আমরা সর্বদা সেই অপ্টিমাইজেশানগুলি এবং মালিকানা এবং কার্যক্ষমতার মোট খরচ সফ্টওয়্যারে আবার তৈরি করছি৷

যখন আমরা প্রশিক্ষণ এবং অনুমান উভয়ের কথাই ভাবি, তখন প্রশিক্ষণে একটু বেশি সময় লাগে, কিন্তু আমাদের কাছে এই স্বয়ংক্রিয় কনফিগারেটর আছে যা বলতে সক্ষম হবে, "আপনার কাছে কত ডেটা আছে? আপনার কত কম্পিউট প্রয়োজন? আপনি এটি কতক্ষণ নিতে চান?" তাই আপনার কাছে কম্পিউটের একটি ছোট পদচিহ্ন থাকতে পারে, কিন্তু আপনার মডেলকে প্রশিক্ষণ দিতে আরও বেশি সময় লাগতে পারে … আপনি কি এটি এক সপ্তাহের মধ্যে প্রশিক্ষণ দিতে চান? অথবা আপনি একদিনে এটি প্রশিক্ষণ দিতে চান? এবং তাই আপনি যারা ট্রেড বন্ধ করতে পারেন.

নিবন্ধনকর্মী: বর্তমান সমস্যাগুলির পরিপ্রেক্ষিতে, আপনি কি বিশেষ কিছু সমাধান করতে চান বা এমন কোনও প্রযুক্তিগত চ্যালেঞ্জ আছে যা আপনি কাটিয়ে উঠতে চান?

ব্রিস্কি: এই মুহূর্তে, এটা ঘটনা-চালিত RAGs [যা বাহ্যিক উত্স থেকে আনা ডেটা সহ AI মডেলগুলিকে বাড়ানোর একটি উপায়]। অনেক উদ্যোগ শুধুমাত্র একটি উত্তর তৈরি করার জন্য ক্লাসিক্যাল প্রম্পটের কথা ভাবছে। কিন্তু সত্যিই, আমরা যা করতে চাই তা হল এই সমস্ত পুনরুদ্ধার-বর্ধিত জেনারেটিভ সিস্টেমগুলিকে একসাথে [চেইন] করা। কারণ আপনি যদি আপনার সম্পর্কে চিন্তা করেন, এবং একটি কাজ যা আপনি সম্পন্ন করতে চান: “ওহ, আমাকে ডাটাবেস দলের সাথে কথা বলতে হবে। এবং সেই ডাটাবেস টিমকে মূকনাট্য দলের সাথে কথা বলতে হবে। তারা আমাকে একটি ড্যাশবোর্ড তৈরি করতে হবে," এবং আপনি আসলে কাজটি সম্পূর্ণ করার আগে এই সমস্ত জিনিসগুলি ঘটতে হবে। এবং তাই এটা যে ধরনের ঘটনা চালিত RAG. আমি বলব না যে আরএজিরা আরএজি-র সাথে কথা বলছে, তবে এটি মূলত - এজেন্টরা চলে যায় এবং অনেক কাজ করে এবং ফিরে আসে। এবং আমরা যে cusp উপর করছি. তাই আমি মনে করি এটি এমন কিছু যা আমি 2024 সালে দেখার জন্য সত্যিই উত্তেজিত।

নিবন্ধনকর্মী: Nvidia কি নিজস্ব AI ডগফুডিং করছে? আপনি কি অভ্যন্তরীণভাবে AI দরকারী খুঁজে পেয়েছেন?

ব্রিস্কি: আসলে, আমরা গিয়েছিলাম এবং গত বছর, যেহেতু 2023 অন্বেষণের বছর ছিল, এনভিডিয়ার মধ্যে 150 টি দল ছিল যা আমি খুঁজে পেয়েছি - আরও হতে পারে - এবং আমরা বলার চেষ্টা করছিলাম, আপনি আমাদের সরঞ্জামগুলি কীভাবে ব্যবহার করছেন, কী ধরণের ব্যবহারের ক্ষেত্রে এবং আমরা সমস্ত শিক্ষাকে একত্রিত করতে শুরু করেছি, যেমন এক হাজার ফুলের মতো ফুল ফুটেছে, এবং আমরা তাদের সমস্ত শিক্ষাকে এক রেপোতে সর্বোত্তম অনুশীলনে একত্রিত করেছি। যে আসলে আমরা কি আমরা কল হিসাবে মুক্তি কি জেনারেটিভ এআই উদাহরণ GitHub-এ, কারণ আমরা শুধু এক জায়গায় সব সেরা অনুশীলন করতে চেয়েছিলাম।

যে ধরনের আমরা কি স্ট্রাকচারাল কি. কিন্তু একটি সুস্পষ্ট উদাহরণ হিসাবে, আমি মনে করি আমরা এই সত্যিই মহান কাগজ নামক লিখেছেন চিপনেমো, এবং এটি আসলে আমাদের EDA, VLSI ডিজাইন টিম সম্পর্কে, এবং কিভাবে তারা ফাউন্ডেশন মডেল নিয়েছে এবং তারা আমাদের মালিকানাধীন ডেটার উপর প্রশিক্ষণ দিয়েছে। VLSI এর জন্য আমাদের নিজস্ব কোডিং ভাষা আছে। তাই তারা আমাদের মালিকানাধীন ভাষা তৈরি করতে সক্ষম হওয়ার জন্য এবং আমাদের ভিএলএসআই ডিজাইন চিপ লেখার কোডটি পুরোপুরি জানেন না এমন নতুন ইঞ্জিনিয়ারদের উৎপাদনশীলতাকে সাহায্য করার জন্য তারা কপিলটদের [ওপেন সোর্স কোড জেনারেশন মডেল] কোডিং করছিলেন।

এবং যে প্রতিটি গ্রাহকের সঙ্গে অনুরণিত হয়েছে. সুতরাং আপনি যদি SAP-এর সাথে কথা বলেন, তাদের ABAP (অ্যাডভান্সড বিজনেস অ্যাপ্লিকেশন প্রোগ্রামিং), যা তাদের ডাটাবেসের মালিকানাধীন SQL এর মতো। এবং আমি অন্য তিনজন গ্রাহকের সাথে কথা বলেছি যাদের আলাদা আলাদা মালিকানা ভাষা ছিল – এমনকি SQL এর শত শত উপভাষা রয়েছে। সুতরাং কোড জেনারেশন করতে সক্ষম হওয়া একটি ব্যবহারের ক্ষেত্রে নয় যা RAG দ্বারা অবিলম্বে সমাধানযোগ্য। হ্যাঁ, RAG ডকুমেন্টেশন এবং কিছু কোড স্নিপেট পুনরুদ্ধার করতে সাহায্য করে, কিন্তু যদি না এটি সেই ভাষায় টোকেন তৈরি করতে প্রশিক্ষিত না হয়, এটি কেবল কোড তৈরি করতে পারে না।

নিবন্ধনকর্মী: আপনি যখন বৃহৎ ভাষার মডেলগুলি দেখেন এবং অ্যাপ্লিকেশনগুলির সাথে যেভাবে সেগুলিকে একত্রে বেঁধে রাখা হচ্ছে, আপনি কি লেটেন্সি সম্পর্কে ভাবছেন যা প্রবর্তন করতে পারে এবং কীভাবে এটি মোকাবেলা করা যায়? এমন সময় কি আছে যখন কেবলমাত্র একটি সিদ্ধান্তের গাছকে হার্ডকোড করা মনে হয় এটি আরও অর্থবহ হবে?

ব্রিস্কি: আপনি ঠিক বলেছেন, আপনি যখন একটি নির্দিষ্ট প্রশ্ন জিজ্ঞাসা করেন, বা প্রম্পট করেন, এমনও হতে পারে, এমনকি একটি প্রশ্নের জন্যও, পাঁচ বা সাতটি মডেল ইতিমধ্যেই চালু করা হতে পারে যাতে আপনি দ্রুত পুনঃলিখন এবং রেলপথ এবং পুনরুদ্ধার এবং পুনরায় র‌্যাঙ্কিং পেতে পারেন। এবং তারপর জেনারেটর। এই কারণেই NIM এত গুরুত্বপূর্ণ, কারণ আমরা বিলম্বের জন্য অপ্টিমাইজ করেছি।

সেই কারণেই আমরা ফাউন্ডেশন মডেলগুলির বিভিন্ন সংস্করণ অফার করি কারণ আপনার কাছে একটি SLM থাকতে পারে, একটি ছোট ভাষার মডেল যা একটি নির্দিষ্ট সেটের কাজের জন্য আরও ভাল, এবং তারপরে আপনি আরও নির্ভুলতার জন্য শেষ পর্যন্ত বড় মডেলটি চান৷ কিন্তু তারপরে আপনার লেটেন্সি উইন্ডোতে সমস্ত কিছু ফিট করার জন্য চেইন করা একটি সমস্যা যা আমরা বহু বছর ধরে বহু হাইপারস্কেল বা পরিচালিত পরিষেবার জন্য সমাধান করে আসছি। তাদের কাছে এই লেটেন্সি উইন্ডোগুলি রয়েছে এবং অনেক সময় যখন আপনি একটি প্রশ্ন জিজ্ঞাসা করেন বা একটি অনুসন্ধান করেন, তারা আসলে চলে যাচ্ছে এবং একাধিকবার প্রশ্নটি তৈরি করছে। সুতরাং তারা "মোট প্রতিক্রিয়ার প্রতিটি ছোট অংশের জন্য আমার লেটেন্সি উইন্ডো কী?" এর অনেক রেস শর্ত পেয়েছে। তাই হ্যাঁ, আমরা সবসময় যে খুঁজছি.

হার্ডকোডিং সম্পর্কে আপনার বক্তব্য, আমি আজকে একজন গ্রাহকের সাথে কথা বলেছি। আমরা হার্ডকোডিংয়ের বাইরে... আপনি একটি ডায়ালগ ম্যানেজার ব্যবহার করতে পারেন এবং যদি-তাহলে-অন্যথা থাকে। [কিন্তু] হাজার হাজার নিয়ম পরিচালনা করা সত্যিই, সত্যিই অসম্ভব। এবং সেই কারণেই আমরা গার্ডেলের মতো জিনিস পছন্দ করি, কারণ গার্ডেলগুলি ক্লাসিক্যাল ডায়ালগ ম্যানেজারের এক ধরণের প্রতিস্থাপনের প্রতিনিধিত্ব করে। "বেসবল সম্পর্কে কথা বলবেন না, সফ্টবল সম্পর্কে কথা বলবেন না, ফুটবল সম্পর্কে কথা বলবেন না" বলার পরিবর্তে এবং তাদের তালিকাভুক্ত করে আপনি কেবল বলতে পারেন, "খেলাধুলা সম্পর্কে কথা বলবেন না।" এবং তারপর এলএলএম জানে একটি খেলা কি। সময় সঞ্চয়, এবং পরে সেই কোডটি পরিচালনা করতে সক্ষম হওয়া, অনেক ভাল। ®

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
• প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
• প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
• উত্স: https://go.theregister.com/feed/www.theregister.com/2024/03/26/nvdiai_kari_briski_interview/