এমএল প্রশিক্ষণ এবং অনুমান কর্মক্ষমতা এবং খরচ অপ্টিমাইজ করতে অ্যামাজন মিউজিক কীভাবে NVIDIA-এর সাথে SageMaker ব্যবহার করে | আমাজন ওয়েব সার্ভিসেস

এমএল প্রশিক্ষণ এবং অনুমান কর্মক্ষমতা এবং খরচ অপ্টিমাইজ করতে অ্যামাজন মিউজিক কীভাবে NVIDIA-এর সাথে SageMaker ব্যবহার করে | আমাজন ওয়েব সার্ভিসেস

স্ট্রিমিং এর গতিশীল বিশ্বে আমাজন গান, একটি গান, পডকাস্ট, বা প্লেলিস্টের জন্য প্রতিটি অনুসন্ধান একটি গল্প, একটি মেজাজ, বা আবেগের বন্যা উন্মোচনের জন্য অপেক্ষা করে৷ এই অনুসন্ধানগুলি নতুন আবিষ্কার, লালিত অভিজ্ঞতা এবং দীর্ঘস্থায়ী স্মৃতির প্রবেশদ্বার হিসাবে কাজ করে। অনুসন্ধান বার শুধুমাত্র একটি গান খোঁজার জন্য নয়; এটি লক্ষ লক্ষ সক্রিয় ব্যবহারকারীদের সমৃদ্ধ এবং বৈচিত্র্যময় বিশ্বে তাদের ব্যক্তিগত যাত্রা শুরু করার বিষয়ে যা অ্যামাজন মিউজিক অফার করে।

ব্যবহারকারীরা যে সঙ্গীতটি অনুসন্ধান করে তা অবিলম্বে খুঁজে পেতে একটি উচ্চতর গ্রাহক অভিজ্ঞতা প্রদান করার জন্য একটি প্ল্যাটফর্ম প্রয়োজন যা স্মার্ট এবং প্রতিক্রিয়াশীল উভয়ই। অ্যামাজন মিউজিক এটি সম্পন্ন করতে AI এর শক্তি ব্যবহার করে। যাইহোক, রিয়েল-টাইম বানান চেক এবং ভেক্টর অনুসন্ধানের মতো সার্চ বারের ক্ষমতাকে শক্তিশালী করে এমন এআই মডেলগুলির প্রশিক্ষণের খরচ এবং অনুমান পরিচালনা করার সময় গ্রাহকের অভিজ্ঞতাকে অপ্টিমাইজ করা কঠিন ট্রাফিক সময়ে কঠিন।

আমাজন সেজমেকার পরিষেবাগুলির একটি এন্ড-টু-এন্ড সেট সরবরাহ করে যা Amazon Music-কে AWS ক্লাউডে ন্যূনতম প্রচেষ্টায় তৈরি, প্রশিক্ষণ এবং স্থাপন করার অনুমতি দেয়৷ অপ্রত্যাশিত ভারী উত্তোলনের যত্ন নেওয়ার মাধ্যমে, সেজমেকার আপনাকে আপনার মেশিন লার্নিং (এমএল) মডেলগুলিতে কাজ করার উপর ফোকাস করার অনুমতি দেয় এবং অবকাঠামোর মতো বিষয়গুলি নিয়ে চিন্তা না করে। ভাগ করা দায়িত্বের মডেলের অংশ হিসাবে, SageMaker নিশ্চিত করে যে তারা যে পরিষেবাগুলি প্রদান করে তা নির্ভরযোগ্য, পারফরম্যান্ট এবং মাপযোগ্য, যখন আপনি নিশ্চিত করেন যে ML মডেলগুলির প্রয়োগ সেজমেকার প্রদান করা ক্ষমতাগুলির সর্বোত্তম ব্যবহার করে।

এই পোস্টে, আমরা সেজমেকার এবং এনভিআইডিএ ট্রাইটন ইনফারেন্স সার্ভার এবং টেনসরআরটি ব্যবহার করে পারফরম্যান্স এবং খরচ অপ্টিমাইজ করার জন্য অ্যামাজন মিউজিকের যাত্রার মধ্য দিয়ে চলেছি। আপাতদৃষ্টিতে সহজ, কিন্তু জটিল, অনুসন্ধান বার কীভাবে কাজ করে তা দেখানোর জন্য আমরা গভীরভাবে ডুব দিয়েছি, সামান্য-থেকে-শূন্য হতাশাজনক টাইপো বিলম্ব এবং প্রাসঙ্গিক রিয়েল-টাইম অনুসন্ধান ফলাফল সহ অ্যামাজন মিউজিকের মহাবিশ্বে একটি অবিচ্ছিন্ন যাত্রা নিশ্চিত করে৷

Amazon SageMaker এবং NVIDIA: দ্রুত এবং সঠিক ভেক্টর অনুসন্ধান এবং বানান পরীক্ষা করার ক্ষমতা প্রদান করা

অ্যামাজন মিউজিক 100 মিলিয়নেরও বেশি গান এবং লক্ষ লক্ষ পডকাস্ট পর্বের একটি বিশাল লাইব্রেরি অফার করে। যাইহোক, সঠিক গান বা পডকাস্ট খুঁজে পাওয়া চ্যালেঞ্জিং হতে পারে, বিশেষ করে যদি আপনি সঠিক শিরোনাম, শিল্পী বা অ্যালবামের নাম না জানেন বা অনুসন্ধান করা প্রশ্নটি খুব বিস্তৃত হয়, যেমন "সংবাদ পডকাস্ট"।

অ্যামাজন মিউজিক অনুসন্ধান এবং পুনরুদ্ধার প্রক্রিয়া উন্নত করার জন্য একটি দ্বি-মুখী পদ্ধতি গ্রহণ করেছে। প্রথম পদক্ষেপটি হল ভেক্টর অনুসন্ধান (এছাড়াও এম্বেডিং-ভিত্তিক পুনরুদ্ধার নামে পরিচিত), একটি ML কৌশল যা ব্যবহারকারীদের বিষয়বস্তুর শব্দার্থবিদ্যা ব্যবহার করে সবচেয়ে প্রাসঙ্গিক সামগ্রী খুঁজে পেতে সহায়তা করতে পারে। দ্বিতীয় ধাপে অনুসন্ধান স্ট্যাকে একটি ট্রান্সফরমার-ভিত্তিক বানান সংশোধন মডেল প্রবর্তন করা জড়িত। সঙ্গীত অনুসন্ধান করার সময় এটি বিশেষভাবে সহায়ক হতে পারে, কারণ ব্যবহারকারীরা সবসময় একটি গানের শিরোনাম বা শিল্পীর নামের সঠিক বানান নাও জানতে পারে। বানান সংশোধন ব্যবহারকারীদের তাদের অনুসন্ধান ক্যোয়ারীতে বানান ভুল করলেও তারা যে সঙ্গীতটি খুঁজছেন তা খুঁজে পেতে সহায়তা করতে পারে৷

একটি অনুসন্ধান এবং পুনরুদ্ধার পাইপলাইনে ট্রান্সফরমার মডেলগুলি প্রবর্তন করা (ভেক্টর অনুসন্ধানের জন্য প্রয়োজনীয় কোয়েরি এমবেডিং জেনারেশন এবং বানান সংশোধনে জেনারেটিভ Seq2Seq ট্রান্সফরমার মডেল) সামগ্রিক বিলম্বে উল্লেখযোগ্য বৃদ্ধি ঘটাতে পারে, যা গ্রাহকের অভিজ্ঞতাকে নেতিবাচকভাবে প্রভাবিত করে। অতএব, ভেক্টর অনুসন্ধান এবং বানান সংশোধন মডেলগুলির জন্য রিয়েল-টাইম ইনফারেন্স লেটেন্সি অপ্টিমাইজ করা আমাদের জন্য একটি শীর্ষ অগ্রাধিকার হয়ে উঠেছে।

আমাজন মিউজিক এবং এনভিআইডিএ ভেক্টর অনুসন্ধান-ভিত্তিক কৌশল ব্যবহার করে দ্রুত এবং নির্ভুল বানান পরীক্ষা উভয় ক্ষমতা এবং রিয়েল-টাইম শব্দার্থিক অনুসন্ধানের পরামর্শ বাস্তবায়ন করতে সেজমেকার ব্যবহার করে অনুসন্ধান বারে সর্বোত্তম সম্ভাব্য গ্রাহক অভিজ্ঞতা আনতে একত্রিত হয়েছে। সমাধানের মধ্যে রয়েছে G5 ইন্সট্যান্স দ্বারা চালিত সেজমেকার হোস্টিং যা NVIDIA A10G টেনসর কোর GPUs, SageMaker-সমর্থিত NVIDIA Triton Inference সার্ভার কন্টেইনার এবং NVIDIA TensorRT মডেল বিন্যাস। সর্বোচ্চ ট্র্যাফিকের সময়ে বানান চেক মডেলের অনুমান লেটেন্সি 25 মিলিসেকেন্ডে কমিয়ে এবং CPU ভিত্তিক অনুমানের তুলনায় সার্চ কোয়েরি এমবেডিং জেনারেশন লেটেন্সি গড়ে 63% এবং খরচ 73% কমিয়ে, Amazon Music সার্চ বারের কার্যক্ষমতাকে উন্নত করেছে৷

উপরন্তু, সঠিক ফলাফল প্রদানের জন্য AI মডেলকে প্রশিক্ষণ দেওয়ার সময়, Amazon Music তাদের BART সিকোয়েন্স-টু-সিকোয়েন্স স্পেল কারেক্টর ট্রান্সফরমার মডেলের জন্য প্রশিক্ষণের সময় 12 গুণ ত্বরণ অর্জন করেছে, তাদের GPU ব্যবহার অপ্টিমাইজ করে সময় এবং অর্থ উভয়ই সাশ্রয় করেছে।

আমাজন মিউজিক গ্রাহক অনুসন্ধানের অভিজ্ঞতাকে অগ্রাধিকার দিতে এবং ভাল-অপ্টিমাইজ করা বানান পরীক্ষা এবং ভেক্টর অনুসন্ধান কার্যকারিতা সহ একটি অনুসন্ধান বার তৈরি করতে NVIDIA-এর সাথে অংশীদারিত্ব করেছে। নিম্নলিখিত বিভাগে, আমরা এই অপ্টিমাইজেশানগুলি কীভাবে সাজানো হয়েছিল সে সম্পর্কে আরও শেয়ার করি৷

NVIDIA Tensor Core GPU-এর সাথে প্রশিক্ষণ অপ্টিমাইজ করা

বৃহৎ ভাষা মডেল প্রশিক্ষণের জন্য একটি NVIDIA Tensor Core GPU-তে অ্যাক্সেস লাভ করা তার প্রকৃত সম্ভাবনা ক্যাপচার করার জন্য যথেষ্ট নয়। GPU-এর ব্যবহার সম্পূর্ণরূপে সর্বাধিক করার জন্য প্রশিক্ষণের সময় অবশ্যই ঘটতে হবে এমন মূল অপ্টিমাইজেশান পদক্ষেপগুলি রয়েছে৷ যাইহোক, একটি অব্যবহৃত জিপিইউ নিঃসন্দেহে সম্পদের অদক্ষ ব্যবহার, দীর্ঘায়িত প্রশিক্ষণের সময়কাল এবং কার্যক্ষম খরচ বৃদ্ধির দিকে পরিচালিত করবে।

প্রশিক্ষণের প্রাথমিক পর্যায়ে বানান সংশোধনকারী BART (bart-বেস) SageMaker ml.p3.24x বড় উদাহরণে ট্রান্সফরমার মডেল (8 NVIDIA V100 Tensor Core GPUs), Amazon Music-এর GPU ব্যবহার ছিল প্রায় 35%। NVIDIA GPU-অ্যাক্সিলারেটেড প্রশিক্ষণের সুবিধাগুলি সর্বাধিক করার জন্য, AWS এবং NVIDIA সলিউশন আর্কিটেক্টরা অপ্টিমাইজেশনের জন্য বিশেষত ব্যাচের আকার এবং নির্ভুলতা পরামিতিগুলির আশেপাশে ক্ষেত্রগুলি সনাক্ত করতে অ্যামাজন মিউজিককে সমর্থন করেছিলেন। এই দুটি গুরুত্বপূর্ণ পরামিতি গভীর শিক্ষার মডেল প্রশিক্ষণের দক্ষতা, গতি এবং নির্ভুলতাকে প্রভাবিত করে।

ফলস্বরূপ অপ্টিমাইজেশানগুলি একটি নতুন এবং উন্নত V100 GPU ব্যবহার করেছে, যা প্রায় 89% এ স্থির, আমাজন মিউজিকের প্রশিক্ষণের সময়কে 3 দিন থেকে 5-6 ঘন্টায় মারাত্মকভাবে হ্রাস করেছে। ব্যাচের আকার 32 থেকে 256 এ স্যুইচ করে এবং দৌড়ানোর মতো অপ্টিমাইজেশন কৌশল ব্যবহার করে স্বয়ংক্রিয় মিশ্র নির্ভুলতা প্রশিক্ষণ শুধুমাত্র FP32 নির্ভুলতা ব্যবহার করার পরিবর্তে, Amazon Music সময় এবং অর্থ উভয়ই বাঁচাতে সক্ষম হয়েছিল।

নিম্নলিখিত চার্টটি অপ্টিমাইজেশনের পরে GPU ব্যবহারে 54% শতাংশ পয়েন্ট বৃদ্ধিকে চিত্রিত করে৷

এমএল প্রশিক্ষণ এবং অনুমান কর্মক্ষমতা এবং খরচ অপ্টিমাইজ করতে অ্যামাজন মিউজিক কীভাবে NVIDIA-এর সাথে SageMaker ব্যবহার করে | আমাজন ওয়েব সার্ভিস প্লেটোব্লকচেইন ডেটা ইন্টেলিজেন্স। উল্লম্ব অনুসন্ধান. আ.

নিচের চিত্রটি প্রশিক্ষণের সময় ত্বরণকে চিত্রিত করে।

এমএল প্রশিক্ষণ এবং অনুমান কর্মক্ষমতা এবং খরচ অপ্টিমাইজ করতে অ্যামাজন মিউজিক কীভাবে NVIDIA-এর সাথে SageMaker ব্যবহার করে | আমাজন ওয়েব সার্ভিস প্লেটোব্লকচেইন ডেটা ইন্টেলিজেন্স। উল্লম্ব অনুসন্ধান. আ.

ব্যাচের আকারের এই বৃদ্ধি NVIDIA GPU-কে একাধিক টেনসর কোর জুড়ে একই সাথে উল্লেখযোগ্যভাবে আরও ডেটা প্রক্রিয়া করতে সক্ষম করেছে, যার ফলে প্রশিক্ষণের সময় ত্বরান্বিত হয়েছে। যাইহোক, মেমরির সাথে একটি সূক্ষ্ম ভারসাম্য বজায় রাখা গুরুত্বপূর্ণ, কারণ বড় ব্যাচের আকারগুলি আরও মেমরির চাহিদা রাখে। NVIDIA Tensor Core GPU-এর শক্তি আনলক করার ক্ষেত্রে ব্যাচের আকার বৃদ্ধি এবং মিশ্র নির্ভুলতা উভয়ই গুরুত্বপূর্ণ হতে পারে।

মডেলটিকে কনভারজেন্সের জন্য প্রশিক্ষিত করার পরে, আমাজন মিউজিকের অনুসন্ধান বারে অনুমান স্থাপনের জন্য অপ্টিমাইজ করার সময় ছিল।

বানান সংশোধন: BART মডেল অনুমান

SageMaker G5 ইন্সট্যান্স এবং NVIDIA Triton Inference Server (একটি ওপেন সোর্স ইনফারেন্স সার্ভিং সফ্টওয়্যার), পাশাপাশি NVIDIA TensorRT, একটি SDK উচ্চ-পারফরম্যান্স ডিপ লার্নিং ইনফারেন্সের সাহায্যে যার মধ্যে একটি অনুমান অপ্টিমাইজার এবং রানটাইম অন্তর্ভুক্ত রয়েছে, Amazon Music তাদের বানান চেক BART সীমিত করে (bart-বেস) মডেল সার্ভার ইনফারেন্স লেটেন্সি সর্বোচ্চ ট্র্যাফিক এ মাত্র 25 মিলিসেকেন্ড। এর মধ্যে লোড ব্যালেন্সিং, প্রি-প্রসেসিং, মডেল ইনফরেন্সিং এবং পোস্টপ্রসেসিং টাইমগুলির মতো ওভারহেডগুলি অন্তর্ভুক্ত রয়েছে।

NVIDIA Triton Inference Server দুটি ভিন্ন ধরনের ব্যাকএন্ড প্রদান করে: একটি GPU-তে মডেল হোস্ট করার জন্য এবং একটি পাইথন ব্যাকএন্ড যেখানে আপনি প্রিপ্রসেসিং এবং পোস্টপ্রসেসিং ধাপে ব্যবহার করার জন্য আপনার নিজস্ব কাস্টম কোড আনতে পারেন। নিম্নলিখিত চিত্রটি চিত্রিত করে মডেল ensemble স্কিম.

এমএল প্রশিক্ষণ এবং অনুমান কর্মক্ষমতা এবং খরচ অপ্টিমাইজ করতে অ্যামাজন মিউজিক কীভাবে NVIDIA-এর সাথে SageMaker ব্যবহার করে | আমাজন ওয়েব সার্ভিস প্লেটোব্লকচেইন ডেটা ইন্টেলিজেন্স। উল্লম্ব অনুসন্ধান. আ.

আমাজন মিউজিক তার BART তৈরি করেছে অনুমান পাইপলাইন CPU-তে প্রি-প্রসেসিং (টেক্সট টোকেনাইজেশন) এবং পোস্টপ্রসেসিং (টেক্সট থেকে টোকেন) উভয় ধাপই চালানোর মাধ্যমে, যেখানে মডেল এক্সিকিউশন ধাপ চলে NVIDIA A10G টেনসর কোর GPUs. একটি পাইথন ব্যাকএন্ড প্রি-প্রসেসিং এবং পোস্টপ্রসেসিং ধাপের মাঝখানে বসে এবং TensorRT- রূপান্তরিত BART মডেলের পাশাপাশি এনকোডার/ডিকোডার নেটওয়ার্কগুলির সাথে যোগাযোগের জন্য দায়ী। টেনসরআরটি নির্ভুল ক্রমাঙ্কন, স্তর এবং টেনসর ফিউশন, কার্নেল অটো-টিউনিং, ডায়নামিক টেনসর মেমরি, মাল্টি-স্ট্রিম এক্সিকিউশন এবং টাইম ফিউশন সহ অনুমান কার্যক্ষমতা বাড়ায়।

নিম্নলিখিত চিত্রটি কী মডিউলগুলির উচ্চ-স্তরের নকশাকে চিত্রিত করে যা বানান সংশোধনকারী BART মডেল অনুমানকারী পাইপলাইন তৈরি করে।

এমএল প্রশিক্ষণ এবং অনুমান কর্মক্ষমতা এবং খরচ অপ্টিমাইজ করতে অ্যামাজন মিউজিক কীভাবে NVIDIA-এর সাথে SageMaker ব্যবহার করে | আমাজন ওয়েব সার্ভিস প্লেটোব্লকচেইন ডেটা ইন্টেলিজেন্স। উল্লম্ব অনুসন্ধান. আ.

ভেক্টর অনুসন্ধান: কোয়েরি এমবেডিং জেনারেশন বাক্য BERT মডেল ইনফারেন্সিং

CPU-ভিত্তিক বেসলাইনের তুলনায় NVIDIA AI ইনফারেন্স প্ল্যাটফর্ম ব্যবহার করার সময় নিচের চার্টটি লেটেন্সি (p60 90–800 TPS পরিবেশন করা) 900% উন্নতির চিত্র তুলে ধরে।

এমএল প্রশিক্ষণ এবং অনুমান কর্মক্ষমতা এবং খরচ অপ্টিমাইজ করতে অ্যামাজন মিউজিক কীভাবে NVIDIA-এর সাথে SageMaker ব্যবহার করে | আমাজন ওয়েব সার্ভিস প্লেটোব্লকচেইন ডেটা ইন্টেলিজেন্স। উল্লম্ব অনুসন্ধান. আ.

CPU-ভিত্তিক বেসলাইনের তুলনায় NVIDIA AI ইনফারেন্স প্ল্যাটফর্ম ব্যবহার করার সময় নিম্নলিখিত চার্টটি খরচে 70% উন্নতি দেখায়।

এমএল প্রশিক্ষণ এবং অনুমান কর্মক্ষমতা এবং খরচ অপ্টিমাইজ করতে অ্যামাজন মিউজিক কীভাবে NVIDIA-এর সাথে SageMaker ব্যবহার করে | আমাজন ওয়েব সার্ভিস প্লেটোব্লকচেইন ডেটা ইন্টেলিজেন্স। উল্লম্ব অনুসন্ধান. আ.

নিম্নোক্ত চিত্রটি উচ্চ-কর্মক্ষমতা গভীর শিক্ষার অনুমানের জন্য একটি SDK চিত্রিত করে। এটিতে একটি গভীর শিক্ষার অনুমান অপ্টিমাইজার এবং রানটাইম রয়েছে যা অনুমান অ্যাপ্লিকেশনগুলির জন্য কম লেটেন্সি এবং উচ্চ থ্রুপুট সরবরাহ করে।

এমএল প্রশিক্ষণ এবং অনুমান কর্মক্ষমতা এবং খরচ অপ্টিমাইজ করতে অ্যামাজন মিউজিক কীভাবে NVIDIA-এর সাথে SageMaker ব্যবহার করে | আমাজন ওয়েব সার্ভিস প্লেটোব্লকচেইন ডেটা ইন্টেলিজেন্স। উল্লম্ব অনুসন্ধান. আ.

এই ফলাফলগুলি অর্জনের জন্য, অ্যামাজন মিউজিক বিভিন্ন ট্রাইটন স্থাপনার পরামিতি ব্যবহার করে পরীক্ষা করেছে ট্রাইটন মডেল বিশ্লেষক, একটি টুল যা দক্ষ অনুমান স্থাপনের জন্য সেরা NVIDIA Triton মডেল কনফিগারেশন খুঁজে পেতে সাহায্য করে। মডেল ইনফারেন্স অপ্টিমাইজ করার জন্য, ট্রাইটন গতিশীল ব্যাচিং এবং সমসাময়িক মডেল এক্সিকিউশনের মতো বৈশিষ্ট্যগুলি অফার করে এবং অন্যান্য নমনীয়তা ক্ষমতার জন্য কাঠামো সমর্থন করে। ডায়নামিক ব্যাচিং অনুমান অনুরোধগুলি সংগ্রহ করে, থ্রুপুট সর্বাধিক করার জন্য নির্বিঘ্নে তাদের একত্রে একত্রিত করে, সব কিছু অ্যামাজন মিউজিক ব্যবহারকারীদের জন্য রিয়েল-টাইম প্রতিক্রিয়া নিশ্চিত করে। সমসাময়িক মডেল এক্সিকিউশন ক্ষমতা একই GPU-তে মডেলের একাধিক কপি হোস্ট করার মাধ্যমে অনুমান কার্যক্ষমতাকে আরও উন্নত করে। অবশেষে, ব্যবহার করে ট্রাইটন মডেল বিশ্লেষক, অ্যামাজন মিউজিক ডায়নামিক ব্যাচিং এবং মডেল কনকারেন্সি ইনফারেন্স হোস্টিং প্যারামিটারগুলিকে সযত্নে সূক্ষ্ম-টিউন করতে সক্ষম হয়েছিল যাতে সর্বোত্তম সেটিংস খুঁজে পাওয়া যায় যা সিমুলেটেড ট্র্যাফিক ব্যবহার করে অনুমান কার্যক্ষমতা সর্বাধিক করে৷

উপসংহার

সেজমেকারে ট্রাইটন ইনফারেন্স সার্ভার এবং টেনসরআরটির সাথে কনফিগারেশন অপ্টিমাইজ করা অ্যামাজন মিউজিককে প্রশিক্ষণ এবং অনুমান পাইপলাইন উভয়ের জন্য অসামান্য ফলাফল অর্জন করতে দেয়। সেজমেকার প্ল্যাটফর্ম হল এআই উৎপাদনের জন্য এন্ড-টু-এন্ড ওপেন প্ল্যাটফর্ম, যা হার্ডওয়্যার এবং সফ্টওয়্যার উভয় জুড়েই সমস্ত প্রধান AI ব্যবহারের ক্ষেত্রে সমর্থন করার জন্য দ্রুত সময় এবং বহুমুখিতা প্রদান করে। প্রশিক্ষণের জন্য V100 GPU ব্যবহার অপ্টিমাইজ করে এবং NVIDIA A5G টেনসর কোর GPUs ব্যবহার করে CPU থেকে G10 দৃষ্টান্তে স্যুইচ করার পাশাপাশি Triton Inference Server এবং TensorRT-এর মতো অপ্টিমাইজ করা NVIDIA সফ্টওয়্যার ব্যবহার করে, Amazon Music-এর মতো কোম্পানিগুলি উভয় ক্ষেত্রেই পারফরম্যান্স বাড়াতে সময় এবং অর্থ বাঁচাতে পারে। প্রশিক্ষণ এবং অনুমান, একটি ভাল গ্রাহক অভিজ্ঞতা এবং কম অপারেটিং খরচ সরাসরি অনুবাদ।

SageMaker ML প্রশিক্ষণ এবং হোস্টিংয়ের জন্য অপ্রত্যাশিত ভারী উত্তোলন পরিচালনা করে, যা Amazon Music-কে হার্ডওয়্যার এবং সফ্টওয়্যার উভয় জুড়ে নির্ভরযোগ্য, স্কেলযোগ্য ML অপারেশন সরবরাহ করতে দেয়।

আপনার হার্ডওয়্যার এবং সফ্টওয়্যার পছন্দগুলিকে মূল্যায়ন করার মাধ্যমে আপনার কাজের চাপগুলি সেজমেকার ব্যবহার করে অপ্টিমাইজ করা হয়েছে কিনা তা পরীক্ষা করার জন্য আমরা আপনাকে উত্সাহিত করি যাতে আপনি কম খরচে আরও ভাল কার্যক্ষমতা অর্জন করতে পারেন কিনা তা দেখতে।

AWS-এ NVIDIA AI সম্পর্কে আরও জানতে, নিম্নলিখিতগুলি পড়ুন:


লেখক সম্পর্কে

এমএল প্রশিক্ষণ এবং অনুমান কর্মক্ষমতা এবং খরচ অপ্টিমাইজ করতে অ্যামাজন মিউজিক কীভাবে NVIDIA-এর সাথে SageMaker ব্যবহার করে | আমাজন ওয়েব সার্ভিস প্লেটোব্লকচেইন ডেটা ইন্টেলিজেন্স। উল্লম্ব অনুসন্ধান. আ.সিদ্ধার্থ শর্মা অ্যামাজন মিউজিকের বিজ্ঞান ও মডেলিং দলের একজন মেশিন লার্নিং টেক লিড। তিনি অনুসন্ধান, পুনরুদ্ধার, র‌্যাঙ্কিং এবং এনএলপি সম্পর্কিত মডেলিং সমস্যাগুলিতে বিশেষজ্ঞ। সিদ্ধার্থের একটি সমৃদ্ধ ব্যাকগ্রাউন্ড রয়েছে যা লেটেন্সি সংবেদনশীল মেশিন লার্নিং সমস্যাগুলির উপর কাজ করে যেমন বিজ্ঞাপন টার্গেটিং, মাল্টি মডেল পুনরুদ্ধার, অনুসন্ধান ক্যোয়ারী আন্ডারস্ট্যান্ডিং ইত্যাদি। Amazon Music-এ কাজ করার আগে, সিদ্ধার্থ মেটা, ওয়ালমার্ট ল্যাবস, রাকুটেনের মতো কোম্পানিতে কাজ করছিলেন। ই-কমার্স কেন্দ্রিক এমএল সমস্যাগুলির উপর। সিদ্ধার্থ তার কর্মজীবনের প্রথম দিকে বে এরিয়া অ্যাড-টেক স্টার্টআপগুলির সাথে কাজ করে কাটিয়েছেন।

এমএল প্রশিক্ষণ এবং অনুমান কর্মক্ষমতা এবং খরচ অপ্টিমাইজ করতে অ্যামাজন মিউজিক কীভাবে NVIDIA-এর সাথে SageMaker ব্যবহার করে | আমাজন ওয়েব সার্ভিস প্লেটোব্লকচেইন ডেটা ইন্টেলিজেন্স। উল্লম্ব অনুসন্ধান. আ.তরুণ শর্মা একজন সফটওয়্যার ডেভেলপমেন্ট ম্যানেজার আমাজন মিউজিক সার্চ প্রাসঙ্গিকতার নেতৃত্ব দিচ্ছেন। তার বিজ্ঞানী এবং এমএল ইঞ্জিনিয়ারদের দল Amazon Music গ্রাহকদের প্রাসঙ্গিকভাবে প্রাসঙ্গিক এবং ব্যক্তিগতকৃত অনুসন্ধান ফলাফল প্রদানের জন্য দায়ী।

এমএল প্রশিক্ষণ এবং অনুমান কর্মক্ষমতা এবং খরচ অপ্টিমাইজ করতে অ্যামাজন মিউজিক কীভাবে NVIDIA-এর সাথে SageMaker ব্যবহার করে | আমাজন ওয়েব সার্ভিস প্লেটোব্লকচেইন ডেটা ইন্টেলিজেন্স। উল্লম্ব অনুসন্ধান. আ.জেমস পার্ক অ্যামাজন ওয়েব সার্ভিসের একজন সলিউশন আর্কিটেক্ট। তিনি AWS-এ প্রযুক্তি সমাধান ডিজাইন, নির্মাণ এবং স্থাপন করার জন্য Amazon.com-এর সাথে কাজ করেন এবং AI এবং মেশিন লার্নিং-এ বিশেষ আগ্রহ রয়েছে। অবসর সময়ে তিনি নতুন সংস্কৃতি, নতুন অভিজ্ঞতা খুঁজে পেতে এবং সর্বশেষ প্রযুক্তির প্রবণতাগুলির সাথে আপ টু ডেট থাকতে উপভোগ করেন৷ আপনি তাকে এখানে খুঁজে পেতে পারেন৷ লিঙ্কডইন.

এমএল প্রশিক্ষণ এবং অনুমান কর্মক্ষমতা এবং খরচ অপ্টিমাইজ করতে অ্যামাজন মিউজিক কীভাবে NVIDIA-এর সাথে SageMaker ব্যবহার করে | আমাজন ওয়েব সার্ভিস প্লেটোব্লকচেইন ডেটা ইন্টেলিজেন্স। উল্লম্ব অনুসন্ধান. আ.ক্ষিতিজ গুপ্ত NVIDIA-এর একজন সলিউশন আর্কিটেক্ট। তিনি ক্লাউড গ্রাহকদের জিপিইউ এআই প্রযুক্তি সম্পর্কে শিক্ষিত করতে উপভোগ করেন NVIDIA-এর অফার করা এবং তাদের মেশিন লার্নিং এবং গভীর শিক্ষার অ্যাপ্লিকেশনগুলিকে ত্বরান্বিত করতে সহায়তা করা। কাজের বাইরে, তিনি দৌড়ানো, হাইকিং এবং বন্যপ্রাণী দেখা উপভোগ করেন।

এমএল প্রশিক্ষণ এবং অনুমান কর্মক্ষমতা এবং খরচ অপ্টিমাইজ করতে অ্যামাজন মিউজিক কীভাবে NVIDIA-এর সাথে SageMaker ব্যবহার করে | আমাজন ওয়েব সার্ভিস প্লেটোব্লকচেইন ডেটা ইন্টেলিজেন্স। উল্লম্ব অনুসন্ধান. আ.জিয়াহং লিউ NVIDIA-এর ক্লাউড পরিষেবা প্রদানকারী দলের একজন সমাধান স্থপতি। তিনি ক্লায়েন্টদের মেশিন লার্নিং এবং এআই সমাধান গ্রহণে সহায়তা করেন যা তাদের প্রশিক্ষণ এবং অনুমান চ্যালেঞ্জ মোকাবেলায় NVIDIA ত্বরিত কম্পিউটিংকে সুবিধা দেয়। অবসর সময়ে, তিনি অরিগামি, DIY প্রকল্প এবং বাস্কেটবল খেলা উপভোগ করেন।

এমএল প্রশিক্ষণ এবং অনুমান কর্মক্ষমতা এবং খরচ অপ্টিমাইজ করতে অ্যামাজন মিউজিক কীভাবে NVIDIA-এর সাথে SageMaker ব্যবহার করে | আমাজন ওয়েব সার্ভিস প্লেটোব্লকচেইন ডেটা ইন্টেলিজেন্স। উল্লম্ব অনুসন্ধান. আ.তুগরুল কনুক এনভিআইডিএ-তে একজন সিনিয়র সলিউশন আর্কিটেক্ট, বড় মাপের প্রশিক্ষণ, মাল্টিমোডাল ডিপ লার্নিং এবং উচ্চ-কার্যকারিতা বৈজ্ঞানিক কম্পিউটিং-এ বিশেষজ্ঞ। NVIDIA-এর আগে, তিনি কম্পিউটেশনাল ইমেজিংয়ের জন্য অ্যালগরিদম তৈরিতে মনোযোগ দিয়ে শক্তি শিল্পে কাজ করেছিলেন। তার পিএইচডির অংশ হিসাবে, তিনি স্কেলে সংখ্যাসূচক সিমুলেশনের জন্য পদার্থবিদ্যা-ভিত্তিক গভীর শিক্ষার উপর কাজ করেছিলেন। অবসর সময়ে, তিনি পড়া, গিটার এবং পিয়ানো বাজানো উপভোগ করেন।

এমএল প্রশিক্ষণ এবং অনুমান কর্মক্ষমতা এবং খরচ অপ্টিমাইজ করতে অ্যামাজন মিউজিক কীভাবে NVIDIA-এর সাথে SageMaker ব্যবহার করে | আমাজন ওয়েব সার্ভিস প্লেটোব্লকচেইন ডেটা ইন্টেলিজেন্স। উল্লম্ব অনুসন্ধান. আ.রোহিল ভার্গব তিনি NVIDIA-এর একজন পণ্য বিপণন ব্যবস্থাপক, নির্দিষ্ট CSP প্ল্যাটফর্মে NVIDIA অ্যাপ্লিকেশন ফ্রেমওয়ার্ক এবং SDK স্থাপনের উপর দৃষ্টি নিবদ্ধ করে।

এমএল প্রশিক্ষণ এবং অনুমান কর্মক্ষমতা এবং খরচ অপ্টিমাইজ করতে অ্যামাজন মিউজিক কীভাবে NVIDIA-এর সাথে SageMaker ব্যবহার করে | আমাজন ওয়েব সার্ভিস প্লেটোব্লকচেইন ডেটা ইন্টেলিজেন্স। উল্লম্ব অনুসন্ধান. আ.এলিউথ ট্রায়ানা ইসাজা NVIDIA-এর একজন ডেভেলপার রিলেশনস ম্যানেজার যিনি Amazon-এর AI MLOps, DevOps, বিজ্ঞানী এবং AWS কারিগরি বিশেষজ্ঞদেরকে ক্ষমতায়ন করে NVIDIA কম্পিউটিং স্ট্যাককে আয়ত্ত করার জন্য ডেটা কিউরেশন, GPU ট্রেনিং, মডেল ইনফারেন্স এবং GPUSstan-এ GPUSstan-এ প্রোডাকশন ডিপ্লয়মেন্ট থেকে বিস্তৃত জেনারেটিভ AI ফাউন্ডেশন মডেলগুলিকে ত্বরান্বিত ও অপ্টিমাইজ করার জন্য . এছাড়াও, এলিউথ একজন উত্সাহী পর্বত বাইকার, স্কিয়ার, টেনিস এবং জুজু খেলোয়াড়।

সময় স্ট্যাম্প:

থেকে আরো এডাব্লুএস মেশিন লার্নিং

AWS APEJ AI লাইফ-সাইকেল সফটওয়্যার টুলস এবং প্ল্যাটফর্ম ভেন্ডর অ্যাসেসমেন্টের জন্য 2022 IDC মার্কেটস্কেপে লিডার ক্যাটাগরিতে অবস্থান করেছে

উত্স নোড: 1785099
সময় স্ট্যাম্প: জানুয়ারী 6, 2023

মেডিডাটা কীভাবে এমএল অনুমানের পূর্বাভাস 30 গুণ দ্রুততর করতে অ্যামাজন সেজমেকার অ্যাসিঙ্ক্রোনাস ইনফারেন্স ব্যবহার করেছে

উত্স নোড: 1662307
সময় স্ট্যাম্প: সেপ্টেম্বর 12, 2022