AWS এবং Hugging Face জেনারেটিভ এআইকে আরও অ্যাক্সেসযোগ্য এবং সাশ্রয়ী করতে সহযোগিতা করে

আমরা জেনারেটিভ এআই অ্যাপ্লিকেশন তৈরি করতে ব্যবহৃত বৃহৎ ভাষা এবং দৃষ্টি মডেলের প্রশিক্ষণ, সূক্ষ্ম-সুরকরণ এবং স্থাপনাকে ত্বরান্বিত করতে AWS এবং Hugging Face-এর মধ্যে একটি সম্প্রসারিত সহযোগিতা ঘোষণা করতে পেরে রোমাঞ্চিত। জেনারেটিভ এআই অ্যাপ্লিকেশনগুলি পাঠ্য সংক্ষিপ্তকরণ, প্রশ্নের উত্তর, কোড তৈরি, চিত্র তৈরি এবং প্রবন্ধ ও নিবন্ধ লেখা সহ বিভিন্ন কাজ সম্পাদন করতে পারে।

AWS এর জেনারেটিভ AI-তে উদ্ভাবনের গভীর ইতিহাস রয়েছে। উদাহরণস্বরূপ, অ্যামাজন আলেক্সার সাথে একটি কথোপকথনমূলক অভিজ্ঞতা প্রদান করতে AI ব্যবহার করে যার গ্রাহকরা প্রতি সপ্তাহে বিলিয়ন বার ইন্টারঅ্যাক্ট করছেন এবং নতুন অভিজ্ঞতার অংশ হিসাবে ক্রমবর্ধমানভাবে জেনারেটিভ এআই ব্যবহার করছে আলেক্সা দিয়ে তৈরি করুন. এছাড়াও, M5 অ্যামাজন অনুসন্ধানের মধ্যে একটি গ্রুপ যা অ্যামাজন জুড়ে দলগুলিকে তাদের অ্যাপ্লিকেশনগুলিতে বড় মডেল আনতে সাহায্য করে, উন্নত করার জন্য প্রশিক্ষিত বড় মডেলগুলি Amazon.com এ অনুসন্ধান ফলাফল. AWS অবকাঠামো, টুল চালু সহ ML-এর সমস্ত ক্ষেত্রে ক্রমাগত উদ্ভাবন করছে আমাজন সেজমেকার, এবং AI পরিষেবা, যেমন আমাজন কোড হুইস্পার, একটি পরিষেবা যা একটি IDE-তে কোড এবং মন্তব্যের উপর ভিত্তি করে কোড সুপারিশ তৈরি করে বিকাশকারীর উত্পাদনশীলতা উন্নত করে৷ AWS প্রশিক্ষণের জন্য উদ্দেশ্য-নির্মিত ML এক্সিলারেটরও তৈরি করেছে (এডব্লিউএস ট্রেনিয়াম) এবং অনুমান (এডাব্লুএস ইনফেরেন্টিয়া) AWS-এ বড় ভাষা এবং দৃষ্টি মডেলের।

আলিঙ্গন ফেস নির্বাচিত AWS কারণ এটি অত্যাধুনিক সরঞ্জামগুলিতে প্রশিক্ষণ, সূক্ষ্ম সুর এবং আলিঙ্গন মুখের মডেলগুলি স্থাপন করার জন্য নমনীয়তা সরবরাহ করে আমাজন সেজমেকার, এডব্লিউএস ট্রেনিয়াম, এবং এডাব্লুএস ইনফেরেন্টিয়া. হাগিং ফেস ব্যবহার করে ডেভেলপাররা এখন সহজে পারফরম্যান্স ও কম খরচে অপ্টিমাইজ করতে পারে যাতে জেনারেটিভ এআই অ্যাপ্লিকেশনগুলিকে দ্রুত উৎপাদনে আনতে পারে।

উচ্চ-পারফরম্যান্স এবং খরচ-দক্ষ জেনারেটিভ এআই

বড় ভাষা এবং ভিশন মডেল তৈরি করা, প্রশিক্ষণ দেওয়া এবং স্থাপন করা একটি ব্যয়বহুল এবং সময়সাপেক্ষ প্রক্রিয়া যার জন্য মেশিন লার্নিং (এমএল) এ গভীর দক্ষতার প্রয়োজন। যেহেতু মডেলগুলি খুবই জটিল এবং শত শত বিলিয়ন প্যারামিটার থাকতে পারে, তাই জেনারেটিভ এআই অনেক ডেভেলপারের নাগালের বাইরে।

এই ব্যবধানটি বন্ধ করার জন্য, Hugging Face এখন AWS-এর সাথে সহযোগিতা করছে যাতে ডেভেলপারদের AWS পরিষেবাগুলি অ্যাক্সেস করা সহজ হয় এবং বিশেষত জেনারেটিভ AI অ্যাপ্লিকেশনগুলির জন্য Hugging Face মডেলগুলি স্থাপন করা যায়৷ সুবিধাগুলি হল: দ্রুত প্রশিক্ষণ এবং স্কেলিং লো-লেটেন্সি এবং উচ্চ-থ্রুপুট অনুমান। উদাহরণস্বরূপ, Amazon EC2 Trn1 দৃষ্টান্ত দ্বারা চালিত এডব্লিউএস ট্রেনিয়াম তুলনামূলক GPU-ভিত্তিক দৃষ্টান্তগুলির তুলনায় 50% পর্যন্ত খরচ-টু-ট্রেন সাশ্রয় করার সময় প্রশিক্ষণের জন্য দ্রুত সময় প্রদান করুন। Amazon EC2 এর নতুন Inf2 দৃষ্টান্ত, সর্বশেষ প্রজন্মের দ্বারা চালিত এডাব্লুএস ইনফেরেন্টিয়া, বৃহৎ ভাষা এবং দৃষ্টি মডেলের সর্বশেষ প্রজন্মকে স্থাপন করতে এবং 1x উচ্চতর থ্রুপুট এবং 4x কম লেটেন্সি পর্যন্ত প্রদান করে Inf10-এর কার্যক্ষমতা বাড়াতে উদ্দেশ্য-নির্মিত। ডেভেলপাররা AWS Trainium এবং AWS Inferentia ব্যবহার করতে পারেন ম্যানেজড সার্ভিস যেমন Amazon SageMaker, ML-এর জন্য টুলস এবং ওয়ার্কফ্লো সহ একটি পরিষেবা। অথবা তারা Amazon EC2 এ স্ব-পরিচালনা করতে পারে।

আজই শুরু করো

গ্রাহকরা তিনটি উপায়ে AWS-এ Hugging Face মডেল ব্যবহার করা শুরু করতে পারেন: SageMaker-এর মাধ্যমে লাফ শুরু, দ্য আলিঙ্গন ফেস AWS ডিপ লার্নিং কন্টেনার (DLCs),  অথবা টিউটোরিয়াল AWS Trainium বা AWS Inferentia-এ আপনার মডেল স্থাপন করতে। হাগিং ফেস ডিএলসি অপ্টিমাইজ করা ট্রান্সফরমার, ডেটাসেট এবং টোকেনাইজার লাইব্রেরি দিয়ে পরিপূর্ণ যা আপনাকে সূক্ষ্ম-টিউন করতে এবং জেনারেটিভ এআই অ্যাপ্লিকেশনগুলিকে সপ্তাহের পরিবর্তে ঘণ্টায় স্কেলে স্থাপন করতে সক্ষম করে – ন্যূনতম কোড পরিবর্তন সহ। সেজমেকার জাম্পস্টার্ট এবং হাগিং ফেস ডিএলসি পাওয়া যায় সব অঞ্চলে যেখানে Amazon SageMaker আছে সহজলভ্য এবং কোন অতিরিক্ত খরচ ছাড়া আসা. পড়ুন ডকুমেন্টেশন এবং আলোচনা স্থানআরও শিখতে বা চেষ্টা করুন নমুনা নোটবুক আজ.

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• প্লেটোব্লকচেন। Web3 মেটাভার্স ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• উত্স: https://aws.amazon.com/blogs/machine-learning/aws-and-hugging-face-collaborate-to-make-generative-ai-more-accessible-and-cost-efficient/