প্রযুক্তি উদ্ভাবন ইনস্টিটিউট Amazon SageMaker-এ অত্যাধুনিক ফ্যালকন LLM 40B ফাউন্ডেশন মডেলকে প্রশিক্ষণ দেয় | আমাজন ওয়েব সার্ভিসেস

এই ব্লগ পোস্টটি AI-ক্রস সেন্টার ইউনিটের নির্বাহী পরিচালক-ভারপ্রাপ্ত প্রধান এআই গবেষক ডক্টর এবতেসাম আলমাজরুইয়ের সাথে সহ-লিখিত এবং টিআইআই-তে এলএলএম প্রকল্পগুলির জন্য প্রজেক্ট লিড।

সংযুক্ত আরব আমিরাত (UAE) প্রযুক্তি উদ্ভাবন ইনস্টিটিউট (টিআইআই), আবুধাবির প্রয়োগকৃত গবেষণা স্তম্ভ উন্নত প্রযুক্তি গবেষণা পরিষদ, Falcon LLM চালু করেছে, একটি ফাউন্ডেশনাল লার্জ ল্যাঙ্গুয়েজ মডেল (LLM) যার 40 বিলিয়ন প্যারামিটার রয়েছে৷ TII হল একটি নেতৃস্থানীয় বিশ্বব্যাপী গবেষণা কেন্দ্র যা জ্ঞানের সীমানাকে এগিয়ে নিয়ে যাওয়ার জন্য নিবেদিত। TII এর বিজ্ঞানী, গবেষক এবং ইঞ্জিনিয়ারদের দল আবিষ্কারের বিজ্ঞান এবং রূপান্তরকারী প্রযুক্তি প্রদানের জন্য কাজ করে। টিআইআই-এর কাজ এমন সাফল্যের উপর দৃষ্টি নিবদ্ধ করে যা আমাদের সমাজকে ভবিষ্যতে প্রমাণ করবে। 1 ট্রিলিয়ন টোকেনে প্রশিক্ষিত, টিআইআই ফ্যালকন এলএলএম অবিশ্বাস্যভাবে খরচ-কার্যকর অবশিষ্ট থাকাকালীন শীর্ষ-খাঁজ কর্মক্ষমতা boasts. Falcon-40B অন্যান্য উচ্চ-পারফর্মিং LLM-এর কর্মক্ষমতার সাথে মেলে, এবং জনসাধারণের মধ্যে শীর্ষস্থানীয় ওপেন-সোর্স মডেল আলিঙ্গন মুখ খুলুন LLM লিডারবোর্ড. এটি দুটি ভিন্ন আকারে ওপেন-সোর্স হিসাবে উপলব্ধ - Falcon-40B এবং Falcon-7B এবং স্ক্র্যাচ থেকে ডেটা প্রিপ্রসেসিং এবং মডেল প্রশিক্ষণের কাজগুলি ব্যবহার করে তৈরি করা হয়েছিল আমাজন সেজমেকার. ওপেন-সোর্সিং ফ্যালকন 40B ব্যবহারকারীদের AI সরঞ্জামগুলি তৈরি এবং কাস্টমাইজ করতে সক্ষম করে যা অনন্য ব্যবহারকারীর চাহিদা পূরণ করে, নির্বিঘ্ন একীকরণের সুবিধা দেয় এবং ডেটা সম্পদের দীর্ঘমেয়াদী সংরক্ষণ নিশ্চিত করে। মডেলের ওজনগুলি ডাউনলোড, পরিদর্শন এবং যে কোনও জায়গায় স্থাপন করার জন্য উপলব্ধ।

7 জুন থেকে, Falcon LLM উভয়ই Amazon SageMaker JumpStart, SageMaker's মেশিন লার্নিং (ML) হাব-এ উপলব্ধ হবে যা আপনাকে ML-এর সাথে দ্রুত শুরু করতে সাহায্য করার জন্য প্রাক-প্রশিক্ষিত মডেল, অন্তর্নির্মিত অ্যালগরিদম এবং প্রি-বিল্ট সমাধান টেমপ্লেটগুলি অফার করে৷ আপনি কয়েকটি ক্লিকে ফ্যালকন এলএলএম স্থাপন এবং ব্যবহার করতে পারেন সেজমেকার স্টুডিও অথবা প্রোগ্রামের মাধ্যমে সেজমেকার পাইথন এসডিকে. ফ্যালকন এলএলএম-এর বিরুদ্ধে অনুমান স্থাপন এবং চালানোর জন্য, দেখুন সেজমেকার জাম্পস্টার্টের ভূমিকা - ফ্যালকন এলএলএম সহ পাঠ্য প্রজন্ম উদাহরণ নোটবুক।

ড. এবতেসাম আলমাজরুই, নির্বাহী পরিচালক-এআই-ক্রস সেন্টার ইউনিটের ভারপ্রাপ্ত প্রধান এআই গবেষক এবং টিআইআই-তে এলএলএম প্রকল্পগুলির জন্য প্রজেক্ট লিড, শেয়ার করেছেন:

“আমরা গর্বের সাথে Falcon-40B-এর অফিসিয়াল ওপেন-সোর্স রিলিজ ঘোষণা করছি, বিশ্বের শীর্ষস্থানীয় ওপেন-সোর্স ভাষা মডেল। Falcon-40B হল 40B প্যারামিটার সহ একটি ব্যতিক্রমী ওপেন-সোর্স মডেল, বিশেষভাবে একটি কার্যকারণ ডিকোডার-কেবল মডেল হিসাবে ডিজাইন করা হয়েছে। এটিকে 1,000B টোকেনের একটি বিশাল ডেটাসেটে প্রশিক্ষণ দেওয়া হয়েছিল, যার মধ্যে RefinedWeb কিউরেটেড কর্পোরার সাথে উন্নত করা হয়েছে। মডেলটি Apache 2.0 লাইসেন্সের অধীনে উপলব্ধ করা হয়েছে, এটির অ্যাক্সেসযোগ্যতা এবং ব্যবহারযোগ্যতা নিশ্চিত করে৷ Falcon-40B LLaMA-65B, StableLM এবং MPT-এর মতো বিখ্যাত মডেলগুলিকে ছাড়িয়ে গেছে যা Hugging Face দ্বারা পরিচালিত পাবলিক লিডারবোর্ডে। Falcon-40B-এর আর্কিটেকচার ফ্ল্যাশঅ্যাটেনশন এবং মাল্টিকোয়েরি কৌশলগুলিকে অন্তর্ভুক্ত করে অনুমানের জন্য অপ্টিমাইজ করা হয়েছে।"

“এই পদক্ষেপটি AI উদ্ভাবনের সীমানা ঠেলে দিতে এবং সম্প্রদায়ের সম্পৃক্ততা, শিক্ষা, বাস্তব-বিশ্বের অ্যাপ্লিকেশন এবং সহযোগিতার জন্য প্রযুক্তি প্রস্তুতির স্তরকে ঠেলে দেওয়ার প্রতি আমাদের উত্সর্গকে প্রতিফলিত করে৷ চালিয়ে যাচ্ছেন ডাঃ এবতেসাম। “Falcon-40B একটি ওপেন-সোর্স মডেল হিসাবে প্রকাশ করার মাধ্যমে, আমরা গবেষক, উদ্যোক্তা এবং সংস্থাগুলিকে এর ব্যতিক্রমী ক্ষমতাকে কাজে লাগানোর এবং স্বাস্থ্যসেবা থেকে মহাকাশ, অর্থায়ন, উত্পাদন থেকে বায়োটেক পর্যন্ত AI-চালিত সমাধানগুলিতে অগ্রগতি চালানোর সুযোগ প্রদান করি; এআই-চালিত সমাধানের সম্ভাবনা সীমাহীন। Falcon-40B অ্যাক্সেস করতে এবং এর অসাধারণ সম্ভাবনা অন্বেষণ করতে, অনুগ্রহ করে দেখুন FalconLLM.tii.ae. AI-এর ভবিষ্যৎ গঠন করতে এবং শিল্পে বিপ্লব ঘটাতে Falcon-40B-এর শক্তিকে কাজে লাগাতে আমাদের সাথে যোগ দিন”

এই পোস্টে, আমরা সেজমেকার, ডেটা কিউরেশন, অপ্টিমাইজেশান, পারফরম্যান্স এবং পরবর্তী পদক্ষেপগুলির উপর ফ্যালকন এলএলএম প্রশিক্ষণ সম্পর্কে ডাঃ আলমাজরুইয়ের সাথে গভীরভাবে ডুব দিয়েছি।

এলএলএম-এর একটি নতুন প্রজন্ম

LLM হল সফ্টওয়্যার অ্যালগরিদম যা প্রাকৃতিক টেক্সট সিকোয়েন্স সম্পূর্ণ করার জন্য প্রশিক্ষিত। তাদের আকার এবং প্রশিক্ষণের ডেটার পরিমাণের কারণে তারা যার সাথে ইন্টারঅ্যাক্ট করে, এলএলএম-এর সারসংক্ষেপ, প্রশ্নের উত্তর, ইন-কনটেক্সট লার্নিং এবং আরও অনেক কিছু সহ আকর্ষণীয় পাঠ্য প্রক্রিয়াকরণ ক্ষমতা রয়েছে।

2020 সালের গোড়ার দিকে, বিশ্বজুড়ে গবেষণা সংস্থাগুলি মডেলের আকারের উপর জোর দেয়, পর্যবেক্ষণ করে যে নির্ভুলতা পরামিতির সংখ্যার সাথে সম্পর্কিত। উদাহরণস্বরূপ, GPT-3 (2020) এবং BLOOM (2022) প্রায় 175 বিলিয়ন প্যারামিটার, Gopher (2021) এর 230 বিলিয়ন প্যারামিটার এবং MT-NLG (2021) 530 বিলিয়ন প্যারামিটার রয়েছে। 2022 সালে, হফম্যান এট আল। পর্যবেক্ষণ করা হয়েছে যে মডেল প্যারামিটার এবং ডেটাসেট আকারের মধ্যে গণনার বর্তমান ভারসাম্য সাবঅপ্টিমাল ছিল এবং প্রকাশিত অভিজ্ঞতামূলক স্কেলিং আইনগুলি পরামর্শ দেয় যে আরও ডেটাতে প্রশিক্ষিত ছোট মডেলগুলির প্রতি গণনা বাজেটের ভারসাম্য ভাল পারফরম্যান্স মডেলের দিকে নিয়ে যেতে পারে। তারা 70B প্যারামিটার চিনচিলা (2022) মডেলে তাদের নির্দেশিকা বাস্তবায়ন করেছে, যা অনেক বড় মডেলকে ছাড়িয়ে গেছে।

সেজমেকারে এলএলএম প্রশিক্ষণ

সেজমেকার হল এলএলএম সহ মেশিন লার্নিং (এমএল) মডেল তৈরি, প্রশিক্ষণ, টিউনিং এবং হোস্টিং করার জন্য পরিচালিত API-এর একটি সংগ্রহ। অসংখ্য গ্রাহক তাদের এলএলএম কাজের চাপের জন্য সেজমেকারের উপর নির্ভর করে, যেমন স্থিতিশীলতা এআই, AI21 ল্যাব, আলিঙ্গন মুখ, এবং এলজি এআই. সেজমেকার প্রশিক্ষণ বিধান ব্যবহারকারী-সংজ্ঞায়িত হার্ডওয়্যার কনফিগারেশন এবং কোড সহ ক্লাস্টার গণনা করে। কম্পিউট জব প্রতি রানে বিল করা হয়, সেকেন্ডে প্রো-রেট করা হয়, যার অর্থ হল পরিষেবা ব্যবহার না করার সময় ব্যবহারকারীদের GPU ক্ষমতার জন্য চার্জ করা হয় না। TII 48 NVIDIA A4 GPU-তে 24 ml.p384d.100x বড় দৃষ্টান্ত পর্যন্ত Falcon LLM-কে প্রশিক্ষণ দেওয়ার জন্য SageMaker Training API দ্বারা প্রদত্ত ক্ষণস্থায়ী ক্লাস্টার ব্যবহার করেছে। এখন, TII পরবর্তী Falcon LLM-এর প্রশিক্ষণ দিচ্ছে এবং তাদের প্রশিক্ষণ 3,136 A100 GPU (392 ml.p4d দৃষ্টান্ত) এ স্কেল করেছে।

বিজ্ঞানের গুণমান এবং প্রশিক্ষণের গতি বাড়াতে প্রকল্পের সমস্ত স্তরে অভূতপূর্ব পরিমাণে কাস্টম উদ্ভাবন এসেছে। পরবর্তী বিভাগে, আমরা ডিপ লার্নিং (DL) প্রশিক্ষণ ব্যবস্থার সমস্ত স্তরে পরিচালিত TII অপ্টিমাইজেশানগুলি বর্ণনা করি।

পরিমাপযোগ্য ডেটা কিউরেশন

সর্বশেষ প্রজন্মের এলএলএম প্রশিক্ষণের ডেটার আকার এবং গুণমান থেকে তাদের শক্তি পায়। দলটি একটি উচ্চ-মানের ট্রিলিয়ন-টোকেন ডেটাসেটের নৈপুণ্যে নির্দিষ্ট যত্ন রাখে। বেশ কিছু সেজমেকার ট্রেনিং সিপিইউ কাজ সস্তা, মাপযোগ্য ওয়েব ডেটার পেটাবাইটকে একটি কিউরেটেড, নিরাপদ প্রশিক্ষণ ডেটাসেটে রূপান্তরিত করেছে। স্বয়ংক্রিয় সিস্টেম ফিল্টার করা এবং ডেটা ডিডুপ্লিকেট করা; উদাহরণস্বরূপ, অশ্লীলতা ফিল্টার করতে ML ক্লাসিফায়ার ব্যবহার করা হয়েছিল। ml.c5.18xlarge (72 vCPUs, 144 GB RAM) এ চলমান CPU জবগুলি ডাটা ট্রান্সফরমেশন টাস্কগুলি চালানোর জন্য SageMaker প্রশিক্ষণের মাধ্যমে কয়েকটি API কলে ইনস্ট্যান্ট করা হয়েছিল। দলটি পার্থক্য ব্যবহারের ক্ষেত্রে একক-ইন্সট্যান্স এবং মাল্টি-ইনস্ট্যান্স CPU কাজ উভয়ই ব্যবহার করেছে। এর মধ্যে কিছু কাজ শত শত সমান্তরাল শেয়ার-নথিং আর্কিটেকচার (SNA) জব ব্যবহার করেছে, প্রতিটি একটি একক মেশিনে, এবং আন্তঃ-কর্মী সিঙ্ক্রোনাইজেশনের প্রয়োজন এমন কাজের জন্য, দলটি বহু-দৃষ্টান্তের কাজ চালু করেছে, কয়েক ডজন দৃষ্টান্ত এবং হাজার হাজার vCPU-তে জমা হয়েছে। উপাখ্যানগতভাবে, একটি ডাউনস্ট্রিম ডেটাসেট প্রস্তুতির কাজে, দলটি 257 vCPU এবং 5.18 TB মেমরিতে একক SageMaker প্রশিক্ষণের কাজে 18,504 ml.c37xlarge পর্যন্ত পৌঁছেছে।

প্রশিক্ষণ থ্রুপুট সর্বাধিক করা

প্রশিক্ষণের খরচ এবং টাইম-টু-মার্কেট উভয়ই কমানোর জন্য, টিম প্রতি সেকেন্ডে প্রসেস করা এবং TFLOPs/GPU-তে পরিমাপ করা প্রশিক্ষণ টোকেনের সমানুপাতিক প্রশিক্ষণের গতি ত্বরান্বিত করার জন্য অপ্টিমাইজেশনের বিভিন্ন দিক অনুসরণ করেছে। দলটি একটি সম্পূর্ণ কাস্টম 3D-সমান্তরাল LLM প্রশিক্ষণ ফ্রেমওয়ার্ক ব্যবহার করেছে, যেখানে কম্পাইল করা GPU কোডে লেখা কাস্টম অপ্টিমাইজ করা স্তর রয়েছে৷ দলটি আরও গতি অর্জনের জন্য তাদের নিজস্ব কাস্টম ম্যাট্রিক্স গুন বাস্তবায়ন লিখতে গিয়েছিলেন! দলটি যুক্তিও তৈরি করেছে যা অন্তর্নিহিত নেটওয়ার্ক টপোলজির সাথে সমান্তরাল যোগাযোগকে খাপ খায়। তাদের প্রাথমিক স্কেলিং পরীক্ষা-নিরীক্ষার সময়, TII একটি 166B মডেলে 147টি জিপিইউতে 256 টিএফএলওপি/জিপিইউ এবং 173টি জিপিইউতে একটি 13বি মডেলে 16টি টিএফএলওপি/জিপিইউতে পৌঁছাতে সক্ষম হয়েছিল, আমাদের জানামতে ক্লাউডে সবচেয়ে দ্রুত পরিচিত মডেল টিএফএলওএস অর্জন করেছে 2022 সালের শেষের দিকে পরীক্ষার সময়।

সার্ভারহীন স্টোরেজ

এলএলএম প্রশিক্ষণ স্টোরেজ ইনটেনসিভ; ট্রেনিং ক্লাস্টারে বেশ কিছু টেরাবাইট ট্রেনিং ডেটা চ্যানেল করতে হবে এবং বেশ কিছু টেরাবাইট মডেল চেকপয়েন্ট নিয়মিতভাবে ক্লাস্টার থেকে স্থায়ী স্টোরেজে ফিরে আসে। চেকপয়েন্টগুলিকেও যত দ্রুত সম্ভব প্রশিক্ষণ ক্লাস্টারে পৌঁছাতে হবে চাকরি পুনরায় চালু হওয়ার ক্ষেত্রে। প্রথাগত উচ্চ-পারফরম্যান্স কম্পিউটিং (HPC) এ, কম্পিউটিং নোডগুলি বিতরণ করা ফাইল সিস্টেমের সাথে সংযুক্ত থাকে, যা একটি POSIX-এর মতো ইন্টারফেসের মাধ্যমে উচ্চ-কর্মক্ষমতা I/O এবং থ্রুপুট প্রদান করে। AWS-এ, গ্রাহকরা নিয়মিত ব্যবহার করেন দীপ্তি জন্য Amazon FSx এই উদ্দেশ্যে ফাইল সিস্টেম (আরো বিস্তারিত জানার জন্য, পড়ুন Luster এবং Amazon EFS ফাইল সিস্টেমের জন্য Amazon FSx ব্যবহার করে Amazon SageMaker-এ প্রশিক্ষণের গতি বাড়ান), এবং আমরা BeeGFS-এর স্ব-পরিচালিত ব্যবহারের নথিভুক্ত করেছি৷ একটি বিতরণ করা কম্পিউটার ভিশন কেস স্টাডি. খরচ এবং অপারেশনাল সরলতার উপর তাদের ফোকাস করার কারণে, দলটি ফাইল সিস্টেম সার্ভারগুলি বাস্তবায়ন ও পরিচালনা না করার সিদ্ধান্ত নিয়েছে, বরং সার্ভারহীন বস্তুর স্টোরেজের উপরে একচেটিয়াভাবে নির্মাণের চ্যালেঞ্জ গ্রহণ করেছে। আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3)। Python (Boto3) এর জন্য AWS SDK ব্যবহার করে একটি কাস্টম S3 ডেটাসেট ক্লাস তৈরি করা হয়েছিল, এবং একই কোডবেসের মধ্যে I/O ইঞ্জিনিয়ারিং এবং মডেল বিজ্ঞানে স্বায়ত্তশাসিতভাবে বিজ্ঞানীদের পুনরাবৃত্তি করতে সক্ষম করার সময় সন্তোষজনক কর্মক্ষমতা প্রদান করে।

ক্লায়েন্ট-সাইড উদ্ভাবন

একটি এলএলএম প্রকল্পে খুব কমই একটি একক প্রশিক্ষণের কাজ থাকে; প্রাথমিক পরীক্ষা এবং অভিজ্ঞতা পরিচালনা করার জন্য অসংখ্য চাকরির প্রয়োজন। প্রধান উত্পাদন প্রশিক্ষণের সময়, বেশ কয়েকটি কাজ শৃঙ্খলিত হতে পারে, উদাহরণস্বরূপ কনফিগারেশন বা সফ্টওয়্যার সংস্করণ আপডেট করা, প্যাচ স্থাপন করা বা ব্যর্থতা থেকে পুনরুদ্ধার করা। টিআইআই-এর বিজ্ঞানীরা এলএলএম প্রশিক্ষণে অভিযোজিত কাস্টম ক্লায়েন্ট তৈরি করতে উল্লেখযোগ্য প্রকৌশল পরিচালনা করেছেন। সেজমেকার ট্রেনিং SDK-এর উপরে একটি লঞ্চার ক্লায়েন্ট তৈরি করা হয়েছিল যাতে এক কমান্ডে একাধিক কার্যকারিতা একত্রিত করা যায়, উদাহরণস্বরূপ কোড সংস্করণ, ডকার ইমেজ বিল্ডিং এবং জব লঞ্চ। উপরন্তু, একটি এডাব্লুএস ল্যাম্বদা সার্ভারহীন কম্পিউট ফাংশনটি প্রয়োজন অনুসারে কাজগুলি দেখার, নিরীক্ষণ এবং হস্তক্ষেপ করার জন্য ডিজাইন করা হয়েছিল।

অনুমান মানের নিরীক্ষার জন্য স্ল্যাক বট ব্যবহার করা

প্রশিক্ষণের শেষের দিকে, দলটি একটি অভ্যন্তরীণ মডেলকে মোতায়েন করেছিল সেজমেকার হোস্টিং জিপিইউ শেষ পয়েন্ট রিয়েল-টাইম ইন্টারঅ্যাকশনের জন্য। দলটি ডায়ালগ করার জন্য, বাস্তবসম্মত প্রতিক্রিয়া পেতে এবং মডেলের গুণগত মানসম্পন্ন অডিট চালানোর জন্য একটি স্ল্যাক বট তৈরি করে।

প্রশিক্ষণ এবং কর্মক্ষমতা পর্যবেক্ষণ

একটি এলএলএম প্রশিক্ষণের জন্য সিপিইউ, জিপিইউ এবং মেমরি সংস্থান সহ প্রচুর পরিমাণে গণনামূলক সংস্থান প্রয়োজন। তাই, TII-কে কম্পিউটেশনাল রিসোর্সের সর্বোত্তম ব্যবহার এবং তাদের খরচ-কার্যকারিতা নিশ্চিত করতে প্রশিক্ষণ কাজের কর্মক্ষমতা এবং অলস সময় নিরীক্ষণ করতে হবে।

একটি স্বয়ংক্রিয় পর্যবেক্ষণ সমাধান তৈরি করতে, টিআইআই ব্যবহার করা হয়েছে অ্যামাজন ক্লাউডওয়াচ প্রশিক্ষণ কাজের জন্য GPU, CPU, এবং মেমরি ব্যবহার নিরীক্ষণ করার জন্য অ্যালার্ম। ক্লাউডওয়াচ কাঁচা ডেটা সংগ্রহ করে এবং সেজমেকার প্রশিক্ষণের কাজে ব্যবহার করা অন্তর্নিহিত কন্টেইনার উদাহরণগুলি থেকে পাঠযোগ্য, কাছাকাছি-রিয়েল-টাইম মেট্রিক্সে প্রক্রিয়া করে। এর পরে, আমরা এই প্রতিটি মেট্রিকের জন্য থ্রেশহোল্ড সেট করি এবং যদি কোনও মেট্রিক থ্রেশহোল্ডের নীচে পড়ে তবে একটি অ্যালার্ম ট্রিগার হয়। এই অ্যালার্ম টিআইআই-এর দলকে সম্পদের কম ব্যবহার সম্পর্কে অবহিত করে, তাদের সম্পদ ব্যবহারের সীমাবদ্ধতাগুলি সংশোধন করার জন্য সংশোধনমূলক পদক্ষেপ নিতে দেয়।

সম্পদের ব্যবহার পর্যবেক্ষণের পাশাপাশি, টিআইআই প্রশিক্ষণের কাজের সংস্থানগুলির অলস সময়ও নিরীক্ষণ করতে পারে। যদি প্রশিক্ষণের কাজের সংস্থানগুলি দীর্ঘ সময়ের জন্য নিষ্ক্রিয় থাকে তবে এটি প্রশিক্ষণ চক্রের যে কোনও পর্যায়ে একটি বাধা নির্দেশ করতে পারে এবং ম্যানুয়াল তদন্তের প্রয়োজন হতে পারে। কিছু কিছু ক্ষেত্রে, সম্পদের ব্যবহার এখনও তুলনামূলকভাবে সর্বোত্তম ছিল, কিন্তু প্রশিক্ষণ প্রক্রিয়া নিজেই অগ্রসর হচ্ছিল না। এই ক্ষেত্রে, TII ল্যাম্বডা ফাংশনগুলির সাথে ক্লাউডওয়াচ অ্যালার্মগুলিকে কোয়েরি করতে এবং জেনারেট করা প্রশিক্ষণ লগগুলি পড়ার জন্য একত্রিত করে, তারপরে জেনারেট করা ত্রুটি বা লগ জেনারেশন প্রক্রিয়ার অলসতার উপর ভিত্তি করে স্বয়ংক্রিয় পদক্ষেপ নেয় (ক্লাস্টার থামানো হয়েছে)৷ অ্যালার্মটি প্রশিক্ষণের কাজ বন্ধ করার জন্য একটি ক্রিয়াকে ট্রিগার করে, যা নিশ্চিত করে যে সংস্থানগুলি ব্যবহার না করার সময় টিআইআই অপ্রয়োজনীয় খরচ বহন করে না।

উপসংহার

মালিকানাধীন, কাস্টম উদ্ভাবনের সাথে যুক্ত SageMaker ব্যবহার করে, TII একটি মডেলকে প্রশিক্ষিত করতে সক্ষম হয়েছে যা বহুমাত্রিক মাত্রায় অত্যাধুনিক: প্রযুক্তিগত অগ্রগতি, বিজ্ঞানের গুণমান, প্রশিক্ষণের গতি, এবং অপারেশনাল সরলতা।

“UAE-এর Falcon 40B প্রকাশ করা, বিশ্বের শীর্ষ-র‌্যাঙ্কড ওপেন সোর্স এআই মডেল, প্রযুক্তি নেতৃত্বকে চিত্রিত করে এবং রেজিতে এআই-চালিত উদ্ভাবনের পথ প্রশস্ত করেআয়ন” ইঙ্গিত করে ড. এবতেসাম আলমাজরুই; যোগ করা যে "আমরা জাতীয় AI কৌশল 2031-এ বর্ণিত উদ্দেশ্যগুলির প্রতি আমাদের প্রতিশ্রুতি প্রদর্শন করি। ফ্যালকন-40B দ্বারা প্রতিনিধিত্ব করা বৈশ্বিক প্রযুক্তিগত অগ্রগতিতে আমাদের সক্রিয় সম্পৃক্ততা একটি জ্ঞান-ভিত্তিক অর্থনীতির জন্য আমাদের সাধনায় একটি গুরুত্বপূর্ণ ভূমিকা পালন করে। AI সমাধানগুলিতে বিনিয়োগ এবং উন্নয়নের মাধ্যমে, আমরা অর্থনৈতিক বৃদ্ধি, সামাজিক অগ্রগতি এবং শিক্ষাগত অগ্রগতির জন্য নতুন সুযোগ তৈরি করার লক্ষ্য রাখি।

"Falcon-40B-এর ওপেন-সোর্স প্রকৃতি AI এর ক্ষেত্রে সহযোগিতা, স্বচ্ছতা, উদ্ভাবন এবং গবেষণার প্রতি আমাদের উত্সর্গকে প্রতিফলিত করে৷ আমরা বিশ্বব্যাপী গবেষক ও সংস্থার কাছে ফ্যালকন-৪০বি অ্যাক্সেসযোগ্য করে উন্নত এআই প্রযুক্তির ক্ষমতাকে গণতন্ত্রীকরণে বিশ্বাস করি।”

“আগামীর দিকে তাকিয়ে, আমরা পাইপলাইনে আসন্ন মডেলগুলির সাথে AI এবং প্রযুক্তির অগ্রগতিতে অবদান রাখতে থাকব। তদুপরি, আমরা আমাদের দেশের প্রতিষ্ঠান এবং ব্যবসার মধ্যে উন্নত এআই প্রযুক্তি গ্রহণকে সক্রিয়ভাবে প্রচার করব, আমাদের কৌশলগত লক্ষ্যগুলির সাথে সামঞ্জস্যপূর্ণ প্রবৃদ্ধি এবং সমৃদ্ধিকে উত্সাহিত করব।"

- ডঃ আলমাজরুই

ফ্যালকন এলএলএম সম্পর্কে আরও জানতে, ওয়েবসাইটটি দেখুন FalconLLM.tii.ae এবং আলিঙ্গন মুখে মডেল কার্ড!

---

লেখক সম্পর্কে

ডঃ এবতেসাম আলমাজরুয়ী টেকনোলজি ইনোভেশন ইনস্টিটিউটে (TII) আল-ক্রস সেন্টার ইউনিটের নির্বাহী পরিচালক-ভারপ্রাপ্ত প্রধান এআই গবেষক এবং প্রতিষ্ঠাতা। টেকনোলজি ইনোভেশন ইনস্টিটিউটের (TII) আল-ক্রস সেন্টার ইউনিটের প্রতিষ্ঠাতা হিসেবে, ডঃ আলমাজরুই TII-এর AI ক্ষমতা গঠনে গুরুত্বপূর্ণ ভূমিকা পালন করেছেন। AI এবং মেশিন লার্নিং-এ তার কৌশলগত দৃষ্টিভঙ্গি এবং দক্ষতা তাকে যুগান্তকারী গবেষণা উদ্যোগের নেতৃত্ব দিতে এবং ক্রস-ফাংশনাল সহযোগিতাকে উৎসাহিত করার ক্ষমতা দিয়েছে, যার ফলে একাধিক শিল্পে উদ্ভাবনী AI সমাধান সরবরাহ করা হয়েছে।

ডাঃ আলমাজরুইয়ের উল্লেখযোগ্য অর্জনগুলির মধ্যে একটি হল ফ্যালকন 40B এর বিকাশে তার গুরুত্বপূর্ণ ভূমিকা, একটি অত্যাধুনিক এলএলএম যা বিশ্বব্যাপী স্বীকৃতি অর্জন করেছে। Falcon 40B-এর ব্যতিক্রমী পারফরম্যান্স এটিকে 2023 সালের মে মাসে Hugging Face-এর লিডারবোর্ডে বিশ্বব্যাপী এক নম্বর এলএলএম হিসাবে স্থান দিয়েছে। উপরন্তু, তিনি 2022 সালের এপ্রিল মাসে প্রকাশিত বিশ্বের বৃহত্তম আরবি বড় ভাষা মডেল (LLM) নূরের উন্নয়নে নেতৃত্ব দিয়েছেন।

ডঃ আলমাজরুই AI তে তার অবদানের জন্য বিশ্বব্যাপী স্বীকৃত এবং 2023 সালের তালিকায় অন্যান্য বিশিষ্ট নারীদের সাথে বিশ্বের শীর্ষস্থানীয় AI মহিলাদের তালিকায় স্থান পেয়েছেন। তিনি টেকসইতা এবং ভালো উদ্যোগের জন্য AI এর একজন উকিল, পাশাপাশি আবুধাবি এআই কানেক্টের সাধারণ চেয়ার এবং অনেক IEEE আন্তর্জাতিক সম্মেলনের TPC চেয়ার।

তার অবদান TII তে তার কাজের বাইরেও প্রসারিত যেখানে তিনি AI এবং ব্লকচেইনের জন্য UAE কাউন্সিলের বড় ডেটা বিশেষজ্ঞ উপকমিটির নেতৃত্ব দেন এবং ওয়্যারলেস ওয়ার্ল্ড রিসার্চ ফোরাম (WWRF) এর বিশ্বব্যাপী স্টিয়ারিং বোর্ডের সদস্য। তিনি একজন বৈজ্ঞানিক লেখক, পেটেন্ট উদ্ভাবক, উদ্যোক্তা এবং বিখ্যাত বক্তা, লন্ডনে এআই সামিট, ওয়ার্ল্ড এআই কান ফেস্টিভ্যাল এবং টেক সামিটের মতো মর্যাদাপূর্ণ শীর্ষ সম্মেলনে তার মূল বক্তব্যের জন্য পরিচিত।

উইল বদর একজন সিনিয়র ম্যানেজার এআই/এমএল সলিউশন আর্কিটেক্টস ভিত্তিক দুবাই – ইউএই যিনি গ্লোবাল অ্যামাজন মেশিন লার্নিং দলের অংশ হিসেবে কাজ করেন। উইল সম্প্রদায়কে ইতিবাচকভাবে প্রভাবিত করার জন্য উদ্ভাবনী উপায়ে প্রযুক্তি ব্যবহার করার বিষয়ে উত্সাহী। তার অবসর সময়ে, তিনি ডাইভিং করতে, ফুটবল খেলতে এবং প্রশান্ত মহাসাগরীয় দ্বীপপুঞ্জ ঘুরে দেখতে পছন্দ করেন।

অলিভিয়ার ক্রুচ্যান্ট ফ্রান্সে অবস্থিত AWS-এর একজন মেশিন লার্নিং স্পেশালিস্ট সলিউশন আর্কিটেক্ট। অলিভিয়ার AWS গ্রাহকদের সাহায্য করে - ছোট স্টার্টআপ থেকে শুরু করে বড় এন্টারপ্রাইজে - প্রোডাকশন-গ্রেড মেশিন লার্নিং অ্যাপ্লিকেশনগুলি বিকাশ এবং স্থাপন করতে। তার অবসর সময়ে, তিনি গবেষণাপত্র পড়তে এবং বন্ধু এবং পরিবারের সাথে মরুভূমি অন্বেষণ উপভোগ করেন।

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• ইভিএম ফাইন্যান্স। বিকেন্দ্রীভূত অর্থের জন্য ইউনিফাইড ইন্টারফেস। এখানে প্রবেশ করুন.
• কোয়ান্টাম মিডিয়া গ্রুপ। IR/PR প্রশস্ত। এখানে প্রবেশ করুন.
• প্লেটোএআইস্ট্রিম। Web3 ডেটা ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• উত্স: https://aws.amazon.com/blogs/machine-learning/technology-innovation-institute-trains-the-state-of-the-art-falcon-llm-40b-foundation-model-on-amazon-sagemaker/