ٹیکنالوجی انوویشن انسٹی ٹیوٹ Amazon SageMaker پر جدید ترین Falcon LLM 40B فاؤنڈیشن ماڈل کی تربیت دیتا ہے | ایمیزون ویب سروسز

یہ بلاگ پوسٹ AI-Cross Center Unit کے ایگزیکٹیو ڈائریکٹر – ایکٹنگ چیف AI ریسرچر اور TII میں LLM پروجیکٹس کے پروجیکٹ لیڈ ڈاکٹر ابتسام المازروئی کے ساتھ مل کر لکھی گئی ہے۔

متحدہ عرب امارات (یو اے ای) ٹیکنالوجی انوویشن انسٹی ٹیوٹ (TII)، ابوظہبی کا اطلاق شدہ تحقیقی ستون اعلی درجے کی ٹیکنالوجی ریسرچ کونسل، نے Falcon LLM شروع کیا ہے، جو کہ 40 بلین پیرامیٹرز کے ساتھ ایک بنیادی بڑی زبان کا ماڈل (LLM) ہے۔ TII ایک معروف عالمی تحقیقی مرکز ہے جو علم کی سرحدوں کو آگے بڑھانے کے لیے وقف ہے۔ TII کی سائنسدانوں، محققین، اور انجینئرز کی ٹیم دریافت سائنس اور تبدیلی کی ٹیکنالوجی فراہم کرنے کے لیے کام کرتی ہے۔ TII کا کام ان کامیابیوں پر مرکوز ہے جو مستقبل میں ہمارے معاشرے کو ثابت کرے گی۔ 1 ٹریلین ٹوکنز پر تربیت یافتہ، TII فالکن ایل ایل ایم ناقابل یقین حد تک سرمایہ کاری مؤثر رہتے ہوئے اعلیٰ ترین کارکردگی کا حامل ہے۔ Falcon-40B دیگر اعلی کارکردگی کا مظاہرہ کرنے والے LLMs کی کارکردگی سے میل کھاتا ہے، اور عوام میں سب سے اوپر کا اوپن سورس ماڈل ہے۔ گلے لگانا چہرہ اوپن ایل ایل ایم لیڈر بورڈ. یہ دو مختلف سائزوں میں اوپن سورس کے طور پر دستیاب ہے - Falcon-40B اور Falcon-7B اور ڈیٹا پری پروسیسنگ اور ماڈل ٹریننگ جابز کا استعمال کرتے ہوئے شروع سے بنایا گیا تھا۔ ایمیزون سیج میکر. اوپن سورسنگ Falcon 40B صارفین کو AI ٹولز بنانے اور اپنی مرضی کے مطابق بنانے کے قابل بناتا ہے جو صارفین کی منفرد ضروریات کو پورا کرتے ہیں، بغیر کسی رکاوٹ کے انضمام کی سہولت فراہم کرتے ہیں اور ڈیٹا اثاثوں کے طویل مدتی تحفظ کو یقینی بناتے ہیں۔ ماڈل کے وزن کہیں بھی ڈاؤن لوڈ، معائنہ اور تعینات کرنے کے لیے دستیاب ہیں۔

7 جون سے، دونوں Falcon LLMs Amazon SageMaker JumpStart، SageMaker کے مشین لرننگ (ML) مرکز میں بھی دستیاب ہوں گے جو ML کے ساتھ جلدی شروع کرنے میں آپ کی مدد کرنے کے لیے پہلے سے تربیت یافتہ ماڈلز، بلٹ ان الگورتھم، اور پہلے سے تعمیر شدہ حل کے تمثیل پیش کرتا ہے۔ آپ Falcon LLMs کو کچھ کلکس کے ساتھ تعینات اور استعمال کر سکتے ہیں۔ سیج میکر اسٹوڈیو یا پروگرام کے ذریعے SageMaker Python SDK. Falcon LLMs کے خلاف تخمینہ لگانے اور چلانے کے لیے، کا حوالہ دیں۔ سیج میکر جمپ اسٹارٹ کا تعارف – فالکن ایل ایل ایم کے ساتھ ٹیکسٹ جنریشن مثال کے طور پر نوٹ بک.

ڈاکٹر ابتسام المزروی، ایگزیکٹو ڈائریکٹر – AI-کراس سینٹر یونٹ کے قائم مقام چیف AI ریسرچر اور TII میں LLM پروجیکٹس کے لیے پراجیکٹ لیڈ، شیئر کرتے ہیں:

"ہم فخر کے ساتھ Falcon-40B کے آفیشل اوپن سورس ریلیز کا اعلان کرتے ہیں، جو کہ دنیا کا سب سے اوپر کا اوپن سورس لینگویج ماڈل ہے۔ Falcon-40B ایک غیر معمولی اوپن سورس ماڈل ہے جس میں 40B پیرامیٹرز ہیں، خاص طور پر ایک causal decoder-only ماڈل کے طور پر ڈیزائن کیا گیا ہے۔ اسے 1,000B ٹوکنز کے ایک وسیع ڈیٹاسیٹ پر تربیت دی گئی تھی، بشمول RefinedWeb کو کیوریٹڈ کارپورا کے ساتھ بڑھایا گیا ہے۔ ماڈل کو اپاچی 2.0 لائسنس کے تحت دستیاب کرایا گیا ہے، اس کی رسائی اور استعمال کو یقینی بنایا گیا ہے۔ Falcon-40B نے Hugging Face کے زیر انتظام عوامی لیڈر بورڈ پر LLaMA-65B، StableLM اور MPT جیسے مشہور ماڈلز کو پیچھے چھوڑ دیا ہے۔ Falcon-40B کے فن تعمیر کو FlashAttention اور multiquery تکنیکوں کو شامل کرتے ہوئے اندازہ لگانے کے لیے بہتر بنایا گیا ہے۔

"یہ قدم کمیونٹی کی شمولیت، تعلیم، حقیقی دنیا کی ایپلی کیشنز، اور تعاون کے لیے AI جدت طرازی اور ٹیکنالوجی کی تیاری کی سطح کو آگے بڑھانے کے لیے ہماری لگن کی عکاسی کرتا ہے۔ ڈاکٹر ابتسام جاری ہے۔ "Falcon-40B کو اوپن سورس ماڈل کے طور پر جاری کر کے، ہم محققین، کاروباری افراد، اور تنظیموں کو اس کی غیر معمولی صلاحیتوں کو بروئے کار لانے اور صحت کی دیکھ بھال سے لے کر خلا، فنانس، مینوفیکچرنگ سے لے کر بائیوٹیک تک AI سے چلنے والے حل میں پیش رفت کرنے کا موقع فراہم کرتے ہیں۔ AI سے چلنے والے حل کے امکانات بے حد ہیں۔ Falcon-40B تک رسائی حاصل کرنے اور اس کی قابل ذکر صلاحیت کو دریافت کرنے کے لیے، براہ کرم ملاحظہ کریں۔ FalconLLM.tii.ae. AI کے مستقبل کو تشکیل دینے اور صنعتوں میں انقلاب لانے کے لیے Falcon-40B کی طاقت سے فائدہ اٹھانے میں ہمارے ساتھ شامل ہوں۔

اس پوسٹ میں، ہم SageMaker پر Falcon LLM ٹریننگ، ڈیٹا کیوریشن، آپٹیمائزیشن، کارکردگی، اور اگلے مراحل کے بارے میں ڈاکٹر المازروئی کے ساتھ گہرائی میں ڈوبتے ہیں۔

ایل ایل ایم کی ایک نئی نسل

LLMs سافٹ ویئر الگورتھم ہیں جو قدرتی متن کی ترتیب کو مکمل کرنے کے لیے تربیت یافتہ ہیں۔ ان کے سائز اور تربیتی اعداد و شمار کے حجم کی وجہ سے جس کے ساتھ وہ تعامل کرتے ہیں، LLMs میں ٹیکسٹ پروسیسنگ کی متاثر کن صلاحیتیں ہیں، بشمول خلاصہ، سوال کے جوابات، سیاق و سباق میں سیکھنا، اور بہت کچھ۔

2020 کے اوائل میں، دنیا بھر کی تحقیقی تنظیموں نے ماڈل کے سائز پر زور دیا، یہ مشاہدہ کرتے ہوئے کہ درستگی کا تعلق پیرامیٹرز کی تعداد سے ہے۔ مثال کے طور پر، GPT-3 (2020) اور BLOOM (2022) میں تقریباً 175 بلین پیرامیٹرز ہیں، Gopher (2021) میں 230 بلین پیرامیٹرز ہیں، اور MT-NLG (2021) 530 بلین پیرامیٹرز ہیں۔ 2022 میں، Hoffman et al. مشاہدہ کیا کہ ماڈل پیرامیٹرز اور ڈیٹاسیٹ کے سائز کے درمیان حساب کا موجودہ توازن سب سے بہتر تھا، اور تجرباتی پیمانے کے قوانین شائع کیے گئے جو تجویز کرتے ہیں کہ زیادہ ڈیٹا پر تربیت یافتہ چھوٹے ماڈلز کے لیے کمپیوٹ بجٹ کا توازن بہتر کارکردگی کا مظاہرہ کرنے والے ماڈلز کا باعث بن سکتا ہے۔ انہوں نے 70B پیرامیٹر چنچیلا (2022) ماڈل میں اپنی رہنمائی کو نافذ کیا، جس نے بہت بڑے ماڈلز کو پیچھے چھوڑ دیا۔

سیج میکر پر ایل ایل ایم کی تربیت

SageMaker LLMs سمیت مشین لرننگ (ML) ماڈلز کو تیار کرنے، تربیت دینے، ٹیوننگ کرنے اور ہوسٹنگ کرنے کے لیے منظم APIs کا ایک مجموعہ ہے۔ متعدد صارفین اپنے LLM کام کے بوجھ کے لیے SageMaker پر انحصار کرتے ہیں، جیسے استحکام AI, AI21 لیبز, گلے لگانے والا چہرہ، اور LG AI. سیج میکر ٹریننگ پروویژنز صارف کی وضاحت کردہ ہارڈویئر کنفیگریشن اور کوڈ کے ساتھ کلسٹروں کی گنتی کرتے ہیں۔ کمپیوٹ جابز کو فی رن بل کیا جاتا ہے، دوسرے کے لیے پرو ریٹڈ کیا جاتا ہے، اس کا مطلب یہ ہے کہ سروس استعمال نہ کرنے پر صارفین سے GPU کی گنجائش کے لیے چارج نہیں کیا جاتا ہے۔ TII نے Falcon LLM کو تربیت دینے کے لیے SageMaker Training API کے ذریعے فراہم کردہ عارضی کلسٹرز کا استعمال کیا، 48 ml.p4d.24x بڑی مثالوں تک، 384 NVIDIA A100 GPUs میں جمع ہوئے۔ اب، TII اگلے Falcon LLM کی تربیت کر رہا ہے اور اس نے اپنی تربیت کو 3,136 A100 GPU (392 ml.p4d مثالوں) تک بڑھا دیا ہے۔

سائنس کے معیار اور تربیت کی رفتار کو بڑھانے کے لیے پراجیکٹ کی تمام پرتوں میں اپنی مرضی کے مطابق اختراعات کی ایک بے مثال مقدار شامل ہوئی۔ اگلے حصوں میں، ہم ڈیپ لرننگ (DL) ٹریننگ سسٹم کی تمام پرتوں پر کی گئی TII کی اصلاح کی وضاحت کرتے ہیں۔

توسیع پذیر ڈیٹا کیوریشن

تازہ ترین نسل کے ایل ایل ایم کو تربیتی ڈیٹا کے سائز اور معیار سے اپنی طاقت ملتی ہے۔ ٹیم نے ایک اعلیٰ معیار کے ٹریلین ٹوکن ڈیٹاسیٹ کے دستکاری میں مخصوص دیکھ بھال کی ہے۔ سیج میکر ٹریننگ سی پی یو کی متعدد ملازمتوں نے سستے، قابل توسیع ویب ڈیٹا کے پیٹا بائٹس کو کیوریٹڈ، محفوظ تربیتی ڈیٹاسیٹ میں تبدیل کردیا۔ خودکار نظاموں نے ڈیٹا کو فلٹر اور ڈیپلیکیٹ کیا۔ مثال کے طور پر، ML درجہ بندی کرنے والوں کا استعمال بے حرمتی کو فلٹر کرنے کے لیے کیا گیا تھا۔ ml.c5.18xlarge (72 vCPUs، 144 GB RAM) پر چلنے والی CPU جابز کو ڈیٹا ٹرانسفارمیشن کے کاموں کو چلانے کے لیے SageMaker ٹریننگ کے ذریعے چند API کالوں میں فوری طور پر شروع کیا گیا تھا۔ ٹیم نے فرق کے استعمال کے کیسز کے لیے سنگل انسٹینس اور ملٹی انسٹینس سی پی یو جابز کا استعمال کیا۔ ان میں سے کچھ ملازمتوں میں سیکڑوں متوازی شیئر-نتھنگ آرکیٹیکچر (SNA) جابز کا استعمال کیا گیا، ہر ایک ایک مشین پر، اور ان کاموں کے لیے جن کے لیے انٹر ورکر سنکرونائزیشن کی ضرورت ہوتی ہے، ٹیم نے درجنوں مثالوں اور ہزاروں vCPUs میں جمع کرتے ہوئے ملٹی انسٹینس جابز کا آغاز کیا۔ مختصراً، ایک ڈاؤن اسٹریم ڈیٹاسیٹ کی تیاری کے کام پر، ٹیم ایک واحد SageMaker ٹریننگ جاب میں 257 ml.c5.18xlarge تک گئی، جس میں 18,504 vCPU اور 37 TB میموری جمع ہوئی۔

ٹریننگ تھرو پٹ کو زیادہ سے زیادہ کرنا

ٹریننگ کے اخراجات اور مارکیٹ ٹو مارکیٹ دونوں کو کم سے کم کرنے کے لیے، ٹیم نے فی سیکنڈ پروسیس کیے جانے والے اور TFLOPs/GPU میں ماپا جانے والے ٹریننگ ٹوکن کے متناسب ٹریننگ کی رفتار کو تیز کرنے کے لیے اصلاح کی کئی سمتوں پر عمل کیا۔ ٹیم نے مکمل طور پر اپنی مرضی کے مطابق 3D-متوازی LLM ٹریننگ فریم ورک کا استعمال کیا، جس میں مرتب کردہ GPU کوڈ میں لکھی گئی حسب ضرورت آپٹمائزڈ پرتیں شامل ہیں۔ ٹیم مزید رفتار حاصل کرنے کے لیے اپنی مرضی کے مطابق میٹرکس ضرب عمل کو لکھنے تک گئی! ٹیم نے منطق بھی تیار کی ہے جو بنیادی نیٹ ورک ٹوپولوجی کے متوازی مواصلات کو اپناتی ہے۔ اپنے ابتدائی اسکیلنگ کے تجربات کے دوران، TII 166 GPUs پر 147B ماڈل پر 256 TFLOPs/GPU، اور 173 GPUs پر 13B ماڈل پر 16 TFLOPs/GPU تک پہنچنے میں کامیاب رہا، ہمارے علم میں سب سے تیز رفتار ماڈل TFLOPs نے کلاؤڈ میں حاصل کیا۔ 2022 کے آخر میں ٹیسٹ کا وقت۔

سرور کے بغیر اسٹوریج

ایل ایل ایم کی تربیت بہت زیادہ ذخیرہ کرنے والی ہے۔ کئی ٹیرا بائٹس ٹریننگ ڈیٹا کو ٹریننگ کلسٹر میں منتقل کرنے کی ضرورت ہے، اور ماڈل چیک پوائنٹس کے کئی ٹیرا بائٹس باقاعدگی سے کلسٹر سے مستقل اسٹوریج کی طرف سفر کرتے ہیں۔ چیک پوائنٹس کو بھی نوکری دوبارہ شروع ہونے کی صورت میں ٹریننگ کلسٹر تک جلد سے جلد پہنچنے کی ضرورت ہے۔ روایتی ہائی پرفارمنس کمپیوٹنگ (HPC) میں، کمپیوٹنگ نوڈس تقسیم شدہ فائل سسٹمز سے منسلک ہوتے ہیں، جو POSIX جیسے انٹرفیس کے ذریعے اعلیٰ کارکردگی I/O اور تھرو پٹ فراہم کرتے ہیں۔ AWS میں، گاہک باقاعدگی سے استعمال کرتے ہیں۔ ایمیزون ایف ایس ایکس لسٹر اس مقصد کے لیے فائل سسٹم (مزید تفصیلات کے لیے دیکھیں Luster اور Amazon EFS فائل سسٹم کے لیے Amazon FSx کا استعمال کرتے ہوئے Amazon SageMaker پر تربیت کو تیز کریں۔)، اور ہم نے BeeGFS کے خود انتظام شدہ استعمال کو بھی دستاویز کیا۔ تقسیم شدہ کمپیوٹر وژن کیس اسٹڈی. لاگت اور آپریشنل سادگی پر ان کی توجہ کی وجہ سے، ٹیم نے فائل سسٹم سرورز کو لاگو کرنے اور چلانے کا فیصلہ نہیں کیا، بلکہ اس کے بجائے صرف سرور کے بغیر آبجیکٹ اسٹوریج کے اوپر خصوصی طور پر تعمیر کرنے کا چیلنج اٹھایا۔ ایمیزون سادہ اسٹوریج سروس (ایمیزون S3)۔ Python (Boto3) کے لیے AWS SDK کا استعمال کرتے ہوئے ایک حسب ضرورت S3 ڈیٹاسیٹ کلاس بنائی گئی، اور سائنسدانوں کو اسی کوڈ بیس کے اندر I/O انجینئرنگ اور ماڈل سائنس پر خود مختاری سے اعادہ کرنے کے قابل بناتے ہوئے تسلی بخش کارکردگی فراہم کی۔

کلائنٹ سائیڈ انوویشن

LLM پروجیکٹ شاذ و نادر ہی ایک تربیتی کام پر مشتمل ہوتا ہے۔ ابتدائی ٹیسٹ اور تجربات کرنے کے لیے متعدد ملازمتوں کی ضرورت ہے۔ مین پروڈکشن ٹریننگ کے دوران، کئی نوکریوں کو جکڑا جا سکتا ہے، مثال کے طور پر کنفیگریشن یا سافٹ وئیر ورژن کو اپ ڈیٹ کرنا، پیچ تعینات کرنا، یا ناکامیوں سے بازیافت کرنا۔ TII کے سائنسدانوں نے LLM ٹریننگ کے مطابق اپنی مرضی کے مطابق کلائنٹس بنانے کے لیے اہم انجینئرنگ کی۔ سیج میکر ٹریننگ SDK کے اوپر ایک لانچر کلائنٹ بنایا گیا تھا تاکہ ایک کمانڈ میں متعدد فنکشنلٹیز کو اکٹھا کیا جا سکے، مثال کے طور پر کوڈ ورژننگ، ڈوکر امیج بلڈنگ، اور جاب لانچ۔ اس کے علاوہ، ایک او ڈبلیو ایس لامبڈا۔ سرور لیس کمپیوٹ فنکشن کو ضرورت کے مطابق ملازمتوں کو دیکھنے، نگرانی کرنے اور مداخلت کرنے کے لیے ڈیزائن کیا گیا تھا۔

انفرنس کوالٹی آڈٹ کے لیے سلیک بوٹس کا استعمال

تربیت کے اختتام کی طرف، ٹیم نے ماڈل کو اندرونی پر تعینات کیا۔ سیج میکر ہوسٹنگ جی پی یو اینڈ پوائنٹ حقیقی وقت کے تعامل کے لیے۔ ٹیم نے ڈائیلاگ کرنے کے لیے، حقیقت پسندانہ تاثرات حاصل کرنے اور ماڈل کے کوالٹیٹیو کوالٹی آڈٹ چلانے کے لیے ایک سلیک بوٹ بنانے تک کا کام کیا۔

تربیت اور کارکردگی کی نگرانی

LLM کی تربیت کے لیے بڑی مقدار میں کمپیوٹیشنل وسائل کی ضرورت ہوتی ہے، بشمول CPU، GPU، اور میموری کے وسائل۔ لہذا، TII کو تربیتی کام کی کارکردگی اور بیکار وقت کی نگرانی کرنے کی ضرورت تھی تاکہ کمپیوٹیشنل وسائل کے زیادہ سے زیادہ استعمال اور ان کی لاگت کی تاثیر کو یقینی بنایا جا سکے۔

خودکار نگرانی کے حل کی تعمیر کے لیے، TII استعمال کیا گیا۔ ایمیزون کلاؤڈ واچ تربیتی ملازمتوں کے لیے GPU، CPU، اور میموری کے استعمال کی نگرانی کے لیے الارم۔ CloudWatch خام ڈیٹا اکٹھا کرتا ہے اور اسے SageMaker Training جاب میں استعمال کیے جانے والے بنیادی کنٹینر مثالوں سے پڑھنے کے قابل، قریب قریب ریئل ٹائم میٹرکس میں پروسیس کرتا ہے۔ اس کے بعد، ہم ان میں سے ہر ایک میٹرکس کے لیے حد مقرر کرتے ہیں، اور اگر کوئی میٹرک حد سے نیچے آتا ہے، تو ایک الارم شروع ہو جاتا ہے۔ یہ الارم TII کی ٹیم کو وسائل کے کم استعمال کی اطلاع دیتا ہے، جس سے وہ وسائل کے استعمال کی رکاوٹوں کو دور کرنے کے لیے اصلاحی اقدامات کرنے کی اجازت دیتا ہے۔

وسائل کے استعمال کی نگرانی کے علاوہ، TII تربیتی ملازمت کے وسائل کے بیکار وقت کی نگرانی بھی کر سکتا ہے۔ اگر تربیتی ملازمت کے وسائل طویل عرصے تک بے کار تھے، تو یہ تربیتی دور کے کسی بھی مرحلے میں رکاوٹ کی نشاندہی کر سکتا ہے اور اس کے لیے دستی تفتیش کی ضرورت ہے۔ بعض صورتوں میں، وسائل کا استعمال اب بھی نسبتاً بہتر تھا، لیکن خود تربیت کا عمل آگے نہیں بڑھ رہا تھا۔ ان صورتوں کے لیے، TII نے CloudWatch کے الارم کو Lambda فنکشنز کے ساتھ مربوط کیا تاکہ جنریٹڈ ٹریننگ لاگز کو استفسار اور پڑھا جا سکے، پھر پیدا شدہ غلطی یا لاگ جنریشن کے عمل کی سستی کی بنیاد پر خودکار کارروائیاں کریں (کلسٹر کو روک دیا گیا ہے)۔ الارم تربیتی کام کو روکنے کے لیے ایک کارروائی کو متحرک کرتا ہے، جو اس بات کو یقینی بناتا ہے کہ جب وسائل استعمال نہیں کیے جا رہے تھے تو TII کو غیر ضروری اخراجات نہیں اٹھانا پڑتے۔

نتیجہ

SageMaker کا استعمال کرتے ہوئے ملکیتی، اپنی مرضی کے مطابق جدت طرازی کے ساتھ، TII ایک ایسے ماڈل کو تربیت دینے میں کامیاب رہا جو متعدد جہتوں میں جدید ترین ہے: تکنیکی پیش رفت، سائنس کا معیار، تربیت کی رفتار، اور آپریشنل سادگی۔

"UAE کے Falcon 40B کو جاری کرنا، دنیا کا ٹاپ رینک والا اوپن سورس AI ماڈل، ٹیکنالوجی کی قیادت کو واضح کرتا ہے، اور Reg میں AI سے چلنے والی جدت کے لیے راہ ہموار کرتا ہے۔آئن" ڈاکٹر ابتسام المزروی کی طرف اشارہ کرتا ہے۔ شامل کرتے ہوئے کہ "ہم قومی AI حکمت عملی 2031 میں بیان کردہ مقاصد کے لیے اپنی وابستگی کا مظاہرہ کرتے ہیں۔ عالمی تکنیکی ترقی میں ہماری فعال شمولیت، جس کی نمائندگی Falcon-40B کرتی ہے، علم پر مبنی معیشت کے حصول میں ایک اہم کردار ادا کرتی ہے۔ AI سلوشنز میں سرمایہ کاری اور ترقی کے ذریعے، ہمارا مقصد اقتصادی ترقی، سماجی ترقی، اور تعلیمی ترقی کے لیے نئے مواقع پیدا کرنا ہے۔

"Falcon-40B کی اوپن سورس نوعیت AI کے میدان میں تعاون، شفافیت، اختراع اور تحقیق کے لیے ہماری لگن کو ظاہر کرتی ہے۔ ہم جدید ترین AI ٹیکنالوجی کی صلاحیتوں کو جمہوری بنانے میں یقین رکھتے ہیں، Falcon-40B کو دنیا بھر کے محققین اور تنظیموں کے لیے قابل رسائی بناتے ہیں۔

"آگے دیکھتے ہوئے، ہم پائپ لائن میں آنے والے ماڈلز کے ساتھ، AI اور ٹیکنالوجی کی ترقی میں اپنا حصہ ڈالتے رہیں گے۔ مزید برآں، ہم اپنے ملک میں تنظیموں اور کاروباروں کے اندر جدید AI ٹیکنالوجی کو اپنانے کو فعال طور پر فروغ دیں گے، جو ہمارے سٹریٹجک اہداف کے مطابق ترقی اور خوشحالی کو فروغ دیں گے۔

– ڈاکٹر المازروعی

Falcon LLM کے بارے میں مزید جاننے کے لیے، ویب سائٹ دیکھیں FalconLLM.tii.ae اور گلے لگانے والے چہرے پر ماڈل کارڈ!

---

مصنفین کے بارے میں

ڈاکٹر ابتسام المزروعی ٹیکنالوجی انوویشن انسٹی ٹیوٹ (TII) میں ال کراس سینٹر یونٹ کے ایگزیکٹو ڈائریکٹر-قائم مقام چیف AI ریسرچر اور بانی ہیں۔ ٹیکنالوجی انوویشن انسٹی ٹیوٹ (TII) میں ال کراس سینٹر یونٹ کے بانی کے طور پر، ڈاکٹر المزروی نے TII کی AI صلاحیتوں کو تشکیل دینے میں اہم کردار ادا کیا ہے۔ AI اور مشین لرننگ میں اس کے سٹریٹجک وژن اور مہارت نے اسے اہم تحقیقی اقدامات کی قیادت کرنے اور کراس فنکشنل تعاون کو فروغ دینے کے لیے بااختیار بنایا ہے، جس کے نتیجے میں متعدد صنعتوں میں اختراعی AI حل فراہم کیے گئے ہیں۔

ڈاکٹر المازروئی کی نمایاں کامیابیوں میں سے ایک Falcon 40B کی ترقی میں ان کا اہم کردار ہے، ایک جدید ترین LLM جس نے عالمی سطح پر پہچان حاصل کی ہے۔ Falcon 40B کی غیر معمولی کارکردگی نے اسے مئی 2023 میں Hugging Face کے لیڈر بورڈ پر عالمی سطح پر نمبر ایک LLM کے طور پر درجہ دیا ہے۔ مزید برآں، اس نے اپریل 2022 میں ریلیز ہونے والے دنیا کے سب سے بڑے عربی لارج لینگوئج ماڈل (LLM) کی ترقی کی قیادت کی۔

ڈاکٹر المازروئی کو دنیا بھر میں AI میں ان کے تعاون کے لیے پہچانا جاتا ہے اور انہیں 2023 کی فہرست میں دنیا کی سرکردہ AI خواتین میں شامل کیا گیا تھا، اس کے ساتھ اس شعبے میں دیگر ممتاز خواتین بھی تھیں۔ وہ پائیداری اور اچھے اقدامات کے لیے AI کی وکالت کے ساتھ ساتھ ابوظہبی AI کنیکٹ کی جنرل چیئر اور کئی IEEE بین الاقوامی کانفرنسوں کی TPC چیئر بھی ہیں۔

اس کی شراکتیں TII میں اس کے کام سے آگے بڑھی ہیں جہاں وہ UAE کونسل برائے AI اور Blockchain کی بڑی ڈیٹا ماہر ذیلی کمیٹی کی قیادت کرتی ہے اور وائرلیس ورلڈ ریسرچ فورم (WWRF) کے دنیا بھر کے اسٹیئرنگ بورڈ کی رکن ہے۔ وہ ایک سائنسی مصنف، پیٹنٹ موجد، کاروباری شخصیت، اور معروف مقرر ہیں، جو لندن میں AI سمٹ، ورلڈ AI کانز فیسٹیول، اور ٹیک سمٹ جیسے باوقار سمٹ میں اپنی کلیدی تقریروں کے لیے جانی جاتی ہیں۔

ول بدر دبئی - متحدہ عرب امارات میں مقیم ایک سینئر مینیجر AI/ML سلوشنز آرکیٹیکٹس ہیں جو عالمی ایمیزون مشین لرننگ ٹیم کے حصے کے طور پر کام کرتے ہیں۔ ول کمیونٹی پر مثبت اثر ڈالنے کے لیے جدید طریقوں سے ٹیکنالوجی کے استعمال کے بارے میں پرجوش ہے۔ اپنے فارغ وقت میں، وہ غوطہ خوری، فٹ بال کھیلنا اور بحر الکاہل کے جزائر کی سیر کرنا پسند کرتا ہے۔

اولیور کروچنٹ فرانس میں مقیم AWS میں مشین لرننگ اسپیشلسٹ سولیوشن آرکیٹیکٹ ہے۔ Olivier AWS صارفین کی مدد کرتا ہے – چھوٹے سٹارٹ اپ سے لے کر بڑے اداروں تک – پروڈکشن گریڈ مشین لرننگ ایپلی کیشنز کو تیار اور تعینات کرتا ہے۔ اپنے فارغ وقت میں، وہ تحقیقی مقالے پڑھنے اور دوستوں اور خاندان کے ساتھ بیابانوں کی سیر کرنے سے لطف اندوز ہوتے ہیں۔

• SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
• ای وی ایم فنانس۔ وکندریقرت مالیات کے لیے متحد انٹرفیس۔ یہاں تک رسائی حاصل کریں۔
• کوانٹم میڈیا گروپ۔ آئی آر/پی آر ایمپلیفائیڈ۔ یہاں تک رسائی حاصل کریں۔
• پلیٹوآئ اسٹریم۔ ویب 3 ڈیٹا انٹیلی جنس۔ علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
• ماخذ: https://aws.amazon.com/blogs/machine-learning/technology-innovation-institute-trains-the-state-of-the-art-falcon-llm-40b-foundation-model-on-amazon-sagemaker/