مدلهای فونداسیون ساختمان (FMs) نیازمند ساخت، نگهداری و بهینهسازی خوشههای بزرگ برای آموزش مدلهایی با دهها تا صدها میلیارد پارامتر بر روی مقادیر وسیع داده است. ایجاد یک محیط انعطافپذیر که بتواند شکستها و تغییرات محیطی را بدون از دست دادن روزها یا هفتهها از پیشرفت آموزش مدل مدیریت کند، یک چالش عملیاتی است که شما را ملزم به پیادهسازی مقیاسبندی خوشهای، نظارت پیشگیرانه سلامت، بررسی پستهای شغلی و قابلیتهایی برای از سرگیری خودکار آموزش در صورت بروز مشکلات یا مشکلات میکند. .
ما برای به اشتراک گذاشتن آن هیجان زده هستیم Amazon SageMaker HyperPod در حال حاضر به طور کلی برای فعال کردن مدلهای پایه تمرینی با هزاران شتابدهنده تا 40 درصد سریعتر با ارائه یک محیط تمرینی بسیار انعطافپذیر و در عین حال از بین بردن وزنهبرداری غیرمتمایز درگیر در کارکردن خوشههای آموزشی در مقیاس بزرگ در دسترس است. با SageMaker HyperPod، متخصصان یادگیری ماشین (ML) میتوانند FMها را برای هفتهها و ماهها بدون اختلال و بدون نیاز به رسیدگی به مشکلات خرابی سختافزار آموزش دهند.
مشتریانی مانند Stability AI از SageMaker HyperPod برای آموزش مدل های پایه خود از جمله Stable Diffusion استفاده می کنند.
"به عنوان پیشرو پیشرو در تولید AI منبع باز، هدف ما به حداکثر رساندن دسترسی به هوش مصنوعی مدرن است. ما در حال ساخت مدل های فونداسیون با ده ها میلیارد پارامتر هستیم که به زیرساخت نیاز دارد تا عملکرد تمرین را به طور مطلوب مقیاس بندی کند. با زیرساختهای مدیریت شده و کتابخانههای بهینهسازی SageMaker HyperPod، میتوانیم زمان و هزینههای آموزش را تا بیش از 50% کاهش دهیم. این آموزش مدل ما را برای ساخت سریعتر مدلهای پیشرفته، انعطافپذیرتر و کارآمدتر میکند.»
– عماد مستقع، بنیانگذار و مدیر عامل هوش مصنوعی پایداری.
برای اینکه چرخه کامل توسعه FMها در برابر خرابی های سخت افزاری مقاوم باشد، SageMaker HyperPod به شما کمک می کند تا خوشه ها را ایجاد کنید، سلامت خوشه ها را نظارت کنید، گره های معیوب را در حین پرواز تعمیر و جایگزین کنید، نقاط بازرسی مکرر را ذخیره کنید و به طور خودکار آموزش را بدون از دست دادن پیشرفت از سر بگیرید. علاوه بر این، SageMaker HyperPod از پیش پیکربندی شده است آمازون SageMaker توزیع کتابخانه های آموزشی، از جمله کتابخانه موازی داده SageMaker (SMDDP) و کتابخانه موازی مدل SageMaker (SMP)برای بهبود عملکرد آموزش FM با ساده کردن تقسیم داده ها و مدل های آموزشی به قطعات کوچکتر و پردازش آنها به صورت موازی در سراسر گره های خوشه، در حالی که به طور کامل از زیرساخت محاسباتی و شبکه خوشه استفاده می کند. SageMaker HyperPod مدیریت حجم کاری Slurm را برای هماهنگی و هماهنگی مشاغل آموزشی یکپارچه می کند.
بررسی اجمالی مدیریت حجم کاری Slurm
لجن، که قبلاً به عنوان Simple Linux Utility برای مدیریت منابع شناخته می شد، یک زمانبندی کار برای اجرای کارها در یک خوشه محاسباتی توزیع شده است. همچنین چارچوبی برای اجرای کارهای موازی با استفاده از کتابخانه ارتباطات جمعی NVIDIA (NCCL) or رابط ارسال پیام (MPI) استانداردها Slurm یک سیستم مدیریت منابع خوشه منبع باز محبوب است که به طور گسترده توسط محاسبات با کارایی بالا (HPC) و بارهای آموزشی مولد هوش مصنوعی و FM استفاده می شود. SageMaker HyperPod راهی ساده برای راهاندازی و اجرای یک خوشه Slurm در عرض چند دقیقه ارائه میکند.
در زیر یک نمودار معماری سطح بالا از نحوه تعامل کاربران با SageMaker HyperPod و نحوه تعامل اجزای مختلف کلاستر با یکدیگر و سایر خدمات AWS، مانند آمازون FSx برای Luster و سرویس ذخیره سازی ساده آمازون (Amazon S3).
مشاغل Slurm توسط دستورات در خط فرمان ارسال می شوند. دستورات اجرای Slurm jobها هستند srun
و sbatch
. srun
دستور کار آموزشی را در حالت تعاملی و مسدود کردن اجرا می کند و sbatch
در حالت پردازش دسته ای و غیر انسداد اجرا می شود. srun
بیشتر برای اجرای مشاغل فوری استفاده می شود، در حالی که sbatch
می تواند برای کارهای بعدی استفاده شود.
برای اطلاعات در مورد دستورات Slurm اضافی و پیکربندی، به آدرس مراجعه کنید مستندات مدیریت حجم کاری Slurm.
قابلیت از سرگیری خودکار و بهبودی
یکی از ویژگیهای جدید SageMaker HyperPod این است که میتوانید رزومه کاری خود را در کار خود داشته باشید. قبلاً، هنگامی که یک گره کارگر در طول اجرای کار آموزشی یا تنظیم دقیق از کار میافتاد، این وظیفه کاربر بود که وضعیت کار را بررسی کند، کار را از آخرین نقطه بازرسی مجدداً راهاندازی کند و به نظارت بر کار در کل اجرا ادامه دهد. با مشاغل آموزشی یا کارهای تنظیم دقیق که نیاز به اجرا برای روزها، هفتهها یا حتی ماهها در یک زمان دارند، این امر به دلیل هزینههای اداری اضافی کاربر که نیاز به صرف چرخههایی برای نظارت و حفظ کار دارد، گران میشود. خرابی گره، و همچنین هزینه زمان بیکاری نمونه های گران قیمت محاسباتی تسریع شده.
SageMaker HyperPod با استفاده از بررسیهای خودکار سلامت، جایگزینی گره و بازیابی شغل، انعطافپذیری شغلی را برطرف میکند. کارهای Slurm در SageMaker HyperPod با استفاده از پلاگین Slurm سفارشی SageMaker با استفاده از چارچوب SPANK. هنگامی که یک کار آموزشی با شکست مواجه می شود، SageMaker HyperPod سلامت خوشه را از طریق مجموعه ای از بررسی های سلامت بررسی می کند. اگر یک گره معیوب در کلاستر پیدا شود، SageMaker HyperPod به طور خودکار گره را از خوشه حذف می کند، آن را با یک گره سالم جایگزین می کند و کار آموزشی را دوباره راه اندازی می کند. هنگام استفاده از ایست بازرسی در مشاغل آموزشی، هر کار قطع شده یا شکست خورده می تواند از آخرین پست بازرسی از سر گرفته شود.
بررسی اجمالی راه حل
برای استقرار SageMaker HyperPod، ابتدا محیط خود را با پیکربندی محیط خود آماده می کنید ابر خصوصی مجازی آمازون شبکه و گروه های امنیتی (Amazon VPC)، خدمات پشتیبانی مانند FSx for Luster را در VPC شما مستقر می کند و اسکریپت های چرخه حیات Slurm شما را در یک سطل S3 منتشر می کند. سپس SageMaker HyperPod خود را مستقر و پیکربندی کرده و به head node متصل می شوید تا کارهای آموزشی خود را شروع کنید.
پیش نیازها
قبل از اینکه SageMaker HyperPod خود را بسازید، ابتدا باید VPC خود را پیکربندی کنید، یک سیستم فایل FSx برای Luster ایجاد کنید و یک سطل S3 با اسکریپت های چرخه حیات خوشه دلخواه خود ایجاد کنید. شما همچنین به آخرین نسخه آن نیاز دارید رابط خط فرمان AWS (AWS CLI) و پلاگین CLI نصب شده برای مدیر جلسه AWS، قابلیتی از مدیر سیستم های AWS.
SageMaker HyperPod به طور کامل با VPC شما یکپارچه شده است. برای اطلاعات در مورد ایجاد یک VPC جدید، نگاه کنید یک VPC پیش فرض ایجاد کنید or یک VPC ایجاد کنید. برای اجازه دادن به یک اتصال یکپارچه با بالاترین عملکرد بین منابع، باید همه منابع خود را در همان منطقه و منطقه در دسترس ایجاد کنید، و همچنین اطمینان حاصل کنید که قوانین گروه امنیتی مرتبط اجازه اتصال بین منابع خوشه را می دهد.
بعد، شما یک سیستم فایل FSx برای Luster ایجاد کنید. این به عنوان سیستم فایل با کارایی بالا برای استفاده در طول آموزش مدل ما عمل خواهد کرد. اطمینان حاصل کنید که FSx for Luster و گروه های امنیتی کلاستر امکان ارتباط ورودی و خروجی بین منابع کلاستر و سیستم فایل FSx for Luster را می دهد.
برای راهاندازی اسکریپتهای چرخه حیات خوشه خود، که هنگام وقوع رویدادهایی مانند یک نمونه خوشه جدید اجرا میشوند، یک سطل S3 ایجاد میکنید و سپس اسکریپتهای چرخه حیات پیشفرض را کپی کرده و به صورت اختیاری سفارشی میکنید. برای این مثال، ما تمام اسکریپت های چرخه حیات را در یک پیشوند سطلی ذخیره می کنیم lifecycle-scripts
.
ابتدا نمونه اسکریپت های چرخه حیات را از سایت دانلود می کنید GitHub repo. شما باید اینها را مطابق با رفتارهای خوشه ای دلخواه خود سفارشی کنید.
بعد، یک سطل S3 برای ذخیره اسکریپت های چرخه حیات سفارشی ایجاد کنید.
سپس، اسکریپتهای چرخه حیات پیشفرض را از فهرست محلی خود در سطل و پیشوند مورد نظر خود کپی کنید aws s3 sync
:
در نهایت، برای تنظیم کلاینت برای اتصال ساده به گره سر خوشه، باید AWS CLI را نصب یا به روز کنید و نصب کنید پلاگین AWS Session Manager CLI برای اجازه دادن به اتصالات ترمینال تعاملی برای مدیریت خوشه و اجرای کارهای آموزشی.
میتوانید یک کلاستر SageMaker HyperPod با منابع موجود بر حسب تقاضا یا با درخواست رزرو ظرفیت با SageMaker ایجاد کنید. برای ایجاد یک رزرو ظرفیت، یک درخواست افزایش سهمیه برای رزرو انواع نمونه محاسباتی خاص و تخصیص ظرفیت در داشبورد سهمیه خدمات ایجاد میکنید.
کلاستر آموزشی خود را تنظیم کنید
برای ایجاد کلاستر SageMaker HyperPod، مراحل زیر را انجام دهید:
- در کنسول SageMaker، را انتخاب کنید مدیریت خوشه زیر خوشه هایپر پاد در صفحه ناوبری
- را انتخاب کنید یک خوشه ایجاد کنید.
- یک نام خوشه و در صورت تمایل هر برچسبی برای اعمال در منابع خوشه ارائه دهید، سپس انتخاب کنید بعدی.
- انتخاب کنید ایجاد گروه نمونه و نام گروه نمونه، نوع نمونه مورد نیاز، تعداد نمونه های مورد نظر، و سطل و مسیر پیشوند S3 را که قبلا اسکریپت های چرخه حیات خوشه خود را در آن کپی کرده اید، مشخص کنید.
توصیه میشود که گروههای نمونه متفاوتی برای گرههای کنترلکننده که برای مدیریت خوشه و کارهای ارسالی استفاده میشوند و گرههای کارگری که برای اجرای کارهای آموزشی با استفاده از نمونههای محاسباتی تسریعشده استفاده میشوند، داشته باشید. شما می توانید به صورت اختیاری یک گروه نمونه اضافی برای گره های ورود پیکربندی کنید.
- ابتدا گروه نمونه کنترلر را ایجاد می کنید که شامل گره سر خوشه می شود.
- برای این گروه نمونه هویت AWS و مدیریت دسترسی (IAM) نقش، انتخاب کنید یک نقش جدید ایجاد کنید و هر سطل S3 را که می خواهید نمونه های خوشه ای در گروه نمونه به آن دسترسی داشته باشند را مشخص کنید.
نقش ایجاد شده به طور پیش فرض به سطل های مشخص شده دسترسی فقط خواندنی داده می شود.
- را انتخاب کنید نقش ایجاد کنید.
- نام اسکریپت را برای اجرا در ایجاد هر نمونه در اعلان اسکریپت on-create وارد کنید. در این مثال، اسکریپت on-create نامیده می شود
on_create.sh
. - را انتخاب کنید ذخیره.
- را انتخاب کنید ایجاد گروه نمونه برای ایجاد گروه نمونه کارگری
- تمام جزئیات درخواستی، از جمله نوع نمونه و مقدار مورد نظر را ارائه دهید.
این مثال از چهار نمونه شتاب دهنده ml.trn1.32xl برای انجام کار آموزشی ما استفاده می کند. میتوانید از همان نقش IAM قبلی استفاده کنید یا نقش را برای نمونههای کارگر سفارشی کنید. به طور مشابه، میتوانید از اسکریپتهای چرخه حیات در هنگام ایجاد متفاوت برای این گروه نمونه کارگر نسبت به گروه نمونه قبلی استفاده کنید.
- را انتخاب کنید بعدی برای ادامه.
- VPC، زیرشبکه و گروه های امنیتی مورد نظر را برای نمونه های کلاستر خود انتخاب کنید.
ما نمونههای خوشهای را در یک منطقه دسترسی و زیرشبکه واحد میزبانی میکنیم تا از تأخیر کم اطمینان حاصل کنیم.
توجه داشته باشید که اگر مکرراً به دادههای S3 دسترسی دارید، توصیه میشود یک نقطه پایانی VPC ایجاد کنید که با جدول مسیریابی زیرشبکه خصوصی مرتبط است تا هزینههای انتقال داده بالقوه کاهش یابد.
- را انتخاب کنید بعدی.
- خلاصه جزئیات خوشه را مرور کنید، سپس انتخاب کنید ارسال.
از طرف دیگر، برای ایجاد SageMaker HyperPod خود با استفاده از AWS CLI، ابتدا پارامترهای JSON مورد استفاده برای ایجاد کلاستر را سفارشی کنید:
سپس از دستور زیر برای ایجاد خوشه با استفاده از ورودی های ارائه شده استفاده کنید:
اولین کار آموزشی خود را با Llama 2 اجرا کنید
توجه داشته باشید که استفاده از مدل Llama 2 توسط مجوز متا کنترل می شود. برای دانلود وزنه و توکنایزر مدل به ادامه مطلب مراجعه کنید سایت اینترنتی و قبل از درخواست دسترسی، مجوز را بپذیرید وب سایت Meta's Hugging Face.
پس از اجرای کلاستر، با استفاده از شناسه خوشه، نام گروه نمونه و شناسه نمونه، با Session Manager وارد شوید. برای مشاهده جزئیات خوشه خود از دستور زیر استفاده کنید:
شناسه خوشه موجود در ARN خوشه در پاسخ را یادداشت کنید.
از دستور زیر برای بازیابی نام گروه نمونه و شناسه نمونه مورد نیاز برای ورود به خوشه استفاده کنید.
را یادداشت کنید InstanceGroupName
و InstanceId
در پاسخ زیرا از اینها برای اتصال به نمونه با Session Manager استفاده می شود.
اکنون از Session Manager برای ورود به head node یا یکی از گره های ورود استفاده می کنید و کار آموزشی خود را اجرا می کنید:
در ادامه، ما قصد داریم محیط را آماده کنیم و Llama 2 و مجموعه داده RedPajama را دانلود کنیم. برای دریافت کد کامل و گام به گام این مورد، دستورالعملهای موجود را دنبال کنید AWSome آموزش توزیع شده مخزن GitHub.
مراحل شرح داده شده در را دنبال کنید 2.test_cases/8.neuronx-nemo-megatron/README.md
فایل. پس از انجام مراحل آماده سازی محیط، آماده سازی مدل، دانلود و توکن سازی مجموعه داده و پیش کامپایل مدل، باید آن را ویرایش کنید. 6.pretrain-model.sh
اسکریپت و sbatch
فرمان ارسال شغل شامل پارامتری است که به شما امکان می دهد از ویژگی رزومه خودکار SageMaker HyperPod استفاده کنید.
ویرایش sbatch
خط به شکل زیر باشد:
پس از ارسال کار، یک دریافت خواهید کرد JobID
که می توانید با استفاده از کد زیر وضعیت شغل را بررسی کنید:
علاوه بر این، میتوانید کار را با دنبال کردن گزارش خروجی کار با استفاده از کد زیر نظارت کنید:
پاک کردن
برای حذف کلاستر SageMaker HyperPod، از کنسول SageMaker یا دستور AWS CLI زیر استفاده کنید:
نتیجه
این پست به شما نشان داد که چگونه محیط AWS خود را آماده کنید، اولین کلاستر SageMaker HyperPod خود را مستقر کنید و یک مدل Llama 7 با پارامتر ۷ میلیاردی را آموزش دهید. SageMaker HyperPod امروزه به طور کلی در مناطق آمریکا (شمال ویرجینیا، اوهایو، و اورگان)، آسیا و اقیانوسیه (سنگاپور، سیدنی و توکیو) و اروپا (فرانکفورت، ایرلند، و استکهلم) در دسترس است. آنها می توانند از طریق کنسول SageMaker، AWS CLI و AWS SDK مستقر شوند و از خانواده های نمونه p2d، p4de، p4، trn5، inf1، g2، c5، c5n، m5 و t5 پشتیبانی می کنند.
برای کسب اطلاعات بیشتر در مورد SageMaker HyperPod، مراجعه کنید Amazon SageMaker HyperPod.
درباره نویسندگان
برد دوران یک مدیر ارشد حساب فنی در خدمات وب آمازون است که بر هوش مصنوعی مولد متمرکز است. او مسئول حل چالش های مهندسی برای مشتریان مولد هوش مصنوعی در بخش بازار کسب و کار بومی دیجیتال است. او از پیشینه توسعه زیرساختها و نرمافزار میآید و در حال حاضر مشغول به تحصیل و تحقیق در مقطع دکترا در زمینه هوش مصنوعی و یادگیری ماشین است.
کیتا واتانابه یک معمار ارشد راه حل های تخصصی GenAI در خدمات وب آمازون است، که در آن به توسعه راه حل های یادگیری ماشین با استفاده از پروژه های OSS مانند Slurm و Kubernetes کمک می کند. پیشینه او در تحقیق و توسعه یادگیری ماشین است. قبل از پیوستن به AWS، کیتا در صنعت تجارت الکترونیک به عنوان یک دانشمند محقق مشغول توسعه سیستم های بازیابی تصویر برای جستجوی محصول بود. کیتا دارای مدرک دکترای علوم از دانشگاه توکیو است.
جاستین پیرتل یک معمار اصلی راه حل در خدمات وب آمازون است. او مرتباً به مشتریان مولد هوش مصنوعی در طراحی، استقرار و مقیاسبندی زیرساختهایشان توصیه میکند. او در کنفرانسهای AWS، از جمله re:Invent، و همچنین سایر رویدادهای AWS سخنران منظمی است. جاستین دارای مدرک لیسانس در سیستم های اطلاعات مدیریت از دانشگاه تگزاس در آستین و مدرک کارشناسی ارشد در مهندسی نرم افزار از دانشگاه سیاتل است.
- محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
- PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
- PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
- PlatoESG. کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
- PlatoHealth. هوش بیوتکنولوژی و آزمایشات بالینی. دسترسی به اینجا.
- منبع: https://aws.amazon.com/blogs/machine-learning/introducing-amazon-sagemaker-hyperpod-to-train-foundation-models-at-scale/
- :است
- :جایی که
- $UP
- 1
- 100
- 12
- 14
- 24
- 7
- a
- توانایی
- درباره ما
- تسریع شد
- شتاب دهنده ها
- پذیرفتن
- دسترسی
- دسترسی
- دسترسی
- حساب
- در میان
- اضافه
- اضافی
- آدرس
- اداره کردن
- اداری
- مزیت - فایده - سود - منفعت
- پس از
- AI
- معرفی
- تخصیص
- اجازه دادن
- اجازه می دهد تا
- همچنین
- آمازون
- آمازون SageMaker
- آمازون خدمات وب
- آمریکا
- مقدار
- an
- و
- هر
- درخواست
- معماری
- هستند
- بوجود می آیند
- مصنوعی
- هوش مصنوعی
- هوش مصنوعی و یادگیری ماشین
- AS
- آسیا
- آسیا و اقیانوسیه
- مرتبط است
- At
- آستین
- خودکار
- بطور خودکار
- دسترس پذیری
- در دسترس
- AWS
- زمینه
- BE
- شود
- قبل از
- رفتار
- میان
- میلیاردها
- انسداد
- ساختن
- بنا
- کسب و کار
- by
- نام
- CAN
- قابلیت های
- قابلیت
- ظرفیت
- مدیر عامل شرکت
- به چالش
- چالش ها
- تبادل
- بررسی
- چک
- را انتخاب کنید
- مشتری
- خوشه
- رمز
- Collective - Dubai Hills Estate
- می آید
- ارتباط
- ارتباطات
- شرکت
- کامل
- اجزاء
- محاسبه
- محاسبه
- همایش ها
- پیکر بندی
- پیکربندی
- اتصال
- ارتباط
- اتصالات
- کنسول
- ادامه دادن
- کنترل کننده
- هزینه
- گران
- هزینه
- ایجاد
- ایجاد
- ایجاد
- در حال حاضر
- سفارشی
- مشتریان
- سفارشی
- سفارشی
- چرخه
- چرخه
- داشبورد
- داده ها
- روز
- مقدار
- به طور پیش فرض
- درجه
- گسترش
- مستقر
- استقرار
- طراحی
- مطلوب
- دقیق
- جزئیات
- توسعه
- در حال توسعه
- پروژه
- مختلف
- انتشار
- دیجیتال
- قطع
- توزیع شده
- محاسبات توزیع شده
- آموزش توزیع شده
- دانلود
- دو
- در طی
- هر
- تجارت الکترونیک
- هر دو
- از بین بردن
- قادر ساختن
- نقطه پایانی
- مهندسی
- اطمینان حاصل شود
- تمام
- محیط
- محیطی
- ایجاد
- اروپا
- حتی
- واقعه
- حوادث
- مثال
- برانگیخته
- گران
- اضافی
- چهره
- ناموفق
- نتواند
- شکست
- شکست
- خانواده
- سریعتر
- معیوب
- ویژگی
- امکانات
- پرونده
- نام خانوادگی
- متمرکز شده است
- به دنبال
- پیروی
- برای
- سابق
- یافت
- پایه
- موسس
- موسس و مدیر عامل
- چهار
- چارچوب
- فرانکفورت
- مکرر
- غالبا
- از جانب
- کامل
- کاملا
- عموما
- تولید
- مولد
- هوش مصنوعی مولد
- دریافت کنید
- GitHub
- هدف
- رفتن
- اداره می شود
- اعطا شده
- گروه
- گروه ها
- دسته
- سخت افزار
- آیا
- داشتن
- he
- سر
- شفا
- سلامتی
- سالم
- سنگین
- بلند کردن سنگین
- کمک می کند
- زیاد
- در سطح بالا
- عملکرد بالا
- بالاترین
- خیلی
- خود را
- دارای
- میزبان
- چگونه
- چگونه
- hpc
- HTML
- HTTP
- HTTPS
- صدها نفر
- ID
- هویت
- آرام
- if
- تصویر
- فوری
- انجام
- بهبود
- in
- شامل
- مشمول
- از جمله
- افزایش
- صنعت
- اطلاعات
- سیستم های اطلاعاتی
- شالوده
- ورودی
- نصب
- نصب شده
- نمونه
- دستورالعمل
- یکپارچه
- ادغام
- اطلاعات
- تعامل
- تعاملی
- رابط
- منقطع
- به
- معرفی
- گرفتار
- ایرلند
- مسائل
- IT
- کار
- شغل ها
- پیوستن
- JPG
- json
- جاستین
- شناخته شده
- بزرگ
- در مقیاس بزرگ
- تاخیر
- بعد
- آخرین
- برجسته
- یاد گرفتن
- یادگیری
- کتابخانه ها
- کتابخانه
- مجوز
- wifecycwe
- بلند کردن اجسام
- پسندیدن
- لاین
- لینوکس
- پشم لاما
- محلی
- ورود به سیستم
- ورود
- نگاه کنيد
- شبیه
- شکست
- کم
- دستگاه
- فراگیری ماشین
- حفظ
- حفظ
- ساخت
- باعث می شود
- ساخت
- اداره می شود
- مدیریت
- مدیر
- بازار
- کارشناسی ارشد
- ماده
- بیشینه ساختن
- متا
- دقیقه
- ML
- حالت
- مدل
- مدل
- مدرن
- مانیتور
- نظارت
- نظارت بر
- ماه
- بیش
- اغلب
- نام
- بومی
- جهت یابی
- نیاز
- ضروری
- نیازمند
- شبکه
- جدید
- ویژگی های جدید
- گره
- گره
- توجه داشته باشید
- اکنون
- کارت گرافیک Nvidia
- of
- اوهایو
- on
- بر روی تقاضا
- ONE
- باز کن
- منبع باز
- عملیاتی
- قابل استفاده
- بهینه سازی
- بهینه سازی
- or
- تنظیم و ارکستراسیون
- اورگان
- ما
- دیگر
- ما
- تولید
- روی
- ارام
- قطعه
- موازی
- پارامتر
- پارامترهای
- عبور
- مسیر
- انجام
- کارایی
- دکترا
- افلاطون
- هوش داده افلاطون
- PlatoData
- پلاگین
- محبوب
- پست
- پتانسیل
- آماده
- قبلی
- قبلا
- اصلی
- قبلا
- خصوصی
- بلادرنگ
- ادامه
- در حال پردازش
- محصول
- پیشرفت
- پروژه ها
- ارائه
- فراهم می کند
- ارائه
- انتشار
- مقدار
- RE
- توصیه می شود
- بهبود
- كاهش دادن
- مراجعه
- منطقه
- مناطق
- منظم
- به طور منظم
- برداشتن
- تعمیر
- جایگزین کردن
- جایگزینی
- درخواست
- نیاز
- نیاز
- تحقیق
- تحقیق و توسعه
- رزرو
- ذخیره
- انعطاف پذیر
- منابع
- منابع
- پاسخ
- مسئوليت
- ادامه
- نقش
- مسیریابی
- قوانین
- دویدن
- در حال اجرا
- اجرا می شود
- حکیم ساز
- همان
- ذخیره
- مقیاس
- مقیاس گذاری
- علم
- دانشمند
- خط
- اسکریپت
- sdks
- بدون درز
- جستجو
- سیاتل
- تیم امنیت لاتاری
- دیدن
- بخش
- ارشد
- خدمت
- سرویس
- خدمات
- جلسه
- تنظیم
- اشتراک گذاری
- باید
- نشان داد
- به طور مشابه
- ساده
- ساده شده
- سنگاپور
- تنها
- کوچکتر
- نرم افزار
- توسعه نرم افزار
- مهندسی نرم افزار
- مزایا
- حل کردن
- منبع
- گوینده
- متخصص
- خاص
- مشخص شده
- خرج کردن
- انشعاب
- ثبات
- پایدار
- استانداردهای
- شروع
- وضعیت هنر
- وضعیت
- مراحل
- ذخیره سازی
- opbevare
- ساده
- مطالعات
- ارسال
- ارسال
- ارسال
- زیر شبکه
- چنین
- کت و شلوار
- دنباله
- خلاصه
- پشتیبانی
- حمایت از
- مطمئن
- سیدنی
- همگام سازی
- سیستم
- سیستم های
- جدول
- گرفتن
- فنی
- ده ها
- پایانه
- وابسته به تکزاس
- نسبت به
- که
- La
- شان
- آنها
- سپس
- اینها
- آنها
- این
- هزاران نفر
- از طریق
- سراسر
- زمان
- به
- امروز
- tokenize
- توکیو
- قطار
- آموزش
- انتقال
- نوع
- انواع
- زیر
- دانشگاه
- دانشگاه توکیو
- بروزرسانی
- استفاده کنید
- استفاده
- کاربر
- کاربران
- استفاده
- با استفاده از
- سودمندی
- با استفاده از
- مختلف
- وسیع
- نسخه
- از طريق
- چشم انداز
- ویرجینیا
- مجازی
- بازدید
- خرید
- بود
- مسیر..
- we
- وب
- خدمات وب
- هفته
- خوب
- چه زمانی
- که
- در حین
- به طور گسترده ای
- ویکیپدیا
- اراده
- با
- در داخل
- بدون
- مشغول به کار
- کارگر
- خواهد بود
- شما
- شما
- زفیرنت