امروز، ما خوشحالیم که پیش نمایش آن را اعلام کنیم پروفایلر آمازون SageMaker، قابلیتی از آمازون SageMaker که نمای دقیقی از منابع محاسباتی AWS ارائه شده در طول آموزش مدل های یادگیری عمیق در SageMaker ارائه می دهد. با SageMaker Profiler، میتوانید تمام فعالیتهای CPU و GPU، مانند استفاده از CPU و GPU، اجرا شدن هسته روی پردازندههای گرافیکی، راهاندازی هسته در CPU، عملیات همگامسازی، عملیات حافظه در سراسر GPU، تأخیر بین راهاندازی هسته و اجراهای مربوطه، و انتقال داده را دنبال کنید. بین CPU و GPU در این پست شما را با قابلیت های SageMaker Profiler آشنا می کنیم.
SageMaker Profiler ماژول های Python را برای حاشیه نویسی اسکریپت های آموزشی PyTorch یا TensorFlow و فعال کردن SageMaker Profiler ارائه می دهد. همچنین یک رابط کاربری (UI) ارائه می دهد که تصویر را به تصویر می کشد نمایه، خلاصه آماری رویدادهای نمایه شده و جدول زمانی یک کار آموزشی برای ردیابی و درک رابطه زمانی رویدادها بین GPU و CPU.
نیاز به پروفایل مشاغل آموزشی
با ظهور یادگیری عمیق (DL)، یادگیری ماشین (ML) محاسبات و داده فشرده شده است، که معمولاً به خوشههای چند گره و چند GPU نیاز دارد. همانطور که مدل های پیشرفته در اندازه تریلیون ها پارامتر رشد می کنند، پیچیدگی محاسباتی و هزینه آنها نیز به سرعت افزایش می یابد. شاغلین ML هنگام آموزش چنین مدل های بزرگی باید با چالش های رایج استفاده از منابع کارآمد کنار بیایند. این امر به ویژه در مدلهای زبان بزرگ (LLM) مشهود است، که معمولاً دارای میلیاردها پارامتر هستند و بنابراین برای آموزش کارآمد به خوشههای GPU چند گرهای بزرگ نیاز دارند.
هنگام آموزش این مدلها بر روی خوشههای محاسباتی بزرگ، میتوانیم با چالشهای بهینهسازی منابع محاسباتی مانند تنگناهای ورودی/خروجی، تأخیرهای راهاندازی هسته، محدودیتهای حافظه و استفاده کم از منابع مواجه شویم. اگر پیکربندی شغل آموزشی بهینه نباشد، این چالش ها می تواند منجر به استفاده ناکارآمد از سخت افزار و زمان های آموزشی طولانی تر یا اجرای ناقص آموزش شود که هزینه های کلی و زمان بندی پروژه را افزایش می دهد.
پیش نیازها
پیش نیازهای زیر برای شروع استفاده از SageMaker Profiler هستند:
- یک دامنه SageMaker در حساب AWS شما - برای دستورالعملهای مربوط به راهاندازی دامنه، رجوع کنید به ورود به دامنه Amazon SageMaker با استفاده از راه اندازی سریع. همچنین برای دسترسی به برنامه SageMaker Profiler UI باید پروفایل های کاربری دامنه را برای کاربران جداگانه اضافه کنید. برای اطلاعات بیشتر ببین پروفایل های کاربر دامنه SageMaker را اضافه و حذف کنید.
- ویرایش – لیست زیر حداقل مجموعه مجوزهایی است که باید به نقش اجرایی برای استفاده از برنامه SageMaker Profiler UI اختصاص داده شود:
sagemaker:CreateApp
sagemaker:DeleteApp
sagemaker:DescribeTrainingJob
sagemaker:SearchTrainingJobs
s3:GetObject
s3:ListBucket
یک کار آموزشی با SageMaker Profiler آماده و اجرا کنید
برای شروع ضبط هستههای اجرا شده روی پردازندههای گرافیکی در حین اجرای کار آموزشی، اسکریپت آموزشی خود را با استفاده از ماژولهای SageMaker Profiler Python تغییر دهید. کتابخانه را وارد کنید و آن را اضافه کنید start_profiling()
و stop_profiling()
روش هایی برای تعریف شروع و پایان پروفایل همچنین می توانید از حاشیه نویسی های سفارشی اختیاری برای اضافه کردن نشانگرها در اسکریپت آموزشی برای تجسم فعالیت های سخت افزاری در طول عملیات خاص در هر مرحله استفاده کنید.
برای نمایه سازی اسکریپت های آموزشی خود با SageMaker Profiler دو روش وجود دارد. رویکرد اول بر اساس پروفایل توابع کامل است. رویکرد دوم بر اساس پروفایل خطوط کد خاص در توابع است.
برای نمایه بر اساس توابع، از مدیر زمینه استفاده کنید smppy.annotate
برای حاشیه نویسی توابع کامل. اسکریپت مثال زیر نشان می دهد که چگونه می توان مدیر زمینه را برای بسته بندی حلقه آموزشی و توابع کامل در هر تکرار پیاده سازی کرد:
VOUS استفاده pouvez aussi smppy.annotation_begin()
و smppy.annotation_end()
برای حاشیه نویسی خطوط خاصی از کد در توابع. برای اطلاعات بیشتر مراجعه کنید مستندات.
راهانداز کار آموزشی SageMaker را پیکربندی کنید
پس از اتمام حاشیه نویسی و راه اندازی ماژول های شروع پروفایلر، اسکریپت آموزشی را ذخیره کنید و تخمینگر چارچوب SageMaker را برای آموزش با استفاده از SageMaker Python SDK آماده کنید.
- تنظیم یک
profiler_config
شی با استفاده ازProfilerConfig
وProfiler
ماژول ها به شرح زیر - یک برآوردگر SageMaker با
profiler_config
شی ایجاد شده در مرحله قبل کد زیر نمونه ای از ایجاد یک برآوردگر PyTorch را نشان می دهد:
اگر میخواهید یک تخمینگر TensorFlow ایجاد کنید، وارد کنید sagemaker.tensorflow.TensorFlow
در عوض، و یکی از نسخه های TensorFlow که توسط SageMaker Profiler پشتیبانی می شود را مشخص کنید. برای اطلاعات بیشتر در مورد چارچوبهای پشتیبانیشده و انواع نمونه، رجوع کنید چارچوب های پشتیبانی شده.
- کار آموزشی را با اجرای روش تناسب شروع کنید:
رابط کاربری SageMaker Profiler را راه اندازی کنید
هنگامی که کار آموزشی کامل شد، میتوانید رابط کاربری SageMaker Profiler را برای تجسم و کشف نمایه کار آموزشی راهاندازی کنید. می توانید از طریق صفحه فرود SageMaker Profiler در کنسول SageMaker یا از طریق دامنه SageMaker به برنامه SageMaker Profiler UI دسترسی داشته باشید.
برای راه اندازی برنامه SageMaker Profiler UI در کنسول SageMaker، مراحل زیر را انجام دهید:
- در کنسول SageMaker، را انتخاب کنید پروفیلر در صفحه ناوبری
- تحت شروع به کار، دامنه ای را انتخاب کنید که می خواهید برنامه SageMaker Profiler UI را در آن راه اندازی کنید.
اگر پروفایل کاربری شما فقط متعلق به یک دامنه باشد، گزینه انتخاب دامنه را نخواهید دید.
- نمایه کاربری را که می خواهید برنامه SageMaker Profiler UI را برای آن راه اندازی کنید، انتخاب کنید.
اگر پروفایل کاربری در دامنه وجود ندارد، انتخاب کنید پروفایل کاربری ایجاد کنید. برای اطلاعات بیشتر در مورد ایجاد نمایه کاربری جدید، رجوع کنید افزودن و حذف پروفایل های کاربر.
- را انتخاب کنید نمایه را باز کنید.
شما نیز می توانید SageMaker Profiler UI را از صفحه جزئیات دامنه راه اندازی کنید.
از SageMaker Profiler بینش به دست آورید
وقتی رابط کاربری SageMaker Profiler را باز می کنید، یک نمایه را انتخاب و بارگیری کنید صفحه باز می شود، همانطور که در تصویر زیر نشان داده شده است.
میتوانید فهرستی از تمام مشاغل آموزشی که به SageMaker Profiler ارسال شدهاند را مشاهده کنید و یک شغل آموزشی خاص را با نام، زمان ایجاد و وضعیت اجرا (در حال انجام، تکمیل، ناموفق، توقف یا توقف) جستجو کنید. برای بارگذاری نمایه، شغل آموزشی را که میخواهید مشاهده کنید انتخاب کنید و انتخاب کنید بار. نام شغل باید در نمایه بارگذاری شده بخش در بالا
نام شغل را برای ایجاد داشبورد و جدول زمانی انتخاب کنید. توجه داشته باشید که هنگام انتخاب شغل، رابط کاربری به طور خودکار داشبورد را باز می کند. می توانید هر بار یک نمایه را بارگیری و تجسم کنید. برای بارگیری نمایه دیگر، ابتدا باید نمایه بارگیری شده قبلی را بارگیری کنید. برای بارگیری نمایه، نماد سطل زباله را در آن انتخاب کنید نمایه بارگذاری شده بخش.
برای این پست، پروفایل یک را مشاهده می کنیم ALBEF کار آموزشی در دو نمونه ml.p4d.24xlarge.
پس از اتمام بارگذاری و انتخاب کار آموزشی، رابط کاربری باز می شود داشبورد صفحه، همانطور که در تصویر زیر نشان داده شده است.
میتوانید نمودارهای معیارهای کلیدی، یعنی زمان فعال GPU، استفاده از GPU در طول زمان، زمان فعال CPU و استفاده از CPU در طول زمان را ببینید. نمودار دایره ای زمان فعال GPU درصد زمان فعال GPU را در مقابل زمان بیکار بودن GPU نشان می دهد، که به ما امکان می دهد بررسی کنیم که آیا GPU ها در کل کار آموزشی فعال تر از بیکاری هستند یا خیر.. نمودار استفاده از GPU در طول زمان، میانگین نرخ استفاده از GPU را در طول زمان برای هر گره نشان میدهد، و همه گرهها را در یک نمودار جمع میکند. میتوانید بررسی کنید که آیا پردازندههای گرافیکی دارای بار کاری نامتعادل، مشکلات کماستفاده، تنگناها یا مشکلات بیحرکتی در بازههای زمانی خاص هستند یا خیر.. برای جزئیات بیشتر در مورد تفسیر این معیارها، مراجعه کنید مستندات.
داشبورد نمودارهای اضافی را در اختیار شما قرار می دهد، از جمله زمان صرف شده توسط تمام هسته های GPU، زمان صرف شده توسط 15 هسته GPU برتر، تعداد راه اندازی تمام هسته های GPU، و تعداد راه اندازی 15 هسته GPU برتر، همانطور که در تصویر زیر نشان داده شده است.
در نهایت، داشبورد شما را قادر میسازد تا معیارهای اضافی را تجسم کنید، مانند توزیع زمان مرحله، که یک هیستوگرام است که توزیع مدت زمان گام را در GPU نشان میدهد، و نمودار دایره توزیع دقیق هسته، که درصد زمان صرف شده برای اجرای هستهها را نشان میدهد. در انواع داده های مختلف مانند FP32، FP16، INT32 و INT8.
همچنین میتوانید نمودار دایرهای در توزیع فعالیت GPU بدست آورید که درصد زمان صرف شده برای فعالیتهای GPU، مانند اجرای هستهها، حافظه را نشان میدهد.memcpy
و memset
، و همگام سازی (sync
). می توانید درصد زمان صرف شده برای عملیات حافظه GPU را از نمودار دایره ای توزیع عملیات حافظه GPU تجسم کنید.
همچنین میتوانید هیستوگرامهای خود را بر اساس معیارهای سفارشی که به صورت دستی شرح دادهاید، همانطور که قبلاً در این پست توضیح داده شد، ایجاد کنید. هنگام افزودن یک حاشیه نویسی سفارشی به یک هیستوگرام جدید، نام حاشیه نویسی را که در اسکریپت آموزشی اضافه کرده اید انتخاب یا وارد کنید.
رابط تایم لاین
رابط کاربری SageMaker Profiler همچنین شامل یک رابط تایم لاین است که نمای دقیقی از منابع محاسباتی در سطح عملیات و هستههای برنامهریزیشده روی CPU و اجرا بر روی GPU در اختیار شما قرار میدهد. جدول زمانی در یک ساختار درختی سازماندهی شده است و اطلاعاتی را از سطح میزبان تا سطح دستگاه به شما می دهد، همانطور که در تصویر زیر نشان داده شده است.
برای هر CPU، می توانید شمارنده های عملکرد CPU را ردیابی کنید، مانند clk_unhalted_ref.tsc
و itlb_misses.miss_causes_a_walk
. برای هر GPU در نمونه 2x p4d.24xlarge، می توانید یک جدول زمانی میزبان و یک خط زمانی دستگاه را ببینید. راهاندازیهای هسته در خط زمانی میزبان و اجراهای هسته در خط زمانی دستگاه هستند.
همچنین می توانید بر روی مراحل جداگانه زوم کنید. در اسکرین شات زیر، تا مرحله_41 بزرگنمایی کرده ایم. نوار تایم لاین انتخاب شده در اسکرین شات زیر است AllReduce
عملیات، یک مرحله ارتباطی ضروری و هماهنگ سازی در آموزش توزیع شده، بر روی GPU-0 اجرا می شود. در تصویر، توجه داشته باشید که راهاندازی هسته در میزبان GPU-0 به هسته اجرا شده در جریان دستگاه GPU-0 1 متصل میشود که با فلش به رنگ فیروزهای نشان داده شده است.
در دسترس بودن و ملاحظات
SageMaker Profiler در PyTorch (نسخه 2.0.0 و 1.13.1) و TensorFlow (نسخه 2.12.0 و 2.11.1) موجود است. جدول زیر لینک های پشتیبانی شده را ارائه می دهد ظروف یادگیری عمیق AWS برای SageMaker.
چارچوب | نسخه | AWS DLC Image URI |
PyTorch | 2.0.0 | 763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:2.0.0-gpu-py310-cu118-ubuntu20.04-sagemaker |
PyTorch | 1.13.1 | 763104351884.dkr.ecr.<region>.amazonaws.com/pytorch-training:1.13.1-gpu-py39-cu117-ubuntu20.04-sagemaker |
TensorFlow | 2.12.0 | 763104351884.dkr.ecr.<region>.amazonaws.com/tensorflow-training:2.12.0-gpu-py310-cu118-ubuntu20.04-sagemaker |
TensorFlow | 2.11.1 | 763104351884.dkr.ecr.<region>.amazonaws.com/tensorflow-training:2.11.1-gpu-py39-cu112-ubuntu20.04-sagemaker |
SageMaker Profiler در حال حاضر در مناطق زیر موجود است: شرق ایالات متحده (اوهایو، ویرجینیای شمالی)، غرب ایالات متحده (اورگان)، و اروپا (فرانکفورت، ایرلند).
SageMaker Profiler در انواع نمونه آموزشی ml.p4d.24xlarge، ml.p3dn.24xlarge و ml.g4dn.12xlarge موجود است.
برای لیست کامل فریمورک ها و نسخه های پشتیبانی شده، مراجعه کنید مستندات.
SageMaker Profiler پس از پایان دوره رایگان SageMaker یا دوره آزمایشی رایگان ویژگی، هزینههایی را متحمل میشود. برای اطلاعات بیشتر ببین قیمت گذاری آمازون SageMaker.
عملکرد SageMaker Profiler
ما هزینه های سربار SageMaker Profiler را با پروفایلرهای متن باز مختلف مقایسه کردیم. خط پایه مورد استفاده برای مقایسه از اجرای کار آموزشی بدون پروفیل به دست آمد.
یافتههای کلیدی ما نشان داد که SageMaker Profiler عموماً منجر به مدت زمان آموزش قابل پرداخت کوتاهتر میشود، زیرا زمان سربار کمتری در دورههای آموزشی سرتاسر داشت. همچنین در مقایسه با جایگزین های منبع باز، داده های پروفایل کمتری (تا 10 برابر کمتر) تولید کرد. مصنوعات پروفایل کوچکتر تولید شده توسط SageMaker Profiler نیاز به ذخیره سازی کمتری دارند و در نتیجه در هزینه ها نیز صرفه جویی می شود.
نتیجه
SageMaker Profiler شما را قادر می سازد در هنگام آموزش مدل های یادگیری عمیق خود، بینش دقیقی در مورد استفاده از منابع محاسباتی بدست آورید. این می تواند شما را قادر سازد نقاط حساس عملکرد و تنگناها را حل کنید تا از استفاده کارآمد از منابع اطمینان حاصل کنید که در نهایت هزینه های آموزش را کاهش می دهد و مدت زمان کلی آموزش را کاهش می دهد.
برای شروع کار با SageMaker Profiler، مراجعه کنید مستندات.
درباره نویسنده
روی آللا یک معمار ارشد راه حل های تخصصی AI/ML در AWS مستقر در مونیخ، آلمان است. روی به مشتریان AWS - از استارتآپهای کوچک گرفته تا شرکتهای بزرگ - کمک میکند تا مدلهای زبان بزرگ را بهطور کارآمد در AWS آموزش داده و به کار گیرند. روی مشتاق مشکلات بهینهسازی محاسباتی و بهبود عملکرد بارهای کاری هوش مصنوعی است.
ماه سوشانت یک دانشمند داده در AWS، هند است و متخصص در هدایت مشتریان از طریق تلاش های AI/ML آنهاست. او با پسزمینهای متنوع در حوزههای خردهفروشی، مالی و بیمه، راهحلهای نوآورانه و متناسب را ارائه میدهد. سوشانت فراتر از زندگی حرفه ای خود، در شنا تجدید قوا می کند و از سفرهای خود به مناطق مختلف الهام می گیرد.
دیکشا شارما یک معمار راه حل های تخصصی AI/ML در سازمان تخصصی جهانی است. او با مشتریان بخش عمومی کار می کند تا به آنها کمک کند تا برنامه های یادگیری ماشینی کارآمد، ایمن و مقیاس پذیر از جمله راه حل های هوش مصنوعی مولد در AWS را طراحی کنند. دیکشا در اوقات فراغت خود عاشق خواندن، نقاشی و گذراندن وقت با خانواده اش است.
- محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
- PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
- PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
- PlatoESG. خودرو / خودروهای الکتریکی، کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
- PlatoHealth. هوش بیوتکنولوژی و آزمایشات بالینی. دسترسی به اینجا.
- ChartPrime. بازی معاملاتی خود را با ChartPrime ارتقا دهید. دسترسی به اینجا.
- BlockOffsets. نوسازی مالکیت افست زیست محیطی. دسترسی به اینجا.
- منبع: https://aws.amazon.com/blogs/machine-learning/announcing-the-preview-of-amazon-sagemaker-profiler-track-and-visualize-detailed-hardware-performance-data-for-your-model-training-workloads/
- : دارد
- :است
- :نه
- $UP
- 1
- 10
- 100
- 11
- 12
- 125
- 13
- ٪۱۰۰
- 17
- 20
- 7
- 9
- a
- درباره ما
- دسترسی
- در میان
- فعال کردن
- فعال
- فعالیت ها
- فعالیت
- اضافه کردن
- اضافه
- اضافه کردن
- اضافی
- پس از
- در برابر
- جمع کردن
- AI
- AI / ML
- معرفی
- همچنین
- جایگزین
- آمازون
- آمازون SageMaker
- آمازون خدمات وب
- an
- و
- اعلام
- اعلام كردن
- دیگر
- هر
- ظاهر شدن
- کاربرد
- برنامه های کاربردی
- روش
- رویکردها
- هستند
- AS
- اختصاص داده
- At
- بطور خودکار
- در دسترس
- میانگین
- AWS
- زمینه
- مستقر
- خط مقدم
- BE
- زیرا
- شدن
- بوده
- شروع
- متعلق
- میان
- خارج از
- میلیاردها
- BIN
- by
- CAN
- قابلیت های
- قابلیت
- ضبط
- معین
- چالش ها
- بار
- چارت سازمانی
- بررسی
- را انتخاب کنید
- رمز
- مشترک
- ارتباط
- مقایسه
- مقایسه
- کامل
- تکمیل شده
- پیچیدگی
- محاسبه
- پیکر بندی
- متصل
- کنسول
- ظروف
- زمینه
- متناظر
- هزینه
- هزینه
- شمارنده
- ایجاد
- ایجاد شده
- ایجاد
- ایجاد
- در حال حاضر
- سفارشی
- مشتریان
- فیروزه ای
- داشبورد
- داده ها
- دانشمند داده
- عمیق
- یادگیری عمیق
- تعريف كردن
- ارائه
- گسترش
- شرح داده شده
- دقیق
- جزئیات
- دستگاه
- مختلف
- توزیع شده
- آموزش توزیع شده
- توزیع
- مختلف
- دامنه
- حوزه
- انجام شده
- پایین
- راندن
- مدت
- در طی
- هر
- پیش از آن
- شرق
- موثر
- موثر
- قادر ساختن
- را قادر می سازد
- پایان
- پشت سر هم
- تلاش می کند
- به پایان می رسد
- اطمینان حاصل شود
- وارد
- تمام
- ورود
- دوره
- دوره ها
- ضروری است
- اروپا
- حوادث
- واضح است
- مثال
- اعدام
- اکتشاف
- ناموفق
- خانواده
- ویژگی
- سرمایه گذاری
- پیدا کردن
- پیدا می کند
- پایان
- نام خانوادگی
- مناسب
- پیروی
- به دنبال آن است
- برای
- به جلو
- چارچوب
- چارچوب
- رایگان
- امتحان رایگان
- از جانب
- کامل
- توابع
- عموما
- تولید می کنند
- تولید
- مولد
- هوش مصنوعی مولد
- آلمان
- دریافت کنید
- دادن
- GPU
- GPU ها
- گراف
- شدن
- بود
- سخت افزار
- آیا
- he
- کمک
- کمک می کند
- او
- خود را
- میزبان
- چگونه
- چگونه
- HTML
- HTTP
- HTTPS
- i
- ICON
- آرام
- if
- تصویر
- انجام
- واردات
- بهبود
- in
- شامل
- از جمله
- افزایش
- هندوستان
- نشان داد
- فرد
- ناکارآمد
- اطلاعات
- ابتکاری
- ورودی
- بینش
- الهام
- نمونه
- در عوض
- دستورالعمل
- بیمه
- رابط
- به
- ایرلند
- مسائل
- IT
- تکرار
- ITS
- کار
- شغل ها
- JPG
- کلید
- برچسب ها
- فرود
- زبان
- بزرگ
- راه اندازی
- راه اندازی
- یادگیری
- کمتر
- سطح
- کتابخانه
- زندگی
- محدودیت
- خطوط
- لینک ها
- فهرست
- بار
- بارگیری
- دیگر
- خاموش
- دوست دارد
- کم
- دستگاه
- فراگیری ماشین
- مدیر
- دستی
- حافظه
- روش
- روش
- متری
- متریک
- حد اقل
- ML
- مدل
- مدل
- تغییر
- ماژول ها
- بیش
- باید
- نام
- از جمله
- جهت یابی
- نیاز
- جدید
- نه
- گره
- گره
- هدف
- گرفتن
- به دست آمده
- of
- پیشنهادات
- اوهایو
- on
- ONE
- فقط
- باز کن
- منبع باز
- باز می شود
- عمل
- عملیات
- بهینه سازی
- بهینه
- گزینه
- or
- سفارش
- اورگان
- کدام سازمان ها
- سازمان یافته
- روی
- به طور کلی
- خود
- با ما
- قطعه
- پارامترهای
- ویژه
- ویژه
- احساساتی
- برای
- درصد
- کارایی
- دوره
- مجوز
- افلاطون
- هوش داده افلاطون
- PlatoData
- خوشحال
- نقطه
- پست
- دقت
- آماده
- پیش نیازها
- پیش نمایش
- قبلی
- قبلا
- مشکلات
- حرفه ای
- مشخصات
- پروفایل
- پروفایل
- پیشرفت
- پروژه
- فراهم می کند
- عمومی
- پــایتــون
- مارماهی
- سریع
- سریعا
- نرخ
- خواندن
- كاهش دادن
- مناطق
- جوان سازی
- ارتباط
- برداشتن
- نیاز
- منابع
- منابع
- نتیجه
- خرده فروشی
- نشان داد
- طلوع
- نقش
- روی
- دویدن
- در حال اجرا
- اجرا می شود
- حکیم ساز
- ذخیره
- صرفه جویی کردن
- مقیاس پذیر
- برنامه ریزی
- دانشمند
- اسکریپت
- sdk
- جستجو
- دوم
- بخش
- بخش
- امن
- دیدن
- جستجو می کند
- انتخاب شد
- انتخاب
- ارشد
- خدمات
- تنظیم
- محیط
- او
- باید
- نشان داده شده
- نشان می دهد
- تنها
- اندازه
- کوچک
- کوچکتر
- مزایا
- منبع
- تنش
- متخصص
- متخصص
- خاص
- خرج کردن
- صرف
- شروع
- آغاز شده
- نوپا
- وضعیت هنر
- آماری
- وضعیت
- گام
- مراحل
- متوقف شد
- متوقف کردن
- ذخیره سازی
- جریان
- ساختار
- ارسال
- چنین
- خلاصه
- پشتیبانی
- هماهنگ سازی
- جدول
- طراحی شده
- گرفتن
- جریان تنسور
- نسبت به
- که
- La
- شان
- آنها
- آنجا.
- در نتیجه
- از این رو
- اینها
- این
- از طریق
- سراسر
- ردیف
- زمان
- جدول زمانی
- جدول زمانی
- بار
- به
- بالا
- مسیر
- پیگردی
- قطار
- آموزش
- انتقال
- سفر
- درخت
- محاکمه
- تریلیون ها
- دو
- انواع
- به طور معمول
- ui
- در نهایت
- درک
- us
- استفاده کنید
- استفاده
- کاربر
- رابط کاربری
- کاربران
- با استفاده از
- مختلف
- نسخه
- نسخه
- چشم انداز
- ویرجینیا
- vs
- می خواهم
- بود
- we
- وب
- خدمات وب
- غرب
- چه زمانی
- که
- در حین
- اراده
- با
- بدون
- با این نسخهها کار
- در سرتاسر جهان
- خواهد بود
- بسته بندی کردن
- شما
- شما
- زفیرنت
- زوم