Amazon SageMaker Autopilot به شما کمک می کند تا با خودکارسازی مراحل مهندسی ویژگی، آموزش، تنظیم، و استقرار یک مدل ML برای استنتاج، یک گردش کار یادگیری ماشینی (ML) را تکمیل کنید. شما یک مجموعه داده جدولی و یک ویژگی هدف را برای پیش بینی در اختیار SageMaker Autopilot قرار می دهید. سپس، SageMaker Autopilot به طور خودکار داده های شما را بررسی می کند، آموزش می دهد، آهنگ می کند، رتبه بندی می کند و بهترین مدل را پیدا می کند. در نهایت، می توانید این مدل را برای استنباط با یک کلیک در تولید مستقر کنید.
تازه چه خبر؟
ویژگی تازه راه اندازی شده، گزارش کیفیت مدل خودکار SageMaker، اکنون معیارهای مدل خود را گزارش می دهد تا عملکرد مدل شما را برای مشکلات رگرسیون و طبقه بندی بهتر مشاهده کند. میتوانید از این معیارها برای جمعآوری اطلاعات بیشتر درباره بهترین مدل در تابلوی امتیازات مدل استفاده کنید.
این معیارها و گزارشهایی که در برگه «عملکرد» جدید در زیر «جزئیات مدل» بهترین مدل موجود است، شامل ماتریسهای سردرگمی، یک ناحیه زیر منحنی مشخصه عملکرد گیرنده (AUC-ROC) و یک ناحیه زیر منحنی فراخوان دقیق است. (AUC-PR). این معیارها به شما کمک می کند تا مثبت کاذب/منفی کاذب (FPs/FN)، مبادله بین مثبت واقعی (TPs) و مثبت کاذب (FPs)، و همچنین مبادله بین دقت و یادآوری برای ارزیابی بهترین ویژگی های عملکرد مدل را درک کنید.
اجرای آزمایش خودکار SageMaker
مجموعه داده ها
استفاده می کنیم مجموعه داده های بازاریابی بانکی UCI برای نشان دادن گزارشهای کیفیت مدل خودکار SageMaker. این دادهها شامل ویژگیهای مشتری، مانند سن، نوع شغل، وضعیت تأهل و موارد دیگر است که ما از آنها برای پیشبینی اینکه آیا مشتری در بانک حساب باز میکند استفاده میکنیم. مجموعه داده به این حساب به عنوان سپرده مدت دار اشاره می کند. این موضوع ما را به یک مشکل طبقه بندی باینری تبدیل می کند - پیش بینی یا "بله" یا "خیر" خواهد بود. SageMaker Autopilot چندین مدل را از طرف ما تولید خواهد کرد تا مشتریان بالقوه را به بهترین شکل پیش بینی کند. سپس، گزارش کیفیت مدل برای SageMaker Autopilot را بررسی خواهیم کرد بهترین مدل.
پیش نیازها
برای شروع یک آزمایش SageMaker Autopilot، ابتدا باید داده های خود را در یک قرار دهید سرویس ذخیره سازی ساده آمازون سطل (Amazon S3). سطل و پیشوندی را که می خواهید برای آموزش استفاده کنید مشخص کنید. مطمئن شوید که سطل در همان منطقه آزمایش SageMaker Autopilot است. همچنین باید مطمئن شوید که نقش مدیریت هویت و دسترسی (IAM) Autopilot دارای مجوز دسترسی به دادهها در Amazon S3 است.
ایجاد آزمایش
شما چندین گزینه برای ایجاد یک آزمایش SageMaker Autopilot در SageMaker Studio دارید. با باز کردن یک لانچر جدید، ممکن است بتوانید مستقیماً به SageMaker Autopilot دسترسی داشته باشید. اگر نه، می توانید نماد منابع SageMaker را در سمت چپ انتخاب کنید. بعد، می توانید انتخاب کنید آزمایشات و آزمایشات از منوی کشویی
- آزمایش خود را نام بگذارید.
- با انتخاب سطل و نام فایل Amazon S3 به منبع داده خود متصل شوید.
- محل داده خروجی را در آمازون S3 انتخاب کنید.
- ستون هدف را برای مجموعه داده های خود انتخاب کنید. در این مورد، ما ستون "y" را برای نشان دادن بله/خیر مورد هدف قرار می دهیم.
- اگر میخواهید SageMaker Autopilot به طور خودکار یک نقطه پایانی مدل را مستقر کند، در صورت تمایل، یک نام نقطه پایانی ارائه دهید.
- تمام تنظیمات پیشرفته دیگر را به عنوان پیش فرض بگذارید و انتخاب کنید ایجاد آزمایش.
پس از اتمام آزمایش، می توانید نتایج را در SageMaker Studio مشاهده کنید. SageMaker Autopilot بهترین مدل را در بین مدل های مختلفی که آموزش می دهد ارائه می دهد. میتوانید جزئیات و نتایج را برای آزمایشهای مختلف مشاهده کنید، اما ما از بهترین مدل برای نشان دادن استفاده از گزارشهای کیفیت مدل استفاده میکنیم.
- مدل را انتخاب کرده و روی آن راست کلیک کنید در جزئیات مدل باز کنید.
- در جزئیات مدل، را انتخاب کنید عملکرد برگه این معیارهای مدل را از طریق تجسم ها و نمودارها نشان می دهد.
- تحت عملکرد، انتخاب کنید دانلود گزارش عملکرد به صورت PDF
تفسیر گزارش کیفیت مدل خودکار SageMaker
گزارش کیفیت مدل، کار SageMaker Autopilot و جزئیات مدل را خلاصه می کند. ما روی فرمت PDF گزارش تمرکز خواهیم کرد، اما میتوانید بهعنوان JSON به نتایج نیز دسترسی داشته باشید. از آنجایی که SageMaker Autopilot مجموعه دادههای ما را به عنوان یک مشکل طبقهبندی باینری تعیین کرد، SageMaker Autopilot به حداکثر رساندن معیار کیفیت F1 برای پیدا کردن بهترین مدل SageMaker Autopilot این مورد را به طور پیش فرض انتخاب می کند. با این حال، برای انتخاب معیارهای هدف دیگر، مانند دقت و AUC، انعطافپذیری وجود دارد. امتیاز F1 مدل ما 0.61 است. برای تفسیر یک امتیاز F1، ابتدا به درک یک ماتریس سردرگمی کمک می کند که توسط گزارش کیفیت مدل در PDF خروجی توضیح داده شده است.
ماتریس سردرگمی
یک ماتریس سردرگمی به تجسم عملکرد مدل با مقایسه کلاسها و برچسبهای مختلف کمک میکند. آزمایش SageMaker Autopilot یک ماتریس سردرگمی ایجاد کرد که برچسب های واقعی را به عنوان ردیف و برچسب های پیش فرض را به عنوان ستون در گزارش کیفیت مدل نشان می دهد. کادر بالا سمت چپ مشتریانی را نشان میدهد که حسابی در بانک باز نکردهاند که به درستی توسط مدل «نه» پیشبینی شده بود. اینها هستند منفی های واقعی (TN). کادر پایین سمت راست مشتریانی را نشان میدهد که حسابی در بانک باز کردهاند که به درستی توسط مدل «بله» پیشبینی شده بود. اینها هستند نکات مثبت واقعی (TP).
گوشه پایین سمت چپ تعداد را نشان می دهد منفی های کاذب (FN). این مدل پیشبینی میکرد که مشتری حسابی باز نمیکند، اما مشتری این کار را انجام داد. گوشه سمت راست بالا تعداد را نشان می دهد مثبت کاذب (FP). این مدل پیش بینی می کرد که مشتری یک حساب باز کند، اما مشتری این کار را انجام داد نه در واقع این کار را انجام دهید
معیارهای گزارش کیفیت مدل
گزارش کیفیت مدل نحوه محاسبه را توضیح می دهد نرخ مثبت کاذب (FPR) و نرخ مثبت واقعی (TPR).
نرخ فراخوان یا مثبت کاذب (FPR) نسبت منفی های واقعی را که به اشتباه به عنوان افتتاح حساب پیش بینی شده اند (مثبت) اندازه گیری می کند. محدوده 0 تا 1 است و مقدار کوچکتر نشان دهنده دقت پیش بینی بهتر است.
توجه داشته باشید که FPR بهعنوان 1-Specificity نیز بیان میشود، که در آن Specificity یا True Negative Rate (TNR) نسبت TNهایی است که به درستی بهعنوان عدم افتتاح حساب (منفی) شناسایی شدهاند.
فراخوان/حساسیت/نرخ مثبت واقعی (TPR) کسری از مثبت های واقعی را که به عنوان افتتاح حساب پیش بینی شده بود اندازه گیری می کند. محدوده نیز 0 تا 1 است و مقدار بزرگتر نشان دهنده دقت پیش بینی بهتر است. این همچنین به عنوان یادآوری/حساسیت شناخته می شود. این اندازه گیری توانایی یافتن تمام نمونه های مربوطه در یک مجموعه داده را بیان می کند.
دقت کسری از موارد مثبت واقعی را که به عنوان مثبت پیش بینی شده بودند از بین همه موارد مثبت پیش بینی شده اندازه گیری می کند. محدوده 0 تا 1 است و مقدار بزرگتر نشان دهنده دقت بهتر است. دقت، نسبت نقاط دادهای را که مدل ما میگوید مرتبط بودند و واقعاً مرتبط بودند را بیان میکند. دقت معیار خوبی برای در نظر گرفتن است، به خصوص زمانی که هزینه های FP بالا است - به عنوان مثال با تشخیص هرزنامه ایمیل.
مدل ما دقت 0.53 و فراخوانی 0.72 را نشان می دهد.
امتیاز F1 متریک هدف ما را نشان می دهد که میانگین هارمونیک دقت و یادآوری است. از آنجایی که مجموعه دادههای ما به نفع بسیاری از پیشبینیهای «نه» نامتعادل است، F1 هر دو FP و FN را در نظر میگیرد تا به دقت و یادآوری وزن یکسانی بدهد.
این گزارش نحوه تفسیر این معیارها را توضیح می دهد. اگر با این اصطلاحات آشنا نیستید، این می تواند به شما کمک کند. در مثال ما، دقت و یادآوری معیارهای مهمی برای یک مشکل طبقهبندی باینری هستند، زیرا برای محاسبه امتیاز F1 استفاده میشوند. این گزارش توضیح می دهد که امتیاز F1 می تواند بین 0 و 1 متفاوت باشد. بهترین عملکرد ممکن امتیاز 1 را کسب می کند، در حالی که 0 نشان دهنده بدترین است. به یاد داشته باشید که امتیاز F1 مدل ما 0.61 است.
امتیاز Fβ میانگین وزنی هارمونیک دقت و یادآوری است. علاوه بر این، امتیاز F1 همان Fβ با β=1 است. این گزارش امتیاز Fβ طبقهبندیکننده را ارائه میکند، که β 0.5، 1 و 2 را میگیرد.
جدول متریک
بسته به مشکل، ممکن است متوجه شوید که SageMaker Autopilot معیار دیگری مانند دقت را برای یک مشکل طبقهبندی چند کلاسه به حداکثر میرساند. صرفنظر از نوع مشکل، گزارشهای کیفیت مدل جدولی را ارائه میکند که معیارهای مدل شما را که هم به صورت درون خطی و هم در گزارش PDF موجود است، خلاصه میکند. می توانید در مورد جدول متریک بیشتر بدانید مستندات.
بهترین طبقهبندیکننده ثابت - طبقهبندیکنندهای که به عنوان یک خط پایه ساده برای مقایسه با سایر طبقهبندیکنندههای پیچیدهتر عمل میکند - همیشه یک برچسب اکثریت ثابت را که توسط کاربر ارائه میشود، پیشبینی میکند. در مورد ما، یک مدل «ثابت» «نه» را پیشبینی میکند، زیرا این کلاس متداولترین کلاس است و به عنوان یک برچسب منفی در نظر گرفته میشود. معیارهای مدلهای طبقهبندیکننده آموزشدیده (مانند f1، f2 یا فراخوان) را میتوان با معیارهای طبقهبندیکننده ثابت، یعنی خط پایه مقایسه کرد. این اطمینان حاصل می کند که مدل آموزش دیده بهتر از طبقه بندی کننده ثابت عمل می کند. امتیازهای Fβ (f0_5، f1 و f2، که β به ترتیب مقادیر 0.5، 1 و 2 را می گیرد) میانگین وزنی هارمونیک دقت و یادآوری است. این به مقدار بهینه خود در 1 و بدترین مقدار خود در 0 می رسد.
در مورد ما، بهترین طبقهبندیکننده ثابت همیشه «نه» را پیشبینی میکند. بنابراین، دقت در 0.89 بالا است، اما امتیازهای فراخوان، دقت و Fβ 0 است. اگر مجموعه داده کاملاً متعادل باشد در جایی که هیچ کلاس اکثریت یا اقلیت واحدی وجود ندارد، احتمالات بسیار جالبتری برای دقت مشاهده میکردیم، یادآوری، و نمرات Fβ طبقه بندی ثابت.
علاوه بر این، می توانید این نتایج را در قالب JSON همانطور که در نمونه زیر نشان داده شده است مشاهده کنید. از طریق UI و همچنین می توانید به فایل های PDF و JSON دسترسی داشته باشید Amazon SageMaker Python SDK با استفاده از عنصر S3OutputPath در OutputDataConfig ساختار در CreateAutoMLJob/شرح AutoMLJob پاسخ API.
{ "version" : 0.0, "dataset" : { "item_count" : 9152, "evaluation_time" : "2022-03-16T20:49:18.661Z" }, "binary_classification_metrics" : { "confusion_matrix" : { "no" : { "no" : 7468, "yes" : 648 }, "yes" : { "no" : 295, "yes" : 741 } }, "recall" : { "value" : 0.7152509652509652, "standard_deviation" : 0.00439996600081394 }, "precision" : { "value" : 0.5334773218142549, "standard_deviation" : 0.007335840278445563 }, "accuracy" : { "value" : 0.8969624125874126, "standard_deviation" : 0.0011703516093899595 }, "recall_best_constant_classifier" : { "value" : 0.0, "standard_deviation" : 0.0 }, "precision_best_constant_classifier" : { "value" : 0.0, "standard_deviation" : 0.0 }, "accuracy_best_constant_classifier" : { "value" : 0.8868006993006993, "standard_deviation" : 0.0016707401772078998 }, "true_positive_rate" : { "value" : 0.7152509652509652, "standard_deviation" : 0.00439996600081394 }, "true_negative_rate" : { "value" : 0.9201577131591917, "standard_deviation" : 0.0010233756436643213 }, "false_positive_rate" : { "value" : 0.07984228684080828, "standard_deviation" : 0.0010233756436643403 }, "false_negative_rate" : { "value" : 0.2847490347490348, "standard_deviation" : 0.004399966000813983 },
………………….
ROC و AUC
بسته به نوع مشکل، ممکن است آستانه های متفاوتی برای آنچه به عنوان FPR قابل قبول است داشته باشید. برای مثال، اگر میخواهید پیشبینی کنید که آیا یک مشتری حساب باز میکند یا خیر، ممکن است برای کسبوکار قابل قبولتر باشد که نرخ FP بالاتری داشته باشد. ممکن است از دست دادن پیشنهادات برای مشتریانی که به اشتباه «نه» پیشبینی شدهاند، خطرناکتر باشد، در مقابل پیشنهاد دادن به مشتریانی که به اشتباه «بله» پیشبینی شدهاند. تغییر این آستانه ها برای تولید FPR های مختلف مستلزم ایجاد ماتریس های سردرگمی جدید است.
الگوریتم های طبقه بندی مقادیر پیوسته ای را برمی گرداند که به عنوان احتمالات پیش بینی شناخته می شوند. این احتمالات باید به یک مقدار باینری تبدیل شوند (برای طبقه بندی باینری). در مسائل طبقهبندی باینری، آستانه (یا آستانه تصمیم) مقداری است که احتمالات را به یک تصمیم باینری ساده تقسیم میکند. برای احتمالات پیش بینی شده نرمال شده در محدوده 0 تا 1، آستانه به طور پیش فرض روی 0.5 تنظیم شده است.
برای مدلهای طبقهبندی باینری، یک معیار ارزیابی مفید، ناحیه زیر منحنی مشخصه عملیاتی گیرنده (ROC) است. گزارش کیفیت مدل شامل یک نمودار ROC با نرخ TP به عنوان محور y و FPR به عنوان محور x است. ناحیه زیر مشخصه عملکرد گیرنده (AUC-ROC) مبادله بین TPRها و FPRها را نشان می دهد.
منحنی ROC را با در نظر گرفتن یک پیشبینیکننده طبقهبندی باینری، که از مقدار آستانه استفاده میکند، و تخصیص برچسبهایی با احتمالات پیشبینی ایجاد میکنید. همانطور که آستانه یک مدل را تغییر میدهید، از دو حالت افراطی پوشش میدهید. هنگامی که TPR و FPR هر دو 0 هستند، به این معنی است که همه چیز دارای برچسب "نه" است، و هنگامی که TPR و FPR هر دو 1 هستند، به این معنی است که همه چیز دارای برچسب "بله" است.
یک پیشبینیکننده تصادفی که نیمی از زمانها را «بله» و نیمی دیگر را «نه» میزند، دارای یک ROC است که یک خط مورب مستقیم (خط نقطهدار قرمز) است. این خط مربع واحد را به دو مثلث با اندازه مساوی برش می دهد. بنابراین مساحت زیر منحنی 0.5 است. مقدار AUC-ROC 0.5 به این معنی است که پیش بینی کننده شما در تمایز بین دو کلاس بهتر از حدس زدن تصادفی اینکه آیا یک مشتری حساب باز می کند یا خیر، عمل نمی کند. هر چه مقدار AUC-ROC به 1.0 نزدیک تر باشد، پیش بینی های آن بهتر است. مقدار کمتر از 0.5 نشان میدهد که ما میتوانیم با معکوس کردن پاسخی که به ما میدهد، واقعاً کاری کنیم که مدلمان پیشبینیهای بهتری داشته باشد. برای بهترین مدل ما، AUC 0.93 است.
منحنی فراخوان دقیق
گزارش کیفیت مدل همچنین یک منحنی فراخوان دقیق (PR) ایجاد کرد تا دقت (محور y) و فراخوان (محور x) را برای آستانه های مختلف ترسیم کند - بسیار شبیه منحنی ROC. منحنیهای PR که اغلب در بازیابی اطلاعات استفاده میشوند، جایگزینی برای منحنیهای ROC برای مشکلات طبقهبندی با انحراف زیاد در توزیع کلاس هستند.
برای این مجموعه دادههای نامتعادل کلاس، منحنیهای روابط عمومی به ویژه زمانی مفید میشوند که کلاس مثبت اقلیت جالبتر از کلاس منفی اکثریت باشد. به یاد داشته باشید که مدل ما دقت 0.53 و فراخوانی 0.72 را نشان می دهد. علاوه بر این، به یاد داشته باشید که بهترین طبقهبندیکننده ثابت نمیتواند بین «بله» و «خیر» تمایز قائل شود. هر بار یک کلاس تصادفی یا یک کلاس ثابت را پیش بینی می کند.
منحنی برای یک مجموعه داده متعادل بین "بله" و "خیر" یک خط افقی در 0.5 خواهد بود، و بنابراین یک منطقه زیر منحنی PR (AUPRC) به عنوان 0.5 خواهد بود. برای ایجاد PRC، مدلهای مختلفی را روی منحنی در آستانههای مختلف رسم میکنیم، به همان روشی که منحنی ROC است. برای داده های ما، AUPRC 0.61 است.
خروجی گزارش کیفیت مدل
می توانید گزارش کیفیت مدل را در سطل Amazon S3 که هنگام تعیین مسیر خروجی قبل از اجرای آزمایش SageMaker AutoPilot مشخص کرده اید، بیابید. گزارش ها را در زیر پیدا خواهید کرد documentation/model_monitor/output/<autopilot model name>/ prefix
به صورت PDF ذخیره می شود.
نتیجه
گزارشهای کیفیت مدل خودکار SageMaker، مشاهده و اشتراکگذاری سریع نتایج آزمایش SageMaker Autopilot را برای شما آسان میکند. با استفاده از SageMaker Autopilot می توانید به راحتی آموزش و تنظیم مدل را کامل کنید و سپس به گزارش های تولید شده برای تفسیر نتایج مراجعه کنید. چه در نهایت از بهترین مدل SageMaker Autopilot استفاده کنید یا یک نامزد دیگر، این نتایج می تواند نقطه شروع مفیدی برای ارزیابی یک کار آموزش و تنظیم مدل اولیه باشد. گزارشهای کیفیت مدل خودکار SageMaker به کاهش زمان مورد نیاز برای نوشتن کد و تولید تصاویر برای ارزیابی و مقایسه عملکرد کمک میکند.
امروز بدون نیاز به ایجاد یک تیم علم داده، میتوانید به راحتی autoML را در کیسهای تجاری خود بگنجانید. SageMaker مستندات نمونه های متعددی را برای کمک به شما برای شروع ارائه می دهد.
درباره نویسنده
پیتر چانگ یک معمار راه حل برای AWS است و علاقه زیادی به کمک به مشتریان برای کشف بینش از داده های خود دارد. او راهحلهایی برای کمک به سازمانها در تصمیمگیری دادهمحور در بخشهای دولتی و خصوصی ایجاد کرده است. او دارای تمام گواهینامه های AWS و همچنین دو گواهینامه GCP است. او از قهوه، آشپزی، فعال ماندن و گذراندن وقت با خانواده لذت می برد.
آرونپراسات شانکار یک معمار راه حل های تخصصی هوش مصنوعی و یادگیری ماشین (AI/ML) با AWS است که به مشتریان جهانی کمک می کند راه حل های هوش مصنوعی خود را به طور موثر و کارآمد در فضای ابری مقیاس کنند. آرون در اوقات فراغت خود از تماشای فیلم های علمی تخیلی و گوش دادن به موسیقی کلاسیک لذت می برد.
علی تکبیری یک معمار راه حل متخصص AI/ML است و با استفاده از یادگیری ماشینی به مشتریان کمک می کند تا چالش های تجاری خود را در AWS Cloud حل کنند.
پرادیپ ردی یک مدیر ارشد محصول در تیم SageMaker Low/No Code ML است که شامل SageMaker Autopilot، SageMaker Automatic Model Tuner است. در خارج از محل کار، پرادیپ از خواندن، دویدن و سرگرمی با رایانه هایی با اندازه کف دست مانند رزبری پای و سایر فناوری های اتوماسیون خانگی لذت می برد.
- Coinsmart. بهترین صرافی بیت کوین و کریپتو اروپا.
- پلاتوبلاک چین. Web3 Metaverse Intelligence. دانش تقویت شده دسترسی رایگان.
- CryptoHawk. رادار آلت کوین امتحان رایگان.
- منبع: https://aws.amazon.com/blogs/machine-learning/automatically-generate-model-evaluation-metrics-using-sagemaker-autopilot-model-quality-reports/
- "
- 100
- 7
- درباره ما
- دسترسی
- حساب
- فعال
- پیشرفته
- AI
- الگوریتم
- معرفی
- آمازون
- در میان
- دیگر
- API
- محدوده
- مصنوعی
- هوش مصنوعی
- هوش مصنوعی و یادگیری ماشین
- خواص
- اتوماسیون
- در دسترس
- AWS
- بانک
- خط مقدم
- شدن
- بهترین
- مرز
- جعبه
- ساختن
- بنا
- کسب و کار
- موارد
- چالش ها
- را انتخاب کنید
- کلاس
- کلاس ها
- طبقه بندی
- نزدیک
- ابر
- رمز
- کشت
- ستون
- مقایسه
- پیچیده
- کامپیوتر
- گیجی
- شامل
- هزینه
- میتوانست
- ایجاد شده
- ایجاد
- منحنی
- مشتریان
- داده ها
- علم اطلاعات
- مجموعه داده ها
- نشان دادن
- گسترش
- استقرار
- کشف
- DID
- مختلف
- مستقیما
- توزیع
- به آسانی
- پست الکترونیک
- نقطه پایانی
- مهندسی
- به خصوص
- همه چیز
- مثال
- تجربه
- خانواده
- ویژگی
- سرانجام
- پیدا می کند
- نام خانوادگی
- انعطاف پذیری
- تمرکز
- پیروی
- قالب
- تولید می کنند
- جهانی
- خوب
- داشتن
- کمک
- مفید
- کمک می کند
- زیاد
- بالاتر
- دارای
- صفحه اصلی
- اتوماسیون خانگی
- چگونه
- چگونه
- HTTPS
- ICON
- هویت
- مهم
- شامل
- اطلاعات
- بینش
- اطلاعات
- IT
- کار
- شناخته شده
- برچسب ها
- بزرگ
- بزرگتر
- یاد گرفتن
- یادگیری
- قدرت نفوذ
- لاین
- استماع
- محل
- دستگاه
- فراگیری ماشین
- اکثریت
- باعث می شود
- مدیریت
- مدیر
- بازار یابی (Marketing)
- ماتریس
- اندازه
- متریک
- اقلیت
- ML
- مدل
- مدل
- بیش
- اکثر
- فیلم ها
- موسیقی
- عدد
- متعدد
- ارائه
- پیشنهادات
- باز کن
- افتتاح
- عملیاتی
- گزینه
- سازمان های
- دیگر
- احساساتی
- کارایی
- نقطه
- مثبت
- فرصت
- ممکن
- پتانسیل
- پیش بینی
- پیش گویی
- پیش بینی
- در حال حاضر
- خصوصی
- مشکل
- مشکلات
- تولید کردن
- محصول
- تولید
- ارائه
- فراهم می کند
- عمومی
- کیفیت
- به سرعت
- محدوده
- مطالعه
- كاهش دادن
- مربوط
- گزارش
- گزارش ها
- نشان دهنده
- منابع
- پاسخ
- نتایج
- در حال اجرا
- مقیاس
- علم
- بخش ها
- تنظیم
- اشتراک گذاری
- ساده
- So
- مزایا
- حل
- اسپم
- هزینه
- مربع
- آغاز شده
- وضعیت
- ذخیره سازی
- استودیو
- هدف
- تیم
- فن آوری
- از طریق
- زمان
- امروز
- TPR
- آموزش
- قطار
- ui
- برملا کردن
- فهمیدن
- us
- استفاده کنید
- ارزش
- مختلف
- چشم انداز
- دید
- چه
- WHO
- بدون
- مهاجرت کاری
- خواهد بود