ما هیجان زده هستیم که انتشار منبع باز را اعلام کنیم GraphStorm 0.1، یک چارچوب یادگیری ماشینی گراف سازمانی (ML) با کد پایین برای ساخت، آموزش و استقرار راهحلهای گراف ML بر روی نمودارهای پیچیده مقیاس سازمانی در چند روز به جای ماهها. با GraphStorm، میتوانید راهحلهایی بسازید که مستقیماً ساختار روابط یا تعاملات بین میلیاردها موجودیت را که ذاتاً در بیشتر دادههای دنیای واقعی، از جمله سناریوهای تشخیص تقلب، توصیهها، تشخیص جامعه، و مشکلات جستجو/بازیابی، تعبیه شده است، در نظر میگیرد.
تا به حال، ساختن، آموزش، و استقرار راهحلهای گراف ML برای گرافهای سازمانی پیچیده که به راحتی دارای میلیاردها گره، صدها میلیارد لبه و دهها ویژگی هستند، بسیار سخت بوده است - فقط به نموداری فکر کنید که محصولات Amazon.com را به تصویر میکشد. ، ویژگی های محصول، مشتریان و موارد دیگر. با GraphStorm، ابزارهایی را منتشر میکنیم که آمازون در داخل از آن استفاده میکند تا راهحلهای گراف ML در مقیاس بزرگ را به تولید برساند. GraphStorm به شما نیازی ندارد که در گراف ML متخصص باشید و تحت مجوز Apache v2.0 در GitHub در دسترس است. برای کسب اطلاعات بیشتر در مورد GraphStorm، به سایت مراجعه کنید مخزن GitHub.
در این پست به معرفی GraphStorm، معماری آن و مثالی از نحوه استفاده از آن می پردازیم.
معرفی GraphStorm
الگوریتمهای نمودار و گراف ML به عنوان راهحلهای پیشرفته برای بسیاری از مشکلات مهم تجاری مانند پیشبینی ریسکهای تراکنش، پیشبینی اولویتهای مشتری، تشخیص نفوذ، بهینهسازی زنجیرههای تامین، تحلیل شبکههای اجتماعی و پیشبینی ترافیک در حال ظهور هستند. مثلا، وظیفه گارد آمازون، سرویس تشخیص تهدید بومی AWS، از یک نمودار با میلیاردها لبه برای بهبود پوشش و دقت اطلاعات تهدید خود استفاده می کند. این به GuardDuty اجازه میدهد تا دامنههایی را که قبلاً دیده نشده بودند، بر اساس ارتباط آنها با دامنههای مخرب شناخته شده، بهعنوان احتمال زیاد مخرب یا خوشخیم دستهبندی کند. با استفاده از شبکه های عصبی گراف (GNN)، GuardDuty می تواند توانایی خود را برای هشدار دادن به مشتریان افزایش دهد.
با این حال، توسعه، راهاندازی و اجرای راهحلهای گراف ML ماهها طول میکشد و به تخصص گراف ML نیاز دارد. به عنوان اولین گام، یک دانشمند گراف ML باید با استفاده از چارچوبی مانند Deep Graph Library (DGL) یک مدل گراف ML برای یک مورد خاص بسازد. آموزش چنین مدل هایی به دلیل اندازه و پیچیدگی نمودارها در برنامه های کاربردی سازمانی چالش برانگیز است، که به طور معمول به میلیاردها گره، صدها میلیارد یال، انواع مختلف گره و لبه، و صدها ویژگی گره و لبه می رسد. گرافهای سازمانی میتوانند به ترابایت حافظه ذخیرهسازی نیاز داشته باشند و به دانشمندان گراف ML برای ایجاد خطوط لوله آموزشی پیچیده نیاز دارند. در نهایت، پس از آموزش یک مدل، آنها باید برای استنتاج مستقر شوند، که به خطوط لوله استنتاجی نیاز دارد که ساختن آنها به اندازه خطوط لوله آموزشی دشوار است.
GraphStorm 0.1 یک چارچوب ML گراف سازمانی کم کد است که به پزشکان ML این امکان را میدهد تا به راحتی مدلهای از پیش تعریفشده گراف ML را که مؤثر بودن آنها ثابت شده است، انتخاب کنند، آموزش توزیع شده را روی نمودارهایی با میلیاردها گره اجرا کنند و مدلها را در تولید مستقر کنند. GraphStorm مجموعهای از مدلهای گراف ML داخلی، مانند شبکههای کانولوشن گراف رابطهای (RGCN)، شبکههای توجه گراف رابطهای (RGAT) و ترانسفورماتور گراف ناهمگن (HGT) را برای برنامههای کاربردی سازمانی با نمودارهای ناهمگن ارائه میدهد، که به مهندسان ML اجازه میدهد تا به سرعت یک راهحل کار گراف متفاوت را انتخاب کنند. خطوط لوله آموزش و استنتاج توزیع شده سرتاسر، که به نمودارهای سازمانی در مقیاس میلیارد می رسد، آموزش، استقرار و اجرای استنتاج را آسان می کند. اگر با GraphStorm یا به طور کلی graph ML تازه کار هستید، از مدل ها و خطوط لوله از پیش تعریف شده بهره مند خواهید شد. اگر متخصص هستید، همه گزینهها را برای تنظیم خط لوله آموزشی و معماری مدل دارید تا بهترین عملکرد را داشته باشید. GraphStorm بر روی DGL ساخته شده است، یک چارچوب بسیار محبوب برای توسعه مدلهای GNN، و به عنوان کد منبع باز تحت مجوز Apache v2.0 در دسترس است.
جورج کاریپیس، دانشمند اصلی در تحقیقات آمازون AI/ML میگوید: «GraphStorm برای کمک به مشتریان برای آزمایش و عملیاتی کردن روشهای گراف ML برای کاربردهای صنعتی برای تسریع پذیرش گراف ML طراحی شده است. از زمان انتشار در آمازون، GraphStorm تلاش برای ساخت راهحلهای مبتنی بر گراف ML را تا پنج برابر کاهش داده است.
Haining Yu، دانشمند کاربردی اصلی در Amazon Measurement، Ad Tech و Data Science می گوید: GraphStorm تیم ما را قادر می سازد تا تعبیه GNN را به شیوه ای خود نظارت بر روی نموداری با ۲۸۸ میلیون گره و ۲ میلیارد لبه آموزش دهد. تعبیههای GNN از پیش آموزشدیده، بهبودی 288 درصدی را در کار پیشبینی فعالیت خریداران نسبت به خط پایه مبتنی بر پیشرفتهترین BERT نشان میدهد. همچنین از عملکرد معیار در سایر برنامه های تبلیغاتی فراتر می رود."
براد بیبی، جنرال موتورز آمازون نپتون و آمازون تایم استریم میگوید: «قبل از GraphStorm، مشتریان فقط میتوانستند به صورت عمودی مقیاس شوند تا نمودارهای 500 میلیون لبه را مدیریت کنند. GraphStorm مشتریان را قادر میسازد تا آموزش مدل GNN را بر روی نمودارهای عظیم نپتون آمازون با دهها میلیارد لبه مقیاس کنند.
معماری فنی GraphStorm
شکل زیر معماری فنی GraphStorm را نشان می دهد.
GraphStorm بر روی PyTorch ساخته شده است و می تواند بر روی یک GPU، چندین GPU و چندین دستگاه GPU اجرا شود. از سه لایه تشکیل شده است (که در کادرهای زرد رنگ در شکل قبل مشخص شده است):
- لایه پایین (Dist GraphEngine) - لایه پایین اجزای اساسی را برای فعال کردن گراف ML توزیع شده، از جمله نمودارهای توزیع شده، تانسورهای توزیع شده، جاسازی های توزیع شده و نمونه گیرنده های توزیع شده فراهم می کند. GraphStorm پیاده سازی های کارآمدی از این مؤلفه ها را برای مقیاس کردن آموزش ML گراف به گراف های میلیارد گره ارائه می دهد.
- لایه میانی (خط لوله آموزش/استنتاج GS) - لایه میانی مربیان، ارزیابها و پیشبینیکنندهها را برای سادهسازی آموزش مدل و استنتاج برای مدلهای داخلی و مدلهای سفارشی شما فراهم میکند. اساساً با استفاده از API این لایه میتوانید بدون نگرانی در مورد نحوه مقیاسسازی آموزش مدل، روی توسعه مدل تمرکز کنید.
- لایه بالایی (باغ وحش مدل عمومی GS) – لایه بالایی یک باغ وحش مدل با مدل های محبوب GNN و غیر GNN برای انواع گراف های مختلف است. از زمان نگارش این مقاله، RGCN، RGAT و HGT را برای نمودارهای ناهمگن و BERTGNN را برای نمودارهای متنی ارائه می دهد. در آینده، ما از مدلهای نمودار زمانی مانند TGAT برای نمودارهای زمانی و همچنین TransE و DistMult برای نمودارهای دانش پشتیبانی خواهیم کرد.
نحوه استفاده از GraphStorm
پس از نصب GraphStorm، تنها به سه مرحله برای ساخت و آموزش مدل های GML برای برنامه خود نیاز دارید.
ابتدا داده های خود را از قبل پردازش می کنید (به طور بالقوه شامل مهندسی ویژگی های سفارشی شما) و آنها را به قالب جدول مورد نیاز GraphStorm تبدیل می کنید. برای هر نوع گره، جدولی تعریف میکنید که تمام گرههای آن نوع و ویژگیهای آنها را فهرست میکند و یک شناسه منحصر به فرد برای هر گره ارائه میکند. برای هر نوع لبه، شما به طور مشابه جدولی را تعریف می کنید که در آن هر سطر حاوی شناسه گره مبدا و مقصد برای لبه ای از آن نوع است (برای اطلاعات بیشتر، رجوع کنید به از آموزش داده های خودتان استفاده کنید). علاوه بر این، یک فایل JSON ارائه میدهید که ساختار کلی نمودار را توصیف میکند.
دوم، از طریق رابط خط فرمان (CLI)، شما از GraphStorm داخلی استفاده می کنید construct_graph
مؤلفه ای برای برخی از پردازش داده های خاص GraphStorm، که امکان آموزش و استنتاج توزیع شده کارآمد را فراهم می کند.
سوم، شما مدل و آموزش را در یک فایل YAML پیکربندی می کنید (مثال) و دوباره با استفاده از CLI، یکی از پنج مؤلفه داخلی را فراخوانی کنید (gs_node_classification
, gs_node_regression
, gs_edge_classification
, gs_edge_regression
, gs_link_prediction
) به عنوان خطوط لوله آموزشی برای آموزش مدل. این مرحله منجر به مصنوعات مدل آموزش دیده می شود. برای انجام استنتاج، باید دو مرحله اول را تکرار کنید تا داده های استنتاج را با استفاده از همان مولفه GraphStorm به یک نمودار تبدیل کنید.construct_graph
) مثل قبل.
در نهایت، میتوانید یکی از پنج مؤلفه داخلی را که برای آموزش مدل استفاده میشد، بهعنوان خط لوله استنتاج برای تولید جاسازیها یا نتایج پیشبینی فراخوانی کنید.
جریان کلی نیز در شکل زیر نشان داده شده است.
در بخش زیر یک مثال استفاده را ارائه می دهیم.
بر روی داده های خام OAG پیش بینی کنید
برای این پست، نشان میدهیم که GraphStorm چگونه میتواند آموزش و استنتاج ML گراف را روی یک مجموعه داده خام بزرگ فعال کند. را نمودار آکادمیک را باز کنید (OAG) شامل پنج نهاد (مقالات، نویسندگان، مکانها، وابستگیها و رشته تحصیلی) است. مجموعه داده خام در فایل های JSON با بیش از 500 گیگابایت ذخیره می شود.
وظیفه ما ساختن مدلی برای پیش بینی رشته تحصیلی یک مقاله است. برای پیشبینی رشته تحصیلی، میتوانید آن را بهعنوان یک کار طبقهبندی چند برچسبی فرموله کنید، اما استفاده از رمزگذاری تک داغ برای ذخیره برچسبها دشوار است، زیرا صدها هزار فیلد وجود دارد. بنابراین، شما باید گره های میدان مطالعه ایجاد کنید و این مشکل را به عنوان یک کار پیش بینی پیوند فرموله کنید، پیش بینی کنید که یک گره کاغذی باید به کدام حوزه از گره های مطالعه متصل شود.
برای مدلسازی این مجموعه داده با روش گراف، اولین قدم پردازش مجموعه داده و استخراج موجودیتها و یالها است. میتوانید پنج نوع یال را از فایلهای JSON استخراج کنید تا یک نمودار را تعریف کنید که در شکل زیر نشان داده شده است. می توانید از نوت بوک Jupyter در GraphStorm استفاده کنید کد نمونه برای پردازش مجموعه داده و تولید پنج جدول موجود برای هر نوع موجودیت و پنج جدول لبه برای هر نوع یال. نوتبوک Jupyter همچنین جاسازیهای BERT را روی موجودیتهایی با دادههای متنی، مانند کاغذ، ایجاد میکند.
پس از تعریف موجودیت ها و لبه های بین موجودیت ها، می توانید ایجاد کنید mag_bert.json
، که طرح گراف را تعریف می کند و خط لوله ساخت گراف داخلی را فراخوانی می کند construct_graph
در GraphStorm برای ساخت نمودار (به کد زیر مراجعه کنید). حتی اگر خط لوله ساخت گراف GraphStorm در یک ماشین اجرا می شود، از پردازش چندگانه برای پردازش گره ها و ویژگی های لبه به صورت موازی پشتیبانی می کند.--num_processes
) و می تواند ویژگی های موجودیت و لبه را در حافظه خارجی ذخیره کند (--ext-mem-workspace
) برای مقیاس دهی به مجموعه داده های بزرگ.
برای پردازش چنین نمودار بزرگی، به یک نمونه CPU با حافظه بزرگ برای ساختن گراف نیاز دارید. می توانید از یک استفاده کنید ابر محاسبه الاستیک آمازون (Amazon EC2) r6id.32xlarge instance (128 vCPU و 1 TB RAM) یا r6a.48x نمونه های بزرگ (192 vCPU و 1.5 TB RAM) برای ساخت نمودار OAG.
پس از ساخت یک نمودار می توانید استفاده کنید gs_link_prediction
برای آموزش یک مدل پیشبینی لینک در چهار نمونه g5.48xlarge. هنگام استفاده از مدلهای داخلی، فقط یک خط فرمان را برای راهاندازی کار آموزشی توزیع شده فراخوانی میکنید. کد زیر را ببینید:
پس از آموزش مدل، آرتیفکت مدل در پوشه ذخیره می شود /data/mag_lp_model
.
اکنون میتوانید استنتاج پیشبینی پیوند را برای تولید جاسازیهای GNN و ارزیابی عملکرد مدل اجرا کنید. GraphStorm چندین معیار ارزیابی داخلی را برای ارزیابی عملکرد مدل ارائه می دهد. برای مثال، برای مشکلات پیشبینی لینک، GraphStorm به طور خودکار رتبه متقابل میانگین متریک (MRR) را خروجی میدهد. MRR یک معیار ارزشمند برای ارزیابی مدلهای پیشبینی پیوند نمودار است، زیرا ارزیابی میکند که لینکهای واقعی در بین لینکهای پیشبینیشده چقدر رتبهبندی میشوند. این کیفیت پیشبینیها را نشان میدهد و مطمئن میشود که مدل ما به درستی اتصالات واقعی را اولویتبندی میکند، که هدف ما در اینجاست.
همانطور که در کد زیر نشان داده شده است می توانید استنتاج را با یک خط فرمان اجرا کنید. در این حالت، مدل در مجموعه آزمایشی گراف ساخته شده به MRR 0.31 می رسد.
توجه داشته باشید که خط لوله استنتاج جاسازی هایی را از مدل پیش بینی پیوند ایجاد می کند. برای حل مشکل یافتن رشته تحصیلی برای هر مقاله، به سادگی جستجوی k نزدیکترین همسایه را روی جاسازی ها انجام دهید.
نتیجه
GraphStorm یک چارچوب جدید گراف ML است که ساخت، آموزش و استقرار مدلهای گراف ML را بر روی نمودارهای صنعتی آسان میکند. این به برخی از چالش های کلیدی در گراف ML، از جمله مقیاس پذیری و قابلیت استفاده می پردازد. این مؤلفههای داخلی را برای پردازش نمودارهای میلیاردی از دادههای ورودی خام تا آموزش مدل و استنتاج مدل فراهم میکند و چندین تیم آمازون را قادر میسازد تا مدلهای گراف ML را در برنامههای مختلف آموزش دهند. ما را بررسی کنید مخزن GitHub برای اطلاعات بیشتر.
درباره نویسنده
دا ژنگ یک دانشمند کاربردی ارشد در تحقیقات AWS AI/ML است که تیم یادگیری ماشین گراف را برای توسعه تکنیک ها و چارچوب هایی برای قرار دادن یادگیری ماشین گراف در تولید هدایت می کند. دا دکترای خود را در علوم کامپیوتر از دانشگاه جانز هاپکینز گرفت.
فلوریان سوپه مدیر محصول فنی اصلی در تحقیقات AWS AI/ML است که از تیم های علمی پیشرفته مانند گروه یادگیری ماشین گراف پشتیبانی می کند و محصولاتی مانند Amazon DataZone با قابلیت های ML را بهبود می بخشد. قبل از پیوستن به AWS، فلوریان مدیریت محصول فنی برای رانندگی خودکار در Bosch، مشاور استراتژی در McKinsey & Company بود و به عنوان دانشمند سیستمهای کنترل/رباتیک کار میکرد - رشتهای که در آن مدرک دکترا دارد.
- محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
- EVM Finance. رابط یکپارچه برای امور مالی غیرمتمرکز دسترسی به اینجا.
- گروه رسانه ای کوانتومی. IR/PR تقویت شده دسترسی به اینجا.
- PlatoAiStream. Web3 Data Intelligence دانش تقویت شده دسترسی به اینجا.
- منبع: https://aws.amazon.com/blogs/machine-learning/fast-track-graph-ml-with-graphstorm-a-new-way-to-solve-problems-on-enterprise-scale-graphs/
- : دارد
- :است
- $UP
- 1
- 1 TB
- 100
- 16
- 31
- 500
- 7
- 8
- 9
- a
- قادر
- درباره ما
- دانشگاهی
- شتاب دادن
- حساب
- دقت
- فعالیت
- واقعی
- Ad
- اضافه کردن
- اضافه
- آدرس
- اتخاذ
- آگهی
- پیشرفته
- وابستگی ها
- پس از
- از نو
- AI / ML
- هوشیار
- الگوریتم
- معرفی
- اجازه دادن
- اجازه می دهد تا
- همچنین
- آمازون
- آمازون EC2
- نپتون آمازون
- آمازون تایم استریم
- آمازون خدمات وب
- Amazon.com
- در میان
- an
- تحلیل
- و
- اعلام
- پیش بینی
- هر
- آپاچی
- API
- کاربرد
- برنامه های کاربردی
- اعمال می شود
- معماری
- هستند
- AS
- انجمن
- At
- توجه
- خواص
- نویسندگان
- خودکار
- بطور خودکار
- در دسترس
- AWS
- مستقر
- خط مقدم
- اساسی
- اساسا
- BE
- زیرا
- بوده
- قبل از
- محک
- سود
- بهترین
- میان
- بیلیون
- میلیاردها
- هر دو
- پایین
- جعبه
- میخ زیرپهن
- به ارمغان بیاورد
- ساختن
- ساخته
- ساخته شده در
- کسب و کار
- اما
- by
- CAN
- قابلیت های
- جلب
- ضبط
- مورد
- زنجیر
- چالش ها
- به چالش کشیدن
- بررسی
- طبقه بندی
- رمز
- مجموعه
- COM
- انجمن
- شرکت
- پیچیده
- پیچیدگی
- جزء
- اجزاء
- محاسبه
- کامپیوتر
- علم کامپیوتر
- اتصال
- اتصالات
- تشکیل شده است
- ساختن
- ساخت
- ساخت و ساز
- مشاور
- شامل
- کنترل
- میتوانست
- پوشش
- ایجاد
- سفارشی
- مشتری
- مشتریان
- da
- داده ها
- پردازش داده ها
- علم اطلاعات
- مجموعه داده ها
- روز
- عمیق
- تعریف می کند
- تعریف کردن
- نشان دادن
- گسترش
- مستقر
- طراحی
- مقصد
- کشف
- توسعه
- در حال توسعه
- پروژه
- dgl
- مختلف
- مشکل
- مستقیما
- توزیع شده
- آموزش توزیع شده
- do
- نمی کند
- حوزه
- ده ها
- رانندگی
- دو
- هر
- به آسانی
- ساده
- لبه
- موثر
- موثر
- تلاش
- جاسازی شده
- تعبیه کردن
- سنگ سنباده
- قادر ساختن
- فعال
- را قادر می سازد
- پشت سر هم
- مهندسی
- مورد تأیید
- بالا بردن
- سرمایه گذاری
- اشخاص
- موجودیت
- ارزیابی
- ارزیابی
- ارزیابی
- حتی
- مثال
- بیش از
- برانگیخته
- تجربه
- کارشناس
- تخصص
- خارجی
- عصاره
- ویژگی
- امکانات
- رشته
- زمینه
- شکل
- پرونده
- فایل ها
- سرانجام
- پیدا کردن
- نام خانوادگی
- جریان
- تمرکز
- پیروی
- برای
- قالب
- چهار
- چارچوب
- چارچوب
- تقلب
- کشف تقلب
- از جانب
- آینده
- سوالات عمومی
- تولید می کنند
- تولید می کند
- جورج
- دریافت کنید
- GitHub
- داده
- GM
- GPU
- GPU ها
- گراف
- نمودار ها
- گروه
- دسته
- سخت
- آیا
- he
- کمک
- اینجا کلیک نمایید
- زیاد
- خیلی
- خود را
- دارای
- چگونه
- چه ارتفاعی
- چگونه
- HTTP
- HTTPS
- صدها نفر
- ID
- شناسه
- if
- مهم
- بهبود
- بهبود
- بهبود
- in
- در دیگر
- از جمله
- صنعت
- اطلاعات
- ذاتا
- ورودی
- نصب کردن
- نمونه
- در عوض
- اطلاعات
- فعل و انفعالات
- رابط
- داخلی
- به
- معرفی
- IT
- ITS
- کار
- دانشگاه جانز هاپکینز
- پیوستن
- JPG
- json
- تنها
- کلید
- دانش
- شناخته شده
- برچسب ها
- بزرگ
- در مقیاس بزرگ
- راه اندازی
- راه اندازی
- لایه
- لایه
- رهبری
- برجسته
- یاد گرفتن
- یادگیری
- کتابخانه
- مجوز
- پسندیدن
- احتمالا
- لاین
- ارتباط دادن
- لینک ها
- لیست
- کوچک
- دستگاه
- فراگیری ماشین
- ماشین آلات
- مه
- ساخت
- باعث می شود
- ساخت
- مدیریت
- مدیر
- روش
- بسیاری
- علامت گذاری شده
- عظیم
- مک کینزی
- McKinsey & Company
- متوسط
- اندازه گیری
- حافظه
- روش
- روش
- متری
- متریک
- متوسط
- میلیون
- ML
- مدل
- مدل
- ماه
- بیش
- اکثر
- چندگانه
- بومی
- نیاز
- نپتون
- شبکه
- شبکه
- شبکه های عصبی
- جدید
- گره
- گره
- دفتر یادداشت
- اکنون
- هدف
- of
- پیشنهادات
- on
- ONE
- فقط
- منبع باز
- کد منبع باز
- عملیاتی
- بهینه سازی
- گزینه
- or
- دیگر
- ما
- خارج
- روی
- به طور کلی
- خود
- مقاله
- اوراق
- موازی
- انجام
- کارایی
- انتخاب کنید
- خط لوله
- افلاطون
- هوش داده افلاطون
- PlatoData
- محبوب
- پست
- بالقوه
- پیش بینی
- پیش بینی
- پیش بینی
- پیش گویی
- پیش بینی
- تنظیمات
- قبلا
- اصلی
- مشکل
- مشکلات
- روند
- در حال پردازش
- محصول
- مدیریت تولید
- مدیر تولید
- تولید
- محصولات
- اثبات شده
- ارائه
- فراهم می کند
- ارائه
- قرار دادن
- مارماهی
- کیفیت
- به سرعت
- رم
- رتبه
- خام
- رسیدن به
- می رسد
- دنیای واقعی
- توصیه
- کاهش
- روابط
- آزاد
- تکرار
- نیاز
- ضروری
- نیاز
- تحقیق
- نتایج
- راست
- خطرات
- به طور معمول
- ROW
- دویدن
- همان
- می گوید:
- مقیاس پذیری
- مقیاس
- سناریوها
- علم
- دانشمند
- دانشمندان
- جستجو
- بخش
- دیدن
- ارشد
- سرویس
- خدمات
- تنظیم
- باید
- نشان
- نشان داده شده
- نشان می دهد
- به طور مشابه
- ساده کردن
- به سادگی
- تنها
- اندازه
- آگاهی
- شبکه های اجتماعی
- مزایا
- حل
- برخی از
- منبع
- وضعیت هنر
- گام
- مراحل
- ذخیره سازی
- opbevare
- ذخیره شده
- استراتژی
- ساختار
- مهاجرت تحصیلی
- چنین
- عرضه
- زنجیره تامین
- پشتیبانی
- حمایت از
- پشتیبانی از
- جدول
- گرفتن
- طول می کشد
- کار
- تیم
- تیم ها
- فن آوری
- فنی
- تکنیک
- ده ها
- آزمون
- که
- La
- آینده
- نمودار
- منبع
- شان
- آنجا.
- از این رو
- اینها
- آنها
- فکر می کنم
- این
- اگر چه؟
- هزاران نفر
- تهدید
- سه
- بار
- به
- ابزار
- بالا
- ترافیک
- قطار
- آموزش دیده
- آموزش
- معامله
- دگرگون کردن
- ترانسفورماتور
- درست
- امتحان
- دو
- نوع
- انواع
- زیر
- منحصر به فرد
- دانشگاه
- قابلیت استفاده
- استفاده کنید
- مورد استفاده
- استفاده
- استفاده
- با استفاده از
- ارزشمند
- مختلف
- سالن
- عمودی
- از طريق
- بازدید
- بود
- مسیر..
- we
- وب
- خدمات وب
- خوب
- چه زمانی
- که
- به طور گسترده ای
- اراده
- با
- بدون
- مشغول به کار
- نوشته
- یامل
- شما
- شما
- زفیرنت
- ZOO