این پست وبلاگ با Chaoyang He و Selman Avestimehr از FedML نوشته شده است.
تجزیه و تحلیل دادههای دنیای واقعی مراقبتهای بهداشتی و علوم زیستی (HCLS) چندین چالش عملی مانند سیلوهای دادههای توزیعشده، فقدان دادههای کافی در هر سایت واحد برای رویدادهای نادر، دستورالعملهای نظارتی که اشتراکگذاری دادهها را ممنوع میکند، نیاز زیرساختها و هزینههای متحمل شده در ایجاد ایجاد میکند. یک مخزن داده متمرکز از آنجا که آنها در یک دامنه بسیار تنظیم شده قرار دارند، شرکا و مشتریان HCLS به دنبال مکانیسم های حفظ حریم خصوصی برای مدیریت و تجزیه و تحلیل داده های بزرگ، توزیع شده و حساس هستند.
برای کاهش این چالشها، ما استفاده از چارچوب یادگیری فدرال منبع باز (FL) را پیشنهاد میکنیم FedML، که به شما امکان می دهد با آموزش یک مدل یادگیری ماشین جهانی از داده های توزیع شده که به صورت محلی در سایت های مختلف نگهداری می شوند، داده های حساس HCLS را تجزیه و تحلیل کنید. FL نیازی به جابجایی یا اشتراک گذاری داده ها در بین سایت ها یا با یک سرور متمرکز در طول فرآیند آموزش مدل ندارد.
در این مجموعه دو قسمتی، نشان میدهیم که چگونه میتوانید یک چارچوب FL مبتنی بر ابر را در AWS مستقر کنید. در پست اول مفاهیم FL و چارچوب FedML را شرح دادیم. در پست دوم، ما موارد استفاده و مجموعه داده را ارائه می کنیم تا اثربخشی آن را در تجزیه و تحلیل مجموعه داده های مراقبت های بهداشتی در دنیای واقعی نشان دهیم، مانند داده های eICU، که شامل یک پایگاه داده مراقبت های ویژه چند مرکزی است که از بیش از 200 بیمارستان جمع آوری شده است.
زمینه
اگرچه حجم داده های تولید شده توسط HCLS هرگز بیشتر از این نبوده است، چالش ها و محدودیت های مرتبط با دسترسی به چنین داده هایی، کاربرد آن را برای تحقیقات آینده محدود می کند. یادگیری ماشین (ML) فرصتی برای پرداختن به برخی از این نگرانیها ارائه میکند و برای پیشبرد تجزیه و تحلیل دادهها و به دست آوردن بینش معنادار از دادههای متنوع HCLS برای موارد استفاده مانند ارائه مراقبت، پشتیبانی تصمیمگیری بالینی، پزشکی دقیق، تریاژ و تشخیص، و مزمن استفاده میشود. مدیریت مراقبت از آنجا که الگوریتمهای ML اغلب برای محافظت از حریم خصوصی دادههای سطح بیمار کافی نیستند، علاقه فزایندهای در میان شرکا و مشتریان HCLS برای استفاده از مکانیسمها و زیرساختهای حفظ حریم خصوصی برای مدیریت و تجزیه و تحلیل دادههای بزرگ، توزیعشده و حساس وجود دارد. [1]
ما یک چارچوب FL در AWS ایجاد کردهایم که امکان تجزیه و تحلیل دادههای بهداشتی توزیعشده و حساس را به شیوهای حفظ حریم خصوصی فراهم میکند. این شامل آموزش یک مدل ML مشترک بدون جابجایی یا اشتراک گذاری داده ها در سایت ها یا با یک سرور متمرکز در طول فرآیند آموزش مدل است و می تواند در چندین حساب AWS پیاده سازی شود. شرکتکنندگان میتوانند انتخاب کنند که دادههای خود را در سیستمهای داخلی خود یا در یک حساب AWS که کنترل میکنند حفظ کنند. بنابراین، به جای انتقال داده ها به تجزیه و تحلیل، تجزیه و تحلیل را به داده ها می آورد.
در این پست، ما نشان دادیم که چگونه می توانید چارچوب منبع باز FedML را در AWS استقرار دهید. ما چارچوب را بر روی دادههای eICU، یک پایگاه داده مراقبتهای ویژه چند مرکزی که از بیش از 200 بیمارستان جمعآوری شده است، برای پیشبینی مرگ و میر بیماران در بیمارستان آزمایش میکنیم. ما می توانیم از این چارچوب FL برای تجزیه و تحلیل سایر مجموعه داده ها، از جمله داده های ژنومی و علوم زیستی استفاده کنیم. همچنین میتواند توسط حوزههای دیگری که مملو از دادههای حساس و توزیعشده هستند، از جمله بخشهای مالی و آموزش، پذیرفته شود.
یادگیری فدرال
پیشرفت های فناوری منجر به رشد انفجاری داده ها در سراسر صنایع، از جمله HCLS شده است. سازمان های HCLS اغلب داده ها را در سیلوها ذخیره می کنند. این یک چالش بزرگ در یادگیری مبتنی بر داده است که به مجموعه داده های بزرگ برای تعمیم خوب و دستیابی به سطح مطلوب عملکرد نیاز دارد. علاوه بر این، جمع آوری، مدیریت و نگهداری مجموعه داده های با کیفیت بالا مستلزم زمان و هزینه قابل توجهی است.
یادگیری فدرال با آموزش مشترک مدل های ML که از داده های توزیع شده استفاده می کنند، بدون نیاز به اشتراک گذاری یا متمرکز کردن آنها، این چالش ها را کاهش می دهد. این اجازه می دهد تا سایت های متنوع در مدل نهایی نشان داده شوند، و خطر بالقوه برای سوگیری مبتنی بر سایت را کاهش می دهد. این چارچوب از معماری سرویس گیرنده-سرور پیروی می کند، جایی که سرور یک مدل جهانی را با مشتریان به اشتراک می گذارد. کلاینت ها مدل را بر اساس داده های محلی آموزش می دهند و پارامترهای (مانند گرادیان یا وزن مدل) را با سرور به اشتراک می گذارند. سرور این پارامترها را جمع آوری می کند تا مدل جهانی را به روز کند، که سپس برای دور بعدی آموزش با مشتریان به اشتراک گذاشته می شود، همانطور که در شکل زیر نشان داده شده است. این روند تکراری آموزش مدل تا زمانی که مدل جهانی همگرا شود ادامه می یابد.
در سال های اخیر، این الگوی یادگیری جدید با موفقیت برای رسیدگی به نگرانی حاکمیت داده در آموزش مدل های ML پذیرفته شده است. یکی از این تلاش ها این است ملودی، یک کنسرسیوم به رهبری ابتکار داروهای نوآورانه (IMI) با پشتیبانی AWS. این یک برنامه 3 ساله است که شامل 10 شرکت داروسازی، 2 موسسه دانشگاهی و 3 شریک فناوری است. هدف اصلی آن توسعه یک چارچوب FL چند وظیفه ای برای بهبود عملکرد پیش بینی و کاربرد شیمیایی مدل های مبتنی بر کشف دارو است. این پلت فرم شامل چندین حساب AWS است که هر شریک دارویی کنترل کامل حساب های مربوطه خود را برای حفظ مجموعه داده های خصوصی خود حفظ می کند و یک حساب مرکزی ML که وظایف آموزشی مدل را هماهنگ می کند.
این کنسرسیوم مدل هایی را بر روی میلیاردها نقطه داده، متشکل از بیش از 20 میلیون مولکول کوچک در بیش از 40,000 سنجش بیولوژیکی، آموزش داد. بر اساس نتایج تجربی، مدلهای مشترک 4 درصد بهبود را در دستهبندی مولکولها بهعنوان فعال یا غیرفعال دارویی یا سمشناسی نشان دادند. همچنین منجر به افزایش 10 درصدی در توانایی آن در ارائه پیشبینیهای مطمئن هنگام اعمال بر روی انواع جدید مولکولها شد. در نهایت، مدلهای مشترک معمولاً 2 درصد در تخمین مقادیر فعالیتهای سمشناسی و دارویی بهتر بودند.
FedML
FedML یک کتابخانه منبع باز برای تسهیل توسعه الگوریتم FL است. از سه پارادایم محاسباتی پشتیبانی می کند: آموزش روی دستگاه برای دستگاه های لبه، محاسبات توزیع شده و شبیه سازی تک ماشینی. همچنین تحقیقات الگوریتمی متنوعی را با طراحی API انعطافپذیر و عمومی و پیادهسازیهای پایه مرجع جامع (بهینهساز، مدلها و مجموعه دادهها) ارائه میدهد. برای توضیح دقیق کتابخانه FedML، مراجعه کنید FedML.
شکل زیر معماری کتابخانه منبع باز FedML را نشان می دهد.
همانطور که در شکل قبل مشاهده می شود، از نقطه نظر کاربرد، FedML از جزئیات کد زیربنایی و پیکربندی های پیچیده آموزش توزیع شده محافظت می کند. در سطح برنامه، مانند بینایی کامپیوتر، پردازش زبان طبیعی و داده کاوی، دانشمندان و مهندسان داده فقط باید مدل، داده و مربی را به همان روشی که یک برنامه مستقل بنویسند و سپس آن را به شی FedMLRunner ارسال کنند. همانطور که در کد زیر نشان داده شده است، تمام فرآیندها را تکمیل کنید. این امر هزینه های سربار توسعه دهندگان برنامه برای اجرای FL را تا حد زیادی کاهش می دهد.
الگوریتم FedML هنوز در حال پیشرفت است و دائماً در حال بهبود است. برای این منظور، FedML مربی اصلی و تجمیع کننده را انتزاع می کند و دو شی انتزاعی را در اختیار کاربران قرار می دهد. FedML.core.ClientTrainer
و FedML.core.ServerAggregator
، که فقط باید رابط های این دو آبجکت انتزاعی را به ارث برده و به FedMLRunner ارسال کنند. چنین سفارشی سازی حداکثر انعطاف پذیری را برای توسعه دهندگان ML فراهم می کند. شما می توانید ساختارهای مدل دلخواه، بهینه سازها، توابع ضرر و موارد دیگر را تعریف کنید. این سفارشیسازیها همچنین میتوانند بهطور یکپارچه با جامعه منبع باز، پلتفرم باز و محیط زیست برنامهای که قبلاً ذکر شد، با کمک FedMLRunner که مشکل تاخیر طولانی از الگوریتمهای نوآورانه تا تجاریسازی را حل میکند، مرتبط شود.
در نهایت، همانطور که در شکل قبل نشان داده شده است، FedML از فرآیندهای محاسباتی توزیع شده، مانند پروتکل های امنیتی پیچیده و آموزش توزیع شده به عنوان فرآیند محاسبات جریان غیر چرخه ای جهت دار (DAG) پشتیبانی می کند و نوشتن پروتکل های پیچیده را شبیه به برنامه های مستقل می کند. بر اساس این ایده، پروتکل امنیتی Flow Layer 1 و فرآیند الگوریتم ML Flow Layer 2 را می توان به راحتی از هم جدا کرد تا مهندسان امنیتی و مهندسان ML بتوانند با حفظ یک معماری ماژولار عمل کنند.
کتابخانه منبع باز FedML از موارد استفاده ML فدرال برای لبه و همچنین ابر پشتیبانی می کند. در لبه، این چارچوب آموزش و استقرار مدلهای لبه را در تلفنهای همراه و دستگاههای اینترنت اشیا (IoT) تسهیل میکند. در فضای ابری، ML مشترک جهانی، از جمله سرورهای چند منطقه ای، و چند مستاجر جمع آوری ابر عمومی، و همچنین استقرار ابر خصوصی در حالت Docker را فعال می کند. این چارچوب به نگرانی های کلیدی در رابطه با حفظ حریم خصوصی FL مانند امنیت، حریم خصوصی، کارایی، نظارت ضعیف و انصاف می پردازد.
نتیجه
در این پست، ما نشان دادیم که چگونه می توانید چارچوب منبع باز FedML را در AWS استقرار دهید. این به شما امکان می دهد یک مدل ML را بر روی داده های توزیع شده آموزش دهید، بدون اینکه نیازی به اشتراک گذاری یا جابجایی آن باشد. ما یک معماری چند حسابی راهاندازی کردیم که در آن در یک سناریوی دنیای واقعی، سازمانها میتوانند به اکوسیستم بپیوندند تا از یادگیری مشارکتی و در عین حال حفظ حاکمیت داده بهره ببرند. در پست بعدی، ما از مجموعه داده eICU چند بیمارستانی برای نشان دادن اثربخشی آن در یک سناریوی واقعی استفاده می کنیم.
لطفاً ارائه را در re:MARS 2022 با تمرکز بر " مرور کنیدآموزش فدرال مدیریت شده در AWS: مطالعه موردی برای مراقبت های بهداشتی” برای بررسی دقیق این راه حل.
ارجاع
[1] Kaissis، GA، Makowski، MR، Rückert، D. et al. یادگیری ماشینی ایمن، حفظ حریم خصوصی و فدرال در تصویربرداری پزشکی. Nat Mach Intelll 2, 305–311 (2020). https://doi.org/10.1038/s42256-020-0186-1
[2] FedML https://fedml.ai
درباره نویسنده
اولیویا چودوریدکترا، معمار ارشد راه حل های شریک در AWS است. او به شرکای خود در حوزه بهداشت و درمان و علوم زندگی کمک می کند تا راه حل های پیشرفته ای را با استفاده از AWS طراحی، توسعه و مقیاس کنند. او سابقه ای در زمینه ژنومیک، تجزیه و تحلیل مراقبت های بهداشتی، یادگیری فدرال، و یادگیری ماشینی حفظ حریم خصوصی دارد. خارج از محل کار، او بازی های رومیزی انجام می دهد، مناظر را نقاشی می کند و مانگا جمع آوری می کند.
ویدیا ساگار راویپاتی مدیر در آزمایشگاه راه حل های آمازون ام ال، جایی که او از تجربه گسترده خود در سیستم های توزیع شده در مقیاس بزرگ و اشتیاق خود به یادگیری ماشینی استفاده می کند تا به مشتریان AWS در بخش های مختلف صنعت کمک کند تا پذیرش هوش مصنوعی و ابر خود را تسریع بخشند. پیش از این، او یک مهندس یادگیری ماشین در خدمات اتصال در آمازون بود که به ساخت پلتفرمهای شخصیسازی و نگهداری پیشبینیکننده کمک کرد.
وجهت عزیز معمار اصلی یادگیری ماشین و راه حل های HPC در AWS است، جایی که او بر کمک به مشتریان علوم زیستی و مراقبت های بهداشتی تمرکز دارد تا از فناوری های AWS برای توسعه راه حل های پیشرفته ML و HPC برای طیف گسترده ای از موارد استفاده مانند توسعه دارو استفاده کنند. کارآزماییهای بالینی و یادگیری ماشینی حفظ حریم خصوصی. وجهات در خارج از محل کار دوست دارد طبیعت، پیاده روی و مطالعه را کشف کند.
دیویا بهرگاوی دانشمند داده و رهبر عمودی رسانه و سرگرمی در آزمایشگاه راه حل های آمازون ML است، جایی که او با استفاده از یادگیری ماشینی مشکلات تجاری با ارزش را برای مشتریان AWS حل می کند. او روی درک تصویر/ویدیو، سیستمهای توصیه گراف دانش، موارد استفاده از تبلیغات پیشبینیکننده کار میکند.
اوجوال راتن رهبر AI/ML و Data Science در واحد تجاری AWS Healthcare و Life Science است و همچنین یک معمار اصلی راه حل های AI/ML است. در طول سالها، Ujjwal یک رهبر فکری در صنعت مراقبتهای بهداشتی و علوم زیستی بوده است و به چندین سازمان جهانی Fortune 500 کمک میکند تا با اتخاذ یادگیری ماشینی به اهداف نوآوری خود دست یابند. کار او شامل تجزیه و تحلیل تصویربرداری پزشکی، متن بالینی بدون ساختار و ژنومیک به AWS کمک کرده است تا محصولات و خدماتی بسازد که تشخیص ها و درمان های کاملاً شخصی و هدفمند را ارائه می دهد. او در اوقات فراغت از گوش دادن (و نواختن) موسیقی و انجام سفرهای جاده ای بدون برنامه با خانواده لذت می برد.
چائویانگ او یکی از بنیانگذاران و مدیر ارشد فناوری FedML, Inc.، استارت آپی است که برای ایجاد یک جامعه هوش مصنوعی باز و مشارکتی از هر کجا و در هر مقیاسی اجرا می شود. تحقیقات او بر روی الگوریتم ها، سیستم ها و برنامه های کاربردی یادگیری ماشین توزیع شده/فدرال متمرکز است. او دکترای خود را دریافت کرد. در علوم کامپیوتر از دانشگاه کالیفرنیای جنوبیلس آنجلس، ایالات متحده آمریکا
سلمان اوستیمهر پروفسور، مدیر افتتاحیه مرکز USC-Amazon برای یادگیری ماشینی مطمئن و قابل اعتماد (Trusted AI) و مدیر آزمایشگاه تحقیقاتی تئوری اطلاعات و یادگیری ماشین (vITAL) در بخش مهندسی برق و کامپیوتر و گروه علوم کامپیوتر دانشگاه کالیفرنیای جنوبی. او همچنین یکی از بنیانگذاران و مدیرعامل FedML است. او دکترای من را دریافت کرد. در مهندسی برق و علوم کامپیوتر از دانشگاه برکلی در سال 2008. تحقیقات او بر حوزه های تئوری اطلاعات، یادگیری ماشین غیرمتمرکز و فدرال، یادگیری و محاسبات ایمن و حفظ حریم خصوصی متمرکز است.
- محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
- پلاتوبلاک چین. Web3 Metaverse Intelligence. دانش تقویت شده دسترسی به اینجا.
- منبع: https://aws.amazon.com/blogs/machine-learning/part-1-federated-learning-on-aws-with-fedml-health-analytics-without-sharing-sensitive-data/
- 000
- 1
- 10
- 100
- 2%
- 2020
- 2022
- 7
- a
- توانایی
- چکیده
- چکیده ها
- دانشگاهی
- شتاب دادن
- دسترسی
- حساب
- حساب ها
- رسیدن
- در میان
- فعال
- فعالیت ها
- حلقوی
- نشانی
- آدرس
- به تصویب رسید
- تصویب
- اتخاذ
- پیشرفت
- تبلیغات
- مصالح
- تجمع
- جمع کننده
- AI
- AI / ML
- الگوریتم
- الگوریتمی
- الگوریتم
- معرفی
- اجازه می دهد تا
- آمازون
- آزمایشگاه راه حل های آمازون ام ال
- در میان
- تحلیل
- علم تجزیه و تحلیل
- تحلیل
- تجزیه و تحلیل
- و
- و زیرساخت
- آنجلس
- هر جا
- API
- کاربرد
- برنامه های کاربردی
- اعمال می شود
- معماری
- مناطق
- مرتبط است
- AWS
- زمینه
- مستقر
- خط مقدم
- زیرا
- بودن
- سود
- برکلی
- بهتر
- تعصب
- میلیاردها
- بلاگ
- تخته
- بازی ها و بنگاه
- به ارمغان می آورد
- ساختن
- بنا
- کسب و کار
- کالیفرنیا
- نام
- اهميت دادن
- مورد
- بررسی موردی
- موارد
- طبقه بندی
- مرکز
- مرکزی
- متمرکز
- مدیر عامل شرکت
- به چالش
- چالش ها
- شیمیایی
- را انتخاب کنید
- مشتریان
- بالینی
- آزمایش های بالینی
- ابر
- پذیرش ابر
- بنیانگذاران
- رمز
- مشترک
- تجاری سازی
- انجمن
- ساختمان جامعه
- شرکت
- کامل
- به طور کامل
- پیچیده
- جامع
- کامپیوتر
- مهندسی رایانه
- علم کامپیوتر
- چشم انداز کامپیوتر
- محاسبه
- مفاهیم
- نگرانی
- نگرانی ها
- مطمئن
- متصل
- اتصال
- شامل
- کنسرسیوم
- به طور مداوم
- محدودیت ها
- ادامه
- کنترل
- هماهنگ کردن
- هسته
- هزینه
- ایجاد
- بحرانی
- CTO
- درمان
- مشتریان
- سفارشی سازی
- DAG
- داده ها
- تجزیه و تحلیل داده ها
- داده کاوی
- نقاط داده
- علم اطلاعات
- دانشمند داده
- به اشتراک گذاری داده ها
- داده محور
- پایگاه داده
- مجموعه داده ها
- غیر متمرکز
- تصمیم
- تحویل
- نشان دادن
- نشان
- بخش
- گسترش
- گسترش
- شرح داده شده
- شرح
- طرح
- دقیق
- جزئیات
- توسعه
- توسعه
- توسعه دهندگان
- در حال توسعه
- پروژه
- دستگاه
- دستگاه ها
- مختلف
- مدیر
- توزیع شده
- محاسبات توزیع شده
- سیستم های توزیع شده
- آموزش توزیع شده
- مختلف
- کارگر بارانداز
- نمی کند
- دامنه
- حوزه
- دارو
- در طی
- هر
- پیش از آن
- به آسانی
- اکوسیستم
- لبه
- آموزش
- اثر
- بهره وری
- تلاش
- هر دو
- را قادر می سازد
- مهندس
- مهندسی
- مورد تأیید
- سرگرمی
- حوادث
- تجربه
- اکتشاف
- تسهیل کردن
- تسهیل می کند
- عدالت
- خانواده
- شکل
- نهایی
- سرانجام
- سرمایه گذاری
- نام خانوادگی
- انعطاف پذیری
- قابل انعطاف
- جریان
- متمرکز شده است
- تمرکز
- پیروی
- به دنبال آن است
- ثروت
- چارچوب
- رایگان
- از جانب
- کامل
- توابع
- آینده
- بازیها
- جمع آوری
- ژنومیک
- جهانی
- هدف
- اهداف
- حکومت
- شیب ها
- گراف
- بیشتر
- تا حد زیادی
- در حال رشد
- رشد
- دستورالعمل ها
- سلامتی
- بهداشت و درمان
- برگزار شد
- کمک
- کمک کرد
- کمک
- کمک می کند
- با کیفیت بالا
- خیلی
- بیمارستان ها
- چگونه
- hpc
- HTTPS
- اندیشه
- تصویربرداری
- اجرا
- واردات
- بهبود
- بهبود یافته
- بهبود
- in
- غیر فعال
- افتتاحیه
- شرکت
- از جمله
- افزایش
- لوازم
- صنعت
- اطلاعات
- شالوده
- ابتکار عمل
- ابداع
- ابتکاری
- بینش
- موسسات
- علاقه
- رابط
- اینترنت
- اینترنت از چیزهایی که
- اینترنت اشیا
- IT
- پیوستن
- کلید
- دانش
- نمودار دانش
- آزمایشگاه
- عدم
- زبان
- بزرگ
- در مقیاس بزرگ
- لایه
- لایه 1
- لایه 2
- رهبری
- رهبر
- یادگیری
- رهبری
- سطح
- قدرت نفوذ
- اهرم ها
- بهره برداری
- کتابخانه
- زندگی
- علم زندگی
- علوم زندگی
- محدودیت
- استماع
- بار
- محلی
- به صورت محلی
- طولانی
- آنها
- لس آنجلس
- خاموش
- دستگاه
- فراگیری ماشین
- حفظ
- نگهداری
- عمده
- ساخت
- مدیریت
- مدیریت
- مدیر
- مدیریت
- روش
- بهرام
- بیشترین
- معنی دار
- رسانه ها
- پزشکی
- پزشکی
- ذکر شده
- میلیون
- استخراج معدن
- MIT
- کاهش
- ML
- موبایل
- گوشی های تلفن همراه
- حالت
- مدل
- مدل
- پیمانهای
- بیش
- حرکت
- متحرک
- چندگانه
- موسیقی
- طبیعی
- پردازش زبان طبیعی
- طبیعت
- نیاز
- جدید
- بعد
- هدف
- اشیاء
- پیشنهادات
- ONE
- باز کن
- منبع باز
- کار
- فرصت
- سازمان های
- دیگر
- خارج از
- نمونه
- پارامترهای
- بخش
- شرکت کنندگان
- شریک
- شرکای
- شور
- بیمار
- انجام
- کارایی
- شخصی
- شخصی
- مواد و محصولات دارویی
- دارویی
- گوشی های
- سکو
- سیستم عامل
- افلاطون
- هوش داده افلاطون
- PlatoData
- بازی
- نقطه
- نقطه مشاهده
- نقطه
- به شمار
- پست
- پتانسیل
- صفحه اصلی
- عملی
- دقیقا
- دقت
- پیش بینی
- پیش بینی
- در حال حاضر
- ارائه
- هدیه
- قبلا
- اصلی
- اصلی
- خلوت
- خصوصی
- مشکل
- مشکلات
- روند
- فرآیندهای
- در حال پردازش
- محصولات
- معلم
- برنامه
- برنامه ها
- پیشرفت
- پیشنهادات
- حفاظت
- پروتکل
- پروتکل
- ارائه
- فراهم می کند
- عمومی
- ابر عمومی
- نادر
- RE
- مطالعه
- دنیای واقعی
- اخذ شده
- اخیر
- توصیه
- را کاهش می دهد
- کاهش
- با احترام
- تنظیم
- تنظیم کننده
- مخزن
- نمایندگی
- نیاز
- نیاز
- نیاز
- تحقیق
- قابل احترام
- نتایج
- حفظ
- این فایل نقد می نویسید:
- خطر
- جاده
- دور
- در حال اجرا
- همان
- مقیاس
- علم
- علوم
- دانشمند
- دانشمندان
- یکپارچه
- بخش ها
- امن
- تیم امنیت لاتاری
- به دنبال
- ارشد
- حساس
- سلسله
- سرور
- خدمات
- تنظیم
- چند
- اشتراک گذاری
- به اشتراک گذاشته شده
- سهام
- اشتراک
- نشان
- نشان داده شده
- قابل توجه
- مشابه
- شبیه سازی
- تنها
- سایت
- سایت
- کوچک
- So
- راه حل
- مزایا
- حل می کند
- برخی از
- جنوبی
- مستقل
- شروع
- شروع
- وضعیت هنر
- هنوز
- opbevare
- مهاجرت تحصیلی
- موفقیت
- چنین
- کافی
- نظارت
- پشتیبانی
- پشتیبانی از
- سیستم های
- مصرف
- هدف قرار
- وظایف
- فن آوری
- پیشرفته
- آزمون
- La
- اطلاعات
- شان
- درمان های
- از این رو
- اشیاء
- فکر
- سه
- زمان
- به
- قطار
- آموزش دیده
- آموزش
- آزمایش های
- مورد اعتماد
- انواع
- به طور معمول
- اساسی
- درک
- واحد
- دانشگاه
- بروزرسانی
- ایالات متحده
- استفاده کنید
- کاربران
- سودمندی
- ارزشها
- تنوع
- وسیع
- عمودی
- چشم انداز
- دید
- حیاتی
- حجم
- خرید
- که
- در حین
- WHO
- وسیع
- در داخل
- بدون
- مهاجرت کاری
- با این نسخهها کار
- نوشتن
- نوشته
- سال
- بازده
- شما
- زفیرنت