این قسمت 3 از سری ما است که در آن ما یک خط لوله MLOps را برای بازرسی کیفیت بصری در لبه طراحی و اجرا می کنیم. در این پست، ما بر روی نحوه خودکارسازی بخش استقرار لبه خط لوله MLOps end-to-end تمرکز می کنیم. ما به شما نحوه استفاده را نشان می دهیم AWS IoT Greengrass برای مدیریت استنتاج مدل در لبه و نحوه خودکار کردن فرآیند با استفاده از توابع مرحله AWS و سایر خدمات AWS.
بررسی اجمالی راه حل
In قسمت 1 از این سری، ما یک معماری برای خط لوله MLOps سرتاسر خود ارائه کردیم که کل فرآیند یادگیری ماشین (ML) را از برچسبگذاری داده تا آموزش مدل و استقرار در لبه خودکار میکند. که در قسمت 2، ما نحوه خودکارسازی برچسبگذاری و مدلسازی قطعات آموزشی خط لوله را نشان دادیم.
نمونه مورد استفاده برای این سری یک راه حل بازرسی کیفیت بصری است که می تواند عیوب را بر روی برچسب های فلزی تشخیص دهد، که می توانید آن را به عنوان بخشی از فرآیند تولید مستقر کنید. نمودار زیر معماری سطح بالای خط لوله MLOps را که در ابتدای این سری تعریف کردیم را نشان می دهد. اگر هنوز آن را نخوانده اید، توصیه می کنیم آن را بررسی کنید قسمت 1.
خودکارسازی استقرار لبه یک مدل ML
پس از آموزش و ارزیابی یک مدل ML، باید در یک سیستم تولیدی مستقر شود تا با پیشبینی دادههای دریافتی، ارزش تجاری ایجاد کند. این فرآیند میتواند به سرعت در تنظیمات لبهای پیچیده شود که در آن مدلها باید مستقر شوند و روی دستگاههایی اجرا شوند که اغلب دور از محیط ابری قرار دارند که مدلها در آن آموزش دیدهاند. در زیر برخی از چالش های منحصر به فرد یادگیری ماشین در لبه آورده شده است:
- مدل های ML اغلب به دلیل محدودیت منابع در دستگاه های لبه نیاز به بهینه سازی دارند
- دستگاههای Edge را نمیتوان مانند یک سرور در فضای ابری دوباره مستقر کرد یا حتی آنها را جایگزین کرد، بنابراین شما نیاز به استقرار مدل قوی و فرآیند مدیریت دستگاه دارید.
- ارتباط بین دستگاه ها و ابر باید کارآمد و ایمن باشد زیرا اغلب از شبکه های غیرقابل اعتماد با پهنای باند کم عبور می کند.
بیایید ببینیم چگونه میتوانیم علاوه بر صادرات مدل در قالب ONNX، با این چالشها با خدمات AWS مقابله کنیم، که به ما اجازه میدهد، برای مثال، بهینهسازیهایی مانند کوانتیزاسیون را برای کاهش اندازه مدل برای دستگاههای محدودیت اعمال کنیم. ONNX همچنین زمان اجرا بهینه شده ای را برای رایج ترین پلتفرم های سخت افزاری لبه فراهم می کند.
برای شکستن فرآیند استقرار لبه، ما به دو جزء نیاز داریم:
- یک مکانیسم استقرار برای تحویل مدل، که شامل خود مدل و برخی منطق تجاری برای مدیریت و تعامل با مدل است.
- یک موتور گردش کار که می تواند کل فرآیند را هماهنگ کند تا این کار قوی و قابل تکرار باشد
در این مثال، ما از سرویسهای مختلف AWS برای ساخت مکانیزم استقرار لبه خودکار خود استفاده میکنیم که تمام اجزای مورد نیاز مورد بحث را با هم ترکیب میکند.
ابتدا یک دستگاه لبه را شبیه سازی می کنیم. برای ساده کردن شما برای عبور از گردش کار سرتاسر، از یک استفاده می کنیم ابر محاسبه الاستیک آمازون (Amazon EC2) برای شبیه سازی یک دستگاه لبه با نصب نرم افزار AWS IoT Greengrass Core بر روی نمونه. همچنین میتوانید از نمونههای EC2 برای تأیید مؤلفههای مختلف در فرآیند QA قبل از استقرار در دستگاه تولید لبه واقعی استفاده کنید. AWS IoT Greengrass یک سرویس اینترنت اشیا (IoT) منبع باز زمان اجرا و سرویس ابری است که به شما در ساخت، استقرار و مدیریت نرم افزار دستگاه لبه کمک می کند. AWS IoT Greengrass تلاش برای ساخت، استقرار و مدیریت نرم افزار دستگاه لبه را به روشی امن و مقیاس پذیر کاهش می دهد. پس از نصب نرم افزار AWS IoT Greengrass Core بر روی دستگاه خود، می توانید ویژگی ها و مؤلفه ها را اضافه یا حذف کنید و برنامه های دستگاه اینترنت اشیا خود را با استفاده از AWS IoT Greengrass مدیریت کنید. بسیاری از مؤلفههای داخلی را برای آسانتر کردن زندگی شما ارائه میکند، مانند مؤلفههای StreamManager و بروکر MQTT، که میتوانید از آنها برای برقراری ارتباط امن با ابر استفاده کنید و از رمزگذاری سرتاسر پشتیبانی کنید. شما می توانید از این ویژگی ها برای آپلود نتایج استنتاج و تصاویر به طور موثر استفاده کنید.
در یک محیط تولید، شما معمولاً یک دوربین صنعتی دارید که تصاویر را ارائه میدهد که مدل ML باید پیشبینیهایی را برای آن تولید کند. برای راهاندازی، این ورودی تصویر را با آپلود مجموعهای از تصاویر در یک فهرست خاص در دستگاه لبه شبیهسازی میکنیم. سپس از این تصاویر به عنوان ورودی استنتاج برای مدل استفاده می کنیم.
ما فرآیند کلی استقرار و استنتاج را به سه مرحله متوالی برای استقرار یک مدل ML آموزشدیده در فضای ابری در محیط لبه و استفاده از آن برای پیشبینی تقسیم کردیم:
- آماده - بسته بندی مدل آموزش دیده برای استقرار لبه.
- گسترش – انتقال اجزای مدل و استنتاج از ابر به دستگاه لبه.
- استنباط - مدل را بارگیری کنید و کد استنتاج را برای پیش بینی تصویر اجرا کنید.
نمودار معماری زیر جزئیات این فرآیند سه مرحله ای و نحوه پیاده سازی آن را با سرویس های AWS نشان می دهد.
در بخشهای بعدی، جزئیات مربوط به هر مرحله را مورد بحث قرار میدهیم و نشان میدهیم که چگونه میتوان این فرآیند را در یک ارکستراسیون خودکار و تکرارپذیر و گردش کار CI/CD برای مدلهای ML و کد استنتاج مربوطه جاسازی کرد.
آماده
دستگاههای لبه اغلب با محاسبات و حافظه محدود در مقایسه با محیط ابری عرضه میشوند که در آن CPUها و GPUهای قدرتمند میتوانند مدلهای ML را به راحتی اجرا کنند. تکنیک های مختلف بهینه سازی مدل به شما این امکان را می دهد که مدلی را برای یک پلتفرم نرم افزاری یا سخت افزاری خاص تنظیم کنید تا سرعت پیش بینی را بدون از دست دادن دقت افزایش دهید.
در این مثال، ما مدل آموزش دیده در خط لوله آموزشی را به فرمت ONNX برای حملپذیری، بهینهسازیهای ممکن و همچنین زمانهای بهینهسازی لبهها صادر کردیم و مدل را در داخل ثبت کردیم. رجیستری مدل آمازون SageMaker. در این مرحله، ما یک مؤلفه مدل Greengrass جدید شامل آخرین مدل ثبتشده برای استقرار بعدی ایجاد میکنیم.
گسترش
مکانیزم استقرار ایمن و قابل اعتماد هنگام استقرار یک مدل از ابر به یک دستگاه لبه کلیدی است. از آنجایی که AWS IoT Greengrass قبلاً یک سیستم استقرار لبه قوی و ایمن را در خود جای داده است، ما از آن برای اهداف استقرار خود استفاده می کنیم. قبل از اینکه به جزئیات فرآیند استقرار خود نگاه کنیم، بیایید یک جمعبندی سریع درباره نحوه کار استقرارهای AWS IoT Greengrass انجام دهیم. هسته اصلی سیستم استقرار AWS IoT Greengrass هستند اجزاء، که ماژولهای نرمافزاری مستقر در دستگاه لبهای را که AWS IoT Greengrass Core را اجرا میکند، تعریف میکند. اینها می توانند مؤلفه های خصوصی باشند که شما می سازید یا مؤلفه های عمومی که توسط هر دو ارائه می شوند AWS یا گسترده تر جامعه گرین گراس. چندین مؤلفه را می توان به عنوان بخشی از یک استقرار با هم ترکیب کرد. یک پیکربندی استقرار اجزای موجود در یک استقرار و دستگاه های هدف استقرار را تعریف می کند. می توان آن را در یک فایل پیکربندی استقرار (JSON) یا از طریق کنسول AWS IoT Greengrass در هنگام ایجاد یک استقرار جدید تعریف کرد.
ما دو مؤلفه Greengrass زیر را ایجاد می کنیم که سپس از طریق فرآیند استقرار در دستگاه لبه مستقر می شوند:
- مدل بسته بندی شده (جزء خصوصی) – این کامپوننت شامل مدل آموزش دیده و ML در قالب ONNX می باشد.
- کد استنتاج (جزء خصوصی) - جدای از خود مدل ML، برای انجام وظایفی مانند آمادهسازی دادهها، ارتباط با مدل برای استنتاج، و پسپردازش نتایج استنتاج، نیاز به پیادهسازی منطق کاربردی داریم. در مثال خود، ما یک مؤلفه خصوصی مبتنی بر پایتون برای انجام وظایف زیر ایجاد کردهایم:
- اجزای زمان اجرا مورد نیاز مانند بسته Ultralytics YOLOv8 Python را نصب کنید.
- به جای گرفتن تصاویر از یک جریان زنده دوربین، این کار را با بارگیری تصاویر آماده شده از یک فهرست خاص و آماده سازی داده های تصویر مطابق با الزامات ورودی مدل شبیه سازی می کنیم.
- با داده های تصویری آماده شده، با مدل بارگذاری شده تماس های استنتاج برقرار کنید.
- پیشبینیها را بررسی کنید و نتایج استنباط را در فضای ابری بارگذاری کنید.
اگر میخواهید نگاه عمیقتری به کد استنتاج ما داشته باشید، به آن مراجعه کنید GitHub repo.
استنباط
فرآیند استنتاج مدل در دستگاه لبه به طور خودکار پس از اتمام استقرار اجزای فوق الذکر آغاز می شود. جزء استنتاج سفارشی به صورت دوره ای مدل ML را با تصاویری از یک فهرست محلی اجرا می کند. نتیجه استنتاج به ازای هر تصویر برگردانده شده از مدل یک تانسور با محتوای زیر است:
- نمرات اعتماد به نفس - مدل در مورد تشخیص ها چقدر مطمئن است
- مختصات شی - مختصات شی خراش (x، y، عرض، ارتفاع) که توسط مدل در تصویر شناسایی شده است
در مورد ما، مؤلفه استنتاج از ارسال نتایج استنتاج به یک موضوع خاص MQTT در AWS IoT مراقبت می کند، جایی که می توان آن را برای پردازش بیشتر خواند. این پیام ها را می توان از طریق سرویس گیرنده تست MQTT در کنسول AWS IoT برای اشکال زدایی مشاهده کرد. در یک محیط تولید، می توانید تصمیم بگیرید که به طور خودکار به سیستم دیگری اطلاع دهید که وظیفه حذف برچسب های فلزی معیوب از خط تولید را بر عهده دارد.
تنظیم و ارکستراسیون
همانطور که در بخش های قبل مشاهده شد، چندین مرحله برای آماده سازی و استقرار یک مدل ML، کد استنتاج مربوطه، و زمان اجرا یا عامل مورد نیاز در یک دستگاه لبه مورد نیاز است. Step Functions یک سرویس کاملاً مدیریت شده است که به شما امکان می دهد این مراحل اختصاصی را هماهنگ کنید و گردش کار را در قالب یک ماشین حالت طراحی کنید. ماهیت بدون سرور این سرویس و قابلیت های بومی Step Function مانند ادغام های API سرویس AWS به شما این امکان را می دهد که به سرعت این گردش کار را تنظیم کنید. قابلیتهای داخلی مانند تلاشهای مجدد یا ورود به سیستم، نکات مهمی برای ایجاد ارکستراسیون قوی هستند. برای جزئیات بیشتر در مورد تعریف خود ماشین حالت، به قسمت مراجعه کنید مخزن GitHub یا پس از استقرار این مثال در حساب کاربری خود، نمودار دستگاه حالت را در کنسول Step Functions بررسی کنید.
استقرار زیرساخت و ادغام در CI/CD
خط لوله CI/CD برای ادغام و ساخت تمام اجزای زیرساخت مورد نیاز از الگوی مشابهی پیروی می کند که در نشان داده شده است. قسمت 1 از این سری ما استفاده می کنیم کیت توسعه ابری AWS (AWS CDK) برای استقرار خطوط لوله مورد نیاز از AWS CodePipeline.
یادگیری ها
راه های متعددی برای ایجاد یک معماری برای یک سیستم استقرار لبه مدل ML خودکار، قوی و ایمن وجود دارد که اغلب به موارد استفاده و سایر الزامات بسیار وابسته هستند. با این حال، در اینجا چند نکته را می خواهیم با شما به اشتراک بگذاریم:
- در صورت اضافی بودن، از قبل ارزیابی کنید AWS IoT Greengrass مورد نیاز منابع را محاسبه می کند مناسب کیس شما، به خصوص با دستگاه های لبه محدود.
- یک مکانیسم استقرار ایجاد کنید که یک مرحله تأیید از مصنوعات مستقر شده را قبل از اجرا بر روی دستگاه لبه یکپارچه می کند تا اطمینان حاصل شود که هیچ دستکاری در طول انتقال اتفاق نمی افتد.
- تمرین خوبی است که اجزای استقرار در AWS IoT Greengrass را تا حد امکان ماژولار و مستقل نگه دارید تا بتوانید آنها را به طور مستقل مستقر کنید. برای مثال، اگر یک ماژول کد استنتاج نسبتاً کوچک دارید اما از نظر اندازه یک مدل ML بزرگ دارید، اگر فقط کد استنتاج تغییر کرده باشد، همیشه نمیخواهید هر دوی آنها را اجرا کنید. این امر به ویژه زمانی مهم است که پهنای باند محدود یا اتصال دستگاه لبه پر هزینه دارید.
نتیجه
این مجموعه سه قسمتی ما را در ساخت یک خط لوله MLOps سرتاسر برای بازرسی کیفیت بصری در لبه پایان میدهد. ما چالشهای دیگری را که با استقرار یک مدل ML در لبهها به وجود میآید، مانند بستهبندی مدل یا هماهنگسازی پیادهسازی پیچیده، بررسی کردیم. ما خط لوله را به روشی کاملاً خودکار پیادهسازی کردیم تا بتوانیم مدلهای خود را به شکلی قوی، ایمن، قابل تکرار و قابل ردیابی به تولید برسانیم. با خیال راحت از معماری و پیاده سازی توسعه یافته در این مجموعه به عنوان نقطه شروعی برای پروژه بعدی خود با قابلیت ML استفاده کنید. اگر سوالی دارید که چگونه چنین سیستمی را برای محیط خود طراحی و بسازید، لطفا رسیدن به. برای سایر موضوعات و موارد استفاده به ما مراجعه کنید فراگیری ماشین و IOT وبلاگ ها
درباره نویسندگان
مایکل راث یک معمار ارشد راه حل در AWS است که از مشتریان تولید در آلمان برای حل چالش های تجاری آنها از طریق فناوری AWS پشتیبانی می کند. او علاوه بر کار و خانواده به ماشین های اسپرت علاقه مند است و از قهوه ایتالیایی لذت می برد.
یورگ وورله یک معمار راه حل در AWS است که با مشتریان تولیدی در آلمان کار می کند. جورج با علاقه به اتوماسیون به عنوان توسعهدهنده نرمافزار، مهندس DevOps و مهندس قابلیت اطمینان سایت در زندگی قبل از AWS کار کرده است. فراتر از ابر، او یک دونده جاه طلب است و از اوقات با کیفیتی با خانواده اش لذت می برد. بنابراین اگر چالش DevOps دارید یا می خواهید برای اجرا بروید: به او اطلاع دهید.
یوهانس لانگر یک معمار ارشد راه حل در AWS است که با مشتریان سازمانی در آلمان کار می کند. یوهانس علاقه زیادی به استفاده از یادگیری ماشینی برای حل مشکلات واقعی کسب و کار دارد. یوهانس در زندگی شخصی خود از کار در پروژه های بهبود خانه و گذراندن وقت در خارج از منزل با خانواده خود لذت می برد.
- محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
- PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
- PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
- PlatoESG. کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
- PlatoHealth. هوش بیوتکنولوژی و آزمایشات بالینی. دسترسی به اینجا.
- منبع: https://aws.amazon.com/blogs/machine-learning/build-an-end-to-end-mlops-pipeline-for-visual-quality-inspection-at-the-edge-part-3/
- : دارد
- :است
- :جایی که
- $UP
- 150
- 7
- a
- قادر
- درباره ما
- مطابق
- حساب
- دقت
- واقعی
- اضافه کردن
- اضافه
- اضافی
- پیشرفت
- پس از
- در برابر
- عامل
- معرفی
- اجازه دادن
- اجازه می دهد تا
- قبلا
- همچنین
- همیشه
- آمازون
- آمازون EC2
- آمازون خدمات وب
- جاه طلب
- an
- و
- دیگر
- هر
- API
- کاربرد
- برنامه های کاربردی
- درخواست
- با استفاده از
- معماری
- هستند
- AS
- کنار
- At
- خودکار بودن
- خودکار
- خودکار می کند
- بطور خودکار
- اتوماسیون
- دور
- AWS
- AWS IoT Greengrass
- به عقب
- پهنای باند
- BE
- زیرا
- شدن
- بوده
- قبل از
- شروع
- در کنار
- میان
- خارج از
- بزرگ
- وبلاگ ها
- هر دو
- گسترده تر
- دلال
- ساختن
- بنا
- ساخته
- ساخته شده در
- بسته بندی شده
- کسب و کار
- اما
- by
- تماس ها
- دوربین
- CAN
- قابلیت های
- اهميت دادن
- اتومبیل
- مورد
- موارد
- به چالش
- چالش ها
- تغییر
- بررسی
- بررسی
- مشتری
- ابر
- رمز
- کشت
- بیا
- مشترک
- ارتباط
- ارتباط
- مقایسه
- پیچیده
- جزء
- اجزاء
- محاسبه
- مطمئن
- پیکر بندی
- اتصال
- متوالی
- کنسول
- محدودیت ها
- شامل
- محتوا
- هسته
- نرم افزار اصلی
- متناظر
- هزینه
- ایجاد
- ایجاد
- سفارشی
- مشتریان
- داده ها
- آماده سازی داده ها
- تصمیم گیری
- اختصاصی
- عمیق تر
- تعريف كردن
- مشخص
- تعریف می کند
- تعریف
- تحویل
- تحویل
- وابسته
- گسترش
- مستقر
- استقرار
- گسترش
- اعزام ها
- طرح
- جزئیات
- جزئیات
- تشخیص
- شناسایی شده
- توسعه
- توسعه دهنده
- پروژه
- دستگاه
- دستگاه ها
- مختلف
- بحث و تبادل نظر
- بحث کردیم
- تقسیم شده
- do
- آیا
- پایین
- دو
- در طی
- هر
- آسان تر
- به آسانی
- لبه
- موثر
- موثر
- تلاش
- هر دو
- جاسازی کردن
- رمزگذاری
- پشت سر هم
- موتور
- مهندس
- اطمینان حاصل شود
- سرمایه گذاری
- تمام
- محیط
- به خصوص
- ارزیابی
- حتی
- مثال
- خانواده
- بسیار
- روش
- معیوب
- امکانات
- احساس
- کمی از
- پرونده
- مناسب
- تمرکز
- پیروی
- به دنبال آن است
- برای
- فرم
- قالب
- رایگان
- از جانب
- کاملا
- توابع
- بیشتر
- تولید می کنند
- آلمان
- Go
- خوب
- GPU ها
- گراف
- دسته
- اتفاق افتاده است
- سخت افزار
- آیا
- ارتفاع
- کمک می کند
- اینجا کلیک نمایید
- زیاد
- در سطح بالا
- او را
- خود را
- صفحه اصلی
- چگونه
- چگونه
- اما
- HTML
- HTTP
- HTTPS
- if
- تصویر
- تصاویر
- انجام
- پیاده سازی
- اجرا
- مهم
- بهبود
- in
- مشمول
- شامل
- از جمله
- وارد شونده
- افزایش
- به طور مستقل
- صنعتی
- شالوده
- ورودی
- نصب
- نصب کردن
- نمونه
- ادغام
- ادغام
- ادغام
- یکپارچگی
- تعامل
- علاقه مند
- اینترنت
- اینترنت از چیزهایی که
- به
- اینترنت اشیا
- دستگاه اینترنت اشیا
- IT
- ایتالیایی
- خود
- JPG
- json
- تنها
- نگاه داشتن
- کلید
- دانستن
- برچسب
- آخرین
- یادگیری
- اجازه
- زندگی
- پسندیدن
- محدود شده
- لاین
- لینک
- زنده
- بار
- بارگیری
- محلی
- واقع شده
- ورود به سیستم
- منطق
- نگاه کنيد
- نگاه
- شکست
- خیلی
- دستگاه
- فراگیری ماشین
- ساخت
- ساخت
- مدیریت
- اداره می شود
- مدیریت
- تولید
- مکانیزم
- حافظه
- پیام
- فلز
- مایکل
- ML
- MLO ها
- مدل
- مدل
- پیمانهای
- ماژول ها
- ماژول ها
- بیش
- اکثر
- چندگانه
- بومی
- طبیعت
- نیاز
- نیازهای
- جدید
- بعد
- نه
- هدف
- of
- پیشنهادات
- غالبا
- on
- منبع باز
- بهینه
- or
- تنظیم و ارکستراسیون
- دیگر
- ما
- خارج
- خارج از منزل
- به طور کلی
- بسته
- بسته بندی
- بخش
- بخش
- شور
- احساساتی
- الگو
- برای
- شخصی
- خط لوله
- سکو
- سیستم عامل
- افلاطون
- هوش داده افلاطون
- PlatoData
- لطفا
- نقطه
- نقطه
- قابل حمل بودن
- ممکن
- پست
- قوی
- تمرین
- پیش گویی
- پیش بینی
- تهیه
- آماده
- آماده شده
- آماده
- خصوصی
- مشکلات
- روند
- در حال پردازش
- تولید کردن
- تولید
- پروژه
- پروژه ها
- ارائه
- فراهم می کند
- عمومی
- اهداف
- قرار دادن
- پــایتــون
- پرسش و پاسخ
- کیفیت
- سوالات
- سریع
- به سرعت
- خواندن
- واقعی
- خلاصه
- توصیه
- كاهش دادن
- را کاهش می دهد
- مراجعه
- با توجه
- ثبت نام
- نسبتا
- قابلیت اطمینان
- قابل اعتماد
- برداشتن
- از بین بردن
- قابل تکرار
- جایگزین
- نیاز
- ضروری
- مورد نیاز
- منابع
- نتیجه
- نتایج
- تنومند
- دویدن
- دونده
- در حال اجرا
- اجرا می شود
- حکیم ساز
- همان
- مقیاس پذیر
- خراش
- بخش
- امن
- ایمن
- دیدن
- مشاهده گردید
- در حال ارسال
- ارشد
- سلسله
- سرور
- بدون سرور
- سرویس
- خدمات
- تنظیم
- محیط
- برپایی
- اشتراک گذاری
- باید
- نشان
- نشان داد
- نشان می دهد
- سایت
- اندازه
- کوچک
- So
- نرم افزار
- راه حل
- مزایا
- حل
- برخی از
- خاص
- سرعت
- هزینه
- ورزش ها
- راه افتادن
- شروع می شود
- دولت
- گام
- مراحل
- ساده
- جریان
- متعاقب
- چنین
- حمایت از
- سیستم
- برخورد با
- طول می کشد
- مصرف
- هدف
- وظایف
- تکنیک
- پیشرفته
- قوانین و مقررات
- آزمون
- که
- La
- دولت
- شان
- آنها
- سپس
- اینها
- اشیاء
- این
- کسانی که
- سه
- سه گام
- از طریق
- زمان
- به
- با هم
- موضوع
- تاپیک
- قابل ردیابی
- آموزش دیده
- آموزش
- انتقال
- دو
- به طور معمول
- منحصر به فرد
- آپلود
- us
- استفاده کنید
- مورد استفاده
- استفاده
- با استفاده از
- تصدیق
- ارزش
- تایید
- بسیار
- از طريق
- می خواهم
- مسیر..
- راه
- we
- وب
- خدمات وب
- خوب
- چه زمانی
- که
- تمام
- عرض
- با
- در داخل
- بدون
- مهاجرت کاری
- مشغول به کار
- گردش کار
- کارگر
- خواهد بود
- X
- هنوز
- شما
- شما
- زفیرنت