تاب آوری نقشی اساسی در توسعه هر حجم کاری ایفا می کند و هوش مصنوعی مولد حجم کاری فرقی نمی کند. هنگام مهندسی بارهای کاری هوش مصنوعی مولد از طریق لنز ارتجاعی ملاحظات منحصر به فردی وجود دارد. درک و اولویتبندی انعطافپذیری برای بارهای کاری هوش مصنوعی مولد برای برآورده کردن الزامات در دسترس بودن سازمانی و تداوم کسبوکار بسیار مهم است. در این پست، ما در مورد دستههای مختلف حجم کاری هوش مصنوعی و اینکه این ملاحظات باید چه باشد بحث میکنیم.
AI مولد تمام پشته
اگرچه بسیاری از هیجانات پیرامون هوش مصنوعی مولد بر روی مدل ها متمرکز است، یک راه حل کامل شامل افراد، مهارت ها و ابزارهایی از چندین حوزه می شود. تصویر زیر را در نظر بگیرید، که یک نمای AWS از پشته برنامه های در حال ظهور a16z برای مدل های زبان بزرگ (LLM) است.
در مقایسه با یک راه حل سنتی تر که پیرامون هوش مصنوعی و یادگیری ماشین (ML) ساخته شده است، یک راه حل مولد هوش مصنوعی اکنون شامل موارد زیر است:
- نقش های جدید - شما باید تیونرهای مدل و همچنین سازنده های مدل و ادغام کننده های مدل را در نظر بگیرید
- ابزار جدید - پشته سنتی MLOps برای پوشش دادن نوع ردیابی آزمایش یا مشاهده پذیری لازم برای مهندسی سریع یا عواملی که ابزارها را برای تعامل با سایر سیستم ها فراخوانی می کنند گسترش نمی یابد.
استدلال عامل
برخلاف مدلهای سنتی هوش مصنوعی، Retrieval Augmented Generation (RAG) با یکپارچهسازی منابع دانش خارجی، پاسخهای دقیقتر و مرتبطتر را امکانپذیر میکند. نکات زیر در هنگام استفاده از RAG وجود دارد:
- تنظیم زمان های مناسب برای تجربه مشتری مهم است. هیچ چیز بیشتر از حضور در وسط یک چت و قطع ارتباط، تجربه کاربری بدی را بیان نمی کند.
- مطمئن شوید که دادههای ورودی سریع و اندازه ورودی اعلان را برای محدودیتهای کاراکتر اختصاصیافته که توسط مدل شما تعریف شده است، تأیید کنید.
- اگر مهندسی سریع انجام می دهید، باید درخواست های خود را به یک فروشگاه داده قابل اعتماد ارسال کنید. این امر از دستورات شما در صورت از دست دادن تصادفی یا به عنوان بخشی از استراتژی کلی بازیابی فاجعه محافظت می کند.
خطوط لوله داده
در مواردی که نیاز به ارائه داده های متنی به مدل پایه با استفاده از الگوی RAG دارید، به یک خط لوله داده نیاز دارید که بتواند داده های منبع را جذب کند، آن را به بردارهای جاسازی تبدیل کند و بردارهای جاسازی شده را در یک پایگاه داده برداری ذخیره کند. اگر دادههای متنی را از قبل آماده کنید، این خط لوله میتواند یک خط لوله دستهای باشد، یا اگر دادههای متنی جدید را در حال ترکیب میکنید، یک خط لوله با تأخیر کم باشد. در مورد دسته ای، چند چالش در مقایسه با خطوط لوله داده معمولی وجود دارد.
منابع داده ممکن است اسناد PDF در یک سیستم فایل، داده های یک سیستم نرم افزار به عنوان سرویس (SaaS) مانند یک ابزار CRM، یا داده های یک ویکی یا پایگاه دانش موجود باشد. دریافت از این منابع با منابع داده معمولی مانند داده های گزارش در یک متفاوت است سرویس ذخیره سازی ساده آمازون (Amazon S3) سطل یا داده های ساختار یافته از یک پایگاه داده رابطه ای. سطح موازی که می توانید به آن دست یابید ممکن است توسط سیستم منبع محدود شده باشد، بنابراین شما باید درگیری را در نظر بگیرید و از تکنیک های عقب نشینی استفاده کنید. برخی از سیستمهای منبع ممکن است شکننده باشند، بنابراین باید مدیریت خطا را ایجاد کنید و منطق را دوباره امتحان کنید.
مدل جاسازی می تواند یک گلوگاه عملکرد باشد، صرف نظر از اینکه آن را به صورت محلی در خط لوله اجرا می کنید یا یک مدل خارجی فراخوانی می کنید. مدلهای جاسازی، مدلهای پایهای هستند که بر روی پردازندههای گرافیکی اجرا میشوند و ظرفیت نامحدودی ندارند. اگر مدل به صورت محلی اجرا می شود، باید کار را بر اساس ظرفیت GPU اختصاص دهید. اگر مدل به صورت خارجی اجرا می شود، باید مطمئن شوید که مدل خارجی را اشباع نمی کنید. در هر صورت، سطح موازی که می توانید به دست آورید، به جای اینکه چه مقدار CPU و RAM در سیستم پردازش دسته ای در دسترس دارید، توسط مدل تعبیه شده تعیین می شود.
در مورد تأخیر کم، باید زمان تولید بردارهای جاسازی را در نظر بگیرید. برنامه فراخوانی باید خط لوله را به صورت ناهمزمان فراخوانی کند.
پایگاه های داده برداری
یک پایگاه داده برداری دو عملکرد دارد: ذخیره سازی بردارها و اجرای جستجوی مشابه برای یافتن نزدیکترین آنها k با یک بردار جدید مطابقت دارد. سه نوع کلی پایگاه داده برداری وجود دارد:
- گزینه های اختصاصی SaaS مانند Pinecone.
- ویژگی های پایگاه داده برداری که در سرویس های دیگر تعبیه شده است. این شامل خدمات بومی AWS مانند سرویس جستجوی باز آمازون و آمازون شفق قطبی.
- گزینه های درون حافظه ای که می توانند برای داده های گذرا در سناریوهای با تأخیر کم استفاده شوند.
ما در این پست قابلیت های جستجوی شباهت را به تفصیل پوشش نمی دهیم. اگرچه آنها مهم هستند، اما جنبه عملکردی سیستم هستند و مستقیماً بر انعطاف پذیری تأثیر نمی گذارند. در عوض، ما بر جنبه های انعطاف پذیری یک پایگاه داده برداری به عنوان یک سیستم ذخیره سازی تمرکز می کنیم:
- تاخیر – آیا پایگاه داده برداری می تواند در برابر بار زیاد یا غیرقابل پیش بینی عملکرد خوبی داشته باشد؟ در غیر این صورت، برنامه تماس گیرنده باید محدودیت نرخ و عقب نشینی را مدیریت کرده و دوباره امتحان کند.
- مقیاس پذیری - سیستم چند بردار را می تواند نگه دارد؟ اگر از ظرفیت پایگاه داده برداری فراتر رفتید، باید به دنبال به اشتراک گذاری یا راه حل های دیگر باشید.
- در دسترس بودن بالا و بازیابی فاجعه - جاسازی بردارها داده های ارزشمندی هستند و بازآفرینی آنها می تواند گران باشد. آیا پایگاه داده برداری شما در یک منطقه AWS بسیار در دسترس است؟ آیا این قابلیت را دارد که داده ها را به منطقه دیگری برای اهداف بازیابی فاجعه تکرار کند؟
ردیف برنامه
هنگام ادغام راه حل های هوش مصنوعی مولد، سه ملاحظات منحصر به فرد برای لایه برنامه وجود دارد:
- تاخیر بالقوه بالا – مدل های پایه اغلب بر روی نمونه های GPU بزرگ اجرا می شوند و ممکن است ظرفیت محدودی داشته باشند. اطمینان حاصل کنید که از بهترین شیوه ها برای محدود کردن نرخ، عقب نشینی و تلاش مجدد و کاهش بار استفاده می کنید. از طرح های ناهمزمان استفاده کنید تا تاخیر زیاد با رابط اصلی برنامه تداخلی ایجاد نکند.
- وضعیت امنیتی – اگر از عوامل، ابزارها، پلاگین ها یا روش های دیگر برای اتصال یک مدل به سیستم های دیگر استفاده می کنید، به وضعیت امنیتی خود توجه بیشتری داشته باشید. مدل ها ممکن است سعی کنند به روش های غیرمنتظره ای با این سیستم ها تعامل کنند. از رویه عادی دسترسی با حداقل امتیاز پیروی کنید، به عنوان مثال محدود کردن درخواستهای دریافتی از سیستمهای دیگر.
- چارچوب هایی که به سرعت در حال تکامل هستند - چارچوب های منبع باز مانند LangChain به سرعت در حال توسعه هستند. از یک رویکرد میکروسرویس برای جداسازی سایر اجزا از این چارچوبهای کمتر بالغ استفاده کنید.
ظرفیت
ما می توانیم در مورد ظرفیت در دو زمینه فکر کنیم: استنتاج و خطوط لوله داده مدل آموزشی. زمانی که سازمان ها در حال ساخت خطوط لوله خود هستند، ظرفیت مورد توجه قرار می گیرد. CPU و حافظه مورد نیاز دو مورد از بزرگترین نیازها هنگام انتخاب نمونه هایی برای اجرای بارهای کاری شما هستند.
به دست آوردن نمونه هایی که می توانند بارهای کاری هوش مصنوعی مولد را پشتیبانی کنند، نسبت به نمونه معمولی معمولی شما دشوارتر است. انعطاف پذیری نمونه می تواند به برنامه ریزی ظرفیت و ظرفیت کمک کند. بسته به اینکه در چه منطقه AWS حجم کاری خود را اجرا می کنید، انواع مختلفی از نمونه ها در دسترس هستند.
برای سفرهای کاربر که حیاتی هستند، سازمانها میخواهند انواع نمونههای رزرو یا پیشتامین را در نظر بگیرند تا در صورت نیاز از در دسترس بودن اطمینان حاصل کنند. این الگو به یک معماری پایدار از نظر استاتیکی دست می یابد که بهترین روش ارتجاعی است. برای کسب اطلاعات بیشتر در مورد پایداری استاتیک در ستون قابلیت اطمینان AWS Well-Architected Framework، به برای جلوگیری از رفتار دووجهی از پایداری استاتیکی استفاده کنید.
مشاهده
علاوه بر معیارهای منابعی که معمولاً جمعآوری میکنید، مانند استفاده از CPU و RAM، اگر یک مدل را میزبانی میکنید، باید بهدقت استفاده از GPU را زیر نظر داشته باشید. آمازون SageMaker or ابر محاسبه الاستیک آمازون (آمازون EC2). در صورت تغییر مدل پایه یا داده های ورودی، استفاده از GPU می تواند به طور غیرمنتظره ای تغییر کند و تمام شدن حافظه GPU می تواند سیستم را در حالت ناپایدار قرار دهد.
بالاتر از پشته، همچنین می خواهید جریان تماس ها را از طریق سیستم ردیابی کنید و تعاملات بین عامل ها و ابزارها را ثبت کنید. از آنجایی که رابط بین عامل ها و ابزارها به طور رسمی کمتر از یک قرارداد API تعریف شده است، شما باید این ردیابی ها را نه تنها برای عملکرد، بلکه برای گرفتن سناریوهای خطای جدید نیز کنترل کنید. برای نظارت بر مدل یا عامل برای هرگونه خطر و تهدید امنیتی، می توانید از ابزارهایی مانند وظیفه گارد آمازون.
شما همچنین باید خطوط پایه جاسازی بردارها، اعلان ها، زمینه و خروجی و تعاملات بین آنها را نیز ثبت کنید. اگر اینها در طول زمان تغییر کنند، ممکن است نشان دهد که کاربران از سیستم به روشهای جدیدی استفاده میکنند، دادههای مرجع فضای سؤال را به یک شکل پوشش نمیدهند، یا خروجی مدل به طور ناگهانی متفاوت است.
بازیابی فاجعه
داشتن یک طرح تداوم کسب و کار با استراتژی بازیابی بلایا برای هر حجم کاری ضروری است. بار کاری هوش مصنوعی مولد تفاوتی ندارد. درک حالت های شکست که برای حجم کاری شما قابل اجرا هستند به هدایت استراتژی شما کمک می کند. اگر از خدمات مدیریت شده AWS برای حجم کاری خود استفاده می کنید، مانند بستر آمازون و SageMaker، مطمئن شوید که این سرویس در منطقه AWS بازیابی شما در دسترس است. از زمان نگارش این مقاله، این سرویسهای AWS از تکثیر دادهها در مناطق AWS به صورت بومی پشتیبانی نمیکنند، بنابراین باید در مورد استراتژیهای مدیریت دادههای خود برای بازیابی فاجعه فکر کنید، و همچنین ممکن است نیاز به تنظیم دقیق در چندین منطقه AWS داشته باشید.
نتیجه
این پست نحوه در نظر گرفتن انعطافپذیری را هنگام ساخت راهحلهای هوش مصنوعی مولد توضیح میدهد. اگرچه برنامه های کاربردی هوش مصنوعی مولد دارای تفاوت های ظریف جالبی هستند، الگوهای انعطاف پذیری موجود و بهترین شیوه ها همچنان اعمال می شوند. این فقط یک موضوع ارزیابی هر بخش از یک برنامه کاربردی هوش مصنوعی مولد و به کارگیری بهترین شیوه های مربوطه است.
برای اطلاعات بیشتر در مورد هوش مصنوعی مولد و استفاده از آن با خدمات AWS، به منابع زیر مراجعه کنید:
درباره نویسنده
جنیفر موران یک معمار ارشد راه حل های متخصص تاب آوری AWS است که در شهر نیویورک مستقر است. او سوابق متنوعی دارد و در بسیاری از رشتههای فنی از جمله توسعه نرمافزار، رهبری چابک و DevOps کار کرده است و مدافع زنان در فناوری است. او از کمک به مشتریان برای طراحی راهحلهای انعطافپذیر برای بهبود وضعیت انعطافپذیری لذت میبرد و به طور عمومی در مورد همه موضوعات مرتبط با تابآوری صحبت میکند.
رندی دیفاو یک معمار ارشد راه حل در AWS است. او دارای مدرک MSEE از دانشگاه میشیگان است، جایی که روی بینایی کامپیوتری برای وسایل نقلیه خودران کار می کرد. او همچنین دارای مدرک MBA از دانشگاه ایالتی کلرادو است. رندی موقعیت های مختلفی را در فضای فناوری از مهندسی نرم افزار گرفته تا مدیریت محصول داشته است. او در سال 2013 وارد فضای کلان داده شد و به کاوش در آن منطقه ادامه می دهد. او به طور فعال روی پروژه هایی در فضای ML کار می کند و در کنفرانس های متعددی از جمله Strata و GlueCon ارائه کرده است.
- محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
- PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
- PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
- PlatoESG. کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
- PlatoHealth. هوش بیوتکنولوژی و آزمایشات بالینی. دسترسی به اینجا.
- منبع: https://aws.amazon.com/blogs/machine-learning/designing-generative-ai-workloads-for-resilience/
- : دارد
- :است
- :نه
- :جایی که
- $UP
- 100
- 2013
- 7
- a
- a16z
- توانایی
- درباره ما
- دسترسی
- تصادفی
- حساب
- دقیق
- رسیدن
- دستیابی به
- در میان
- فعالانه
- پیشرفت
- مدافع
- اثر
- در برابر
- عامل
- عاملان
- فرز
- AI
- مدل های هوش مصنوعی
- معرفی
- اختصاص داده شده است
- اجازه می دهد تا
- همچنین
- هر چند
- آمازون
- آمازون EC2
- آمازون خدمات وب
- an
- و
- دیگر
- هر
- API
- نرم افزار
- مربوط
- کاربرد
- برنامه های کاربردی
- درخواست
- با استفاده از
- روش
- مناسب
- معماری
- هستند
- محدوده
- دور و بر
- AS
- ظاهر
- جنبه
- At
- توجه
- افزوده شده
- خود مختار
- خودروهای خودمختار
- دسترس پذیری
- در دسترس
- میانگین
- AWS
- زمینه
- بد
- پایه
- مستقر
- BE
- زیرا
- بودن
- بهترین
- بهترین شیوه
- میان
- بزرگ
- بزرگ داده
- بزرگترین
- تنگنا
- ساختن
- سازندگان
- بنا
- ساخته
- کسب و کار
- تداوم کسب و کار
- اما
- by
- صدا
- فراخوانی
- تماس ها
- CAN
- قابلیت های
- ظرفیت
- گرفتن
- ضبط
- مورد
- موارد
- چالش ها
- تغییر دادن
- تبادل
- شخصیت
- گپ
- انتخاب
- شهر:
- نزدیک
- جمع آوری
- کلرادو
- مقایسه
- کامل
- اجزاء
- محاسبه
- کامپیوتر
- چشم انداز کامپیوتر
- همایش ها
- اتصال
- در نظر بگیرید
- توجه
- ملاحظات
- زمینه
- زمینه ها
- متنی
- ادامه
- پیوستگی
- قرارداد
- تبدیل
- میتوانست
- زن و شوهر
- پوشش
- پوشش
- بحرانی
- CRM
- بسیار سخت
- مشتری
- تجربه مشتری
- مشتریان
- داده ها
- مدیریت اطلاعات
- پایگاه داده
- پایگاه های داده
- مشخص
- بستگی دارد
- شرح داده شده
- طرح
- طراحی
- طرح
- جزئیات
- پروژه
- دیکته شده
- مختلف
- مشکل
- مستقیما
- فاجعه
- رشته ها
- منفصل
- بحث و تبادل نظر
- مختلف
- do
- اسناد و مدارک
- میکند
- نمی کند
- حوزه
- آیا
- هر
- هر دو
- تعبیه کردن
- سنگ سنباده
- مهندسی
- اطمینان حاصل شود
- وارد
- خطا
- ارزیابی
- در حال تحول
- مثال
- تجاوز
- هیجان
- موجود
- گران
- تجربه
- تجربه
- اکتشاف
- گسترش
- خارجی
- بیرون
- اضافی
- شکست
- امکانات
- پرونده
- پیدا کردن
- انعطاف پذیری
- جریان
- تمرکز
- تمرکز
- به دنبال
- پیروی
- برای
- رسما
- پایه
- چارچوب
- چارچوب
- از جانب
- تابعی
- توابع
- سوالات عمومی
- همه منظوره
- تولید می کنند
- نسل
- مولد
- هوش مصنوعی مولد
- گرفتن
- GPU
- GPU ها
- راهنمایی
- دسته
- اداره
- آیا
- داشتن
- he
- برگزار شد
- کمک
- کمک
- زیاد
- خیلی
- نگه داشتن
- دارای
- میزبان
- چگونه
- چگونه
- HTML
- HTTP
- HTTPS
- if
- مهم
- بهبود
- in
- شامل
- از جمله
- وارد شونده
- گنجاندن
- نشان دادن
- اطلاعات
- ورودی
- نمونه
- در عوض
- ادغام
- تعامل
- فعل و انفعالات
- جالب
- رابط
- مداخله کردن
- به
- شامل
- IT
- سفرها
- تنها
- دانش
- زبان
- بزرگ
- تاخیر
- رهبری
- یاد گرفتن
- یادگیری
- لنز
- کمتر
- سطح
- پسندیدن
- محدود شده
- محدود کردن
- محدودیت
- LLM
- بار
- به صورت محلی
- ورود به سیستم
- منطق
- نگاه کنيد
- خاموش
- خیلی
- دستگاه
- فراگیری ماشین
- اصلی
- ساخت
- اداره می شود
- مدیریت
- بسیاری
- کبریت
- ماده
- بالغ
- ممکن است..
- دیدار
- حافظه
- روش
- متریک
- میشیگان
- خدمات میکرو
- متوسط
- ML
- MLO ها
- مدل
- مدل
- حالت های
- مانیتور
- بیش
- بسیار
- چندگانه
- باید
- بومی
- بومی
- لازم
- نیاز
- ضروری
- نیازهای
- جدید
- نیویورک
- شهر نیویورک
- نه
- طبیعی
- هیچ چی
- اکنون
- تفاوت های ظریف
- متعدد
- گرفتن
- of
- غالبا
- on
- فقط
- باز کن
- منبع باز
- گزینه
- or
- سازمانی
- سازمان های
- دیگر
- خارج
- تولید
- روی
- به طور کلی
- خود
- بخش
- الگو
- الگوهای
- پرداخت
- مردم
- انجام
- کارایی
- انجام
- تصویر
- ستون
- خط لوله
- محوری
- برنامه
- برنامه ریزی
- افلاطون
- هوش داده افلاطون
- PlatoData
- نقش
- پلاگین ها
- موقعیت
- پست
- تمرین
- شیوه های
- آماده
- ارائه شده
- جلوگیری از
- اصلی
- اولویت بندی
- در حال پردازش
- محصول
- مدیریت تولید
- پروژه ها
- پرسیدن
- ارائه
- عمومی
- اهداف
- قرار دادن
- سوال
- پارچه
- رم
- اعم
- سریعا
- نرخ
- نسبتا
- بهبود
- مراجعه
- مرجع
- بدون در نظر گرفتن
- منطقه
- مناطق
- مربوط
- مربوط
- قابلیت اطمینان
- قابل اعتماد
- تکرار
- مورد نیاز
- حالت ارتجاعی
- انعطاف پذیر
- منابع
- منابع
- پاسخ
- محدود کردن
- بازیابی
- خطرات
- نقش
- دویدن
- در حال اجرا
- اجرا می شود
- SAAS
- حکیم ساز
- همان
- می گوید:
- سناریوها
- جستجو
- جستجو
- تیم امنیت لاتاری
- خطرات امنیتی
- ارشد
- سرویس
- خدمات
- چند
- sharding
- او
- ریختن
- باید
- ساده
- تنها
- اندازه
- مهارت ها
- So
- نرم افزار
- نرم افزار به عنوان یک سرویس
- توسعه نرم افزار
- مهندسی نرم افزار
- راه حل
- مزایا
- برخی از
- منبع
- منابع
- فضا
- صحبت می کند
- متخصص
- ثبات
- پایدار
- پشته
- پشته
- دولت
- ایستا
- هنوز
- ذخیره سازی
- opbevare
- استراتژی ها
- استراتژی
- ساخت یافته
- چنین
- پشتیبانی
- مطمئن
- سیستم
- سیستم های
- گرفتن
- طول می کشد
- طبقه بندی
- فن آوری
- فنی
- تکنیک
- پیشرفته
- نسبت به
- که
- La
- منبع
- شان
- آنها
- آنجا.
- اینها
- آنها
- فکر می کنم
- این
- کسانی که
- تهدید
- سه
- از طریق
- ردیف
- زمان
- به
- ابزار
- ابزار
- تاپیک
- پی گیری
- پیگردی
- سنتی
- آموزش
- امتحان
- دو
- نوع
- انواع
- نوعی
- به طور معمول
- درک
- غیر منتظره
- منحصر به فرد
- دانشگاه
- نا محدود
- غیرقابل پیش بینی
- استفاده کنید
- استفاده
- کاربر
- سابقه کاربر
- کاربران
- با استفاده از
- تصدیق
- ارزشمند
- تنوع
- وسایل نقلیه
- چشم انداز
- دید
- می خواهم
- مسیر..
- راه
- we
- وب
- خدمات وب
- خوب
- چی
- چه زمانی
- چه
- که
- اراده
- با
- زنان
- مهاجرت کاری
- مشغول به کار
- کارگر
- نوشته
- نیویورک
- شما
- شما
- زفیرنت