روندهای فناوری و پیشرفت در رسانه های دیجیتال در دهه گذشته یا بیشتر منجر به تکثیر داده های مبتنی بر متن شده است. مزایای بالقوه استخراج این متن برای به دست آوردن بینش، چه تاکتیکی و چه استراتژیک، بسیار زیاد است. این پردازش زبان طبیعی (NLP) نامیده می شود. برای مثال، میتوانید از NLP برای تجزیه و تحلیل نظرات محصول خود از نظر احساسات مشتری، آموزش یک مدل شناسایی موجودیت سفارشی برای شناسایی انواع محصول مورد علاقه بر اساس نظرات مشتری، یا آموزش یک مدل طبقهبندی متن سفارشی برای تعیین محبوبترین دستههای محصول استفاده کنید.
درک آمازون یک سرویس NLP با هوش آماده برای استخراج بینش در مورد محتوای اسناد است. با شناسایی موجودیت ها، عبارات کلیدی، زبان، احساسات و سایر عناصر مشترک در یک سند، بینش ها را توسعه می دهد. Amazon Comprehend Custom از یادگیری ماشین خودکار (Auto ML) برای ساخت مدلهای NLP از طرف شما با استفاده از دادههای خود استفاده میکند. این به شما امکان می دهد تا نهادهای منحصر به فرد کسب و کار خود را شناسایی کنید یا متن یا اسناد را بر اساس نیاز خود طبقه بندی کنید. علاوه بر این، میتوانید کل گردش کار NLP خود را با استفاده از APIهای آسان، خودکار کنید.
امروز ما خوشحالیم که راه اندازی ویژگی کپی مدل سفارشی Amazon Comprehend را اعلام کنیم، که به شما امکان می دهد مدل های سفارشی Amazon Comprehend خود را به طور خودکار از یک حساب منبع به حساب های هدف تعیین شده در همان منطقه بدون نیاز به دسترسی به مجموعه داده های مدل کپی کنید. تحت آموزش و ارزیابی قرار گرفت. از امروز می توانید از کنسول مدیریت AWS, رابط خط فرمان AWS (AWS CLI)، یا API های boto3 (پایتون SDK برای AWS) برای کپی کردن مدل های سفارشی آموزش دیده از یک حساب منبع به یک حساب هدف تعیین شده. این ویژگی جدید هم برای طبقه بندی سفارشی Amazon Comprehend و هم برای مدل های تشخیص موجودیت سفارشی در دسترس است.
مزایای ویژگی کپی مدل
این ویژگی جدید دارای مزایای زیر است:
- استراتژی MLOps چند حسابی - یک مدل را یک بار آموزش دهید و از استقرار قابل پیش بینی در چندین محیط در حساب های مختلف اطمینان حاصل کنید.
- استقرار سریعتر - می توانید به سرعت یک مدل آموزش دیده را بین حساب ها کپی کنید و از زمان صرف شده برای آموزش مجدد در هر حساب اجتناب کنید.
- از مجموعه داده های حساس محافظت کنید - اکنون دیگر نیازی به اشتراک گذاری مجموعه داده ها بین حساب ها یا کاربران مختلف ندارید. داده های آموزشی باید فقط در حسابی که آموزش در آن انجام می شود در دسترس باشد. این برای صنایع خاصی مانند خدمات مالی بسیار مهم است، جایی که جداسازی داده ها و جعبه شنی برای برآورده کردن الزامات قانونی ضروری است.
- همکاری آسان - شرکا یا فروشندگان اکنون می توانند به راحتی در Amazon Comprehend Custom آموزش ببینند و مدل ها را با مشتریان خود به اشتراک بگذارند.
کپی مدل چگونه کار می کند
با ویژگی کپی مدل جدید، می توانید مدل های سفارشی را بین حساب های AWS در همان منطقه در یک فرآیند دو مرحله ای کپی کنید. ابتدا، یک کاربر در یک حساب AWS (حساب A)، یک مدل سفارشی را که در حسابش است به اشتراک می گذارد. سپس، یک کاربر در یک حساب AWS دیگر (حساب B) مدل را به حساب خود وارد می کند.
مدل را به اشتراک بگذارید
برای به اشتراک گذاشتن یک مدل سفارشی در حساب A، کاربر یک را پیوست می کند هویت AWS و مدیریت دسترسی (IAM) سیاست مبتنی بر منبع به یک نسخه مدل. این خطمشی به یک نهاد در حساب B، مانند یک کاربر یا نقش IAM، اجازه میدهد نسخه مدل را در حساب AWS خود به Amazon Comprehend وارد کند. میتوانید یک خطمشی مبتنی بر منبع را از طریق کنسول یا با سفارشی Amazon Comprehend پیکربندی کنید PutResourcePolicy
API
یک مدل وارد کنید
برای وارد کردن مدل به حساب B، کاربر این حساب جزئیات لازم مانند نام منبع آمازون (ARN) مدل را در اختیار Amazon Comprehend قرار می دهد. هنگامی که آنها مدل را وارد می کنند، این کاربر یک مدل سفارشی جدید در حساب AWS خود ایجاد می کند که مدلی را که وارد کرده است تکرار می کند. این مدل کاملاً آموزش دیده و برای کارهای استنباط مانند طبقه بندی اسناد یا شناسایی نهادهای نامگذاری شده آماده است. اگر مدل با یک رمزگذاری شده باشد سرویس مدیریت کلید AWS (AWS KMS) را در منبع کلید کنید، سپس نقش سرویس مشخص شده در هنگام وارد کردن مدل باید به کلید KMS دسترسی داشته باشد تا مدل در حین واردات رمزگشایی شود. حساب هدف همچنین می تواند یک کلید KMS برای رمزگذاری مدل در حین وارد کردن مشخص کند. وارد کردن مدل اشتراکگذاری شده هم در کنسول و هم بهعنوان API در دسترس است.
بررسی اجمالی راه حل
برای نشان دادن عملکرد ویژگی کپی مدل، ما به شما نشان می دهیم که چگونه با استفاده از کنسول آمازون و AWS CLI یک مدل شناسایی موجودیت سفارشی Amazon Comprehend را آموزش دهید، به اشتراک بگذارید و وارد کنید. برای این نمایش، از دو حساب مختلف استفاده می کنیم. این مراحل برای طبقه بندی سفارشی آمازون Comprehend نیز قابل اجرا هستند. مراحل مورد نیاز به شرح زیر است:
- یک مدل شناسایی موجودیت سفارشی Amazon Comprehend را در حساب منبع آموزش دهید.
- خط مشی منابع IAM را برای مدل آموزش دیده تعریف کنید تا امکان دسترسی بین حساب ها را فراهم کند.
- مدل آموزش دیده را از اکانت منبع به حساب هدف کپی کنید.
- مدل کپی شده را از طریق یک کار دسته ای آزمایش کنید.
یک مدل شناسایی موجودیت سفارشی Amazon Comprehend را در حساب منبع آموزش دهید
اولین قدم آموزش یک مدل تشخیص نهاد سفارشی Amazon Comprehend در حساب منبع است. به عنوان یک مجموعه داده ورودی برای آموزش، از یک CSV استفاده می کنیم لیست موجودیت و اسناد آموزشی برای تشخیص خدمات AWS در یک سند داده شده. مطمئن شوید که لیست نهاد و مدارک آموزشی در یک سرویس ذخیره سازی ساده آمازون (Amazon S3) سطل در حساب منبع. برای دستورالعمل، نگاه کنید افزودن اسناد به آمازون S3.
یک نقش IAM ایجاد کنید برای Amazon Comprehend و دسترسی لازم به سطل S3 را با داده های آموزشی فراهم کنید. به نقش مسیرهای سطل ARN و S3 برای استفاده در مراحل بعدی توجه کنید.
یک مدل را با AWS CLI آموزش دهید
با استفاده از دستور AWS CLI زیر یک شناساگر موجودیت ایجاد کنید. پارامترهای خود را با مسیرهای S3، نقش IAM و منطقه جایگزین کنید. پاسخ به عقب برمی گردد EntityRecognizerArn
.
وضعیت شغل آموزشی را می توان با فراخوانی Describe-entity-Recognizer و بررسی وضعیت موجود در پاسخ مشاهده کرد.
آموزش یک مدل از طریق کنسول
برای آموزش مدل از طریق کنسول مراحل زیر را انجام دهید:
- در کنسول آمازون Comprehend، در زیر سفارشی سازی، یک مدل شناسایی کننده موجودیت سفارشی جدید ایجاد کنید.
- نام مدل و نسخه را ارائه دهید.
- برای زبان، انتخاب کنید انگلیسی.
- برای نوع نهاد سفارشی، اضافه کردن
AWS_OFFERING
.
برای آموزش یک مدل تشخیص موجودیت سفارشی، میتوانید یکی از دو روش را برای ارائه داده به Amazon Comprehend انتخاب کنید: حاشیه نویسی or لیست های موجودیت. برای سادگی، از روش لیست موجودیت استفاده کنید.
- برای قالب داده، انتخاب کنید پرونده CSV.
- برای نوع آموزش، انتخاب کنید استفاده از لیست موجودیت و اسناد آموزشی.
- مسیرهای مکان S3 را برای CSV لیست موجودیت و داده های آموزشی ارائه دهید.
- برای اعطای مجوز به Amazon Comprehend برای دسترسی به سطل S3 خود، یک نقش مرتبط با سرویس IAM ایجاد کنید.
در سیاست مبتنی بر منابع بخش، شما می توانید اجازه دسترسی برای نسخه مدل را صادر کنید. حساب هایی که به آنها اجازه دسترسی می دهید می توانند این مدل را به حساب خود وارد کنند. فعلاً از این مرحله صرف نظر می کنیم و پس از آموزش مدل و رضایت از عملکرد مدل، خط مشی را اضافه می کنیم.
- را انتخاب کنید ساختن.
این شناسه موجودیت سفارشی شما را ارسال می کند، که از طریق تعدادی مدل می گذرد، هایپرپارامترهای شما را تنظیم می کند و اعتبار متقاطع را بررسی می کند تا مطمئن شود که مدل شما قوی است. اینها همه همان فعالیت هایی هستند که دانشمندان داده انجام می دهند.
خط مشی منابع IAM را برای مدل آموزش دیده تعریف کنید تا امکان دسترسی بین حساب ها را فراهم کند
وقتی از عملکرد آموزشی راضی هستیم، میتوانیم ادامه دهیم و نسخه مدل خاص را با افزودن یک خطمشی منبع به اشتراک بگذاریم.
یک خط مشی مبتنی بر منبع از AWS CLI اضافه کنید
همانطور که در کد زیر نشان داده شده است، با افزودن یک خط مشی منبع روی مدل، مجوز وارد کردن مدل از حساب هدف را صادر کنید. این خطمشی میتواند به شدت به یک نسخه مدل خاص و اصل هدف محدود شود. برای ارائه دسترسی، ARN شناساگر نهاد آموزش دیده خود و حساب هدف را جایگزین کنید.
یک خط مشی مبتنی بر منبع را از طریق کنسول اضافه کنید
وقتی آموزش کامل شد، یک نسخه مدل شناسایی موجودیت سفارشی تولید میشود. ما می توانیم مدل و نسخه آموزش دیده را برای مشاهده جزئیات آموزش از جمله عملکرد مدل آموزش دیده انتخاب کنیم.
برای به روز رسانی خط مشی، مراحل زیر را انجام دهید:
- بر برچسب ها، VPC و خط مشی برگه، خط مشی مبتنی بر منبع را ویرایش کنید.
- نام خط مشی، اصل سرویس آمازون Comprehend (
comprehend.amazonaws.com
)، شناسه حساب هدف، و کاربران IAM در حساب هدف مجاز به وارد کردن نسخه مدل هستند.
مشخص می کنیم root
به عنوان نهاد IAM برای اجازه دادن به همه کاربران در حساب هدف.
مدل آموزش دیده را از اکانت منبع به حساب هدف کپی کنید
اکنون مدل آموزش داده شده و از حساب منبع به اشتراک گذاشته شده است. کاربر مجاز حساب هدف می تواند مدل را وارد کرده و یک کپی از مدل را در حساب خود ایجاد کند.
برای وارد کردن یک مدل، باید مدل منبع ARN و نقش سرویس را برای Amazon Comprehend مشخص کنید تا عمل کپی را در حساب شما انجام دهد. می توانید یک شناسه AWS KMS اختیاری برای رمزگذاری مدل در حساب هدف خود تعیین کنید.
مدل را از طریق AWS CLI وارد کنید
برای وارد کردن مدل خود با AWS CLI، کد زیر را وارد کنید:
مدل را از طریق کنسول وارد کنید
برای وارد کردن مدل از طریق کنسول، مراحل زیر را انجام دهید:
- در کنسول آمازون Comprehend، در زیر شناسایی موجودیت سفارشی، انتخاب کنید نسخه وارداتی.
- برای نسخه مدل ARN، ARN را برای مدل آموزش داده شده در حساب منبع وارد کنید.
- نام مدل و نسخه مورد نظر را وارد کنید.
- یک نقش حساب سرویس ارائه دهید و انتخاب کنید تکرار برای شروع فرآیند واردات مدل
پس از تغییر وضعیت مدل به Imported
، می توانیم جزئیات مدل از جمله جزئیات عملکرد مدل آموزش دیده را مشاهده کنیم.
مدل کپی شده را از طریق یک کار دسته ای آزمایش کنید
ما مدل کپی شده را در حساب هدف با شناسایی نهادهای سفارشی با یک کار دستهای آزمایش میکنیم. برای تست مدل، دانلود کنید فایل تست و آن را در یک سطل S3 در حساب هدف خود قرار دهید. یک نقش IAM ایجاد کنید برای Amazon Comprehend و دسترسی مورد نیاز به سطل S3 را با داده های آزمایشی فراهم کنید. شما از مسیرهای سطل نقش ARN و S3 استفاده می کنید که قبلاً اشاره کردید.
وقتی کار کامل شد، میتوانید دادههای استنتاج را در سطل S3 خروجی مشخص شده تأیید کنید.
مدل را با AWS CLI تست کنید
برای تست مدل با استفاده از AWS CLI کد زیر را وارد کنید:
مدل را از طریق کنسول تست کنید
برای تست مدل از طریق کنسول، مراحل زیر را انجام دهید:
- در کنسول آمازون Comprehend، را انتخاب کنید تحلیل مشاغل و انتخاب کنید ایجاد شغل.
- برای نام، یک نام برای کار وارد کنید.
- برای نوع تحلیلانتخاب کنید شناسایی موجودیت سفارشی.
- نام مدل و نسخه مدل وارد شده را انتخاب کنید.
- مسیرهای S3 را برای فایل آزمایشی کار و محل خروجی که Amazon Comprehend نتیجه را در آن ذخیره می کند، ارائه دهید.
- یک نقش IAM با اجازه دسترسی به سطل های S3 را انتخاب یا ایجاد کنید.
- را انتخاب کنید ایجاد شغل.
وقتی کار تجزیه و تحلیل شما کامل شد، فایلهای JSON در مسیر سطل خروجی S3 خود دارید که میتوانید آنها را دانلود کنید تا نتایج شناسایی موجودیت را از مدل وارد شده تأیید کنید.
نتیجه
در این پست، ویژگی کپی مدل نهاد سفارشی Amazon Comprehend را نشان دادیم. این ویژگی به شما این امکان را می دهد که یک مدل شناسایی یا طبقه بندی موجودیت سفارشی Amazon Comprehend را در یک حساب آموزش دهید و سپس مدل را با حساب دیگری در همان منطقه به اشتراک بگذارید. این استراتژی چند حسابی را ساده میکند که در آن مدل میتواند یک بار آموزش داده شود و بین حسابهای موجود در همان منطقه بدون نیاز به آموزش مجدد یا اشتراکگذاری مجموعه دادههای آموزشی به اشتراک گذاشته شود. این امکان استقرار قابل پیش بینی را در هر حساب به عنوان بخشی از گردش کار MLOps شما فراهم می کند. برای اطلاعات بیشتر، مستندات ما را در کپی سفارشی را درک کنید، یا از طریق کنسول یا با استفاده از پوسته ابری با AWS CLI، راهنما را در این پست امتحان کنید.
از زمان نوشتن این مقاله، ویژگی کپی مدل در Amazon Comprehend در مناطق زیر در دسترس است:
- شرق ایالات متحده (اوهایو)
- شرق ایالات متحده (N. Virginia)
- غرب ایالات متحده (اورگان)
- آسیا و اقیانوسیه (بمبئی)
- آسیا و اقیانوسیه (سئول)
- آسیا و اقیانوسیه (سنگاپور)
- آسیا و اقیانوسیه (سیدنی)
- آسیا و اقیانوسیه (توکیو)
- اتحادیه اروپا (فرانکفورت)
- اتحادیه اروپا (ایرلند)
- اتحادیه اروپا (لندن)
- AWS GovCloud (ایالات متحده-غرب)
این ویژگی را امتحان کنید، و لطفاً بازخورد خود را از طریق آن برای ما ارسال کنید انجمن AWS برای Amazon Comprehend یا از طریق مخاطبین معمول پشتیبانی AWS شما.
درباره نویسنده
پرمکومار رنگاراجان یک معمار راه حل های تخصصی AI/ML در خدمات وب آمازون است و قبلاً کتاب پردازش زبان طبیعی با خدمات هوش مصنوعی AWS را تالیف کرده است. او 26 سال تجربه در صنعت IT در نقش های مختلف از جمله رهبری تحویل، متخصص یکپارچه سازی و معمار سازمانی دارد. او به شرکتها در هر اندازه کمک میکند تا هوش مصنوعی و ML را برای حل چالشهای دنیای واقعی خود بپذیرند.
چتان کریشنا یک معمار ارشد راه حل شریک در هند است. او با شرکای استراتژیک AWS برای ایجاد یک صلاحیت ابری قوی، اتخاذ بهترین شیوه های AWS و حل چالش های مشتری کار می کند. او سازنده است و از آزمایش AI/ML، IoT و تجزیه و تحلیل لذت می برد.
سریهارشا ام اس یک معمار راه حل متخصص AI/ML در تیم متخصص استراتژیک در خدمات وب آمازون است. او با مشتریان استراتژیک AWS کار می کند که از AI/ML برای حل مشکلات پیچیده تجاری استفاده می کنند. او راهنمایی های فنی و مشاوره طراحی را برای پیاده سازی برنامه های AI/ML در مقیاس ارائه می دهد. تخصص او شامل معماری اپلیکیشن، بیگ دیتا، تجزیه و تحلیل و یادگیری ماشین است.
- Coinsmart. بهترین صرافی بیت کوین و کریپتو اروپا.
- پلاتوبلاک چین. Web3 Metaverse Intelligence. دانش تقویت شده دسترسی رایگان.
- CryptoHawk. رادار آلت کوین امتحان رایگان.
- منبع: https://aws.amazon.com/blogs/machine-learning/announcing-the-launch-of-the-model-copy-feature-for-amazon-comprehend-custom-models/
- "
- &
- 100
- 9
- درباره ما
- دسترسی
- حساب
- عمل
- فعالیت ها
- پیشرفت
- مزیت - فایده - سود - منفعت
- نصیحت
- AI
- خدمات هوش مصنوعی
- معرفی
- آمازون
- آمازون خدمات وب
- تحلیل
- علم تجزیه و تحلیل
- اعلام
- اعلام كردن
- دیگر
- API
- رابط های برنامه کاربردی
- مربوط
- کاربرد
- برنامه های کاربردی
- معماری
- خودکار
- در دسترس
- AWS
- مزایای
- بهترین
- بهترین شیوه
- مرز
- ساختن
- سازنده
- کسب و کار
- چالش ها
- بررسی
- چک
- طبقه بندی
- ابر
- رمز
- نظرات
- مشترک
- پیچیده
- کنسول
- محتوا
- مشتریان
- داده ها
- دهه
- تحویل
- گسترش
- طرح
- مختلف
- دیجیتال
- اسناد و مدارک
- به آسانی
- اثر
- عظیم
- سرمایه گذاری
- ضروری است
- مثال
- تجربه
- تخصص
- ویژگی
- باز خورد
- مالی
- خدمات مالی
- نام خانوادگی
- پیروی
- قابلیت
- خوشحال
- داشتن
- کمک می کند
- چگونه
- چگونه
- HTTPS
- شناسایی
- هویت
- انجام
- مهم
- واردات
- از جمله
- هندوستان
- لوازم
- صنعت
- اطلاعات
- بینش
- ادغام
- اطلاعات
- علاقه
- اینترنت اشیا
- ایرلند
- انزوا
- IT
- کار
- شغل ها
- کلید
- زبان
- راه اندازی
- رهبری
- یادگیری
- لاین
- فهرست
- محل
- لندن
- دستگاه
- فراگیری ماشین
- مدیریت
- رسانه ها
- استخراج معدن
- ML
- مدل
- مدل
- اکثر
- محبوبترین
- بمبئی
- طبیعی
- پیشنهادات
- اوهایو
- سفارش
- اورگان
- دیگر
- ارام
- شریک
- شرکای
- کارایی
- عبارات
- سیاست
- محبوب
- اصلی
- مشکلات
- روند
- محصول
- ارائه
- فراهم می کند
- به سرعت
- تنظیم کننده
- ضروری
- مورد نیاز
- منابع
- پاسخ
- نتایج
- بازده
- بررسی
- مقیاس
- دانشمندان
- sdk
- سئول
- سرویس
- خدمات
- اشتراک گذاری
- به اشتراک گذاشته شده
- سهام
- صدف
- ساده
- سنگاپور
- So
- مزایا
- حل
- شروع
- بیانیه
- وضعیت
- ذخیره سازی
- پرده
- استراتژیک
- استراتژی
- پشتیبانی
- سیدنی
- هدف
- تیم
- فنی
- آزمون
- منبع
- از طریق
- زمان
- امروز
- توکیو
- آموزش
- روند
- منحصر به فرد
- بروزرسانی
- us
- استفاده کنید
- کاربران
- فروشندگان
- چشم انداز
- ویرجینیا
- وب
- خدمات وب
- غرب
- WHO
- در داخل
- بدون
- با این نسخهها کار
- نوشته
- سال