به کاربران تجاری خود برای استخراج بینش از اسناد شرکت با استفاده از آمازون SageMaker Canvas و Generative AI قدرت دهید | خدمات وب آمازون

شرکت ها به دنبال استفاده از پتانسیل یادگیری ماشینی (ML) برای حل مشکلات پیچیده و بهبود نتایج هستند. تا همین اواخر، ساخت و استقرار مدل‌های ML به سطوح عمیقی از مهارت‌های فنی و کدگذاری، از جمله تنظیم مدل‌های ML و حفظ خطوط لوله عملیاتی نیاز داشت. از زمان معرفی آن در سال 2021، آمازون SageMaker Canvas به تحلیلگران تجاری امکان ساخت، استقرار و استفاده از انواع مدل های ML - از جمله جدولی، بینایی کامپیوتری و پردازش زبان طبیعی - بدون نوشتن یک خط کد را داده است. این امر توانایی شرکت‌ها را برای استفاده از ML برای استفاده از مواردی مانند پیش‌بینی سری‌های زمانی، پیش‌بینی ریزش مشتری، تجزیه و تحلیل احساسات، تشخیص عیب صنعتی و بسیاری موارد دیگر تسریع کرده است.

همانطور که در تاریخ اعلام شد اکتبر 5، 2023SageMaker Canvas پشتیبانی خود را از مدل‌ها به مدل‌های پایه (FM) گسترش داد - مدل‌های زبان بزرگی که برای تولید و خلاصه کردن محتوا استفاده می‌شوند. با انتشار در 12 اکتبر 2023SageMaker Canvas به کاربران این امکان را می دهد که سؤالات خود را بپرسند و پاسخ هایی را دریافت کنند که بر اساس داده های سازمانی آنها است. این تضمین می کند که نتایج مربوط به زمینه خاص هستند، موارد استفاده اضافی را باز می کند که در آن ML بدون کد می تواند برای حل مشکلات تجاری اعمال شود. به عنوان مثال، تیم‌های تجاری اکنون می‌توانند پاسخ‌هایی را مطابق با واژگان و اصول خاص یک سازمان فرموله کنند، و می‌توانند با سرعت بیشتری اسناد طولانی را جستجو کنند تا پاسخ‌هایی خاص و مبتنی بر محتوای آن اسناد را دریافت کنند. همه این محتوا به صورت خصوصی و ایمن انجام می شود و اطمینان حاصل می شود که همه داده های حساس با نظارت و تدابیر مناسب قابل دسترسی هستند.

برای شروع، یک مدیر ابر پیکربندی و پر می کند آمازون کندرا با داده های سازمانی به عنوان منابع داده برای SageMaker Canvas فهرست می شود. کاربران Canvas فهرستی را انتخاب می‌کنند که اسنادشان در آن قرار دارد، و می‌توانند ایده‌پردازی کنند، تحقیق کنند، و کاوش کنند و بدانند که خروجی همیشه توسط منابع حقیقت آنها پشتیبانی می‌شود. SageMaker Canvas از پیشرفته ترین FM ها استفاده می کند بستر آمازون و Amazon SageMaker JumpStart. مکالمات را می توان با چندین FM کنار هم شروع کرد، خروجی ها را با هم مقایسه کرد و واقعاً هوش مصنوعی را برای همه در دسترس قرار داد.

در این پست، ویژگی اخیراً منتشر شده را بررسی می‌کنیم، معماری را مورد بحث قرار می‌دهیم و راهنمای گام‌به‌گامی برای فعال کردن SageMaker Canvas برای استعلام اسناد از پایگاه دانش شما، همانطور که در تصویربرداری صفحه زیر نشان داده شده است، ارائه می‌کنیم.

بررسی اجمالی راه حل

مدل‌های پایه می‌توانند توهم ایجاد کنند - پاسخ‌هایی که عمومی، مبهم، نامرتبط یا از نظر واقعی نادرست هستند. بازیابی نسل افزوده (RAG) روشی است که اغلب برای کاهش توهم استفاده می شود. معماری‌های RAG برای بازیابی داده‌ها از خارج از یک FM استفاده می‌شوند، که سپس برای انجام یادگیری درون متنی برای پاسخ به پرسش کاربر استفاده می‌شود. این تضمین می کند که FM می تواند از داده های یک پایگاه دانش قابل اعتماد استفاده کند و از آن دانش برای پاسخ به سؤالات کاربران استفاده کند و خطر توهم را کاهش دهد.

با RAG، داده‌های خارج از FM و برای تقویت درخواست‌های کاربر استفاده می‌شود، می‌تواند از چندین منبع داده متفاوت، مانند مخازن اسناد، پایگاه‌های داده یا APIها باشد. اولین گام این است که اسناد خود و هر درخواست کاربر را به یک قالب سازگار برای انجام جستجوی معنایی مرتبط تبدیل کنید. برای سازگار کردن قالب‌ها، مجموعه اسناد یا کتابخانه دانش، و درخواست‌های ارسالی توسط کاربر با استفاده از مدل‌های تعبیه‌سازی به نمایش‌های عددی تبدیل می‌شوند.

با این نسخه، عملکرد RAG به صورت بدون کد و بدون درز ارائه می شود. شرکت ها می توانند تجربه چت در Canvas را با آمازون کندرا به عنوان سیستم مدیریت دانش زیربنایی غنی کنند. نمودار زیر معماری راه حل را نشان می دهد.

اتصال SageMaker Canvas به آمازون کندرا نیاز به یک بار تنظیم دارد. ما فرآیند تنظیم را به طور مفصل در تنظیم بوم برای درخواست اسناد توضیح می دهیم. اگر قبلاً دامنه SageMaker خود را تنظیم نکرده اید، به آن مراجعه کنید ورود به دامنه Amazon SageMaker.

به‌عنوان بخشی از پیکربندی دامنه، یک مدیر ابری می‌تواند یک یا چند شاخص Kendra را انتخاب کند که تحلیل‌گر کسب‌وکار می‌تواند هنگام تعامل با FM از طریق SageMaker Canvas پرس و جو کند.

پس از هیدراته شدن و پیکربندی شاخص‌های Kendra، تحلیلگران کسب‌وکار از آن‌ها با SageMaker Canvas استفاده می‌کنند و یک چت جدید را شروع می‌کنند و گزینه «Query Documents» را انتخاب می‌کنند. سپس SageMaker Canvas ارتباطات اساسی بین Amazon Kendra و FM انتخابی را برای انجام عملیات زیر مدیریت می کند:

1. با سوالی که از کاربر می آید، شاخص های کندرا را پرس و جو کنید.
2. تکه ها (و منابع) را از شاخص های کندرا بازیابی کنید.
3. اعلان را با تکه‌هایی با پرس و جو اصلی مهندسی کنید تا مدل پایه بتواند پاسخی را از اسناد بازیابی شده ایجاد کند.
4. پاسخ تولید شده را همراه با ارجاع به صفحات/اسنادی که برای فرمول بندی پاسخ استفاده شده است به کاربر ارائه دهید.

تنظیم Canvas برای درخواست اسناد

در این بخش، شما را از طریق مراحل راه‌اندازی Canvas برای استعلام اسناد ارائه‌شده از طریق نمایه‌های Kendra راهنمایی می‌کنیم. شما باید پیش نیازهای زیر را داشته باشید:

• راه اندازی دامنه SageMaker – ورود به دامنه Amazon SageMaker
• ایجاد یک شاخص کندرا (یا بیش از یک)
• کانکتور Kendra Amazon S3 را راه اندازی کنید - دنبال کنید رابط آمازون S3 – و فایل‌های PDF و سایر اسناد را در سطل Amazon S3 مرتبط با نمایه Kendra آپلود کنید
• IAM را طوری تنظیم کنید که Canvas مجوزهای مناسب را داشته باشد، از جمله مجوزهای مورد نیاز برای فراخوانی نقاط پایانی Amazon Bedrock و/یا SageMaker - راه اندازی Canvas Chat مستندات

اکنون می توانید Domain را به روز کنید تا بتواند به شاخص های مورد نظر دسترسی پیدا کند. در کنسول SageMaker، برای دامنه داده شده، ویرایش را در تب تنظیمات دامنه انتخاب کنید. ضامن "فعال کردن اسناد پرس و جو با آمازون کندرا" را فعال کنید که در مرحله تنظیمات بوم یافت می شود. پس از فعال شدن، یک یا چند شاخص Kendra را که می‌خواهید با Canvas استفاده کنید، انتخاب کنید.

این تمام چیزی است که برای پیکربندی ویژگی اسناد پرس و جو Canvas نیاز است. کاربران اکنون می توانند به یک چت در Canvas بپرند و از پایگاه های دانشی که از طریق نمایه های Kendra به دامنه متصل شده اند استفاده کنند. نگهبانان پایگاه دانش می توانند به به روز رسانی منبع حقیقت ادامه دهند و با قابلیت همگام سازی در Kendra، کاربران چت به طور خودکار قادر خواهند بود از اطلاعات به روز به صورت یکپارچه استفاده کنند.

استفاده از قابلیت Query Documents برای چت

به عنوان یک کاربر SageMaker Canvas، قابلیت Query Documents را می توان از داخل یک چت در دسترس قرار داد. برای شروع جلسه چت، روی دکمه «تولید، استخراج و خلاصه کردن محتوا» از برگه مدل‌های آماده برای استفاده در SageMaker Canvas کلیک کنید یا آن را جستجو کنید.

پس از رسیدن به آنجا، می توانید اسناد Query را با ضامن در بالای صفحه روشن و خاموش کنید. برای کسب اطلاعات بیشتر در مورد این ویژگی، اعلان اطلاعات را بررسی کنید.

هنگامی که Query Documents فعال است، می‌توانید از میان فهرستی از شاخص‌های Kendra که توسط سرپرست ابر فعال شده است، انتخاب کنید.

هنگام شروع یک چت جدید می توانید یک فهرست را انتخاب کنید. سپس می‌توانید سؤالی را در UX بپرسید و دانش به‌طور خودکار از فهرست انتخاب‌شده استخراج می‌شود. توجه داشته باشید که پس از شروع مکالمه در برابر یک شاخص خاص، امکان تغییر به نمایه دیگری وجود ندارد.

برای سؤالات پرسیده شده، چت پاسخ تولید شده توسط FM را به همراه اسناد منبعی که در ایجاد پاسخ نقش داشته اند نشان می دهد. وقتی روی هر یک از اسناد منبع کلیک می‌کنید، Canvas پیش‌نمایش سند را باز می‌کند و گزیده استفاده شده توسط FM را برجسته می‌کند.

نتیجه

هوش مصنوعی مکالمه پتانسیل بسیار زیادی برای تغییر تجربه مشتری و کارمند با ارائه یک دستیار شبیه انسان با تعاملات طبیعی و شهودی مانند:

• انجام تحقیق در مورد یک موضوع یا جستجو و مرور پایگاه دانش سازمان
• خلاصه کردن حجم مطالب برای جمع آوری سریع بینش
• جستجو برای نهادها، احساسات، PII و سایر داده‌های مفید و افزایش ارزش تجاری محتوای بدون ساختار
• تهیه پیش نویس اسناد و مکاتبات تجاری
• ایجاد مقالات دانش از منابع داخلی متفاوت (حوادث، گزارش‌های چت، ویکی‌ها)

ادغام نوآورانه رابط های چت، بازیابی دانش، و FM ها به شرکت ها این امکان را می دهد تا با استفاده از دانش دامنه خود و منابع حقیقت، پاسخ های دقیق و مرتبطی را به سؤالات کاربر ارائه دهند.

با اتصال SageMaker Canvas به پایگاه‌های دانش در آمازون کندرا، سازمان‌ها می‌توانند داده‌های اختصاصی خود را در محیط خود نگهداری کنند و در عین حال از پیشرفته‌ترین قابلیت‌های زبان طبیعی FMها بهره ببرند. با راه‌اندازی قابلیت Query Documents SageMaker Canvas، ما استفاده از LLM و دانش سازمانی خود را به عنوان منبع حقیقت برای ایجاد یک تجربه چت امن برای هر سازمانی آسان می‌کنیم. همه این قابلیت‌ها در قالب بدون کد موجود است و به کسب‌وکارها اجازه می‌دهد از انجام کارهای تکراری و غیر تخصصی اجتناب کنند.

برای کسب اطلاعات بیشتر در مورد SageMaker Canvas و اینکه چگونه به آسان‌تر شدن شروع یادگیری ماشین برای همه کمک می‌کند، اطلاعیه SageMaker Canvas. در مورد اینکه چگونه SageMaker Canvas به تقویت همکاری بین دانشمندان داده و تحلیلگران کسب و کار کمک می کند با خواندن این مقاله بیشتر بیاموزید. ایجاد، اشتراک گذاری و استقرار پست. در نهایت، برای یادگیری نحوه ایجاد گردش کار Retrieval Augmented Generation خود، مراجعه کنید SageMaker JumpStart RAG.

منابع

لوئیس، پی، پرز، ای.، پیکتوس، آ.، پترونی، اف.، کارپوخین، وی، گویال، ن.، کوتلر، اچ، لوئیس، ام.، یی، دبلیو، راکتشل، تی.، Riedel, S., Kiela, D. (2020). بازیابی-افزایش نسل برای وظایف NLP دانش فشرده. پیشرفت در سیستم های پردازش اطلاعات عصبی, 33، 9459-9474.

---

درباره نویسنده

دیوید گالیتلی یک معمار ارشد راه حل های تخصصی برای AI/ML است. او در بروکسل مستقر است و با مشتریانی در سراسر جهان که به دنبال استفاده از فناوری‌های یادگیری ماشینی با کد کم/بدون کد و هوش مصنوعی تولیدی هستند، از نزدیک همکاری می‌کند. او از زمانی که خیلی جوان بود یک توسعه دهنده بوده و از سن 7 سالگی شروع به کدنویسی کرد. او یادگیری AI/ML را در دانشگاه شروع کرد و از آن زمان عاشق آن شد.

بلال علم یک معمار راه حل های سازمانی در AWS با تمرکز بر صنعت خدمات مالی است. بلال در بیشتر روزها به مشتریان در ایجاد، ارتقاء و ایمن سازی محیط AWS خود برای به کارگیری بحرانی ترین بار کاری خود کمک می کند. او تجربه گسترده ای در زمینه مخابرات، شبکه و توسعه نرم افزار دارد. اخیراً، او به دنبال استفاده از AI/ML برای حل مشکلات تجاری بوده است.

Pasmeen Mistry مدیر محصول ارشد در AWS است. پشمن خارج از محل کار، از پیاده روی های ماجراجویانه، عکاسی و گذراندن وقت با خانواده اش لذت می برد.

دن سین رایش یک مدیر ارشد محصول در AWS است که به دموکراتیزه کردن یادگیری ماشینی با کد پایین/بدون کد کمک می کند. قبل از AWS، دان پلتفرم‌های SaaS سازمانی و مدل‌های سری زمانی را ساخت و تجاری‌سازی کرد که توسط سرمایه‌گذاران نهادی برای مدیریت ریسک و ایجاد پرتفوی بهینه استفاده می‌شد. خارج از محل کار، او را می توان در حال بازی هاکی، غواصی و خواندن داستان های علمی تخیلی یافت.

• محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
• PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
• PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
• PlatoESG. کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
• PlatoHealth. هوش بیوتکنولوژی و آزمایشات بالینی. دسترسی به اینجا.
• منبع: https://aws.amazon.com/blogs/machine-learning/empower-your-business-users-to-extract-insights-from-company-documents-using-amazon-sagemaker-canvas-generative-ai/