بهبود پردازش اسناد هوشمند AWS با هوش مصنوعی مولد | خدمات وب آمازون

طبقه بندی، استخراج و تجزیه و تحلیل داده ها می تواند برای سازمان هایی که با حجم اسناد سروکار دارند چالش برانگیز باشد. راه‌حل‌های پردازش اسناد سنتی دستی، گران، مستعد خطا و مقیاس‌بندی آن‌ها دشوار است. پردازش اسناد هوشمند AWS (IDP)، با خدمات هوش مصنوعی مانند متن آمازون، به شما امکان می دهد از فناوری یادگیری ماشینی (ML) پیشرو در صنعت برای پردازش سریع و دقیق داده ها از هر سند یا تصویر اسکن شده استفاده کنید. هوش مصنوعی مولد (هوش مصنوعی مولد) مکمل آمازون تکست برای خودکارسازی بیشتر گردش کار پردازش اسناد است. ویژگی‌هایی مانند عادی‌سازی فیلدهای کلیدی و خلاصه کردن داده‌های ورودی از چرخه‌های سریع‌تر برای مدیریت گردش‌های کاری فرآیند سند پشتیبانی می‌کنند، در حالی که احتمال خطاها را کاهش می‌دهند.

هوش مصنوعی مولد توسط مدل های بزرگ ML به نام مدل های پایه (FM) هدایت می شود. FM ها روشی را تغییر می دهند که می توانید بارهای کاری پردازش اسناد پیچیده سنتی را حل کنید. علاوه بر قابلیت‌های موجود، کسب‌وکارها باید دسته‌های خاصی از اطلاعات را خلاصه کنند، از جمله داده‌های بدهی و اعتباری از اسنادی مانند گزارش‌های مالی و صورت‌های بانکی. FM ها تولید چنین بینش هایی را از داده های استخراج شده آسان تر می کنند. برای بهینه‌سازی زمان صرف شده در بازبینی انسانی و بهبود بهره‌وری کارکنان، اشتباهاتی مانند فقدان ارقام در شماره تلفن، اسناد از دست رفته یا آدرس‌های بدون شماره خیابان را می‌توان به روشی خودکار علامت‌گذاری کرد. در سناریوی فعلی، شما باید منابعی را برای انجام چنین وظایفی با استفاده از بررسی انسانی و اسکریپت های پیچیده اختصاص دهید. این رویکرد خسته کننده و پرهزینه است. FM ها می توانند به تکمیل سریعتر این وظایف، با منابع کمتر کمک کنند و فرمت های ورودی مختلف را به یک الگوی استاندارد تبدیل کنند که می تواند بیشتر پردازش شود. ما در AWS خدماتی مانند بستر آمازون، ساده ترین راه برای ساخت و مقیاس برنامه های هوش مصنوعی مولد با FMs. Amazon Bedrock یک سرویس کاملاً مدیریت شده است که FM های استارت آپ های پیشرو هوش مصنوعی و آمازون را از طریق یک API در دسترس قرار می دهد، بنابراین می توانید مدلی را پیدا کنید که به بهترین وجه با نیازهای شما مطابقت دارد. ما نیز ارائه می دهیم Amazon SageMaker JumpStart، که به پزشکان ML این امکان را می دهد که از بین مجموعه گسترده ای از FM های منبع باز انتخاب کنند. پزشکان ML می توانند FM ها را به صورت اختصاصی مستقر کنند آمازون SageMaker نمونه هایی از یک محیط جدا شده از شبکه و سفارشی کردن مدل ها با استفاده از SageMaker برای آموزش و استقرار مدل.

ریکو راه‌حل‌های محل کار و خدمات تحول دیجیتال را ارائه می‌دهد که برای کمک به مشتریان در مدیریت و بهینه‌سازی جریان اطلاعات در سراسر کسب‌وکارشان طراحی شده‌اند. Ashok Shenoy، معاون توسعه راه حل نمونه کارها، می‌گوید: «ما در حال اضافه کردن هوش مصنوعی مولد به راه‌حل‌های IDP خود هستیم تا با استفاده از قابلیت‌های جدید مانند پرسش و پاسخ، خلاصه‌سازی و خروجی‌های استاندارد، به مشتریان خود کمک کنیم کارشان را سریع‌تر و دقیق‌تر انجام دهند. AWS به ما این امکان را می دهد که از هوش مصنوعی مولد بهره ببریم و در عین حال داده های هر یک از مشتریان خود را جداگانه و ایمن نگه داریم.

در این پست، نحوه بهبود راه حل IDP خود را در AWS با هوش مصنوعی مولد به اشتراک می گذاریم.

بهبود خط لوله IDP

در این بخش، بررسی می‌کنیم که چگونه خط لوله سنتی IDP را می‌توان توسط FMها تقویت کرد و با استفاده از متن آمازون با FM از یک نمونه استفاده استفاده می‌کنیم.

AWS IDP از سه مرحله تشکیل شده است: طبقه بندی، استخراج و غنی سازی. برای جزئیات بیشتر در مورد هر مرحله، مراجعه کنید پردازش هوشمند اسناد با خدمات AWS AI: قسمت 1 و قسمت 2. در مرحله طبقه بندی، FM ها اکنون می توانند اسناد را بدون هیچ آموزش اضافی طبقه بندی کنند. این بدان معنی است که اسناد را می توان دسته بندی کرد حتی اگر مدل قبلاً نمونه های مشابهی را ندیده باشد. FMها در مرحله استخراج، فیلدهای تاریخ را عادی می‌کنند و آدرس‌ها و شماره تلفن‌ها را تأیید می‌کنند، در حالی که از قالب‌بندی ثابت اطمینان می‌دهند. FMها در مرحله غنی سازی امکان استنتاج، استدلال منطقی و خلاصه سازی را فراهم می کنند. هنگامی که از FM ها در هر مرحله IDP استفاده می کنید، گردش کار شما ساده تر می شود و عملکرد بهبود می یابد. نمودار زیر خط لوله IDP با هوش مصنوعی مولد را نشان می دهد.

مرحله استخراج خط لوله IDP

هنگامی که FM ها نمی توانند به طور مستقیم اسناد را در قالب های اصلی خود (مانند PDF، img، jpeg و tiff) به عنوان ورودی پردازش کنند، مکانیزمی برای تبدیل اسناد به متن مورد نیاز است. برای استخراج متن از سند قبل از ارسال آن به FM ها، می توانید از Amazon Texttract استفاده کنید. با Amazon Textract، می توانید خطوط و کلمات را استخراج کنید و آنها را به FM های پایین دست منتقل کنید. معماری زیر از متن آمازون برای استخراج دقیق متن از هر نوع سندی قبل از ارسال آن به FM برای پردازش بیشتر استفاده می کند.

به طور معمول، اسناد از اطلاعات ساختار یافته و نیمه ساختار یافته تشکیل شده است. Amazon Textract می تواند برای استخراج متن و داده های خام از جداول و فرم ها استفاده شود. رابطه بین داده ها در جداول و فرم ها نقشی حیاتی در خودکارسازی فرآیندهای تجاری دارد. برخی از انواع اطلاعات ممکن است توسط FM ها پردازش نشوند. در نتیجه، می‌توانیم انتخاب کنیم که این اطلاعات را در یک فروشگاه پایین‌دست ذخیره کنیم یا به FM ارسال کنیم. شکل زیر نمونه ای از این است که چگونه Amazon Textract می تواند اطلاعات ساختاریافته و نیمه ساختار یافته را از یک سند، علاوه بر خطوط متنی که باید توسط FM ها پردازش شوند، استخراج کند.

استفاده از خدمات بدون سرور AWS برای خلاصه کردن با FMها

خط لوله IDP که قبلاً نشان دادیم می تواند با استفاده از خدمات بدون سرور AWS به طور یکپارچه خودکار شود. اسناد بسیار بدون ساختار در شرکت های بزرگ رایج است. این اسناد می تواند از اسناد کمیسیون بورس و اوراق بهادار (SEC) در صنعت بانکداری تا اسناد پوشش در صنعت بیمه سلامت را شامل شود. با تکامل هوش مصنوعی مولد در AWS، افراد در این صنایع به دنبال راه هایی برای دریافت خلاصه ای از آن اسناد به روشی خودکار و مقرون به صرفه هستند. خدمات بدون سرور به ارائه مکانیسمی برای ایجاد سریع راه حل برای IDP کمک می کند. خدماتی مانند AWS لامبدا, توابع مرحله AWSو پل رویداد آمازون همانطور که در نمودار زیر نشان داده شده است می تواند به ایجاد خط لوله پردازش اسناد با یکپارچه سازی FM ها کمک کند.

La برنامه نمونه استفاده شده در معماری قبلی است رانده شده توسط حوادث، در واقعه به عنوان تغییر وضعیتی که اخیراً رخ داده است تعریف می شود. به عنوان مثال، زمانی که یک شی در یک آپلود می شود سرویس ذخیره سازی ساده آمازون سطل (Amazon S3)، Amazon S3 یک رویداد Object Created را منتشر می کند. این اعلان رویداد از آمازون S3 می‌تواند یک عملکرد Lambda یا یک گردش کار Step Functions را راه‌اندازی کند. این نوع معماری به عنوان یک معماری رویداد محور. در این پست، برنامه نمونه ما از معماری رویداد محور برای پردازش یک نمونه سند ترخیص پزشکی و خلاصه کردن جزئیات سند استفاده می کند. جریان به صورت زیر عمل می کند:

1. هنگامی که یک سند در یک سطل S3 آپلود می شود، آمازون S3 یک رویداد Object Created را راه اندازی می کند.
2. گذرگاه رویداد پیش‌فرض EventBridge رویداد را بر اساس یک قانون EventBridge به توابع Step منتشر می‌کند.
3. گردش کار ماشین حالت، سند را پردازش می کند، که با آمازون متن شروع می شود.
4. یک تابع Lambda داده های تجزیه و تحلیل شده را برای مرحله بعدی تبدیل می کند.
5. ماشین دولتی فراخوانی میکند a نقطه پایانی SageMaker، که FM را با استفاده از ادغام مستقیم AWS SDK میزبانی می کند.
6. یک سطل مقصد خلاصه S3 پاسخ خلاصه جمع آوری شده از FM را دریافت می کند.

ما از برنامه نمونه با a استفاده کردیم مدل صورت بغل flan-t5 برای خلاصه کردن نمونه خلاصه ترخیص بیمار زیر با استفاده از گردش کار Step Functions.

گردش کار توابع مرحله استفاده می کند ادغام AWS SDK برای فراخوانی متن آمازون آنالیز سند و زمان اجرا SageMaker InvokeEndpoint API ها، همانطور که در شکل زیر نشان داده شده است.

این گردش کار منجر به یک شی JSON خلاصه می شود که در یک سطل مقصد ذخیره می شود. شی JSON به صورت زیر است:

{ "summary": [ "John Doe is a 35-year old male who has been experiencing stomach problems for two months. He has been taking antibiotics for the last two weeks, but has not been able to eat much. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has also noticed a change in his stool color, which is now darker. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of fatigue, and has been unable to work for the last two weeks. He has also been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help." ], "forms": [ { "key": "Ph: ", "value": "(888)-(999)-(0000) " }, { "key": "Fax: ", "value": "(888)-(999)-(1111) " }, { "key": "Patient Name: ", "value": "John Doe " }, { "key": "Patient ID: ", "value": "NARH-36640 " }, { "key": "Gender: ", "value": "Male " }, { "key": "Attending Physician: ", "value": "Mateo Jackson, PhD " }, { "key": "Admit Date: ", "value": "07-Sep-2020 " }, { "key": "Discharge Date: ", "value": "08-Sep-2020 " }, { "key": "Discharge Disposition: ", "value": "Home with Support Services " }, { "key": "Pre-existing / Developed Conditions Impacting Hospital Stay: ", "value": "35 yo M c/o stomach problems since 2 months. Patient reports epigastric abdominal pain non- radiating. Pain is described as gnawing and burning, intermittent lasting 1-2 hours, and gotten progressively worse. Antacids used to alleviate pain but not anymore; nothing exacerbates pain. Pain unrelated to daytime or to meals. Patient denies constipation or diarrhea. Patient denies blood in stool but have noticed them darker. Patient also reports nausea. Denies recent illness or fever. He also reports fatigue for 2 weeks and bloating after eating. ROS: Negative except for above findings Meds: Motrin once/week. Tums previously. PMHx: Back pain and muscle spasms. No Hx of surgery. NKDA. FHx: Uncle has a bleeding ulcer. Social Hx: Smokes since 15 yo, 1/2-1 PPD. No recent EtOH use. Denies illicit drug use. Works on high elevation construction. Fast food diet. Exercises 3-4 times/week but stopped 2 weeks ago. " }, { "key": "Summary: ", "value": "some activity restrictions suggested, full course of antibiotics, check back with physican in case of relapse, strict diet " } ] }

تولید این خلاصه ها با استفاده از IDP با پیاده سازی بدون سرور در مقیاس به سازمان ها کمک می کند تا داده های معنی دار، مختصر و قابل ارائه را به روشی مقرون به صرفه دریافت کنند. توابع مرحله ای روش پردازش اسناد را به یک سند در یک زمان محدود نمی کند. آن نقشه توزیع شده ویژگی می تواند تعداد زیادی از اسناد را در یک برنامه خلاصه کند.

La برنامه نمونه با استفاده از مدل صورت بغل flan-t5; با این حال، می توانید از یک نقطه پایانی FM به انتخاب خود استفاده کنید. آموزش و اجرای مدل خارج از محدوده کاربرد نمونه است. دستورالعمل های موجود در مخزن GitHub را برای استقرار یک برنامه نمونه دنبال کنید. معماری قبلی راهنمایی در مورد اینکه چگونه می توانید یک گردش کار IDP را با استفاده از توابع مرحله تنظیم کنید. رجوع به کارگاه IDP Generative AI برای دستورالعمل های دقیق در مورد نحوه ساخت برنامه با خدمات AWS AI و FM.

راه حل را تنظیم کنید

مراحل موجود در README فایل برای تنظیم معماری راه حل (به جز نقاط انتهایی SageMaker). پس از اینکه نقطه پایانی SageMaker خود را در دسترس داشتید، می توانید نام نقطه پایانی را به عنوان پارامتر به الگو ارسال کنید.

پاک کردن

برای صرفه جویی در هزینه ها، منابعی را که به عنوان بخشی از آموزش مستقر کرده اید حذف کنید:

1. مراحل موجود در بخش پاکسازی را دنبال کنید README فایل.
2. هر محتوایی را از سطل S3 خود حذف کنید و سپس سطل را از طریق کنسول آمازون S3 حذف کنید.
3. هر نقطه پایانی SageMaker را که ممکن است از طریق کنسول SageMaker ایجاد کرده باشید حذف کنید.

نتیجه

هوش مصنوعی مولد در حال تغییر نحوه پردازش اسناد با IDP برای بدست آوردن بینش است. خدمات AWS AI مانند Amazon Texttract به همراه AWS FMs می توانند به پردازش دقیق هر نوع اسناد کمک کنند. برای اطلاعات بیشتر در مورد کار با هوش مصنوعی مولد در AWS، مراجعه کنید معرفی ابزارهای جدید برای ساخت با هوش مصنوعی در AWS.

---

درباره نویسنده

سونالی سهو پیشرو پردازش هوشمند اسناد با تیم خدمات AI/ML در AWS است. او یک نویسنده، رهبر فکری و تکنولوژیست پرشور است. حوزه اصلی تمرکز او هوش مصنوعی و ML است و او اغلب در کنفرانس ها و جلسات AI و ML در سراسر جهان صحبت می کند. او هم وسعت و هم عمق تجربه در فناوری و صنعت فناوری، با تخصص صنعت در مراقبت های بهداشتی، بخش مالی و بیمه دارد.

آشیش لال یک مدیر ارشد بازاریابی محصول است که بازاریابی محصول را برای خدمات هوش مصنوعی در AWS رهبری می کند. او 9 سال تجربه بازاریابی دارد و تلاش بازاریابی محصول برای پردازش اسناد هوشمند را رهبری کرده است. او مدرک کارشناسی ارشد خود را در رشته مدیریت بازرگانی از دانشگاه واشنگتن گرفت.

مرونال دفتری یک معمار ارشد راه حل های سازمانی در خدمات وب آمازون است. او در بوستون، MA مستقر است. او یک علاقه‌مند به فضای ابری است و بسیار مشتاق یافتن راه‌حل‌هایی برای مشتریان است که ساده هستند و به نتایج کسب‌وکارشان می‌پردازند. او عاشق کار با فن‌آوری‌های ابری، ارائه راه‌حل‌های ساده و مقیاس‌پذیر است که منجر به نتایج مثبت کسب‌وکار، استراتژی پذیرش ابر، و طراحی راه‌حل‌های نوآورانه و ایجاد تعالی عملیاتی می‌شود.

دراج ماهاپاترو یک معمار اصلی راه حل های تخصصی بدون سرور در AWS است. او در کمک به خدمات مالی سازمانی برای پذیرش معماری های بدون سرور و رویداد محور برای مدرن کردن برنامه های خود و سرعت بخشیدن به نوآوری آنها تخصص دارد. او اخیراً بر روی نزدیک کردن بارهای کاری کانتینری و استفاده عملی از هوش مصنوعی مولد به بدون سرور و EDA برای مشتریان صنعت خدمات مالی کار کرده است.

یاکوب هاوسکنز یک متخصص اصلی هوش مصنوعی با بیش از 15 سال تجربه توسعه تجارت استراتژیک و مشارکت است. در 7 سال گذشته، او رهبری ایجاد و اجرای استراتژی‌های عرضه به بازار برای خدمات جدید B2B مبتنی بر هوش مصنوعی را بر عهده داشته است. اخیراً، او با افزودن هوش مصنوعی مولد به گردش‌های کاری پردازش اسناد هوشمند، به ISVها کمک می‌کند تا درآمد خود را افزایش دهند.

• محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
• PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
• PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
• PlatoESG. خودرو / خودروهای الکتریکی، کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
• BlockOffsets. نوسازی مالکیت افست زیست محیطی. دسترسی به اینجا.
• منبع: https://aws.amazon.com/blogs/machine-learning/enhancing-aws-intelligent-document-processing-with-generative-ai/