Meningkatkan pemrosesan dokumen cerdas AWS dengan AI generatif | Layanan Web Amazon

Klasifikasi, ekstraksi, dan analisis data dapat menjadi tantangan bagi organisasi yang berurusan dengan volume dokumen. Solusi pemrosesan dokumen tradisional bersifat manual, mahal, rawan kesalahan, dan sulit diukur. Pemrosesan dokumen cerdas (IDP) AWS, dengan layanan AI seperti Teks Amazon, memungkinkan Anda memanfaatkan teknologi pembelajaran mesin (ML) terdepan di industri untuk memproses data dengan cepat dan akurat dari dokumen atau gambar apa pun yang dipindai. Kecerdasan buatan generatif (AI generatif) melengkapi Amazon Textract untuk lebih mengotomatiskan alur kerja pemrosesan dokumen. Fitur seperti menormalkan bidang kunci dan meringkas data input mendukung siklus yang lebih cepat untuk mengelola alur kerja proses dokumen, sekaligus mengurangi potensi kesalahan.

AI generatif didorong oleh model ML besar yang disebut model dasar (FM). FM mengubah cara Anda menyelesaikan beban kerja pemrosesan dokumen yang rumit secara tradisional. Selain kemampuan yang ada, bisnis perlu meringkas kategori informasi tertentu, termasuk data debit dan kredit dari dokumen seperti laporan keuangan dan laporan bank. FM membuatnya lebih mudah untuk menghasilkan wawasan seperti itu dari data yang diekstraksi. Untuk mengoptimalkan waktu yang dihabiskan dalam tinjauan manusia dan untuk meningkatkan produktivitas karyawan, kesalahan seperti angka yang hilang pada nomor telepon, dokumen yang hilang, atau alamat tanpa nomor jalan dapat ditandai dengan cara otomatis. Dalam skenario saat ini, Anda perlu mendedikasikan sumber daya untuk menyelesaikan tugas tersebut menggunakan ulasan manusia dan skrip kompleks. Pendekatan ini membosankan dan mahal. FM dapat membantu menyelesaikan tugas ini lebih cepat, dengan lebih sedikit sumber daya, dan mengubah berbagai format input menjadi template standar yang dapat diproses lebih lanjut. Di AWS, kami menawarkan layanan seperti Batuan Dasar Amazon, cara termudah untuk membangun dan menskalakan aplikasi AI generatif dengan FM. Amazon Bedrock adalah layanan terkelola penuh yang membuat FM dari startup AI terkemuka dan Amazon tersedia melalui API, sehingga Anda dapat menemukan model yang paling sesuai dengan kebutuhan Anda. Kami juga menawarkan Mulai Lompatan Amazon SageMaker, yang memungkinkan praktisi ML untuk memilih dari berbagai pilihan FM sumber terbuka. Praktisi ML dapat menggunakan FM untuk berdedikasi Amazon SageMaker instans dari lingkungan yang terisolasi jaringan dan sesuaikan model menggunakan SageMaker untuk pelatihan dan penerapan model.

Ricoh menawarkan solusi tempat kerja dan layanan transformasi digital yang dirancang untuk membantu pelanggan mengelola dan mengoptimalkan aliran informasi di seluruh bisnis mereka. Ashok Shenoy, VP Portfolio Solution Development, mengatakan, “Kami menambahkan AI generatif ke solusi IDP kami untuk membantu pelanggan menyelesaikan pekerjaan mereka lebih cepat dan lebih akurat dengan memanfaatkan kemampuan baru seperti Q&A, summarization, dan output standar. AWS memungkinkan kami untuk memanfaatkan AI generatif sekaligus menjaga setiap data pelanggan kami tetap terpisah dan aman.”

Dalam postingan ini, kami membagikan cara meningkatkan solusi IDP Anda di AWS dengan AI generatif.

Memperbaiki pipeline IDP

Di bagian ini, kami meninjau bagaimana pipeline IDP tradisional dapat ditambah dengan FM dan membahas contoh kasus penggunaan menggunakan Amazon Textract dengan FM.

AWS IDP terdiri dari tiga tahap: klasifikasi, ekstraksi, dan pengayaan. Untuk detail lebih lanjut tentang setiap tahap, lihat Pemrosesan dokumen cerdas dengan layanan AWS AI: Bagian 1 dan bagian 2. Pada tahap klasifikasi, FM sekarang dapat mengklasifikasikan dokumen tanpa pelatihan tambahan. Artinya, dokumen dapat dikategorikan meskipun model tersebut belum pernah melihat contoh serupa sebelumnya. FM dalam tahap ekstraksi menormalkan bidang tanggal dan memverifikasi alamat dan nomor telepon, sekaligus memastikan pemformatan yang konsisten. FM dalam tahap pengayaan memungkinkan inferensi, penalaran logis, dan peringkasan. Saat Anda menggunakan FM di setiap tahap IDP, alur kerja Anda akan lebih disederhanakan dan kinerja akan meningkat. Diagram berikut mengilustrasikan pipeline IDP dengan AI generatif.

Tahap ekstraksi pipa IDP

Ketika FM tidak dapat langsung memproses dokumen dalam format aslinya (seperti PDF, img, jpeg, dan tiff) sebagai masukan, diperlukan mekanisme untuk mengonversi dokumen menjadi teks. Untuk mengekstrak teks dari dokumen sebelum mengirimkannya ke FM, Anda dapat menggunakan Amazon Textract. Dengan Amazon Textract, Anda dapat mengekstrak garis dan kata dan meneruskannya ke FM hilir. Arsitektur berikut menggunakan Amazon Textract untuk ekstraksi teks yang akurat dari semua jenis dokumen sebelum mengirimkannya ke FM untuk diproses lebih lanjut.

Biasanya, dokumen terdiri dari informasi terstruktur dan semi-terstruktur. Amazon Texttract dapat digunakan untuk mengekstrak teks dan data mentah dari tabel dan formulir. Hubungan antara data dalam tabel dan formulir memainkan peran penting dalam mengotomatiskan proses bisnis. Jenis informasi tertentu mungkin tidak diproses oleh FM. Akibatnya, kami dapat memilih untuk menyimpan informasi ini di penyimpanan hilir atau mengirimkannya ke FM. Gambar berikut adalah contoh bagaimana Amazon Textract dapat mengekstrak informasi terstruktur dan semi-terstruktur dari dokumen, selain baris teks yang perlu diproses oleh FM.

Menggunakan layanan tanpa server AWS untuk meringkas dengan FM

Pipeline IDP yang kami ilustrasikan sebelumnya dapat diotomatisasi dengan mulus menggunakan layanan tanpa server AWS. Dokumen yang sangat tidak terstruktur biasa terjadi di perusahaan besar. Dokumen-dokumen ini dapat berkisar dari dokumen Securities and Exchange Commission (SEC) di industri perbankan hingga dokumen pertanggungan di industri asuransi kesehatan. Dengan evolusi AI generatif di AWS, orang-orang di industri ini mencari cara untuk mendapatkan ringkasan dari dokumen tersebut secara otomatis dan hemat biaya. Layanan tanpa server membantu menyediakan mekanisme untuk membangun solusi bagi IDP dengan cepat. Layanan seperti AWS Lambda, Fungsi Langkah AWS, dan Jembatan Acara Amazon dapat membantu membangun pipa pemrosesan dokumen dengan integrasi FM, seperti yang ditunjukkan pada diagram berikut.

Grafik contoh aplikasi digunakan dalam arsitektur sebelumnya adalah didorong oleh peristiwa. Sebuah peristiwa didefinisikan sebagai perubahan keadaan yang baru saja terjadi. Misalnya, ketika suatu objek diunggah ke Layanan Penyimpanan Sederhana Amazon (Amazon S3), Amazon S3 mengeluarkan peristiwa Pembuatan Objek. Pemberitahuan kejadian dari Amazon S3 ini dapat memicu fungsi Lambda atau alur kerja Step Functions. Jenis arsitektur ini disebut sebagai arsitektur berbasis peristiwa. Dalam postingan ini, aplikasi sampel kami menggunakan arsitektur yang digerakkan oleh peristiwa untuk memproses sampel dokumen pemulangan medis dan meringkas detail dokumen tersebut. Aliran bekerja sebagai berikut:

1. Saat dokumen diunggah ke bucket S3, Amazon S3 memicu peristiwa Pembuatan Objek.
2. Bus kejadian default EventBridge menyebarkan kejadian ke Step Functions berdasarkan aturan EventBridge.
3. Alur kerja state machine memproses dokumen, dimulai dengan Amazon Texttract.
4. Fungsi Lambda mengubah data yang dianalisis untuk langkah berikutnya.
5. Mesin negara memanggil a Titik akhir SageMaker, yang menghosting FM menggunakan integrasi AWS SDK langsung.
6. Bucket tujuan ringkasan S3 menerima respons ringkasan yang dikumpulkan dari FM.

Kami menggunakan contoh aplikasi dengan a flan-t5 Model wajah berpelukan untuk meringkas ringkasan pemulangan pasien sampel berikut menggunakan alur kerja Step Functions.

Alur kerja Step Functions menggunakan Integrasi AWS SDK untuk memanggil Amazon Texttract Analisis Dokumen dan waktu proses SageMaker PanggilEndpoint API, seperti yang ditunjukkan pada gambar berikut.

Alur kerja ini menghasilkan objek JSON ringkasan yang disimpan di bucket tujuan. Objek JSON terlihat sebagai berikut:

{ "summary": [ "John Doe is a 35-year old male who has been experiencing stomach problems for two months. He has been taking antibiotics for the last two weeks, but has not been able to eat much. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has also noticed a change in his stool color, which is now darker. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of fatigue, and has been unable to work for the last two weeks. He has also been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help. He has been experiencing a lot of abdominal pain, bloating, and fatigue. He has been taking antacids for the last two weeks, but they no longer help." ], "forms": [ { "key": "Ph: ", "value": "(888)-(999)-(0000) " }, { "key": "Fax: ", "value": "(888)-(999)-(1111) " }, { "key": "Patient Name: ", "value": "John Doe " }, { "key": "Patient ID: ", "value": "NARH-36640 " }, { "key": "Gender: ", "value": "Male " }, { "key": "Attending Physician: ", "value": "Mateo Jackson, PhD " }, { "key": "Admit Date: ", "value": "07-Sep-2020 " }, { "key": "Discharge Date: ", "value": "08-Sep-2020 " }, { "key": "Discharge Disposition: ", "value": "Home with Support Services " }, { "key": "Pre-existing / Developed Conditions Impacting Hospital Stay: ", "value": "35 yo M c/o stomach problems since 2 months. Patient reports epigastric abdominal pain non- radiating. Pain is described as gnawing and burning, intermittent lasting 1-2 hours, and gotten progressively worse. Antacids used to alleviate pain but not anymore; nothing exacerbates pain. Pain unrelated to daytime or to meals. Patient denies constipation or diarrhea. Patient denies blood in stool but have noticed them darker. Patient also reports nausea. Denies recent illness or fever. He also reports fatigue for 2 weeks and bloating after eating. ROS: Negative except for above findings Meds: Motrin once/week. Tums previously. PMHx: Back pain and muscle spasms. No Hx of surgery. NKDA. FHx: Uncle has a bleeding ulcer. Social Hx: Smokes since 15 yo, 1/2-1 PPD. No recent EtOH use. Denies illicit drug use. Works on high elevation construction. Fast food diet. Exercises 3-4 times/week but stopped 2 weeks ago. " }, { "key": "Summary: ", "value": "some activity restrictions suggested, full course of antibiotics, check back with physican in case of relapse, strict diet " } ] }

Membuat ringkasan ini menggunakan IDP dengan penerapan tanpa server dalam skala besar membantu organisasi mendapatkan data yang bermakna, ringkas, dan dapat ditampilkan dengan cara yang hemat biaya. Step Functions tidak membatasi metode pemrosesan dokumen ke satu dokumen dalam satu waktu. Dia peta terdistribusi fitur dapat meringkas sejumlah besar dokumen sesuai jadwal.

Grafik contoh aplikasi menggunakan flan-t5 Model wajah berpelukan; namun, Anda dapat menggunakan titik akhir FM pilihan Anda. Melatih dan menjalankan model berada di luar cakupan aplikasi sampel. Ikuti petunjuk di repositori GitHub untuk menerapkan contoh aplikasi. Arsitektur sebelumnya adalah panduan tentang cara mengatur alur kerja IDP menggunakan Step Functions. Mengacu kepada Lokakarya AI Generatif IDP untuk instruksi terperinci tentang cara membuat aplikasi dengan layanan dan FM AWS AI.

Siapkan solusinya

Ikuti langkah-langkah di README file untuk menyetel arsitektur solusi (kecuali untuk titik akhir SageMaker). Setelah titik akhir SageMaker tersedia, Anda dapat meneruskan nama titik akhir sebagai parameter ke template.

Membersihkan

Untuk menghemat biaya, hapus sumber daya yang Anda gunakan sebagai bagian dari tutorial:

1. Ikuti langkah-langkah di bagian pembersihan README file.
2. Hapus konten apa pun dari bucket S3 Anda, lalu hapus bucket melalui konsol Amazon S3.
3. Hapus semua titik akhir SageMaker yang mungkin telah Anda buat melalui konsol SageMaker.

Kesimpulan

AI generatif mengubah cara Anda memproses dokumen dengan IDP untuk memperoleh wawasan. Layanan AI AWS seperti Amazon Textract bersama dengan AWS FM dapat membantu memproses semua jenis dokumen secara akurat. Untuk informasi selengkapnya tentang bekerja dengan AI generatif di AWS, lihat Mengumumkan Alat Baru untuk Membangun dengan AI Generatif di AWS.

---

Tentang Penulis

Sonali Sahu memimpin pemrosesan dokumen cerdas dengan tim layanan AI/ML di AWS. Dia adalah seorang penulis, pemimpin pemikiran, dan ahli teknologi yang bersemangat. Area fokus utamanya adalah AI dan ML, dan dia sering berbicara di konferensi dan pertemuan AI dan ML di seluruh dunia. Dia memiliki pengalaman yang luas dan mendalam dalam teknologi dan industri teknologi, dengan keahlian industri di bidang kesehatan, sektor keuangan, dan asuransi.

Ashish Lal adalah Manajer Pemasaran Produk Senior yang memimpin pemasaran produk untuk layanan AI di AWS. Dia memiliki 9 tahun pengalaman pemasaran dan telah memimpin upaya pemasaran produk untuk pemrosesan dokumen Cerdas. Dia mendapatkan gelar Master di bidang Administrasi Bisnis di University of Washington.

Mrunal Daftari adalah Arsitek Solusi Senior Perusahaan di Amazon Web Services. Dia berbasis di Boston, MA. Dia adalah penggemar cloud dan sangat bersemangat untuk menemukan solusi bagi pelanggan yang sederhana dan menangani hasil bisnis mereka. Dia suka bekerja dengan teknologi cloud, memberikan solusi sederhana dan terukur yang mendorong hasil bisnis yang positif, strategi adopsi cloud, dan merancang solusi inovatif serta mendorong keunggulan operasional.

Dhiraj Mahapatro adalah Arsitek Solusi Spesialis Tanpa Server Utama di AWS. Dia berspesialisasi dalam membantu layanan keuangan perusahaan mengadopsi arsitektur tanpa server dan berbasis peristiwa untuk memodernisasi aplikasi mereka dan mempercepat laju inovasi mereka. Baru-baru ini, dia telah bekerja untuk membawa beban kerja kontainer dan penggunaan praktis AI generatif lebih dekat ke tanpa server dan EDA untuk pelanggan industri jasa keuangan.

Yakub Hauskens adalah Spesialis AI Utama dengan pengalaman pengembangan bisnis strategis dan kemitraan lebih dari 15 tahun. Selama 7 tahun terakhir, dia telah memimpin pembuatan dan implementasi strategi go-to-market untuk layanan B2B baru yang didukung AI. Baru-baru ini, dia telah membantu ISV meningkatkan pendapatan mereka dengan menambahkan AI generatif ke alur kerja pemrosesan dokumen cerdas.

• Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
• PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
• PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
• PlatoESG. Otomotif / EV, Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
• BlockOffset. Modernisasi Kepemilikan Offset Lingkungan. Akses Di Sini.
• Sumber: https://aws.amazon.com/blogs/machine-learning/enhancing-aws-intelligent-document-processing-with-generative-ai/