Bangun solusi IDP yang dirancang dengan baik dengan lensa khusus – Bagian 4: Efisiensi kinerja | Layanan Web Amazon

Ketika pelanggan sudah siap produksi pemrosesan dokumen cerdas (IDP), kami sering menerima permintaan peninjauan Well-Architected. Untuk membangun solusi perusahaan, sumber daya pengembang, biaya, waktu, dan pengalaman pengguna harus seimbang untuk mencapai hasil bisnis yang diinginkan. Itu Kerangka Kerja AWS Well-Architected memberikan cara sistematis bagi organisasi untuk mempelajari praktik terbaik operasional dan arsitektur untuk merancang dan mengoperasikan beban kerja yang andal, aman, efisien, hemat biaya, dan berkelanjutan di cloud.

Lensa Kustom IDP Well-Architected mengikuti AWS Well-Architected Framework, meninjau solusi dengan enam pilar dengan rincian kasus penggunaan AI atau pembelajaran mesin (ML) tertentu, dan memberikan panduan untuk mengatasi tantangan umum. Lensa Kustom IDP yang Dirancang dengan Baik di Alat yang Diarsitektur dengan Baik berisi pertanyaan mengenai masing-masing pilar. Dengan menjawab pertanyaan-pertanyaan ini, Anda dapat mengidentifikasi potensi risiko dan mengatasinya dengan mengikuti rencana perbaikan Anda.

Posting ini berfokus pada Pilar Efisiensi Kinerja dari beban kerja pengungsi. Kami mendalami perancangan dan penerapan solusi untuk mengoptimalkan throughput, latensi, dan kinerja secara keseluruhan. Kami mulai dengan membahas beberapa indikator umum yang harus Anda lakukan untuk melakukan tinjauan Well-Architected, dan memperkenalkan pendekatan mendasar dengan prinsip-prinsip desain. Kemudian kita membahas setiap area fokus dari perspektif teknis.

Untuk mengikuti postingan ini, Anda harus familiar dengan postingan sebelumnya di seri ini (bagian 1 dan bagian 2) dan pedoman dalam Panduan untuk Pemrosesan Dokumen Cerdas di AWS. Sumber daya ini memperkenalkan layanan AWS umum untuk beban kerja IDP dan alur kerja yang disarankan. Dengan pengetahuan ini, Anda kini siap mempelajari lebih lanjut cara memproduksi beban kerja Anda.

Indikator umum

Berikut adalah indikator umum yang mengharuskan Anda melakukan tinjauan Kerangka Kerja yang Terarsitektur dengan Baik untuk pilar Efisiensi Kinerja:

• Latensi tinggi – Jika latensi pengenalan karakter optik (OCR), pengenalan entitas, atau alur kerja end-to-end membutuhkan waktu lebih lama dari tolok ukur Anda sebelumnya, ini mungkin merupakan indikator bahwa desain arsitektur tidak mencakup pengujian beban atau penanganan kesalahan.
• Pelambatan yang sering terjadi – Anda mungkin mengalami pembatasan oleh layanan AWS seperti Teks Amazon karena batasan permintaan. Artinya, arsitektur perlu disesuaikan dengan meninjau alur kerja arsitektur, implementasi sinkron dan asinkron, penghitungan transaksi per detik (TPS), dan lainnya.
• Kesulitan men-debug – Jika terjadi kegagalan proses dokumen, Anda mungkin tidak memiliki cara efektif untuk mengidentifikasi lokasi kesalahan dalam alur kerja, layanan mana yang terkait, dan alasan kegagalan tersebut terjadi. Ini berarti sistem tidak memiliki visibilitas terhadap log dan kegagalan. Pertimbangkan untuk meninjau kembali desain logging data telemetri dan menambahkan infrastruktur sebagai kode (IaC), seperti jalur pemrosesan dokumen, ke dalam solusinya.

indikator	Deskripsi Produk	Kesenjangan Arsitektur
Latensi Tinggi	OCR, pengenalan entitas, atau latensi alur kerja ujung ke ujung melebihi tolok ukur sebelumnya	Pengujian beban Penanganan kesalahan
Pembatasan yang Sering	Pembatasan oleh layanan AWS seperti Amazon Textract karena batasan permintaan	Sinkronisasi vs Asinkron perhitungan TPS
Sulit untuk Di-debug	Tidak ada visibilitas ke lokasi, penyebab, dan alasan kegagalan pemrosesan dokumen	Desain Penebangan Jalur Pemrosesan Dokumen

Prinsip desain

Dalam postingan ini, kami membahas tiga prinsip desain: mendelegasikan tugas AI yang kompleks, arsitektur IaC, dan arsitektur tanpa server. Ketika Anda menghadapi trade-off antara dua implementasi, Anda dapat meninjau kembali prinsip desain dengan prioritas bisnis organisasi Anda sehingga Anda dapat mengambil keputusan secara efektif.

• Mendelegasikan tugas AI yang kompleks – Anda dapat mengaktifkan adopsi AI yang lebih cepat di organisasi Anda dengan memindahkan siklus hidup pengembangan model ML ke layanan terkelola dan memanfaatkan pengembangan model dan infrastruktur yang disediakan oleh AWS. Daripada mengharuskan tim ilmu data dan TI untuk membangun dan memelihara model AI, Anda dapat menggunakan layanan AI terlatih yang dapat mengotomatisasi tugas untuk Anda. Hal ini memungkinkan tim Anda untuk fokus pada pekerjaan bernilai lebih tinggi yang membedakan bisnis Anda, sementara penyedia cloud menangani kompleksitas pelatihan, penerapan, dan penskalaan model AI.
• Arsitektur IaC – Saat menjalankan solusi IDP, solusi tersebut mencakup beberapa layanan AI untuk menjalankan alur kerja end-to-end secara kronologis. Anda dapat merancang solusi dengan alur alur kerja menggunakan Fungsi Langkah AWS untuk meningkatkan toleransi kesalahan, pemrosesan paralel, visibilitas, dan skalabilitas. Keunggulan ini memungkinkan Anda mengoptimalkan penggunaan dan biaya layanan AI yang mendasarinya.
• Tanpa Server arsitektur – IDP sering kali merupakan solusi berbasis peristiwa, yang dimulai dengan unggahan pengguna atau pekerjaan terjadwal. Solusi ini dapat diperluas secara horizontal dengan meningkatkan tarif panggilan untuk layanan AI, AWS Lambda, dan layanan lain yang terlibat. Pendekatan tanpa server memberikan skalabilitas tanpa penyediaan sumber daya yang berlebihan, sehingga mencegah pengeluaran yang tidak perlu. Pemantauan di balik desain tanpa server membantu mendeteksi masalah kinerja.

Dengan mempertimbangkan ketiga prinsip desain ini, organisasi dapat membangun landasan yang efektif untuk adopsi AI/ML pada platform cloud. Dengan mendelegasikan kompleksitas, menerapkan infrastruktur yang tangguh, dan merancang skala, organisasi dapat mengoptimalkan solusi AI/ML mereka.

Pada bagian berikut, kami membahas cara mengatasi tantangan umum terkait bidang fokus teknis.

Area fokus

Saat meninjau efisiensi kinerja, kami meninjau solusi dari lima area fokus: desain arsitektur, manajemen data, penanganan kesalahan, pemantauan sistem, dan pemantauan model. Dengan area fokus ini, Anda dapat melakukan tinjauan arsitektur dari berbagai aspek untuk meningkatkan efektivitas, observabilitas, dan skalabilitas tiga komponen proyek, data, model, atau tujuan bisnis AI/ML.

Desain arsitektur

Dengan menjawab pertanyaan-pertanyaan di area fokus ini, Anda akan meninjau alur kerja yang ada untuk melihat apakah alur kerja tersebut mengikuti praktik terbaik. Alur kerja yang disarankan memberikan pola umum yang dapat diikuti oleh organisasi dan mencegah biaya coba-coba.

Berdasarkan arsitektur yang diusulkan, alur kerjanya mengikuti enam tahap pengambilan data, klasifikasi, ekstraksi, pengayaan, peninjauan dan validasi, dan konsumsi. Dalam indikator umum yang kita bahas sebelumnya, dua dari tiga berasal dari masalah desain arsitektur. Hal ini karena ketika Anda memulai proyek dengan pendekatan improvisasi, Anda mungkin menemui hambatan proyek saat mencoba menyelaraskan infrastruktur dengan solusi Anda. Dengan tinjauan desain arsitektur, desain improvisasi dapat dipisahkan sebagai tahapan, dan masing-masing tahapan dapat dievaluasi ulang dan disusun ulang.

Anda dapat menghemat waktu, uang, dan tenaga dengan menerapkan klasifikasi dalam alur kerja Anda, dan dokumen masuk ke aplikasi hilir dan API berdasarkan jenis dokumen. Hal ini meningkatkan kemampuan observasi proses dokumen dan membuat solusi mudah dipelihara ketika menambahkan tipe dokumen baru.

Manajemen data

Performa solusi IDP mencakup latensi, throughput, dan pengalaman pengguna menyeluruh. Cara mengelola dokumen dan informasi yang diekstrak dalam solusi adalah kunci konsistensi data, keamanan, dan privasi. Selain itu, solusinya harus menangani volume data yang tinggi dengan latensi rendah dan throughput yang tinggi.

Saat membahas pertanyaan di area fokus ini, Anda akan meninjau alur kerja dokumen. Hal ini mencakup penyerapan data, pemrosesan awal data, konversi dokumen ke jenis dokumen yang diterima oleh Amazon Textract, penanganan aliran dokumen masuk, perutean dokumen berdasarkan jenis, dan penerapan kontrol akses dan kebijakan penyimpanan.

Misalnya, dengan menyimpan dokumen dalam tahapan proses yang berbeda, Anda dapat membalikkan pemrosesan ke langkah sebelumnya jika diperlukan. Siklus hidup data memastikan keandalan dan kepatuhan beban kerja. Dengan menggunakan Kalkulator Kuota Layanan Amazon Textract (lihat tangkapan layar berikut), fitur asinkron di Amazon Textract, Lambda, Step Functions, Layanan Antrian Sederhana Amazon (Amazon SQS), dan Layanan Pemberitahuan Sederhana Amazon (Amazon SNS), organisasi dapat mengotomatiskan dan menskalakan tugas pemrosesan dokumen untuk memenuhi kebutuhan beban kerja tertentu.

Menangani kesalahan

Penanganan kesalahan yang kuat sangat penting untuk melacak status proses dokumen, dan memberikan waktu bagi tim operasi untuk bereaksi terhadap perilaku abnormal apa pun, seperti volume dokumen yang tidak terduga, jenis dokumen baru, atau masalah tidak terencana lainnya dari layanan pihak ketiga. Dari sudut pandang organisasi, penanganan kesalahan yang tepat dapat meningkatkan waktu aktif dan kinerja sistem.

Anda dapat membagi penanganan kesalahan menjadi dua aspek utama:

• Konfigurasi layanan AWS – Anda dapat menerapkan logika percobaan ulang dengan backoff eksponensial untuk menangani kesalahan sementara seperti pembatasan. Saat Anda memulai pemrosesan dengan memanggil operasi Start* asinkron, seperti MulaiDocumentTextDetection, Anda dapat menentukan bahwa status penyelesaian permintaan dipublikasikan ke topik SNS di Saluran Pemberitahuan konfigurasi. Hal ini membantu Anda menghindari pembatasan pada panggilan API karena melakukan polling pada API Get*. Anda juga dapat menerapkan alarm di amazoncloudwatch dan memicu peringatan ketika terjadi lonjakan kesalahan yang tidak biasa.
• Peningkatan laporan kesalahan – Ini mencakup pesan terperinci dengan tingkat detail yang sesuai berdasarkan jenis kesalahan dan deskripsi respons penanganan kesalahan. Dengan pengaturan penanganan kesalahan yang tepat, sistem dapat menjadi lebih tangguh dengan menerapkan pola umum seperti mencoba ulang kesalahan yang terputus-putus secara otomatis, menggunakan pemutus sirkuit untuk menangani kegagalan berjenjang, dan layanan pemantauan untuk mendapatkan wawasan tentang kesalahan. Hal ini memungkinkan solusi untuk menyeimbangkan antara batas percobaan ulang dan mencegah loop sirkuit yang tidak pernah berakhir.

Pemantauan model

Performa model ML dipantau untuk melihat penurunannya seiring waktu. Saat kondisi data dan sistem berubah, kinerja model dan metrik efisiensi dilacak untuk memastikan pelatihan ulang dilakukan saat diperlukan.

Model ML dalam alur kerja IDP dapat berupa model OCR, model pengenalan entitas, atau model klasifikasi. Modelnya dapat berasal dari layanan AWS AI, model sumber terbuka Amazon SageMaker, Batuan Dasar Amazon, atau layanan pihak ketiga lainnya. Anda harus memahami batasan dan kasus penggunaan setiap layanan untuk mengidentifikasi cara meningkatkan model dengan masukan manusia dan meningkatkan kinerja layanan dari waktu ke waktu.

Pendekatan yang umum adalah menggunakan log layanan untuk memahami berbagai tingkat akurasi. Log ini dapat membantu tim ilmu data mengidentifikasi dan memahami kebutuhan pelatihan ulang model. Organisasi Anda dapat memilih mekanisme pelatihan ulang—bisa triwulanan, bulanan, atau berdasarkan metrik sains, seperti ketika akurasi turun di bawah ambang batas yang ditentukan.

Tujuan pemantauan tidak hanya sekedar mendeteksi masalah, namun menutup loop untuk terus menyempurnakan model dan menjaga solusi IDP tetap berfungsi seiring dengan perkembangan lingkungan eksternal.

Pemantauan sistem

Setelah Anda menerapkan solusi IDP dalam produksi, penting untuk memantau metrik utama dan kinerja otomatisasi untuk mengidentifikasi area yang perlu ditingkatkan. Metrik tersebut harus mencakup metrik bisnis dan metrik teknis. Hal ini memungkinkan perusahaan untuk mengevaluasi kinerja sistem, mengidentifikasi masalah, dan melakukan perbaikan pada model, aturan, dan alur kerja dari waktu ke waktu untuk meningkatkan tingkat otomatisasi guna memahami dampak operasional.

Di sisi bisnis, metrik seperti akurasi ekstraksi untuk bidang penting, tingkat otomatisasi keseluruhan yang menunjukkan persentase dokumen yang diproses tanpa campur tangan manusia, dan waktu pemrosesan rata-rata per dokumen adalah yang terpenting. Metrik bisnis ini membantu mengukur pengalaman pengguna akhir dan peningkatan efisiensi operasional.

Metrik teknis termasuk tingkat kesalahan dan pengecualian yang terjadi sepanjang alur kerja sangat penting untuk dilacak dari perspektif teknik. Metrik teknis juga dapat memantau setiap tingkat dari ujung ke ujung dan memberikan pandangan komprehensif tentang beban kerja yang kompleks. Anda dapat membagi metrik menjadi beberapa tingkatan yang berbeda, seperti tingkat solusi, tingkat alur kerja end-to-end, tingkat jenis dokumen, tingkat dokumen, tingkat pengenalan entitas, dan tingkat OCR.

Sekarang setelah Anda meninjau semua pertanyaan dalam pilar ini, Anda dapat menilai pilar lainnya dan mengembangkan rencana perbaikan untuk beban kerja IDP Anda.

Kesimpulan

Dalam postingan ini, kami membahas indikator umum yang mungkin Anda perlukan untuk melakukan tinjauan Kerangka Kerja yang Diarsitektur dengan Baik untuk pilar Efisiensi Kinerja untuk beban kerja IDP Anda. Kami kemudian membahas prinsip-prinsip desain untuk memberikan gambaran umum tingkat tinggi dan mendiskusikan tujuan solusi. Dengan mengikuti saran-saran ini dengan mengacu pada Lensa Kustom IDP yang Diarsitektur dengan Baik dan dengan meninjau pertanyaan-pertanyaan berdasarkan area fokus, Anda sekarang seharusnya sudah mempunyai rencana perbaikan proyek.

---

Tentang Penulis

Mia Chang adalah Arsitek Solusi Spesialis ML untuk Amazon Web Services. Dia bekerja dengan pelanggan di EMEA dan berbagi praktik terbaik untuk menjalankan beban kerja AI/ML di cloud dengan latar belakangnya di bidang matematika terapan, ilmu komputer, dan AI/ML. Dia berfokus pada beban kerja khusus NLP, dan berbagi pengalamannya sebagai pembicara konferensi dan penulis buku. Di waktu luangnya, dia menikmati hiking, permainan papan, dan menyeduh kopi.

Brijesh Pati adalah Arsitek Solusi Perusahaan di AWS. Fokus utamanya adalah membantu pelanggan perusahaan mengadopsi teknologi cloud untuk beban kerja mereka. Dia memiliki latar belakang dalam pengembangan aplikasi dan arsitektur perusahaan dan telah bekerja dengan pelanggan dari berbagai industri seperti olahraga, keuangan, energi, dan layanan profesional. Minatnya mencakup arsitektur tanpa server dan AI/ML.

Rui Cardoso adalah arsitek solusi mitra di Amazon Web Services (AWS). Dia fokus pada AI/ML dan IoT. Dia bekerja dengan Partner AWS dan mendukung mereka dalam mengembangkan solusi di AWS. Saat tidak bekerja, dia menikmati bersepeda, mendaki gunung, dan mempelajari hal-hal baru.

Tim Condello adalah arsitek solusi spesialis kecerdasan buatan (AI) dan pembelajaran mesin (ML) senior di Amazon Web Services (AWS). Fokusnya adalah pemrosesan bahasa alami dan visi komputer. Tim senang mengambil ide pelanggan dan mengubahnya menjadi solusi terukur.

Sherly Ding adalah arsitek solusi spesialis kecerdasan buatan (AI) dan pembelajaran mesin (ML) senior di Amazon Web Services (AWS). Dia memiliki pengalaman luas dalam pembelajaran mesin dengan gelar PhD di bidang ilmu komputer. Dia terutama bekerja dengan pelanggan sektor publik dalam berbagai tantangan bisnis terkait AI/ML, membantu mereka mempercepat perjalanan pembelajaran mesin mereka di AWS Cloud. Saat tidak membantu pelanggan, dia menikmati aktivitas di luar ruangan.

Suyin Wang adalah Arsitek Solusi Spesialis AI/ML di AWS. Dia memiliki latar belakang pendidikan interdisipliner dalam Pembelajaran Mesin, Layanan Informasi Keuangan, dan Ekonomi, serta pengalaman bertahun-tahun dalam membangun aplikasi Ilmu Data dan Pembelajaran Mesin yang memecahkan masalah bisnis dunia nyata. Dia senang membantu pelanggan mengidentifikasi pertanyaan bisnis yang tepat dan membangun solusi AI/ML yang tepat. Di waktu luangnya, dia suka menyanyi dan memasak.

• Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
• PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
• PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
• PlatoESG. Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
• PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
• Sumber: https://aws.amazon.com/blogs/machine-learning/build-well-architected-idp-solutions-with-a-custom-lens-part-4-performance-efficiency/