AWS AI hizmetleriyle akıllı belge işleme: 2. Bölüm

Amazon'un akıllı belge işleme (IDP), iş karar döngülerinizi hızlandırmanıza ve maliyetleri düşürmenize yardımcı olur. Birden fazla sektörde, müşterilerin işleri sırasında yılda milyonlarca belgeyi işlemesi gerekir. Milyonlarca belge işleyen müşteriler için bu, son kullanıcı deneyimi ve en önemli dijital dönüşüm önceliği için kritik bir husustur. Çeşitli formatlar nedeniyle çoğu firma W2'ler, talepler, kimlik belgeleri, faturalar ve yasal sözleşmeler gibi belgeleri manuel olarak işler veya zaman alıcı, hataya açık ve maliyetli eski OCR (optik karakter tanıma) çözümlerini kullanır. AWS AI hizmetlerine sahip bir IDP ardışık düzeni, daha doğru ve çok yönlü bilgi çıkarma ile OCR'nin ötesine geçmenize, belgeleri daha hızlı işlemenize, paradan tasarruf etmenize ve kaynakları daha değerli görevlere kaydırmanıza olanak tanır.

Bu seride, bir belgeyi almak ve önemli bilgileri alt sistemlere almak için gereken süreyi ve çabayı azaltmak için IDP boru hattına genel bir bakış sunuyoruz. Aşağıdaki şekil, tipik olarak bir IDP iş akışının parçası olan aşamaları gösterir.

Bu iki bölümden oluşan dizide, AWS AI hizmetlerini kullanarak belgeleri nasıl otomatikleştirebileceğinizi ve uygun ölçekte nasıl akıllıca işleyebileceğinizi tartışıyoruz. İçinde parçası 1, IDP iş akışının ilk üç aşamasını tartıştık. Bu yazıda, kalan iş akışı aşamalarını tartışıyoruz.

Çözüme genel bakış

Aşağıdaki referans mimarisi, aşağıdakiler gibi AWS AI hizmetlerini nasıl kullanabileceğinizi gösterir: Amazon Metin Yazısı ve Amazon Kavramak, IDP iş akışını uygulamak için diğer AWS hizmetleriyle birlikte. 1. bölümde, banka ekstreleri, faturalar ve makbuz belgeleri gibi belgeleri kategorilere ayırıp etiketlediğimiz veri yakalama ve belge sınıflandırma aşamalarını tanımladık. Belgelerinizden anlamlı iş bilgilerini çıkarabileceğiniz çıkarma aşamasını da ele aldık. Bu gönderide, çıkarma aşamasında Amazon Comprehend varsayılan ve özel varlıklarına bakarak IDP ardışık düzenini genişletiyor, belge zenginleştirmeyi gerçekleştiriyor ve ayrıca Amazon Artırılmış AI (Amazon A2I) inceleme ve doğrulama aşamasına bir insan inceleme işgücünü dahil etmek.

Ayrıca kullanıyoruz Amazon Medikal yapılandırılmamış tıbbi metinden bilgileri doğru ve hızlı bir şekilde çıkarmak ve çıkarılan sağlık bilgileri arasındaki ilişkileri belirlemek ve ICD-10-CM, RxNorm ve SNOMED CT gibi tıbbi ontolojilere bağlantı vermek için bir hizmet olan bu çözümün bir parçası olarak.

Amazon A2I, insan incelemesi için gereken iş akışlarını oluşturmayı kolaylaştıran bir makine öğrenimi (ML) hizmetidir. Amazon A2I, insan incelemesi sistemleri oluşturmak veya AWS'de çalışsın veya çalışmasın çok sayıda insan inceleme uzmanının yönetilmesiyle ilişkili farklılaşmamış ağır yükleri ortadan kaldırarak tüm geliştiricilere insan incelemesi sunar. Amazon A2I ile entegre olur Amazon Metin Yazısı ve Amazon Kavramak size IDP iş akışınızda insan incelemesi adımlarını tanıtma yeteneği sağlamak için.

Önkoşullar

Başlamadan önce, bkz. parçası 1 IDP'ye üst düzey bir genel bakış ve veri yakalama, sınıflandırma ve çıkarma aşamalarıyla ilgili ayrıntılar için.

Ekstraksiyon aşaması

Bu dizinin 1. bölümünde, her tür belge için doğru veri ayıklamak için Amazon Textract özelliklerini nasıl kullanabileceğimizi tartıştık. Bu aşamayı genişletmek için Amazon Comprehend önceden eğitilmiş varlıkları ve daha fazla belge ayıklaması için bir Amazon Comprehend özel varlık tanıyıcısını kullanıyoruz. Özel varlık tanıyıcının amacı, belirli varlıkları tanımlamak ve daha sonra iş kullanıcıları tarafından analiz edilmek üzere CSV veya insan tarafından okunabilir biçimde belgelerimizle ilgili özel meta veriler oluşturmaktır.

Adlandırılmış varlık tanıma

Adlandırılmış varlık tanıma (NER), adlandırılmış varlıklar olarak adlandırılan isim öbeklerini bulmak için metin verilerini elemeyi ve her birini marka, tarih, etkinlik, konum, kuruluşlar gibi bir etiketle kategorilere ayırmayı içeren bir doğal dil işleme (NLP) alt görevidir. , kişi, miktar veya başlık. Örneğin, "Son zamanlarda Amazon Prime'a abone oldum" ifadesinde, Amazon Prime adı verilen varlıktır ve bir marka olarak sınıflandırılabilir.

Amazon Comprehend, belgenizdeki bu tür özel varlıkları algılamanıza olanak tanır. Ayrıca her varlık, Amazon Comprehend'in her varlık türü için döndürdüğü bir güven düzeyi puanına sahiptir. Aşağıdaki diyagram, varlık tanıma sürecini göstermektedir.

Metin belgesinden varlıkları almak için şunu çağırırız: comprehend.detect_entities() yöntem ve dil kodunu ve metni giriş parametreleri olarak yapılandırın:

def get_entities(text):
    try:
        #detect entities
        entities = comprehend.detect_entities(LanguageCode="en", Text=text)  
        df = pd.DataFrame(entities["Entities"], columns = ['Text', 'Type'])
        display(HTML(df.to_html(index=False)))
    except Exception as e:
        print(e)

çalıştırıyoruz get_entities() Banka belgesinde yöntem ve sonuçlarda varlık listesini elde edin.

Varlık çıkarma, banka belgesindeki her şey için varsayılan varlık türlerini belirlemede oldukça iyi çalışsa da, kullanım durumumuz için belirli varlıkların tanınmasını istiyoruz. Daha spesifik olarak, banka ekstresinde müşterinin tasarruf ve çek hesap numaralarını tanımlamamız gerekiyor. Bu temel iş şartlarını Amazon Comprehend özel varlık tanıma özelliğini kullanarak çıkartabiliriz.

Bir Amazon Comprehend özel varlık tanıma modeli eğitin

Müşterinin banka ekstresinden ilgilendiğimiz belirli varlıkları tespit etmek için iki özel varlıkla bir özel varlık tanıyıcı eğitiriz: SAVINGS_AC ve CHECKING_AC.

Ardından özel bir varlık tanıma modeli eğitiriz. Amazon Comprehend'e veri sağlamanın iki yolundan birini seçebiliriz: ek açıklamalar veya varlık listeleri.

Belgelerinizle birlikte ek açıklamalar olarak daha doğru bağlam göndererek bir modeli eğittiğiniz için, açıklama yöntemi genellikle görüntü dosyaları, PDF'ler veya Word belgeleri için daha rafine sonuçlara yol açabilir. Bununla birlikte, ek açıklamalar yöntemi zaman alıcı ve yoğun çalışma gerektirebilir. Bu blog gönderisinin sadeliği için, yalnızca düz metin belgeleri için kullanabileceğiniz varlık listeleri yöntemini kullanıyoruz. Bu yöntem bize, önceki örnekte gösterildiği gibi, düz metni ve buna karşılık gelen varlık türünü içermesi gereken bir CSV dosyası verir. Bu dosyadaki varlıklar, iş ihtiyaçlarımıza özel olacaktır (tasarruf ve çek hesap numaraları).

Açıklamalar veya varlık listeleri yöntemlerini kullanarak eğitim verilerinin farklı kullanım durumları için nasıl hazırlanacağı hakkında daha fazla ayrıntı için, bkz. Eğitim verilerinin hazırlanması.

Aşağıdaki ekran görüntüsü varlık listemizin bir örneğini göstermektedir.

Bir Amazon Comprehend özel NER gerçek zamanlı uç noktası oluşturun

Ardından, eğittiğimiz modeli kullanarak özel bir varlık tanıyıcı gerçek zamanlı uç nokta oluştururuz. kullanıyoruz Bitiş noktası oluştur API aracılığıyla comprehend.create_endpoint() gerçek zamanlı bitiş noktası oluşturma yöntemi:

#create comprehend endpoint
model_arn = entity_recognizer_arn
ep_name = 'idp-er-endpoint'

try:
    endpoint_response = comprehend.create_endpoint(
        EndpointName=ep_name,
        ModelArn=model_arn,
        DesiredInferenceUnits=1,    
        DataAccessRoleArn=role
    )
    ER_ENDPOINT_ARN=endpoint_response['EndpointArn']
    print(f'Endpoint created with ARN: {ER_ENDPOINT_ARN}')
    %store ER_ENDPOINT_ARN
except Exception as error:
    if error.response['Error']['Code'] == 'ResourceInUseException':
        print(f'An endpoint with the name "{ep_name}" already exists.')
        ER_ENDPOINT_ARN = f'arn:aws:comprehend:{region}:{account_id}:entity-recognizer-endpoint/{ep_name}'
        print(f'The classifier endpoint ARN is: "{ER_ENDPOINT_ARN}"')
        %store ER_ENDPOINT_ARN
    else:
        print(error)

Özel bir varlık tanıyıcıyı eğittikten sonra, belgeden bazı zenginleştirilmiş bilgileri çıkarmak için özel gerçek zamanlı uç noktayı kullanırız ve ardından Amazon Comprehend tarafından tanınan özel varlıkların ve Amazon Textract'taki sınırlayıcı kutu bilgilerinin yardımıyla belge redaksiyonu gerçekleştiririz.

Zenginleştirme aşaması

Belge zenginleştirme aşamasında, kişisel olarak tanımlanabilir bilgiler (PII) verileri, özel iş terimi çıkarma vb. redaksiyon yaparak belge zenginleştirme gerçekleştirebiliriz. Önceki örnek belgemiz (bir banka ekstresi), redaksiyonunu yapmak istediğimiz müşterilerin tasarruf ve çek hesap numaralarını içermektedir. Bu özel varlıkları Amazon Comprehend özel NER modelimiz aracılığıyla zaten bildiğimiz için, bu PII varlıklarını belgede göründükleri yerde yeniden düzenlemek için Amazon Textract geometri veri türünü kolayca kullanabiliriz. Aşağıdaki mimaride, temel iş terimlerini (tasarruf ve çek hesapları) banka ekstresi belgesinden çıkarıyoruz.

Aşağıdaki örnekte de görebileceğiniz gibi, çek ve tasarruf hesap numaraları artık banka ekstresinde gizlidir.

Geleneksel OCR çözümleri, verilerin bu belgelerin birden çok sürümünde ve biçiminde düzenlenme biçimindeki önemli farklılıklar nedeniyle, çoğu yapılandırılmamış ve yarı yapılandırılmış belgeden verileri doğru bir şekilde çıkarmakta zorlanır. Daha sonra özel ön işleme mantığını uygulamanız veya hatta bilgileri bu belgelerden manuel olarak çıkarmanız gerekebilir. Bu durumda, IDP ardışık düzeni kullanabileceğiniz iki özelliği destekler: Amazon Comprehend özel NER ve Amazon Textract sorguları. Bu hizmetlerin her ikisi de, belgelerin içeriği hakkında bilgi edinmek için NLP'yi kullanır.

Amazon Textract sorgularıyla ayıklama

Amazon Textract ile bir belge işlerken, ihtiyacınız olan bilgileri belirlemek için yeni sorgular özelliğini analizinize ekleyebilirsiniz. Bu, “Müşterinin sosyal güvenlik numarası nedir?” gibi bir NLP sorusu iletmeyi içerir. Amazon Textract'a. Amazon Textract, o soruya ilişkin belgedeki bilgileri bulur ve belgenin geri kalan bilgilerinden ayrı bir yanıt yapısında döndürür. Sorgular tek başına veya başka herhangi bir sorgu ile birlikte işlenebilir. FeatureTypeGibi Tables or Forms.

Amazon Textract sorgularıyla, verilerin formlar, tablolar ve onay kutuları gibi bir belge yapısında nasıl düzenlendiğinden veya bir belgedeki iç içe bölümlerde nasıl yer aldığından bağımsız olarak bilgileri yüksek doğrulukla çıkarabilirsiniz.

Sorgulama özelliğini göstermek için, COVID-19 aşı kartı gibi belgelerden hastanın adı ve soyadı, dozaj üreticisi vb. gibi değerli bilgileri çıkarıyoruz.

Biz kullanın textract.analyze_document() işlevini belirleyin ve FeatureType as QUERIES sorguları doğal dil soruları şeklinde eklemenin yanı sıra QueriesConfig.

Aşağıdaki kod, basitleştirme amacıyla kısaltılmıştır. Kodun tamamı için GitHub'a bakın. basit kod için analyze_document().

response = None
with open(image_filename, 'rb') as document:
    imageBytes = bytearray(document.read())

# Call Textract
response = textract.analyze_document(
    Document={'Bytes': imageBytes},
    FeatureTypes=["QUERIES"],
    QueriesConfig={
            "Queries": [{
                "Text": "What is the date for the 1st dose covid-19?",
                "Alias": "COVID_VACCINATION_FIRST_DOSE_DATE"
            },
# code trimmed down for simplification
#..
]
}) 

Sorgular özelliği için, textract.analyze_document() işlevi, JSON yanıtındaki tüm OCR KELİMELERİ ve HATLARI, geometri bilgilerini ve güven puanlarını verir. Ancak sadece sorguladığımız bilgileri yazdırabiliriz.

Document API'den JSON yanıtını ayrıştırmaya yardımcı olmak için kullanılan bir sarmalayıcı işlevidir. Üst düzey bir soyutlama sağlar ve API çıktısını yinelenebilir ve bilgi alınmasını kolaylaştırır. Daha fazla bilgi için bkz. Textract Yanıt Ayrıştırıcı ve tekstüreci GitHub depoları. Yanıtı işledikten sonra ekran görüntüsünde görüldüğü gibi aşağıdaki bilgileri alıyoruz.

import trp.trp2 as t2
from tabulate import tabulate

d = t2.TDocumentSchema().load(response)
page = d.pages[0]

query_answers = d.get_query_answers(page=page)

print(tabulate(query_answers, tablefmt="github"))

İnceleme ve doğrulama aşaması

Bu, IDP boru hattımızın son aşamasıdır. Bu aşamada, bir belgenin eksiksizliğini kontrol etmek için iş kurallarımızı kullanabiliriz. Örneğin, bir sigorta tazminatı belgesinden, hasar kimliği doğru ve başarılı bir şekilde çıkarılır. AWS sunucusuz teknolojileri kullanabiliriz. AWS Lambda bu iş kurallarının daha fazla otomasyonu için. Ayrıca, tahminlerin doğru olduğundan emin olmak için belge incelemeleri için bir insan işgücünü dahil edebiliriz. Amazon A2I, makine öğrenimi tahminleri için insan incelemesi için gereken iş akışlarını oluşturmayı hızlandırır.

Amazon A2I ile, bir model yüksek güvenilirliğe sahip bir tahminde bulunamadığında veya tahminlerini sürekli olarak denetleyemediğinde insan incelemecilerin devreye girmesine izin verebilirsiniz. IDP boru hattının amacı, karar sistemlerinize doğru bilgi almak için gereken insan girdisi miktarını azaltmaktır. IDP ile belge işlemleriniz için insan girdisi miktarını ve belge işlemenin toplam maliyetini azaltabilirsiniz.

Belgelerden alınan tüm doğru bilgilere sahip olduktan sonra, Lambda işlevlerini kullanarak işletmeye özel kurallar ekleyebilir ve son olarak çözümü aşağı akış veritabanları veya uygulamalarla bütünleştirebilirsiniz.

Amazon A2I iş akışının nasıl oluşturulacağı hakkında daha fazla bilgi için şuradaki talimatları izleyin: Modül 4'e Hazırlık sonunda adım 03-idp-document-enrichment.ipynb bizimkinde GitHub repo.

Temizlemek

AWS hesabınızdan gelecekte ücret alınmasını önlemek için, havuz kurulumunda sağladığımız kaynakları şuraya giderek silin: Temizleme bölümü bizim repomuzda.

Sonuç

Bu iki bölümden oluşan gönderide, çok az veya hiç ML deneyimi olmayan uçtan uca bir IDP ardışık düzeninin nasıl oluşturulacağını gördük. Sektöre özel kullanım senaryoları tasarlamak ve oluşturmak için Amazon Textract, Amazon Comprehend, Amazon Comprehend Medical ve Amazon A2I gibi AWS AI hizmetleriyle, ardışık düzenin çeşitli aşamalarını ve uygulamalı bir çözümü tartıştık. İçinde ilk yazı Bu seride, çeşitli belgelerden bilgi çıkarmak için Amazon Textract ve Amazon Comprehend'in nasıl kullanılacağını gösterdik. Bu gönderide, özel varlıkları belgelerimizden çıkarmak için bir Amazon Comprehend özel varlık tanıyıcıyı nasıl eğiteceğimize derinlemesine bir dalış yaptık. Ayrıca Amazon Textract kullanarak redaksiyon ve Amazon Comprehend'deki varlık listesi gibi belge zenginleştirme teknikleri de uyguladık. Son olarak, özel bir çalışma ekibi ekleyerek Amazon Textract için bir Amazon A2I insan incelemesi iş akışını nasıl kullanabileceğinizi gördük.

Bu gönderideki tam kod örnekleri hakkında daha fazla bilgi için bkz. GitHub repo.

güvenlik bölümlerini incelemenizi öneririz. Amazon Metin Yazısı, Amazon Kavramak, ve Amazon A2I belgeler ve sağlanan yönergeleri izleyin. Ayrıca, fiyatlandırmayı incelemek ve anlamak için bir dakikanızı ayırın. Amazon Metin Yazısı, Amazon Kavramak, ve Amazon A2I.

yazarlar hakkında

Çene Ranesi Amazon Web Services'de AI/ML Uzman Çözüm Mimarıdır. Uygulamalı matematik ve makine öğrenimi konusunda tutkulu. AWS müşterileri için akıllı belge işleme çözümleri tasarlamaya odaklanıyor. İş dışında salsa ve bachata dansından hoşlanıyor.

Sonali Sahu Amazon Web Services'de Akıllı Belge İşleme AI/ML Çözümleri Mimarı ekibine liderlik ediyor. Tutkulu bir teknoloji tutkunu ve inovasyonu kullanarak karmaşık sorunları çözmek için müşterilerle çalışmaktan keyif alıyor. Temel odak alanları, akıllı belge işleme için yapay zeka ve makine öğrenimidir.

Anjan Biswas bir AI/ML uzmanı Kıdemli Çözüm Mimarıdır. Anjan, kurumsal müşterilerle çalışır ve AI/ML, veri analitiği ve büyük veri çözümleri geliştirme, dağıtma ve açıklama konusunda tutkuludur. Anjan, küresel tedarik zinciri, üretim ve perakende kuruluşlarıyla çalışma konusunda 14 yılı aşkın deneyime sahiptir ve müşterilerin AWS'yi başlatmasına ve ölçeklendirmesine aktif olarak yardımcı olmaktadır.

suprakash dutta Amazon Web Services'te Çözüm Mimarıdır. Dijital dönüşüm stratejisi, uygulama modernizasyonu ve geçişi, veri analitiği ve makine öğrenimi konularına odaklanmaktadır. AWS'deki AI/ML topluluğunun bir parçasıdır ve akıllı belge işleme çözümleri tasarlar.