Building a production-ready solution in AWS involves a series of trade-offs between resources, time, customer expectation, and business outcome. The AWS jól felépített keretrendszer helps you understand the benefits and risks of decisions you make while building workloads on AWS. By using the Framework, you will learn current operational and architectural recommendations for designing and operating reliable, secure, efficient, cost-effective, and sustainable workloads in AWS.
An intelligent document processing (IDP) project usually combines optical character recognition (OCR) and natural language processing (NLP) to read and understand a document and extract specific entities or phrases. This IDP Well-Architected Custom Lens provides you the guidance to tackle the common challenges we see in the field. By answering a series of questions in this custom lens, you will identify the potential risks and be able to resolve them by following the improvement plan.
This post focuses on the Security pillar of the IDP solution. Starting from the introduction of the Security Pillar and design principles, we then examine the solution design and implementation with four focus areas: access control, data protection, key and secret management, and workload configuration. By reading this post, you will learn about the Security Pillar in the Well-Architected Framework, and its application to the IDP solutions.
Tervezési elvek
The Security Pillar encompasses the ability of an IDP solution to protect input documents, document processing systems, and output assets, taking advantage of AWS technologies to improve security while processing documents intelligently.
All of the AWS AI services (for example, Amazon szöveg, Amazon Comprehendvagy Amazon Comprehend Medical) used in IDP solutions are fully managed AI services where AWS secures their physical infrastructure, API endpoints, OS, and application code, and handles service resilience and failover within a given region. As an AWS customer, you can therefore focus on using these services to accomplish your IDP tasks, rather than on securing these elements. There are a number of design principles that can help you strengthen your IDP workload security:
- Implement a strong identity foundation – Implement the principle of least privilege and enforce separation of duties with appropriate authorization for each interaction with your AWS resources in IDP applications. Centralize identity management, and aim to eliminate reliance on long-term static credentials.
- Maintain traceability – AI services used in IDP are integrated with AWS CloudTrail, which enables you to monitor, alert on, and audit actions and changes to your IDP environment with low latency. Their integration with amazonfelhőóra allows you to integrate log and metric collection with your IDP system to automatically investigate and take action.
- Automate current security recommendations – Automated software-based security mechanisms improve your ability to securely scale more rapidly and cost-effectively. Create secured IDP architectures, including the implementation of controls that are defined and managed as code in version-controlled templates by using AWS felhőképződés.
- Protect data in transit and at rest – Encryption in transit is supported by default for all of the AI services required for IDP. Pay attention to protection of data at rest and data produced in IDP outputs. Classify your data into sensitivity levels and use mechanisms, such as encryption, tokenization, and access control where appropriate.
- Grant least privilege permissions to people – IDP largely reduces the need for direct access and manual processing of documents. Only involving necessary people to do case validation or augmentation tasks reduces the risk of document mishandling and human error when dealing with sensitive data.
- Prepare for security events – Prepare for an incident by having incident management and investigation policy and processes in place that align to your organizational requirements. Run incident response simulations and use tools with automation to increase your speed for detection, investigation, and recovery.
Fókuszterületek
Before you architect an IDP workload, you need to put practices in place to meet your security requirements. This post focuses on the Security pillar with four focus areas:
- Belépési ellenőrzés – In an IDP application, access control is the key part to ensure information security. It’s not only related to ensuring that only authorized users are able to access the application, but also about ensuring that other services are only able to access the environment and interact with each other in a suitably secure manner.
- Adat védelem – Because encrypting data in transit is supported by default for all of the AI services required for IDP, data protection in an IDP application focuses more on encrypting data at rest and managing sensitive information such as personally identifiable information (PII).
- Key and secret management – The encryption approach that you use to secure your IDP workflow may include different keys to encrypt data and authorize users across multiple services and related systems. Applying a comprehensive key and secret management system provides durable and secure mechanisms to further protect your IDP application and data.
- Workload configuration – Workload configuration involves multiple design principles, including using monitoring and auditing services to maintain traceability of transactions and data in your IDP workload, setting up incident response procedures, and separating different IDP workloads from each other.
Belépési ellenőrzés
In focus area of access control, consider the following current recommendations:
- Use VPC endpoints to a establish private connection with IDP related services – You can use Amazon Textract, Amazon Comprehend, and Amazon egyszerű tárolási szolgáltatás (Amazon S3) APIs through a world-routable network or keep your network traffic within the AWS network by using VPC endpoints. To follow current security recommnedations, you should keep your IDP traffic within your VPCs, and establish a private connection between your VPC and Amazon Textract or Amazon Comprehend by creating interface VPC endpoints. You can also access Amazon S3 from your VPC using gateway VPC endpoints.
- Set up a centralized identity provider – For authenticating users and systems to your IDP application, setting up a centralized identity provider makes it easier to manage access across multiple IDP applications and services. This reduces the need for multiple sets of credentials and provides an opportunity to integrate with existing human resources (HR) processes.
- Use IAM roles to control access and enforce least privilege access – To manage user access to IDP services, you should create IAM roles for user access to services in the IDP application and attach the appropriate policies and tags to achieve least privilege access. Roles should then be assigned to appropriate groups as managed in your identity provider. You can also use IAM roles for assigning service usage permissions, thereby employing ephemeral AWS Security Token Service (STS) credentials for calling service APIs. For circumstances where AWS services need to be called for IDP purposes from systems not running on AWS, use AWS IAM Roles Anywhere to obtain temporary security credentials in IAM for workloads running outside of AWS.
- Protect Amazon Textract and Amazon Comprehend in your account from cross-service impersonation – An IDP application usually employs multiple AWS services, such that one service may call another service. Therefore, you need to prevent cross-service “confused deputy” scenarios. We recommend using the
aws:SourceArn
és aaws:SourceAccount
global condition context keys in resource policies to limit the permissions that Amazon Textract or Amazon Comprehend gives another service to the resource.
Adat védelem
The following are some current recommendations to consider for data protection:
- Follow current recommendations to secure sensitive data in data stores – IDP usually involves multiple data stores. Sensitive data in these data stores needs to be secured. Current security recommendations in this area involve defining IAM controls, multiple ways to implement detective controls on databases, strengthening infrastructure security surrounding your data via network flow control, and data protection through encryption and tokenization.
- Encrypt data at rest in Amazon Textract – Amazon Textract uses Transport Layer Security (TLS) and VPC endpoints to encrypt data in transit. The method of encrypting data at rest for use by Amazon Textract is server-side encryption. You can choose from the following options:
- Server-side encryption with Amazon S3 (SSE-S3) – When you use Amazon S3 managed keys, each object is encrypted with a unique key. As an additional safeguard, this method encrypts the key itself with a primary key that it regularly rotates.
- Server-side encryption with AWS KMS (SSE-KMS) – There are separate permissions for the use of an AWS kulcskezelési szolgáltatás (AWS KMS) key that provide protection against unauthorized access of your objects in Amazon S3. SSE-KMS also provides you with an audit trail in CloudTrail that shows when your KMS key was used, and by whom. Additionally, you can create and manage KMS keys that are unique to you, your service, and your Region.
- Encrypt the output from Amazon Textract asynchronous API in a custom S3 bucket – When you start an asynchronous Amazon Textract job by calling
StartDocumentTextDetection
orStartDocumentAnalysis
, an optional parameter in the API action is calledOutputConfig
. This parameter allows you to specify the S3 bucket for storing the output. Another optional input parameterKMSKeyId
allows you to specify the KMS customer managed key (CMK) to use to encrypt the output. - Use AWS KMS encryption in Amazon Comprehend – Amazon Comprehend works with AWS KMS to provide enhanced encryption for your data. Integration with AWS KMS enables you to encrypt the data in the storage volume for
Start*
és aCreate*
jobs, and it encrypts the output results ofStart*
jobs using your own KMS key.- For use via the AWS felügyeleti konzol, Amazon Comprehend encrypts custom models with its own KMS key.
- For use via the AWS parancssori interfész (AWS CLI), Amazon Comprehend can encrypt custom models using either its own KMS key or a provided CMK, and we recommend the latter.
- Protect PII in IDP output – For documents including PII, any PII in IDP output also needs to be protected. You can either secure the output PII in your data store or redact the PII in your IDP output.
- If you need to store the PII in your IDP downstream, look into defining IAM controls, implementing protective and detective controls on databases, strengthening infrastructure security surrounding your data via network flow control, and implementing data protection through encryption and tokenization.
- If you don’t need to store the PII in your IDP downstream, consider redacting the PII in your IDP output. You can design a PII redaction step using Amazon Comprehend in your IDP workflow.
Key and secret management
Consider the following current recommendations for managing keys and secrets:
- Use AWS KMS to implement secure key management for cryptographic keys – You need to define an encryption approach that includes the storage, rotation, and access control of keys, which helps provide protection for your content. AWS KMS helps you manage encryption keys and integrates with many AWS services. It provides durable, secure, and redundant storage for your KMS keys.
- Use AWS Secrets Manager to implement secret management – An IDP workflow may have secrets such as database credentials in multiple services or stages. You need a tool to store, manage, retrieve, and potentially rotate these secrets. AWS Secrets Manager helps you manage, retrieve, and rotate database credentials, application credentials, and other secrets throughout their lifecycles. Storing the credentials in Secrets Manager helps mitigate the risk of possible credential exfiltration by anyone who can inspect your application code.
Workload configuration
To configure workload, follow these current recommendations:
- Separate multiple IDP workloads using different AWS accounts – We recommend establishing common guardrails and isolation between environments (such as production, development, and test) and workloads through a multi-account strategy. AWS provides tools to manage your workloads at scale through a multi-account strategy to establish this isolation boundary. When you have multiple AWS accounts under central management, your accounts should be organized into a hierarchy defined by groupings of organizational units (OUs). Security controls can then be organized and applied to the OUs and member accounts, establishing consistent preventative controls on member accounts in the organization.
- Log Amazon Textract and Amazon Comprehend API calls with CloudTrail – Amazon Textract and Amazon Comprehend are integrated with CloudTrail. The calls captured include calls from the service console and calls from your own code to the services’ API endpoints.
- Establish incident response procedures – Even with comprehensive, preventative and detective controls, your organization should still have processes in place to respond to and mitigate the potential impact of security incidents. Putting the tools and controls in place ahead of a security incident, then routinely practicing incident response through simulations, will help you verify that your environment can support timely investigation and recovery.
Következtetés
In this post we shared design principles and current recommendations for Security Pillar in building well-architected IDP solutions.
For next steps, you can read more about the AWS jól felépített keretrendszer and refer to our Útmutató az AWS intelligens dokumentumfeldolgozásához to design and build your IDP application. Please also reach out to your account team for a Well-Architected review for your IDP workload. If you require additional expert guidance, contact your AWS account team to engage an IDP Specialist Solutions Architect.
AWS is committed to the IDP Well-Architected Lens as a living tool. As the IDP solutions and related AWS AI services evolve, we will update the IDP Well-Architected Lens accordingly.
A szerzőkről
Sherry Ding az Amazon Web Services (AWS) mesterséges intelligencia (AI) és gépi tanulási (ML) megoldások vezető építészmérnöke. Számítástechnikai PhD fokozattal rendelkezik a gépi tanulás területén. Főleg a közszférában dolgozó ügyfelekkel dolgozik különféle mesterséges intelligenciával/ML-lel kapcsolatos üzleti kihívásokon, segítve őket az AWS felhőben való gépi tanulási útjuk felgyorsításában. Amikor nem segít az ügyfeleknek, szereti a szabadtéri tevékenységeket.
Brijesh Pati az AWS vállalati megoldások építésze. Elsődleges célja, hogy segítse a vállalati ügyfeleket abban, hogy a felhőtechnológiákat alkalmazzák munkaterhelésükhöz. Alkalmazásfejlesztéssel és vállalati architektúrával rendelkezik, és különböző iparágakban, például sport-, pénzügy-, energia- és professzionális szolgáltatásokkal foglalkozó ügyfelekkel dolgozott. Érdeklődési köre a szerver nélküli architektúrák és az AI/ML.
Rui Cardoso az Amazon Web Services (AWS) partner megoldások tervezője. Az AI/ML-re és az IoT-re összpontosít. Az AWS-partnerekkel dolgozik, és támogatja őket az AWS-beli megoldások fejlesztésében. Amikor nem dolgozik, szeret kerékpározni, túrázni és új dolgokat tanulni.
Mia Chang az Amazon Web Services ML Specialist Solutions Architect. EMEA-beli ügyfelekkel dolgozik, és megosztja a bevált gyakorlatokat az AI/ML munkaterhelések felhőben történő futtatásával kapcsolatban alkalmazott matematikai, számítástechnikai és mesterséges intelligencia/ML háttérrel. Az NLP-specifikus munkaterhelésekre összpontosít, és megosztja tapasztalatait konferencia előadóként és könyvszerzőként. Szabadidejében szeret túrázni, társasjátékozni és kávét főzni.
Suyin Wang AI/ML Specialist Solutions Architect az AWS-nél. Interdiszciplináris oktatási háttérrel rendelkezik gépi tanulás, pénzügyi információs szolgáltatás és közgazdaságtan területén, valamint több éves tapasztalattal rendelkezik olyan adattudományi és gépi tanulási alkalmazások építésében, amelyek valós üzleti problémákat oldottak meg. Szívesen segít ügyfeleinek a megfelelő üzleti kérdések azonosításában és a megfelelő AI/ML megoldások kidolgozásában. Szabadidejében szeret énekelni és főzni.
Tim Condello az Amazon Web Services (AWS) mesterséges intelligencia (AI) és gépi tanulási (ML) megoldások vezető építészmérnöke. Fókuszában a természetes nyelvi feldolgozás és a számítógépes látás áll. Tim élvezi az ügyfelek ötleteit, és skálázható megoldásokká alakítja azokat.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
- PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
- PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
- PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
- Forrás: https://aws.amazon.com/blogs/machine-learning/build-well-architected-idp-solutions-with-a-custom-lens-part-2-security/
- :van
- :is
- :nem
- :ahol
- $ UP
- 100
- 120
- 150
- 7
- a
- képesség
- Képes
- Rólunk
- gyorsul
- hozzáférés
- elérni
- Eszerint
- Fiók
- Fiókok
- Elérése
- át
- Akció
- cselekvések
- tevékenységek
- További
- Ezen kívül
- elfogadja
- Előny
- ellen
- előre
- AI
- AI szolgáltatások
- AI / ML
- cél
- Éber
- összehangolása
- Minden termék
- lehetővé teszi, hogy
- mentén
- Is
- amazon
- Amazon Comprehend
- Amazon szöveg
- Az Amazon Web Services
- Amazon Web Services (AWS)
- an
- és a
- Másik
- bármilyen
- bárki
- api
- API-k
- Alkalmazás
- Application Development
- alkalmazások
- alkalmazott
- Alkalmazása
- megközelítés
- megfelelő
- építészeti
- építészet
- VANNAK
- TERÜLET
- területek
- mesterséges
- mesterséges intelligencia
- Mesterséges intelligencia (AI)
- AS
- Eszközök
- kijelölt
- At
- csatolja
- figyelem
- könyvvizsgálat
- könyvvizsgálat
- szerző
- meghatalmazás
- engedélyez
- felhatalmazott
- Automatizált
- automatikusan
- Automatizálás
- AWS
- AWS Ügyfél
- háttér
- BE
- mert
- Előnyök
- BEST
- legjobb gyakorlatok
- között
- bizottság
- Társasjátékok
- könyv
- határ
- épít
- Épület
- üzleti
- de
- by
- hívás
- hívott
- hívás
- kéri
- TUD
- rögzített
- eset
- központi
- központosított
- kihívások
- Változások
- karakter
- karakter felismerés
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a
- körülmények
- osztályoz
- felhő
- kód
- Kávé
- gyűjtemény
- kombájnok
- elkötelezett
- Közös
- megért
- átfogó
- számítógép
- Computer Science
- Számítógépes látás
- feltétel
- Konferencia
- Configuration
- kapcsolat
- Fontolja
- következetes
- Konzol
- kapcsolat
- tartalom
- kontextus
- ellenőrzés
- ellenőrzések
- költséghatékony
- teremt
- létrehozása
- HITELEZÉS
- Hitelesítő adatok
- kriptográfiai
- Jelenlegi
- szokás
- vevő
- Ügyfelek
- dátum
- adat védelem
- adat-tudomány
- adatbázis
- adatbázisok
- foglalkozó
- határozatok
- alapértelmezett
- meghatározott
- meghatározott
- meghatározó
- Fok
- Design
- tervezési elvek
- tervezés
- Érzékelés
- fejlesztése
- Fejlesztés
- különböző
- közvetlen
- Közvetlen hozzáférés
- do
- dokumentum
- dokumentumok
- ne
- minden
- könnyebb
- Közgazdaságtan
- Oktatás
- hatékony
- bármelyik
- elemek
- megszüntetése
- EMEA
- foglalkoztatás
- alkalmaz
- lehetővé teszi
- felöleli
- titkosított
- titkosítás
- energia
- érvényesíteni
- vegyenek
- fokozott
- biztosítására
- biztosítása
- Vállalkozás
- Szervezetek
- Környezet
- környezetek
- hiba
- létrehozni
- létrehozó
- Még
- fejlődik
- megvizsgálni
- példa
- kiszűrés
- létező
- várakozás
- tapasztalat
- szakértő
- kiterjedt
- Átfogó tapasztalat
- kivonat
- mező
- finanszíroz
- pénzügyi
- pénzügyi információ
- áramlási
- Összpontosít
- koncentrál
- összpontosítás
- következik
- következő
- A
- négy
- Keretrendszer
- Ingyenes
- ból ből
- teljesen
- további
- Games
- gateway
- adott
- ad
- Globális
- Csoportok
- útmutatást
- Fogantyúk
- Legyen
- tekintettel
- he
- segít
- segít
- segít
- neki
- hierarchia
- övé
- hr
- HTML
- http
- HTTPS
- emberi
- Emberi erőforrások
- ötletek
- azonosítani
- Identitás
- identitás menedzsment
- if
- Hatás
- végre
- végrehajtás
- végrehajtási
- javul
- javulás
- in
- incidens
- eseményre adott válasz
- tartalmaz
- magában foglalja a
- Beleértve
- Növelje
- iparágak
- információ
- információ biztonság
- Infrastruktúra
- bemenet
- integrálni
- integrált
- integrál
- integráció
- Intelligencia
- Intelligens
- Intelligens dokumentumfeldolgozás
- kölcsönhatásba
- kölcsönhatás
- érdekek
- Felület
- bele
- Bevezetés
- vizsgálja
- vizsgálat
- vonja
- bevonásával
- tárgyak internete
- szigetelés
- IT
- ITS
- maga
- Munka
- Állások
- utazás
- jpg
- Tart
- Kulcs
- kulcsok
- nyelv
- nagymértékben
- Késleltetés
- réteg
- TANUL
- tanulás
- legkevésbé
- szintek
- életciklusok
- LIMIT
- vonal
- élő
- log
- hosszú lejáratú
- néz
- szeret
- Elő/Utó
- gép
- gépi tanulás
- főleg
- fenntartása
- csinál
- KÉSZÍT
- kezelése
- sikerült
- vezetés
- menedzser
- kezelése
- mód
- kézikönyv
- sok
- matematika
- Lehet..
- mechanizmusok
- Találkozik
- tag
- módszer
- metrikus
- helytelen kezelése
- Enyhít
- ML
- modellek
- monitor
- ellenőrzés
- több
- többszörös
- Természetes
- Természetes nyelvi feldolgozás
- elengedhetetlen
- Szükség
- igények
- hálózat
- hálózati forgalom
- Új
- következő
- NLP
- szám
- tárgy
- objektumok
- szerez
- OCR
- of
- on
- ONE
- csak
- üzemeltetési
- operatív
- Alkalom
- optikai karakter felismerés
- Opciók
- or
- szervezet
- szervezeti
- Szervezett
- OS
- Más
- mi
- ki
- Eredmény
- teljesítmény
- kimenetek
- kívül
- saját
- paraméter
- rész
- partner
- partnerek
- Fizet
- Emberek (People)
- engedélyek
- Személyesen
- phd
- kifejezés
- fizikai
- Pillér
- Hely
- terv
- Plató
- Platón adatintelligencia
- PlatoData
- kérem
- Politikák
- politika
- lehetséges
- állás
- potenciális
- potenciálisan
- gyakorlat
- Készít
- megakadályozása
- elsődleges
- alapelv
- elvek
- magán
- kiváltság
- problémák
- eljárások
- Folyamatok
- feldolgozás
- Készült
- Termelés
- szakmai
- program
- védelme
- védett
- védelem
- Védő
- ad
- feltéve,
- ellátó
- biztosít
- nyilvános
- célokra
- tesz
- elhelyezés
- Kérdések
- gyorsan
- Inkább
- el
- Olvass
- Olvasás
- való Világ
- elismerés
- ajánl
- ajánlások
- felépülés
- csökkenti
- utal
- vidék
- rendszeresen
- összefüggő
- megbízható
- bizalom
- szükség
- kötelező
- követelmények
- rugalmasság
- megoldása
- forrás
- Tudástár
- Reagálni
- válasz
- REST
- Eredmények
- Kritika
- jobb
- Kockázat
- kockázatok
- szerepek
- rutinszerűen
- futás
- futás
- skálázható
- Skála
- forgatókönyvek
- Tudomány
- Titkos
- titkok
- szektor
- biztonság
- biztosított
- biztosan
- Biztosítja
- biztosítása
- biztonság
- biztonsági jelző
- lát
- idősebb
- érzékeny
- Érzékenység
- különálló
- elválasztó
- Series of
- vagy szerver
- szolgáltatás
- Szolgáltatások
- Szettek
- beállítás
- megosztott
- Megoszt
- ő
- kellene
- Műsorok
- Egyszerű
- megoldások
- Megoldások
- néhány
- Hangszóró
- szakember
- különleges
- sebesség
- Sport
- állapota
- kezdet
- Kezdve
- statikus
- Lépés
- Lépései
- Még mindig
- tárolás
- tárolni
- árnyékolók
- tárolása
- Stratégia
- Meg kell erősíteni
- erősítő
- erős
- ilyen
- támogatás
- Támogatott
- környező
- fenntartható
- rendszer
- Systems
- felszerelés
- Vesz
- bevétel
- feladatok
- csapat
- Technologies
- sablonok
- ideiglenes
- teszt
- mint
- hogy
- A
- azok
- Őket
- akkor
- Ott.
- ezáltal
- ebből adódóan
- Ezek
- dolgok
- ezt
- Keresztül
- egész
- Tim
- idő
- időszerű
- nak nek
- jelképes
- tokenizálás
- szerszám
- szerszámok
- Nyomon követhetőség
- forgalom
- nyom
- Tranzakciók
- tranzit
- szállítható
- Turning
- jogtalan
- alatt
- megért
- egyedi
- egységek
- Frissítések
- Használat
- használ
- használt
- használó
- Felhasználók
- használ
- segítségével
- rendszerint
- érvényesítés
- különféle
- ellenőrzése
- keresztül
- látomás
- kötet
- volt
- módon
- we
- háló
- webes szolgáltatások
- amikor
- ami
- míg
- WHO
- lesz
- val vel
- belül
- dolgozott
- munkafolyamat
- dolgozó
- művek
- év
- te
- A te
- zephyrnet