Teknologiske tendenser og fremskridt inden for digitale medier i det seneste årti eller deromkring har resulteret i udbredelsen af tekstbaserede data. De potentielle fordele ved at udvinde denne tekst for at opnå indsigt, både taktisk og strategisk, er enorme. Dette kaldes naturlig sprogbehandling (NLP). Du kan f.eks. bruge NLP til at analysere dine produktanmeldelser for kundernes følelser, træne en tilpasset enhedsgenkendelsesmodel til at identificere produkttyper af interesse baseret på kundekommentarer eller træne en tilpasset tekstklassificeringsmodel for at bestemme de mest populære produktkategorier.
Amazon Comprehend er en NLP-tjeneste med færdiglavet intelligens til at udtrække indsigt om indholdet af dokumenter. Det udvikler indsigt ved at genkende entiteter, nøglesætninger, sprog, følelser og andre almindelige elementer i et dokument. Amazon Comprehend Custom bruger automatisk maskinlæring (Auto ML) til at bygge NLP-modeller på dine vegne ved hjælp af dine egne data. Dette giver dig mulighed for at opdage enheder, der er unikke for din virksomhed, eller klassificere tekst eller dokumenter i henhold til dine krav. Derudover kan du automatisere hele dit NLP-workflow med brugervenlige API'er.
I dag er vi glade for at kunne annoncere lanceringen af Amazon Comprehend brugerdefinerede model kopi funktion, som giver dig mulighed for automatisk at kopiere dine Amazon Comprehend brugerdefinerede modeller fra en kildekonto til udpegede målkonti i samme region uden at kræve adgang til de datasæt, som modellen blev trænet og evalueret på. Fra i dag kan du bruge AWS Management Console, AWS kommandolinjegrænseflade (AWS CLI), eller boto3 API'er (Python SDK for AWS) til at kopiere trænede brugerdefinerede modeller fra en kildekonto til en udpeget målkonto. Denne nye funktion er tilgængelig for både Amazon Comprehend brugerdefineret klassificering og brugerdefinerede enhedsgenkendelsesmodeller.
Fordele ved modelkopieringsfunktionen
Denne nye funktion har følgende fordele:
- Multi-account MLOps strategi – Træn en model én gang og sørg for forudsigelig implementering i flere miljøer på forskellige konti.
- Hurtigere distribution – Du kan hurtigt kopiere en trænet model mellem konti og undgå den tid, det tager at genoptræne på hver konto.
- Beskyt følsomme datasæt – Nu behøver du ikke længere at dele datasættene mellem forskellige konti eller brugere. Træningsdataene skal kun være tilgængelige på den konto, hvor træningen udføres. Dette er meget vigtigt for visse brancher som f.eks. finansielle tjenester, hvor dataisolering og sandboxing er afgørende for at opfylde regulatoriske krav.
- Nemt samarbejde – Partnere eller leverandører kan nu nemt træne i Amazon Comprehend Custom og dele modellerne med deres kunder.
Sådan fungerer modelkopiering
Med den nye modelkopifunktion kan du kopiere brugerdefinerede modeller mellem AWS-konti i samme region i en to-trins proces. For det første deler en bruger på én AWS-konto (konto A) en brugerdefineret model, der er på deres konto. Derefter importerer en bruger på en anden AWS-konto (konto B) modellen til deres konto.
Del en model
For at dele en brugerdefineret model på konto A vedhæfter brugeren en AWS identitets- og adgangsstyring (IAM) ressourcebaseret politik til en modelversion. Denne politik autoriserer en enhed på konto B, såsom en IAM-bruger eller -rolle, til at importere modelversionen til Amazon Comprehend på deres AWS-konto. Du kan konfigurere en ressourcebaseret politik enten gennem konsollen eller med Amazon Comprehend-tilpasset PutResourcePolicy
API.
Importer en model
For at importere modellen til konto B, giver brugeren af denne konto Amazon Comprehend de nødvendige detaljer, såsom Amazon Resource Name (ARN) for modellen. Når de importerer modellen, opretter denne bruger en ny brugerdefineret model i deres AWS-konto, der replikerer den model, de importerede. Denne model er fuldt uddannet og klar til inferensjobs, såsom dokumentklassificering eller navngivne enhedsgenkendelse. Hvis modellen er krypteret med en AWS Key Management Service (AWS KMS) nøgle i kilden, så skal den servicerolle, der er angivet under import af modellen, have adgang til KMS-nøglen for at dekryptere modellen under import. Målkontoen kan også angive en KMS-nøgle til at kryptere modellen under import. Importen af den delte model er også tilgængelig både på konsollen og som en API.
Løsningsoversigt
For at demonstrere funktionaliteten af modelkopieringsfunktionen viser vi dig, hvordan du træner, deler og importerer en Amazon Comprehend brugerdefineret enhedsgenkendelsesmodel ved hjælp af både Amazon Comprehend-konsollen og AWS CLI. Til denne demonstration bruger vi to forskellige konti. Trinnene gælder også for tilpasset klassificering af Amazon Comprehend. De nødvendige trin er som følger:
- Træn en Amazon Comprehend tilpasset enhedsgenkendelsesmodel i kildekontoen.
- Definer IAM-ressourcepolitikken for den trænede model for at tillade adgang på tværs af konti.
- Kopier den trænede model fra kildekontoen til målkontoen.
- Test den kopierede model gennem et batchjob.
Træn en Amazon Comprehend tilpasset enhedsgenkendelsesmodel i kildekontoen
Det første trin er at træne en Amazon Comprehend tilpasset enhedsgenkendelsesmodel i kildekontoen. Som inputdatasæt til træningen bruger vi en CSV enhedsliste , uddannelsesdokumenter for at genkende AWS-servicetilbud i et givet dokument. Sørg for, at enhedslisten og uddannelsesdokumenterne er i en Amazon Simple Storage Service (Amazon S3)-bøtte i kildekontoen. For instruktioner, se Tilføjelse af dokumenter til Amazon S3.
Opret en IAM-rolle for Amazon Forstå og give den nødvendige adgang til S3-bøtten med træningsdataene. Bemærk rollen ARN- og S3-spandstier, der skal bruges i senere trin.
Træn en model med AWS CLI
Opret en enhedsgenkendelse ved hjælp af følgende AWS CLI-kommando. Erstat dine parametre med S3-stierne, IAM-rollen og regionen. Svaret vender tilbage EntityRecognizerArn
.
Status for træningsjobbet kan overvåges ved at ringe til describe-entity-recognizer og kontrollere Status i svaret.
Træn en model via konsollen
For at træne en model via konsollen skal du udføre følgende trin:
- På Amazon Comprehend-konsollen, under Tilpasning, opret en ny brugerdefineret enhedsgenkendelsesmodel.
- Angiv et modelnavn og version.
- Til Sprog, vælg Engligh.
- Til Tilpasset enhedstype, Tilsættes
AWS_OFFERING
.
For at træne en tilpasset enhedsgenkendelsesmodel kan du vælge en af to måder at levere data til Amazon Comprehend på: anmærkninger or enhedslister. For nemheds skyld skal du bruge entitetslistemetoden.
- Til Dataformat, Vælg CSV-fil.
- Til Træningstype, Vælg Brug af enhedsliste og træningsdokumenter.
- Angiv S3-placeringsstierne for enhedslistens CSV- og træningsdata.
- For at give Amazon Comprehend tilladelse til at få adgang til din S3-bøtte, skal du oprette en IAM-tjenesteforbundet rolle.
I Ressourcebaseret politik sektion, kan du godkende adgang for modelversionen. De konti, du giver adgang til, kan importere denne model til deres konto. Vi springer dette trin over for nu og tilføjer politikken, efter at modellen er trænet, og vi er tilfredse med modellens ydeevne.
- Vælg Opret.
Dette sender din tilpassede enhedsgenkendelse, som gennemgår en række modeller, justerer dine hyperparametre og kontrollerer for krydsvalidering for at sikre, at din model er robust. Det er alle de samme aktiviteter, som dataforskere udfører.
Definer IAM-ressourcepolitikken for den trænede model for at tillade adgang på tværs af konti
Når vi er tilfredse med træningspræstationen, kan vi gå videre og dele den specifikke modelversion ved at tilføje en ressourcepolitik.
Tilføj en ressourcebaseret politik fra AWS CLI
Tillad import af modellen fra målkontoen ved at tilføje en ressourcepolitik på modellen, som vist i følgende kode. Politikken kan være stramt til en bestemt modelversion og målhoved. Erstat din uddannede enhedsgenkender ARN og målkonto for at give adgang til.
Tilføj en ressourcebaseret politik via konsollen
Når træningen er afsluttet, genereres en brugerdefineret enhedsgenkendelsesmodelversion. Vi kan vælge den trænede model og version for at se træningsdetaljerne, herunder den trænede models ydeevne.
For at opdatere politikken skal du udføre følgende trin:
- På Tags, VPC & Politik fanen, skal du redigere den ressourcebaserede politik.
- Angiv politikkens navn, Amazon Comprehend service principal (
comprehend.amazonaws.com
), målkonto-id og IAM-brugere på målkontoen, der er autoriseret til at importere modelversionen.
Vi specificerer root
som IAM-enheden til at autorisere alle brugere på målkontoen.
Kopier den trænede model fra kildekontoen til målkontoen
Nu er modellen trænet og delt fra kildekontoen. Den autoriserede målkontobruger kan importere modellen og oprette en kopi af modellen på deres egen konto.
For at importere en model skal du angive kildemodellen ARN og servicerollen for Amazon Comprehend for at udføre kopihandlingen på din konto. Du kan angive et valgfrit AWS KMS ID for at kryptere modellen på din målkonto.
Importer modellen gennem AWS CLI
For at importere din model med AWS CLI skal du indtaste følgende kode:
Importer modellen via konsollen
For at importere modellen via konsollen skal du udføre følgende trin:
- På Amazon Comprehend-konsollen, under Brugerdefineret enhedsgenkendelse, vælg Importer version.
- Til Modelversion ARN, indtast ARN for den model, der er trænet i kildekontoen.
- Indtast et modelnavn og en version for målet.
- Angiv en tjenestekontorolle og vælg Bekræfte for at starte modelimportprocessen.
Efter modellens status ændres til Imported
, kan vi se modeldetaljerne, herunder ydeevnedetaljerne for den trænede model.
Test den kopierede model gennem et batchjob
Vi tester den kopierede model i målkontoen ved at detektere tilpassede enheder med et batchjob. For at teste modellen skal du downloade testfil og placer den i en S3-bøtte på din målkonto. Opret en IAM-rolle for Amazon Comprehend og give den nødvendige adgang til S3-bøtten med testdataene. Du bruger rollen ARN og S3 bucket stier, som du noterede tidligere.
Når jobbet er færdigt, kan du verificere slutningsdataene i den specificerede output S3-bøtte.
Test modellen med AWS CLI
For at teste modellen ved hjælp af AWS CLI skal du indtaste følgende kode:
Test modellen via konsollen
For at teste modellen via konsollen skal du udføre følgende trin:
- På Amazon Comprehend-konsollen skal du vælge Analyse job Og vælg Skab job.
- Til Navn, indtast et navn til jobbet.
- Til Analyse type¸ vælg Brugerdefineret enhedsgenkendelse.
- Vælg modelnavn og version af den importerede model.
- Angiv S3-stierne til testfilen for jobbet og den outputplacering, hvor Amazon Comprehend gemmer resultatet.
- Vælg eller opret en IAM-rolle med tilladelse til at få adgang til S3 buckets.
- Vælg Skab job.
Når dit analysejob er fuldført, har du JSON-filer i din output-S3-bucket-sti, som du kan downloade for at verificere resultaterne af enhedsgenkendelsen fra den importerede model.
Konklusion
I dette indlæg demonstrerede vi Amazon Comprehend brugerdefineret enhedsmodel kopifunktion. Denne funktion giver dig mulighed for at træne en Amazon Comprehend brugerdefineret enhedsgenkendelses- eller klassificeringsmodel på én konto og derefter dele modellen med en anden konto i samme region. Dette forenkler multi-konto strategien, hvor modellen kan trænes én gang og deles mellem konti inden for samme region uden at skulle genoptræne eller dele træningsdatasættene. Dette giver mulighed for en forudsigelig implementering på hver konto som en del af din MLOps-arbejdsgang. For mere information, se vores dokumentation vedr Forstå brugerdefineret kopi, eller prøv gennemgangen i dette indlæg enten via konsollen eller ved hjælp af en skyskal med AWS CLI.
Når dette skrives, er modelkopieringsfunktionen i Amazon Comprehend tilgængelig i følgende regioner:
- US East (Ohio)
- US East (N. Virginia)
- US West (Oregon)
- Asia Pacific (Mumbai)
- Asia Pacific (Seoul)
- Asia Pacific (Singapore)
- Asia Pacific (Sydney)
- Asien og Stillehavsområdet (Tokyo)
- EU (Frankfurt)
- EU (Irland)
- EU (London)
- AWS GovCloud (US-Vest)
Prøv funktionen, og send os venligst feedback enten via AWS forum til Amazon Comprehend eller gennem dine sædvanlige AWS-supportkontakter.
Om forfatterne
Premkumar Rangarajan er AI/ML-specialistløsningsarkitekt hos Amazon Web Services og har tidligere skrevet bogen Natural Language Processing with AWS AI services. Han har 26 års erfaring i IT-branchen i en række forskellige roller, herunder leveringsleder, integrationsspecialist og virksomhedsarkitekt. Han hjælper virksomheder af alle størrelser med at adoptere AI og ML for at løse deres udfordringer i den virkelige verden.
Chethan Krishna er Senior Partner Solutions Architect i Indien. Han arbejder sammen med strategiske AWS-partnere for at etablere en robust cloud-kompetence, adoptere AWS best practices og løse kundernes udfordringer. Han er en bygherre og nyder at eksperimentere med AI/ML, IoT og analyser.
Sriharsha MS er en AI/ML-specialistløsningsarkitekt i Strategic Specialist-teamet hos Amazon Web Services. Han arbejder med strategiske AWS-kunder, der udnytter AI/ML til at løse komplekse forretningsproblemer. Han giver teknisk vejledning og designrådgivning til implementering af AI/ML-applikationer i stor skala. Hans ekspertise spænder over applikationsarkitektur, bigdata, analyse og maskinlæring.
- Coinsmart. Europas bedste Bitcoin og Crypto Exchange.
- Platoblokkæde. Web3 Metaverse Intelligence. Viden forstærket. FRI ADGANG.
- CryptoHawk. Altcoin radar. Gratis prøveversion.
- Kilde: https://aws.amazon.com/blogs/machine-learning/announcing-the-launch-of-the-model-copy-feature-for-amazon-comprehend-custom-models/
- "
- &
- 100
- 9
- Om
- adgang
- Konto
- Handling
- aktiviteter
- fremskridt
- Fordel
- rådgivning
- AI
- AI-tjenester
- Alle
- Amazon
- Amazon Web Services
- analyse
- analytics
- Annoncere
- Annoncerer
- En anden
- api
- API'er
- anvendelig
- Anvendelse
- applikationer
- arkitektur
- auto
- til rådighed
- AWS
- fordele
- BEDSTE
- bedste praksis
- grænse
- bygge
- Builder
- virksomhed
- udfordringer
- kontrol
- Kontrol
- klassificering
- Cloud
- kode
- kommentarer
- Fælles
- komplekse
- Konsol
- indhold
- Kunder
- data
- årti
- levering
- implementering
- Design
- forskellige
- digital
- dokumenter
- nemt
- effekt
- enorm
- Enterprise
- væsentlig
- eksempel
- erfaring
- ekspertise
- Feature
- tilbagemeldinger
- finansielle
- finansielle tjenesteydelser
- Fornavn
- efter
- funktionalitet
- Gem
- have
- hjælper
- Hvordan
- How To
- HTTPS
- identificere
- Identity
- gennemføre
- vigtigt
- importere
- Herunder
- Indien
- industrier
- industrien
- oplysninger
- indsigt
- integration
- Intelligens
- interesse
- tingenes internet
- irland
- isolation
- IT
- Job
- Karriere
- Nøgle
- Sprog
- lancere
- føre
- læring
- Line (linje)
- Liste
- placering
- London
- maskine
- machine learning
- ledelse
- Medier
- Mining
- ML
- model
- modeller
- mest
- Mest Populære
- Mumbai
- Natural
- tilbud
- Ohio
- ordrer
- Oregon
- Andet
- Pacific
- partner
- partnere
- ydeevne
- sætninger
- politik
- Populær
- Main
- problemer
- behandle
- Produkt
- give
- giver
- hurtigt
- lovgivningsmæssige
- påkrævet
- Krav
- ressource
- svar
- Resultater
- afkast
- Anmeldelser
- Scale
- forskere
- SDK
- Seoul
- tjeneste
- Tjenester
- Del
- delt
- Aktier
- Shell
- Simpelt
- Singapore
- So
- Løsninger
- SOLVE
- starte
- Statement
- Status
- opbevaring
- forhandler
- Strategisk
- Strategi
- support
- sydney
- mål
- hold
- Teknisk
- prøve
- The Source
- Gennem
- tid
- i dag
- tokyo
- Kurser
- Tendenser
- enestående
- Opdatering
- us
- brug
- brugere
- leverandører
- Specifikation
- Virginia
- web
- webservices
- Vest
- WHO
- inden for
- uden
- virker
- skrivning
- år