Tekniktrender och framsteg inom digitala medier under det senaste decenniet eller så har resulterat i spridningen av textbaserad data. De potentiella fördelarna med att utvinna denna text för att få insikter, både taktiska och strategiska, är enorma. Detta kallas naturlig språkbehandling (NLP). Du kan till exempel använda NLP för att analysera dina produktrecensioner för kundernas känslor, träna en anpassad enhetsidentifieringsmodell för att identifiera produkttyper av intresse baserat på kundkommentarer, eller träna en anpassad textklassificeringsmodell för att bestämma de mest populära produktkategorierna.
Amazon Comprehend är en NLP-tjänst med färdig intelligens för att utvinna insikter om innehållet i dokument. Den utvecklar insikter genom att känna igen enheter, nyckelfraser, språk, känslor och andra vanliga element i ett dokument. Amazon Comprehend Custom använder automatisk maskininlärning (Auto ML) för att bygga NLP-modeller för din räkning med hjälp av din egen data. Detta gör att du kan upptäcka enheter som är unika för ditt företag eller klassificera text eller dokument enligt dina krav. Dessutom kan du automatisera hela ditt NLP-arbetsflöde med lättanvända API:er.
Idag är vi glada att kunna tillkännage lanseringen av funktionen Amazon Comprehend anpassad modellkopiering, som gör att du automatiskt kan kopiera dina anpassade Amazon Comprehend-modeller från ett källkonto till utsedda målkonton i samma region utan att behöva åtkomst till datauppsättningarna som modellen utbildades och utvärderades på. Från och med idag kan du använda AWS Management Console, AWS-kommandoradsgränssnitt (AWS CLI), eller boto3 API: er (Python SDK för AWS) för att kopiera tränade anpassade modeller från ett källkonto till ett angivet målkonto. Den här nya funktionen är tillgänglig för både Amazon Comprehends anpassade klassificering och anpassade enhetsigenkänningsmodeller.
Fördelar med modellkopieringsfunktionen
Den här nya funktionen har följande fördelar:
- MLOps-strategi för flera konton – Träna en modell en gång och säkerställ en förutsägbar distribution i flera miljöer på olika konton.
- Snabbare implementering – Du kan snabbt kopiera en tränad modell mellan konton och undviker den tid det tar att omskola på varje konto.
- Skydda känsliga datauppsättningar – Nu behöver du inte längre dela datamängderna mellan olika konton eller användare. Träningsdatan behöver endast finnas tillgänglig på det konto där utbildningen görs. Detta är mycket viktigt för vissa branscher som finansiella tjänster, där dataisolering och sandlådor är avgörande för att uppfylla regulatoriska krav.
- Enkelt samarbete – Partners eller leverantörer kan nu enkelt träna i Amazon Comprehend Custom och dela modellerna med sina kunder.
Hur modellkopiering fungerar
Med den nya modellkopieringsfunktionen kan du kopiera anpassade modeller mellan AWS-konton i samma region i en tvåstegsprocess. Först delar en användare i ett AWS-konto (konto A), en anpassad modell som finns i deras konto. Sedan importerar en användare i ett annat AWS-konto (konto B) modellen till sitt konto.
Dela en modell
För att dela en anpassad modell i konto A, bifogar användaren en AWS identitets- och åtkomsthantering (IAM) resursbaserad policy till en modellversion. Den här policyn tillåter en enhet på konto B, såsom en IAM-användare eller roll, att importera modellversionen till Amazon Comprehend på sitt AWS-konto. Du kan konfigurera en resursbaserad policy antingen via konsolen eller med den anpassade Amazon Comprehend PutResourcePolicy
API.
Importera en modell
För att importera modellen till konto B förser användaren av detta konto Amazon Comprehend med nödvändiga detaljer, såsom Amazon Resource Name (ARN) för modellen. När de importerar modellen skapar den här användaren en ny anpassad modell i sitt AWS-konto som replikerar modellen som de importerade. Denna modell är fullt utbildad och redo för slutledningsjobb, såsom dokumentklassificering eller namngiven enhetsidentifiering. Om modellen är krypterad med en AWS nyckelhanteringstjänst (AWS KMS)-nyckeln i källan, då måste tjänstrollen som anges vid import av modellen ha tillgång till KMS-nyckeln för att dekryptera modellen under importen. Målkontot kan också ange en KMS-nyckel för att kryptera modellen under import. Importen av den delade modellen är också tillgänglig både på konsolen och som ett API.
Lösningsöversikt
För att demonstrera funktionen hos modellkopieringsfunktionen visar vi hur du tränar, delar och importerar en anpassad enhetsigenkänningsmodell för Amazon Comprehend med både Amazon Comprehend-konsolen och AWS CLI. För den här demonstrationen använder vi två olika konton. Stegen är även tillämpliga på anpassad klassificering från Amazon Comprehend. De nödvändiga stegen är följande:
- Träna en Amazon Comprehend anpassad enhetsigenkänningsmodell i källkontot.
- Definiera IAM-resurspolicyn för den tränade modellen för att tillåta åtkomst över flera konton.
- Kopiera den tränade modellen från källkontot till målkontot.
- Testa den kopierade modellen genom ett batchjobb.
Träna en Amazon Comprehend anpassad enhetsigenkänningsmodell i källkontot
Det första steget är att träna en Amazon Comprehend anpassad enhetsigenkänningsmodell i källkontot. Som indatadata för utbildningen använder vi en CSV entitetslista och utbildningsdokument för att känna igen AWS-tjänsterbjudanden i ett givet dokument. Se till att enhetslistan och utbildningsdokumenten finns i en Amazon enkel lagringstjänst (Amazon S3) hink i källkontot. För instruktioner, se Lägga till dokument till Amazon S3.
Skapa en IAM-roll för Amazon Förstå och ge nödvändig åtkomst till S3-hinken med träningsdata. Notera roll ARN- och S3-skopbanorna som ska användas i senare steg.
Träna en modell med AWS CLI
Skapa en enhetsidentifierare med följande AWS CLI-kommando. Ersätt dina parametrar med S3-vägarna, IAM-rollen och regionen. Svaret återgår till EntityRecognizerArn
.
Statusen för utbildningsjobbet kan övervakas genom att anropa describe-entity-recognizer och kontrollera Status i svaret.
Träna en modell via konsolen
Utför följande steg för att träna en modell via konsolen:
- På Amazon Comprehend-konsolen, under Anpassning, skapa en ny anpassad enhetsidentifieringsmodell.
- Ange modellnamn och version.
- För Språkväljer Engligh.
- För Anpassad enhetstyp, Lägg till
AWS_OFFERING
.
För att träna en anpassad enhetsigenkänningsmodell kan du välja ett av två sätt att tillhandahålla data till Amazon Comprehend: annoteringar or enhet listar. För enkelhetens skull, använd entitetslistmetoden.
- För Dataformat, Välj CSV-fil.
- För Träningstyp, Välj Använda enhetslista och utbildningsdokument.
- Ange S3-platssökvägarna för entitetslistans CSV- och träningsdata.
- Skapa en IAM-tjänstlänkad roll för att ge Amazon Comprehend behörighet att komma åt din S3-bucket.
I Resursbaserad policy kan du auktorisera åtkomst för modellversionen. De konton du ger åtkomst till kan importera den här modellen till sitt konto. Vi hoppar över det här steget för nu och lägger till policyn efter att modellen har tränats och vi är nöjda med modellens prestanda.
- Välja Skapa.
Detta skickar din anpassade enhetsidentifierare, som går igenom ett antal modeller, justerar dina hyperparametrar och kontrollerar för korsvalidering för att säkerställa att din modell är robust. Det här är alla samma aktiviteter som datavetare utför.
Definiera IAM-resurspolicyn för den tränade modellen för att tillåta åtkomst över flera konton
När vi är nöjda med träningsresultatet kan vi gå vidare och dela den specifika modellversionen genom att lägga till en resurspolicy.
Lägg till en resursbaserad policy från AWS CLI
Auktorisera import av modellen från målkontot genom att lägga till en resurspolicy på modellen, som visas i följande kod. Policyn kan begränsas till en viss modellversion och målhuvudman. Byt ut din utbildade enhetsidentifierare ARN och målkonto för att ge tillgång till.
Lägg till en resursbaserad policy via konsolen
När utbildningen är klar genereras en anpassad modellversion för enhetsigenkänning. Vi kan välja den tränade modellen och versionen för att se träningsdetaljerna, inklusive prestanda för den tränade modellen.
För att uppdatera policyn, utför följande steg:
- På Taggar, VPC & Policy redigera den resursbaserade policyn.
- Ange policynamnet, Amazon Comprehend service principal (
comprehend.amazonaws.com
), målkonto-ID och IAM-användare i målkontot som är behöriga att importera modellversionen.
Vi specificerar root
som IAM-enhet att auktorisera alla användare i målkontot.
Kopiera den tränade modellen från källkontot till målkontot
Nu tränas modellen och delas från källkontot. Den auktoriserade målkontoanvändaren kan importera modellen och skapa en kopia av modellen på sitt eget konto.
För att importera en modell måste du ange källmodellen ARN och tjänstrollen för Amazon Comprehend för att utföra kopieringsåtgärden på ditt konto. Du kan ange ett valfritt AWS KMS-ID för att kryptera modellen i ditt målkonto.
Importera modellen genom AWS CLI
För att importera din modell med AWS CLI, ange följande kod:
Importera modellen via konsolen
För att importera modellen via konsolen, utför följande steg:
- På Amazon Comprehend-konsolen, under Anpassning av anpassad enhetväljer Importera version.
- För Modellversion ARN, ange ARN för modellen som tränas i källkontot.
- Ange ett modellnamn och version för målet.
- Ge en tjänstekontoroll och välj Bekräfta för att starta modellimportprocessen.
Efter modellen ändras status till Imported
, kan vi se modelldetaljerna, inklusive prestandadetaljerna för den tränade modellen.
Testa den kopierade modellen genom ett batchjobb
Vi testar den kopierade modellen i målkontot genom att upptäcka anpassade enheter med ett batchjobb. För att testa modellen, ladda ner testfil och placera den i en S3-hink i ditt målkonto. Skapa en IAM-roll för Amazon Comprehend och ge den nödvändiga åtkomsten till S3-hinken med testdata. Du använder rollen ARN och S3 hinkbanor som du noterade tidigare.
När jobbet är klart kan du verifiera slutledningsdata i den angivna S3-utmatningen.
Testa modellen med AWS CLI
För att testa modellen med AWS CLI, skriv in följande kod:
Testa modellen via konsolen
Utför följande steg för att testa modellen via konsolen:
- Välj på Amazon Comprehend-konsolen Analysjobb Och välj Skapa jobb.
- För Namn , ange ett namn för jobbet.
- För Analystyp¸ välja Anpassning av anpassad enhet.
- Välj modellnamn och version för den importerade modellen.
- Ange S3-sökvägarna för testfilen för jobbet och utdataplatsen där Amazon Comprehend lagrar resultatet.
- Välj eller skapa en IAM-roll med behörighet att komma åt S3-hinkarna.
- Välja Skapa jobb.
När ditt analysjobb är klart har du JSON-filer i din S3-utgångsbana, som du kan ladda ner för att verifiera resultaten av enhetsigenkänningen från den importerade modellen.
Slutsats
I det här inlägget demonstrerade vi Amazon Comprehends kopieringsfunktion för anpassad enhetsmodell. Den här funktionen ger dig möjlighet att träna en Amazon Comprehend anpassad enhetsigenkännings- eller klassificeringsmodell på ett konto och sedan dela modellen med ett annat konto i samma region. Detta förenklar strategin för flera konton där modellen kan tränas en gång och delas mellan konton inom samma region utan att behöva omskola eller dela utbildningsdatauppsättningarna. Detta möjliggör en förutsägbar distribution i varje konto som en del av ditt MLOps-arbetsflöde. För mer information, se vår dokumentation om Förstå anpassad kopia, eller prova genomgången i det här inlägget antingen via konsolen eller med hjälp av ett molnskal med AWS CLI.
När detta skrivs är modellkopieringsfunktionen i Amazon Comprehend tillgänglig i följande regioner:
- USA: s öst (Ohio)
- USA-öst (N. Virginia)
- USA Väst (Oregon)
- Asien och Stillahavsområdet (Mumbai)
- Asien och Stillahavsområdet (Seoul)
- Asien och Stillahavsområdet (Singapore)
- Asien och Stilla havet (Sydney)
- Asien och Stillahavsområdet (Tokyo)
- EU (Frankfurt)
- EU (Irland)
- EU (London)
- AWS GovCloud (USA-Väst)
Ge funktionen ett försök och skicka oss feedback antingen via AWS-forum för Amazon Comprehend eller genom dina vanliga AWS-supportkontakter.
Om författarna
Premkumar Rangarajan är en AI/ML-specialistlösningsarkitekt på Amazon Web Services och har tidigare skrivit boken Natural Language Processing with AWS AI services. Han har 26 års erfarenhet inom IT-branschen i en mängd olika roller, inklusive leveransledare, integrationsspecialist och företagsarkitekt. Han hjälper företag av alla storlekar att använda AI och ML för att lösa sina verkliga utmaningar.
Chethan Krishna är Senior Partner Solutions Architect i Indien. Han arbetar med Strategic AWS Partners för att etablera en robust molnkompetens, anta AWS bästa praxis och lösa kundernas utmaningar. Han är en byggare och tycker om att experimentera med AI/ML, IoT och analys.
Sriharsha MS är en AI/ML-specialistlösningsarkitekt i Strategic Specialist-teamet på Amazon Web Services. Han arbetar med strategiska AWS-kunder som utnyttjar AI/ML för att lösa komplexa affärsproblem. Han ger teknisk vägledning och designråd för att implementera AI/ML-applikationer i stor skala. Hans expertis spänner över applikationsarkitektur, bigdata, analys och maskininlärning.
- Myntsmart. Europas bästa bitcoin- och kryptobörs.
- Platoblockchain. Web3 Metaverse Intelligence. Kunskap förstärkt. FRI TILLGÅNG.
- CryptoHawk. Altcoin radar. Gratis provperiod.
- Källa: https://aws.amazon.com/blogs/machine-learning/announcing-the-launch-of-the-model-copy-feature-for-amazon-comprehend-custom-models/
- "
- &
- 100
- 9
- Om oss
- tillgång
- Konto
- Handling
- aktiviteter
- framsteg
- Fördel
- rådgivning
- AI
- AI-tjänster
- Alla
- amason
- Amazon Web Services
- analys
- analytics
- Meddela
- Vi presenterar
- Annan
- api
- API: er
- tillämplig
- Ansökan
- tillämpningar
- arkitektur
- bil
- tillgänglig
- AWS
- Fördelarna
- BÄST
- bästa praxis
- gränsen
- SLUTRESULTAT
- byggare
- företag
- utmaningar
- kontroll
- Kontroller
- klassificering
- cloud
- koda
- kommentarer
- Gemensam
- komplex
- Konsol
- innehåll
- Kunder
- datum
- årtionde
- leverans
- utplacering
- Designa
- olika
- digital
- dokument
- lätt
- effekt
- enorm
- Företag
- väsentlig
- exempel
- erfarenhet
- expertis
- Leverans
- återkoppling
- finansiella
- finansiella tjänster
- Förnamn
- efter
- funktionalitet
- lyckligt
- har
- hjälper
- Hur ser din drömresa ut
- How To
- HTTPS
- identifiera
- Identitet
- genomföra
- med Esport
- importera
- Inklusive
- indien
- industrier
- industrin
- informationen
- insikter
- integrering
- Intelligens
- intresse
- iot
- irland
- isolering
- IT
- Jobb
- Lediga jobb
- Nyckel
- språk
- lansera
- leda
- inlärning
- linje
- Lista
- läge
- london
- Maskinen
- maskininlärning
- ledning
- Media
- Gruvdrift
- ML
- modell
- modeller
- mest
- Mest populär
- Mumbai
- Natural
- offer~~POS=TRUNC
- Ohio
- beställa
- Oregon
- Övriga
- stilla havet
- partnern
- partner
- prestanda
- fraser
- policy
- Populära
- Principal
- problem
- process
- Produkt
- ge
- ger
- snabbt
- regulatorer
- Obligatorisk
- Krav
- resurs
- respons
- Resultat
- återgår
- Omdömen
- Skala
- vetenskapsmän
- sDK
- Seoul
- service
- Tjänster
- Dela
- delas
- aktier
- Shell
- Enkelt
- Singapore
- So
- Lösningar
- LÖSA
- starta
- .
- status
- förvaring
- lagrar
- Strategisk
- Strategi
- stödja
- sydney
- Målet
- grupp
- Teknisk
- testa
- källan
- Genom
- tid
- i dag
- Tokyo
- Utbildning
- Trender
- unika
- Uppdatering
- us
- användning
- användare
- försäljare
- utsikt
- Virginia
- webb
- webbservice
- väster
- VEM
- inom
- utan
- fungerar
- skrivning
- år