Technologietrends en ontwikkelingen in digitale media in de afgelopen tien jaar hebben geleid tot een toename van op tekst gebaseerde gegevens. De potentiële voordelen van het ontginnen van deze tekst om inzichten te verkrijgen, zowel tactisch als strategisch, zijn enorm. Dit wordt natuurlijke taalverwerking (NLP) genoemd. U kunt NLP bijvoorbeeld gebruiken om uw productrecensies te analyseren op klantgevoelens, een aangepast model voor entiteitsherkenning te trainen om producttypes te identificeren op basis van opmerkingen van klanten, of om een aangepast tekstclassificatiemodel te trainen om de meest populaire productcategorieën te bepalen.
Amazon begrijpt het is een NLP-service met kant-en-klare intelligentie om inzichten over de inhoud van documenten te extraheren. Het ontwikkelt inzichten door de entiteiten, sleutelzinnen, taal, sentimenten en andere gemeenschappelijke elementen in een document te herkennen. Amazon Comprehend Custom gebruikt automatische machine learning (Auto ML) om namens u NLP-modellen te bouwen met uw eigen gegevens. Dit stelt u in staat om entiteiten te detecteren die uniek zijn voor uw bedrijf of om tekst of documenten te classificeren volgens uw vereisten. Bovendien kunt u uw volledige NLP-workflow automatiseren met gebruiksvriendelijke API's.
Vandaag zijn we verheugd de lancering aan te kondigen van de Amazon Comprehend-functie voor het kopiëren van aangepaste modellen, waarmee u uw aangepaste Amazon Comprehend-modellen automatisch kunt kopiëren van een bronaccount naar aangewezen doelaccounts in dezelfde regio zonder dat u toegang nodig hebt tot de datasets die het model werd getraind en geëvalueerd. Vanaf vandaag kunt u de AWS-beheerconsole, AWS-opdrachtregelinterface (AWS CLI), of de boto3 API's (Python SDK voor AWS) om getrainde aangepaste modellen van een bronaccount naar een aangewezen doelaccount te kopiëren. Deze nieuwe functie is beschikbaar voor zowel Amazon Comprehend-aangepaste classificatie- als aangepaste entiteitsherkenningsmodellen.
Voordelen van de functie model kopiëren
Deze nieuwe functie heeft de volgende voordelen:
- Multi-account MLOps-strategie – Train een model eenmalig en zorg voor een voorspelbare implementatie in meerdere omgevingen in verschillende accounts.
- Snellere implementatie – U kunt snel een getraind model kopiëren tussen accounts, zodat u de tijd die nodig is om in elk account opnieuw te trainen, kunt vermijden.
- Bescherm gevoelige datasets – U hoeft nu niet langer de datasets te delen tussen verschillende accounts of gebruikers. De trainingsgegevens hoeven alleen beschikbaar te zijn op het account waar de training wordt gegeven. Dit is erg belangrijk voor bepaalde sectoren, zoals de financiële dienstverlening, waar gegevensisolatie en sandboxing essentieel zijn om aan de wettelijke vereisten te voldoen.
- Eenvoudig samenwerken – Partners of leveranciers kunnen nu eenvoudig trainen in Amazon Comprehend Custom en de modellen delen met hun klanten.
Hoe model kopiëren werkt
Met de nieuwe functie voor het kopiëren van modellen kunt u in twee fasen aangepaste modellen kopiëren tussen AWS-accounts in dezelfde regio. Ten eerste deelt een gebruiker in één AWS-account (account A) een aangepast model dat in zijn account staat. Vervolgens importeert een gebruiker in een ander AWS-account (account B) het model in zijn account.
Een model delen
Om een aangepast model in account A te delen, voegt de gebruiker een AWS Identiteits- en toegangsbeheer (IAM) op bronnen gebaseerd beleid naar een modelversie. Dit beleid autoriseert een entiteit in account B, zoals een IAM-gebruiker of -rol, om de modelversie te importeren in Amazon Comprehend in hun AWS-account. U kunt een op bronnen gebaseerd beleid configureren via de console of met de aangepaste Amazon Comprehend PutResourcePolicy
API.
Een model importeren
Om het model naar account B te importeren, verstrekt de gebruiker van dit account Amazon Comprehend de benodigde gegevens, zoals de Amazon Resource Name (ARN) van het model. Wanneer ze het model importeren, maakt deze gebruiker een nieuw aangepast model in zijn AWS-account dat het model repliceert dat hij heeft geïmporteerd. Dit model is volledig getraind en klaar voor inferentietaken, zoals documentclassificatie of benoemde entiteitsherkenning. Als het model is versleuteld met een AWS Sleutelbeheerservice (AWS KMS)-sleutel in de bron, dan moet de servicerol die is opgegeven tijdens het importeren van het model toegang hebben tot de KMS-sleutel om het model tijdens het importeren te decoderen. Het doelaccount kan ook een KMS-sleutel specificeren om het model tijdens het importeren te versleutelen. Het importeren van het gedeelde model is ook beschikbaar zowel op de console als als een API.
Overzicht oplossingen
Om de functionaliteit van de functie voor het kopiëren van modellen te demonstreren, laten we u zien hoe u een aangepast Amazon Comprehend-model voor entiteitsherkenning kunt trainen, delen en importeren met zowel de Amazon Comprehend-console als de AWS CLI. Voor deze demonstratie gebruiken we twee verschillende accounts. De stappen zijn ook van toepassing op de aangepaste classificatie van Amazon Comprehend. De vereiste stappen zijn als volgt:
- Een aangepast Amazon Comprehend-model voor herkenning van entiteiten trainen in het bronaccount.
- Definieer het IAM-resourcebeleid voor het getrainde model om toegang voor meerdere accounts mogelijk te maken.
- Kopieer het getrainde model van het bronaccount naar het doelaccount.
- Test het gekopieerde model via een batchtaak.
Een aangepast Amazon Comprehend-model voor herkenning van entiteiten trainen in het bronaccount
De eerste stap is het trainen van een aangepast Amazon Comprehend-model voor entiteitsherkenning in het bronaccount. Als input dataset voor de training gebruiken we een CSV entiteitenlijst en trainingsdocumenten voor het herkennen van AWS-serviceaanbiedingen in een bepaald document. Zorg ervoor dat de entiteitenlijst en trainingsdocumenten in een Amazon eenvoudige opslagservice (Amazon S3) bucket in het bronaccount. Voor instructies, zie Documenten toevoegen aan Amazon S3.
Maak een IAM-rol voor Amazon Begrijp en geef de vereiste toegang tot de S3-bucket met de trainingsgegevens. Let op de rol ARN- en S3-bucketpaden om in latere stappen te gebruiken.
Een model trainen met de AWS CLI
Maak een entiteitherkenner met behulp van de volgende AWS CLI-opdracht. Vervang uw parameters door de S3-paden, IAM-rol en Regio. Het antwoord keert terug naar de EntityRecognizerArn
.
De status van de trainingstaak kan worden gecontroleerd door de beschrijven-entiteit-herkenner te bellen en de status in het antwoord te controleren.
Een model trainen via de console
Om een model via de console te trainen, voert u de volgende stappen uit:
- Op de Amazon Comprehend-console, onder maatwerk, maak een nieuw aangepast model voor het herkennen van entiteiten.
- Geef een modelnaam en -versie op.
- Voor Taal, kiezen Engels.
- Voor Aangepast entiteitstype, Voegen
AWS_OFFERING
.
Als u een aangepast model voor entiteitsherkenning wilt trainen, kunt u een van de twee manieren kiezen om gegevens aan Amazon Comprehend te verstrekken: annotaties or entiteitslijsten. Gebruik voor de eenvoud de entiteitenlijstmethode.
- Voor Data formaatselecteer CSV-bestand.
- Voor Trainingstypeselecteer Entiteitenlijst en trainingsdocumenten gebruiken.
- Geef de S3-locatiepaden op voor de entiteitslijst CSV en trainingsgegevens.
- Als u Amazon Comprehend machtigingen wilt verlenen voor toegang tot uw S3-bucket, maakt u een aan de IAM-service gekoppelde rol.
In het Op bronnen gebaseerd beleid sectie, kunt u de toegang voor de modelversie autoriseren. De accounts waartoe u toegang verleent, kunnen dit model in hun account importeren. We slaan deze stap voor nu over en voegen het beleid toe nadat het model is getraind en we tevreden zijn met de modelprestaties.
- Kies creëren.
Hiermee wordt uw aangepaste entiteitsherkenner ingediend, die een aantal modellen doorloopt, uw hyperparameters afstemt en controleert op kruisvalidatie om ervoor te zorgen dat uw model robuust is. Dit zijn allemaal dezelfde activiteiten die datawetenschappers uitvoeren.
Definieer het IAM-resourcebeleid voor het getrainde model om toegang voor meerdere accounts mogelijk te maken
Als we tevreden zijn met de trainingsprestaties, kunnen we doorgaan en de specifieke modelversie delen door een resourcebeleid toe te voegen.
Een op bronnen gebaseerd beleid toevoegen vanuit de AWS CLI
Autoriseer het importeren van het model uit het doelaccount door een resourcebeleid aan het model toe te voegen, zoals wordt weergegeven in de volgende code. Het beleid kan nauw worden afgestemd op een bepaalde modelversie en doel-principal. Vervang uw getrainde entiteitherkenner ARN en doelaccount om toegang tot te verlenen.
Een op bronnen gebaseerd beleid toevoegen via de console
Wanneer de training is voltooid, wordt een aangepaste versie van het entiteitsherkenningsmodel gegenereerd. We kunnen het getrainde model en de versie kiezen om de trainingsdetails te bekijken, inclusief de prestaties van het getrainde model.
Voer de volgende stappen uit om het beleid bij te werken:
- Op de Tags, VPC en beleid tabblad, bewerk het op bronnen gebaseerde beleid.
- Geef de beleidsnaam op, Amazon Comprehend-service-principal (
comprehend.amazonaws.com
), doelaccount-ID en IAM-gebruikers in het doelaccount die gemachtigd zijn om de modelversie te importeren.
wij specificeren root
als de IAM-entiteit om alle gebruikers in het doelaccount te autoriseren.
Kopieer het getrainde model van het bronaccount naar het doelaccount
Nu wordt het model getraind en gedeeld vanuit het bronaccount. De geautoriseerde gebruiker van het doelaccount kan het model importeren en een kopie van het model maken in zijn eigen account.
Om een model te importeren, moet u het bronmodel ARN en de servicerol specificeren voor Amazon Comprehend om de kopieeractie op uw account uit te voeren. U kunt een optionele AWS KMS-ID opgeven om het model in uw doelaccount te coderen.
Importeer het model via AWS CLI
Voer de volgende code in om uw model met de AWS CLI te importeren:
Importeer het model via de console
Voer de volgende stappen uit om het model via de console te importeren:
- Op de Amazon Comprehend-console, onder Aangepaste entiteitsherkenning, kiezen Versie importeren.
- Voor Modelversie ARN, voer de ARN in voor het model dat is getraind in het bronaccount.
- Voer een modelnaam en -versie voor het doel in.
- Geef een serviceaccountrol op en kies Bevestigen om het modelimportproces te starten.
Nadat de modelstatus is gewijzigd in: Imported
, kunnen we de modeldetails bekijken, inclusief de prestatiedetails van het getrainde model.
Test het gekopieerde model via een batchtaak
We testen het gekopieerde model in het doelaccount door aangepaste entiteiten te detecteren met een batchtaak. Om het model te testen, download de test bestand en plaats het in een S3-bucket in uw doelaccount. Maak een IAM-rol voor Amazon Begrijp en geef de vereiste toegang tot de S3-bucket met de testgegevens. U gebruikt de rol ARN- en S3-bucketpaden die u eerder hebt genoteerd.
Wanneer de taak is voltooid, kunt u de inferentiegegevens in de gespecificeerde output S3-bucket verifiëren.
Test het model met de AWS CLI
Voer de volgende code in om het model te testen met behulp van de AWS CLI:
Test het model via de console
Voer de volgende stappen uit om het model via de console te testen:
- Kies op de Amazon Comprehend-console Analyse banen En kies Baan creëren.
- Voor Naam, voer een naam in voor de taak.
- Voor Type analyseKiezen Aangepaste entiteitsherkenning.
- Kies de modelnaam en versie van het geïmporteerde model.
- Geef de S3-paden op voor het testbestand voor de taak en de uitvoerlocatie waar Amazon Comprehend het resultaat opslaat.
- Kies of maak een IAM-rol met toestemming voor toegang tot de S3-buckets.
- Kies Baan creëren.
Wanneer uw analysetaak is voltooid, hebt u JSON-bestanden in uw uitvoer S3-bucketpad, die u kunt downloaden om de resultaten van de entiteitsherkenning van het geïmporteerde model te verifiëren.
Conclusie
In dit bericht hebben we de Amazon Comprehend-functie voor het kopiëren van aangepaste entiteitsmodellen gedemonstreerd. Deze functie geeft je de mogelijkheid om een aangepast Amazon Comprehend-model voor entiteitsherkenning of classificatie in één account te trainen en het model vervolgens te delen met een ander account in dezelfde regio. Dit vereenvoudigt de multi-accountstrategie waarbij het model één keer kan worden getraind en gedeeld tussen accounts binnen dezelfde regio zonder dat de trainingsgegevenssets opnieuw hoeven te worden getraind of gedeeld. Dit zorgt voor een voorspelbare implementatie in elk account als onderdeel van uw MLOps-workflow. Zie voor meer informatie onze documentatie over: Aangepaste kopie begrijpen, of probeer de walkthrough in dit bericht via de console of met behulp van een cloudshell met de AWS CLI.
Op het moment van schrijven is de functie voor het kopiëren van modellen in Amazon Comprehend beschikbaar in de volgende regio's:
- VS-Oosten (Ohio)
- VS-Oosten (N. Virginia)
- VS West (Oregon)
- Azië-Pacific (Mumbai)
- Azië-Pacific (Seoul)
- Azië-Pacific (Singapore)
- Azië-Pacific (Sydney)
- Azië-Pacific (Tokio)
- EU (Frankfurt)
- EU (Ierland)
- EU (Londen)
- AWS GovCloud (VS-West)
Probeer de functie eens en stuur ons feedback via de AWS-forum voor Amazon Comprehend of via uw gebruikelijke AWS-ondersteuningscontacten.
Over de auteurs
Premkumar Rangarajan is een AI/ML specialist solutions architect bij Amazon Web Services en heeft eerder het boek Natural Language Processing with AWS AI services geschreven. Hij heeft 26 jaar ervaring in de IT-industrie in verschillende rollen, waaronder delivery lead, integratiespecialist en enterprise architect. Hij helpt ondernemingen van elke omvang om AI en ML toe te passen om hun echte uitdagingen op te lossen.
Chethan Krishna is een Senior Partner Solutions Architect in India. Hij werkt samen met strategische AWS-partners voor het opzetten van een robuuste cloudcompetentie, het toepassen van AWS-best practices en het oplossen van klantuitdagingen. Hij is een bouwer en experimenteert graag met AI/ML, IoT en analytics.
Sriharsha MS is een AI / ML-specialist oplossingsarchitect in het Strategic Specialist-team van Amazon Web Services. Hij werkt met strategische AWS-klanten die gebruikmaken van AI / ML om complexe bedrijfsproblemen op te lossen. Hij geeft technische begeleiding en ontwerpadvies om AI / ML-toepassingen op schaal te implementeren. Zijn expertise omvat applicatiearchitectuur, bigdata, analyse en machine learning.
- Coinsmart. Europa's beste Bitcoin- en crypto-uitwisseling.
- Platoblockchain. Web3 Metaverse Intelligentie. Kennis versterkt. GRATIS TOEGANG.
- CryptoHawk. Altcoin-radar. Gratis proefversie.
- Bron: https://aws.amazon.com/blogs/machine-learning/announcing-the-launch-of-the-model-copy-feature-for-amazon-comprehend-custom-models/
- "
- &
- 100
- 9
- Over
- toegang
- Account
- Actie
- activiteiten
- vooruitgang
- Voordeel
- advies
- AI
- AI-diensten
- Alles
- Amazone
- Amazon Web Services
- analyse
- analytics
- aankondigen
- Het aankondigen
- Nog een
- api
- APIs
- toepasselijk
- Aanvraag
- toepassingen
- architectuur
- auto
- Beschikbaar
- AWS
- betekent
- BEST
- 'best practices'
- grens
- bouw
- bouwer
- bedrijfsdeskundigen
- uitdagingen
- controleren
- Controles
- classificatie
- Cloud
- code
- opmerkingen
- Gemeen
- complex
- troosten
- content
- Klanten
- gegevens
- decennium
- levering
- inzet
- Design
- anders
- digitaal
- documenten
- gemakkelijk
- effect
- enorm
- Enterprise
- essentieel
- voorbeeld
- ervaring
- expertise
- Kenmerk
- feedback
- financieel
- financiële diensten
- Voornaam*
- volgend
- functionaliteit
- gelukkig
- met
- helpt
- Hoe
- How To
- HTTPS
- identificeren
- Identiteit
- uitvoeren
- belangrijk
- importeren
- Inclusief
- Indië
- industrieën
- -industrie
- informatie
- inzichten
- integratie
- Intelligentie
- belang
- iot
- Ierland
- isolatie
- IT
- Jobomschrijving:
- Vacatures
- sleutel
- taal
- lancering
- leiden
- leren
- Lijn
- Lijst
- plaats
- London
- machine
- machine learning
- management
- Media
- Mijnbouw
- ML
- model
- modellen
- meest
- Meest populair
- Mumbai
- Naturel
- aanbod
- Ohio
- bestellen
- Oregon
- Overige
- Pacific
- partner
- partners
- prestatie
- zinnen
- beleidsmaatregelen
- Populair
- Principal
- problemen
- Product
- zorgen voor
- biedt
- snel
- regelgevers
- nodig
- Voorwaarden
- hulpbron
- antwoord
- Resultaten
- Retourneren
- Recensies
- Scale
- wetenschappers
- sdk
- Seoul
- service
- Diensten
- Delen
- gedeeld
- Aandelen
- Shell
- Eenvoudig
- Singapore
- So
- Oplossingen
- OPLOSSEN
- begin
- Statement
- Status
- mediaopslag
- winkels
- strategisch
- Strategie
- ondersteuning
- sydney
- doelwit
- team
- Technisch
- proef
- De Bron
- Door
- niet de tijd of
- vandaag
- tokyo
- Trainingen
- Trends
- unieke
- bijwerken
- us
- .
- gebruikers
- vendors
- Bekijk
- Virginia
- web
- webservices
- West
- WIE
- binnen
- zonder
- Bedrijven
- het schrijven van
- jaar