Les tendances technologiques et les progrès des médias numériques au cours de la dernière décennie ont entraîné la prolifération des données textuelles. Les avantages potentiels de l'exploitation de ce texte pour en tirer des informations, à la fois tactiques et stratégiques, sont énormes. C'est ce qu'on appelle le traitement du langage naturel (TLN). Vous pouvez utiliser le NLP, par exemple, pour analyser vos avis sur les produits pour les sentiments des clients, former un modèle de reconnaissance d'entité personnalisé pour identifier les types de produits d'intérêt en fonction des commentaires des clients, ou former un modèle de classification de texte personnalisé pour déterminer les catégories de produits les plus populaires.
Amazon comprendre est un service NLP avec une intelligence prête à l'emploi pour extraire des informations sur le contenu des documents. Il développe des informations en reconnaissant les entités, les phrases clés, le langage, les sentiments et d'autres éléments communs dans un document. Amazon Comprehend Custom utilise l'apprentissage automatique (Auto ML) pour créer des modèles NLP en votre nom à l'aide de vos propres données. Cela vous permet de détecter des entités uniques à votre entreprise ou de classer du texte ou des documents selon vos besoins. De plus, vous pouvez automatiser l'ensemble de votre flux de travail NLP avec des API faciles à utiliser.
Aujourd'hui, nous sommes heureux d'annoncer le lancement de la fonctionnalité de copie de modèle personnalisé Amazon Comprehend, qui vous permet de copier automatiquement vos modèles personnalisés Amazon Comprehend d'un compte source vers des comptes cibles désignés dans la même région sans avoir besoin d'accéder aux ensembles de données que le modèle a été formé et évalué. Dès aujourd'hui, vous pouvez utiliser le Console de gestion AWS, Interface de ligne de commande AWS (AWS CLI), ou le API boto3 (SDK Python pour AWS) pour copier des modèles personnalisés entraînés d'un compte source vers un compte cible désigné. Cette nouvelle fonctionnalité est disponible pour les modèles de classification personnalisée Amazon Comprehend et de reconnaissance d'entité personnalisée.
Avantages de la fonctionnalité de copie de modèle
Cette nouvelle fonctionnalité présente les avantages suivants :
- Stratégie MLOps multi-comptes – Entraînez un modèle une seule fois et assurez un déploiement prévisible dans plusieurs environnements dans différents comptes.
- Déploiement plus rapide – Vous pouvez copier rapidement un modèle formé entre les comptes, en évitant le temps nécessaire pour se recycler dans chaque compte.
- Protégez les ensembles de données sensibles – Désormais, vous n'avez plus besoin de partager les ensembles de données entre différents comptes ou utilisateurs. Les données de formation doivent être disponibles uniquement sur le compte où la formation est effectuée. Ceci est très important pour certaines industries comme les services financiers, où l'isolation des données et le sandboxing sont essentiels pour répondre aux exigences réglementaires.
- Collaboration facile – Les partenaires ou les fournisseurs peuvent désormais facilement se former à Amazon Comprehend Custom et partager les modèles avec leurs clients.
Fonctionnement de la copie de modèle
Avec la nouvelle fonctionnalité de copie de modèle, vous pouvez copier des modèles personnalisés entre des comptes AWS dans la même région dans un processus en deux étapes. Tout d'abord, un utilisateur d'un compte AWS (compte A) partage un modèle personnalisé qui se trouve dans son compte. Ensuite, un utilisateur d'un autre compte AWS (compte B) importe le modèle dans son compte.
Partager un modèle
Pour partager un modèle personnalisé dans le compte A, l'utilisateur joint un Gestion des identités et des accès AWS (IAM) stratégie basée sur les ressources à une version de modèle. Cette stratégie autorise une entité du compte B, telle qu'un utilisateur ou un rôle IAM, à importer la version du modèle dans Amazon Comprehend dans son compte AWS. Vous pouvez configurer une stratégie basée sur les ressources via la console ou avec l'outil personnalisé Amazon Comprehend. PutResourcePolicy
API.
Importer un modèle
Pour importer le modèle sur le compte B, l'utilisateur de ce compte fournit à Amazon Comprehend les détails nécessaires, tels que l'Amazon Resource Name (ARN) du modèle. Lorsqu'il importe le modèle, cet utilisateur crée un nouveau modèle personnalisé dans son compte AWS qui réplique le modèle qu'il a importé. Ce modèle est entièrement formé et prêt pour les tâches d'inférence, telles que la classification de documents ou la reconnaissance d'entités nommées. Si le modèle est chiffré avec un Service de gestion des clés AWS (AWS KMS) dans la source, le rôle de service spécifié lors de l'importation du modèle doit avoir accès à la clé KMS afin de déchiffrer le modèle lors de l'importation. Le compte cible peut également spécifier une clé KMS pour chiffrer le modèle lors de l'importation. L'importation du modèle partagé est également disponible à la fois sur la console et en tant qu'API.
Vue d'ensemble de la solution
Pour démontrer la fonctionnalité de la fonctionnalité de copie de modèle, nous vous montrons comment former, partager et importer un modèle de reconnaissance d'entité personnalisé Amazon Comprehend à l'aide de la console Amazon Comprehend et de l'AWS CLI. Pour cette démonstration, nous utilisons deux comptes différents. Les étapes s'appliquent également à la classification personnalisée Amazon Comprehend. Les étapes requises sont les suivantes :
- Entraînez un modèle de reconnaissance d'entité personnalisé Amazon Comprehend dans le compte source.
- Définissez la stratégie de ressources IAM pour le modèle entraîné afin d'autoriser l'accès entre comptes.
- Copiez le modèle entraîné du compte source vers le compte cible.
- Testez le modèle copié via un travail par lots.
Former un modèle de reconnaissance d'entité personnalisé Amazon Comprehend dans le compte source
La première étape consiste à former un modèle de reconnaissance d'entité personnalisé Amazon Comprehend dans le compte source. Comme ensemble de données d'entrée pour la formation, nous utilisons un CSV liste d'entités ainsi que documents de formation pour reconnaître les offres de service AWS dans un document donné. Assurez-vous que la liste des entités et les documents de formation sont dans un Service de stockage simple Amazon (Amazon S3) compartiment dans le compte source. Pour obtenir des instructions, consultez Ajout de documents à Amazon S3.
Créer un rôle IAM pour Amazon Comprehend et fournissez l'accès requis au compartiment S3 avec les données de formation. Notez les chemins d'accès de l'ARN du rôle et du compartiment S3 à utiliser dans les étapes ultérieures.
Former un modèle avec l'AWS CLI
Créez un module de reconnaissance d'entité à l'aide de la commande AWS CLI suivante. Remplacez vos paramètres par les chemins S3, le rôle IAM et la région. La réponse renvoie le EntityRecognizerArn
.
L'état de la tâche d'entraînement peut être surveillé en appelant le describe-entity-recognizer et en vérifiant l'état dans la réponse.
Entraîner un modèle via la console
Pour entraîner un modèle via la console, procédez comme suit :
- Sur la console Amazon Comprehend, sous Personnalisation, créez un nouveau modèle de reconnaissance d'entité personnalisé.
- Fournissez un nom de modèle et une version.
- Pour Langue, choisissez Anglais.
- Pour Type d'entité personnalisé, ajouter
AWS_OFFERING
.
Pour former un modèle de reconnaissance d'entité personnalisé, vous pouvez choisir l'une des deux manières de fournir des données à Amazon Comprehend : annotations or listes d'entités. Pour plus de simplicité, utilisez la méthode de liste d'entités.
- Pour Format de données, sélectionnez fichier CSV.
- Pour Type de formation, sélectionnez Utilisation de la liste d'entités et des documents de formation.
- Fournissez les chemins d'accès à l'emplacement S3 pour le CSV de la liste d'entités et les données de formation.
- Pour accorder des autorisations à Amazon Comprehend pour accéder à votre compartiment S3, créez un rôle lié à un service IAM.
Dans le Politique basée sur les ressources section, vous pouvez autoriser l'accès pour la version du modèle. Les comptes auxquels vous accordez l'accès peuvent importer ce modèle dans leur compte. Nous sautons cette étape pour l'instant et ajoutons la stratégie une fois que le modèle est formé et que nous sommes satisfaits des performances du modèle.
- Selectionnez Création.
Cela soumet votre reconnaissance d'entité personnalisée, qui passe par un certain nombre de modèles, ajuste vos hyperparamètres et vérifie la validation croisée pour s'assurer que votre modèle est robuste. Ce sont toutes les mêmes activités que celles effectuées par les data scientists.
Définir la stratégie de ressources IAM pour le modèle entraîné afin d'autoriser l'accès entre comptes
Lorsque nous sommes satisfaits des performances de formation, nous pouvons poursuivre et partager la version de modèle spécifique en ajoutant une stratégie de ressources.
Ajouter une stratégie basée sur les ressources à partir de l'AWS CLI
Autorisez l'importation du modèle à partir du compte cible en ajoutant une stratégie de ressources sur le modèle, comme illustré dans le code suivant. La stratégie peut être étroitement limitée à une version de modèle et à un principal cible particuliers. Remplacez votre ARN de reconnaissance d'entité formé et votre compte cible pour fournir l'accès.
Ajouter une stratégie basée sur les ressources via la console
Lorsque la formation est terminée, une version personnalisée du modèle de reconnaissance d'entité est générée. Nous pouvons choisir le modèle et la version formés pour afficher les détails de la formation, y compris les performances du modèle formé.
Pour mettre à jour la stratégie, procédez comme suit :
- Sur le Balises, VPC et politique , modifiez la stratégie basée sur les ressources.
- Indiquez le nom de la stratégie, le principal du service Amazon Comprehend (
comprehend.amazonaws.com
), l'ID du compte cible et les utilisateurs IAM du compte cible autorisés à importer la version du modèle.
Nous précisons root
en tant qu'entité IAM pour autoriser tous les utilisateurs du compte cible.
- Notez l'ARN de la ressource de modèle, que nous utiliserons ultérieurement au cours du processus d'importation.
Copiez le modèle entraîné du compte source vers le compte cible
Maintenant, le modèle est formé et partagé à partir du compte source. L'utilisateur autorisé du compte cible peut importer le modèle et créer une copie du modèle dans son propre compte.
Pour importer un modèle, vous devez spécifier l'ARN du modèle source et le rôle de service pour qu'Amazon Comprehend effectue l'action de copie sur votre compte. Vous pouvez spécifier un ID AWS KMS facultatif pour chiffrer le modèle dans votre compte cible.
Importer le modèle via AWS CLI
Pour importer votre modèle avec l'AWS CLI, saisissez le code suivant :
Importer le modèle via la console
Pour importer le modèle via la console, procédez comme suit :
- Sur la console Amazon Comprehend, sous Reconnaissance d'entités personnalisées, choisissez Version d'importation.
- Pour Version du modèle ARN, saisissez l'ARN du modèle formé dans le compte source.
- Entrez un nom de modèle et une version pour la cible.
- Fournissez un rôle de compte de service et choisissez Confirmer pour démarrer le processus d'importation du modèle.
Une fois que l'état du modèle est passé à Imported
, nous pouvons afficher les détails du modèle, y compris les détails des performances du modèle entraîné.
Tester le modèle copié via un travail par lots
Nous testons le modèle copié dans le compte cible en détectant les entités personnalisées avec un travail par lots. Pour tester le modèle, téléchargez le fichier d'essai et placez-le dans un compartiment S3 de votre compte cible. Créer un rôle IAM pour Amazon Comprehend et fournissez l'accès requis au compartiment S3 avec les données de test. Vous utilisez l'ARN de rôle et les chemins de compartiment S3 que vous avez notés précédemment.
Lorsque la tâche est terminée, vous pouvez vérifier les données d'inférence dans le compartiment S3 de sortie spécifié.
Tester le modèle avec l'AWS CLI
Pour tester le modèle à l'aide de l'AWS CLI, saisissez le code suivant :
Testez le modèle via la console
Pour tester le modèle via la console, procédez comme suit :
- Sur la console Amazon Comprehend, choisissez Emplois d'analyse et choisissez Créer un emploi.
- Pour Nom, entrez un nom pour le travail.
- Pour Type d'analyse¸ choisissez Reconnaissance d'entités personnalisées.
- Choisissez le nom du modèle et la version du modèle importé.
- Fournissez les chemins S3 pour le fichier de test de la tâche et l'emplacement de sortie où Amazon Comprehend stocke le résultat.
- Choisissez ou créez un rôle IAM avec l'autorisation d'accéder aux compartiments S3.
- Selectionnez Créer un emploi.
Lorsque votre tâche d'analyse est terminée, vous avez des fichiers JSON dans votre chemin de compartiment S3 de sortie, que vous pouvez télécharger pour vérifier les résultats de la reconnaissance d'entité à partir du modèle importé.
Conclusion
Dans cet article, nous avons présenté la fonctionnalité de copie de modèle d'entité personnalisée d'Amazon Comprehend. Cette fonctionnalité vous permet de former un modèle de classification ou de reconnaissance d'entité personnalisé Amazon Comprehend dans un compte, puis de partager le modèle avec un autre compte dans la même région. Cela simplifie la stratégie multi-comptes où le modèle peut être formé une fois et partagé entre les comptes au sein de la même région sans avoir à recycler ou partager les ensembles de données de formation. Cela permet un déploiement prévisible dans chaque compte dans le cadre de votre workflow MLOps. Pour plus d'informations, consultez notre documentation sur Comprendre la copie personnalisée, ou essayez la procédure pas à pas de cet article via la console ou à l'aide d'un cloud shell avec l'AWS CLI.
Au moment d'écrire ces lignes, la fonctionnalité de copie de modèle dans Amazon Comprehend est disponible dans les régions suivantes :
- États-Unis Est (Ohio)
- États-Unis Est (Virginie du Nord)
- Ouest américain (Oregon)
- Asie-Pacifique (Mumbai)
- Asie-Pacifique (Séoul)
- Asie-Pacifique (Singapour)
- Asie-Pacifique (Sydney)
- Asie-Pacifique (Tokyo)
- UE (Francfort)
- UE (Irlande)
- UE (Londres)
- AWS GovCloud (États-Unis-Ouest)
Essayez la fonctionnalité et envoyez-nous vos commentaires via le Forum AWS pour Amazon Comprehend ou via vos contacts d'assistance AWS habituels.
À propos des auteurs
Premkumar Rangarajan est architecte de solutions spécialisées en IA/ML chez Amazon Web Services et a déjà écrit le livre Natural Language Processing with AWS AI services. Il a 26 ans d'expérience dans l'industrie informatique dans une variété de rôles, y compris chef de livraison, spécialiste de l'intégration et architecte d'entreprise. Il aide les entreprises de toutes tailles à adopter l'IA et le ML pour résoudre leurs problèmes réels.
Chethan Krishna est un architecte de solutions de partenaire principal en Inde. Il travaille avec des partenaires AWS stratégiques pour établir une solide compétence cloud, adopter les meilleures pratiques AWS et résoudre les problèmes des clients. Il est un constructeur et aime expérimenter l'IA/ML, l'IoT et l'analyse.
Sriharsha MS est un architecte de solutions spécialisé AI / ML au sein de l'équipe de spécialistes stratégiques d'Amazon Web Services. Il travaille avec des clients AWS stratégiques qui tirent parti de l'IA / ML pour résoudre des problèmes commerciaux complexes. Il fournit des conseils techniques et des conseils de conception pour mettre en œuvre des applications AI / ML à grande échelle. Son expertise couvre l'architecture des applications, les bigdata, l'analyse et l'apprentissage automatique.
- Coinsmart. Le meilleur échange Bitcoin et Crypto d'Europe.
- Platoblockchain. Intelligence métaverse Web3. Connaissance amplifiée. ACCÈS LIBRE.
- CryptoHawk. Radar Altcoins. Essai gratuit.
- Source : https://aws.amazon.com/blogs/machine-learning/announcing-the-launch-of-the-model-copy-feature-for-amazon-comprehend-custom-models/
- "
- &
- 100
- 9
- Qui sommes-nous
- accès
- Compte
- Action
- activités
- progrès
- Avantage
- conseils
- AI
- Services d'IA
- Tous
- Amazon
- Amazon Web Services
- selon une analyse de l’Université de Princeton
- analytique
- Annoncer
- Annoncer
- Une autre
- api
- Apis
- en vigueur
- Application
- applications
- architecture
- auto
- disponibles
- AWS
- avantages.
- LES MEILLEURS
- les meilleures pratiques
- frontière
- construire
- constructeur
- la performance des entreprises
- globaux
- vérification
- Contrôles
- classification
- le cloud
- code
- commentaires
- Commun
- complexe
- Console
- contenu
- Clients
- données
- décennie
- page de livraison.
- déploiement
- Conception
- différent
- numérique
- INSTITUTIONNELS
- même
- effet
- énorme
- Entreprise
- essential
- exemple
- Découvrez
- nous a permis de concevoir
- Fonctionnalité
- Réactions
- la traduction de documents financiers
- services financiers
- Prénom
- Abonnement
- heureux vous
- ayant
- aide
- Comment
- How To
- HTTPS
- identifier
- Active
- Mettre en oeuvre
- important
- l'importation
- Y compris
- Inde
- secteurs
- industrie
- d'information
- idées.
- l'intégration
- Intelligence
- intérêt
- IOT
- Irlande
- seul
- IT
- Emploi
- Emplois
- ACTIVITES
- langue
- lancer
- conduire
- apprentissage
- Gamme
- Liste
- emplacement
- London
- click
- machine learning
- gestion
- Médias
- Mines
- ML
- modèle
- numériques jumeaux (digital twin models)
- (en fait, presque toutes)
- Le Plus Populaire
- Mumbai
- Nature
- Offrandes
- Ohio
- de commander
- Oregon
- Autre
- Pacifique
- les partenaires
- partenaires,
- performant
- les expressions clés
- politique
- Populaire
- Directeur
- d'ouvrabilité
- processus
- Produit
- fournir
- fournit
- vite.
- régulateurs
- conditions
- Exigences
- ressource
- réponse
- Résultats
- Retours
- Avis
- Escaliers intérieurs
- scientifiques
- Sdk
- Séoul
- service
- Services
- Partager
- commun
- Partages
- coquillage
- étapes
- Singapour
- So
- Solutions
- RÉSOUDRE
- Commencer
- Déclaration
- Statut
- storage
- STORES
- Stratégique
- de Marketing
- Support
- sydney
- Target
- équipe
- Technique
- tester
- La Source
- Avec
- fiable
- aujourd'hui
- tokyo
- Formation
- Trends
- unique
- Mises à jour
- us
- utilisé
- utilisateurs
- fournisseurs
- Voir
- Virginie
- web
- services Web
- Ouest
- WHO
- dans les
- sans
- vos contrats
- écriture
- années