Le tendenze tecnologiche e i progressi nei media digitali negli ultimi dieci anni circa hanno portato alla proliferazione di dati basati su testo. I potenziali vantaggi dell'estrazione di questo testo per ricavare intuizioni, sia tattiche che strategiche, sono enormi. Questo è chiamato elaborazione del linguaggio naturale (NLP). Puoi utilizzare la NLP, ad esempio, per analizzare le recensioni dei prodotti per le opinioni dei clienti, addestrare un modello di riconoscimento di entità personalizzato per identificare i tipi di prodotto di interesse in base ai commenti dei clienti o addestrare un modello di classificazione del testo personalizzato per determinare le categorie di prodotti più popolari.
Amazon Comprehend è un servizio NLP con intelligenza già pronta per estrarre informazioni dettagliate sul contenuto dei documenti. Sviluppa approfondimenti riconoscendo le entità, le frasi chiave, il linguaggio, i sentimenti e altri elementi comuni in un documento. Amazon Comprehend Custom utilizza il machine learning automatico (Auto ML) per creare modelli NLP per tuo conto utilizzando i tuoi dati. Ciò ti consente di rilevare entità uniche per la tua attività o classificare testo o documenti in base alle tue esigenze. Inoltre, puoi automatizzare l'intero flusso di lavoro NLP con API facili da usare.
Oggi siamo lieti di annunciare il lancio della funzione di copia del modello personalizzato di Amazon Comprehend, che consente di copiare automaticamente i modelli personalizzati di Amazon Comprehend da un account di origine ad account di destinazione designati nella stessa regione senza richiedere l'accesso ai set di dati del modello è stato formato e valutato. Da oggi puoi utilizzare il Console di gestione AWS, Interfaccia della riga di comando di AWS (AWS CLI), o il API boto3 (Python SDK for AWS) per copiare modelli personalizzati addestrati da un account di origine a un account di destinazione designato. Questa nuova funzionalità è disponibile sia per la classificazione personalizzata di Amazon Comprehend che per i modelli di riconoscimento delle entità personalizzati.
Vantaggi della funzione di copia del modello
Questa nuova funzionalità offre i seguenti vantaggi:
- Strategia MLOps multi-account – Addestrare un modello una sola volta e garantire un'implementazione prevedibile in più ambienti in account diversi.
- Implementazione più rapida – Puoi copiare rapidamente un modello addestrato tra account, evitando il tempo necessario per riqualificare ogni account.
- Proteggi i set di dati sensibili – Ora non è più necessario condividere i set di dati tra account o utenti diversi. I dati di formazione devono essere disponibili solo sull'account in cui viene eseguita la formazione. Questo è molto importante per alcuni settori come i servizi finanziari, dove l'isolamento dei dati e il sandboxing sono essenziali per soddisfare i requisiti normativi.
- Collaborazione facile – I partner o i fornitori possono ora addestrarsi facilmente in Amazon Comprehend Custom e condividere i modelli con i propri clienti.
Come funziona la copia del modello
Con la nuova funzione di copia del modello, puoi copiare modelli personalizzati tra account AWS nella stessa regione in un processo in due fasi. Innanzitutto, un utente in un account AWS (account A), condivide un modello personalizzato che si trova nel suo account. Quindi, un utente in un altro account AWS (account B) importa il modello nel proprio account.
Condividi un modello
Per condividere un modello personalizzato nell'account A, l'utente allega un file Gestione dell'identità e dell'accesso di AWS (IAM) policy basata sulle risorse a una versione del modello. Questa policy autorizza un'entità nell'account B, come un utente o un ruolo IAM, a importare la versione del modello in Amazon Comprehend nel proprio account AWS. Puoi configurare una policy basata sulle risorse tramite la console o con Amazon Comprehend personalizzato PutResourcePolicy
API.
Importa un modello
Per importare il modello nell'account B, l'utente di questo account fornisce ad Amazon Comprehend i dettagli necessari, come l'Amazon Resource Name (ARN) del modello. Quando importa il modello, questo utente crea un nuovo modello personalizzato nel proprio account AWS che replica il modello che ha importato. Questo modello è completamente addestrato e pronto per lavori di inferenza, come la classificazione di documenti o il riconoscimento di entità nominative. Se il modello è crittografato con un Servizio di gestione delle chiavi AWS (AWS KMS) nell'origine, quindi il ruolo del servizio specificato durante l'importazione del modello deve avere accesso alla chiave KMS per decrittografare il modello durante l'importazione. L'account di destinazione può anche specificare una chiave KMS per crittografare il modello durante l'importazione. L'importazione del modello condiviso è disponibile anche sia su console che come API.
Panoramica della soluzione
Per dimostrare la funzionalità della funzione di copia del modello, ti mostriamo come addestrare, condividere e importare un modello di riconoscimento di entità personalizzato Amazon Comprehend utilizzando sia la console Amazon Comprehend che l'AWS CLI. Per questa dimostrazione, utilizziamo due account diversi. I passaggi sono applicabili anche alla classificazione personalizzata di Amazon Comprehend. I passaggi richiesti sono i seguenti:
- Addestra un modello di riconoscimento entità personalizzato Amazon Comprehend nell'account di origine.
- Definisci la policy delle risorse IAM per il modello addestrato per consentire l'accesso tra account.
- Copia il modello addestrato dall'account di origine all'account di destinazione.
- Testare il modello copiato tramite un processo batch.
Addestra un modello di riconoscimento entità personalizzato Amazon Comprehend nell'account di origine
Il primo passaggio consiste nell'addestrare un modello di riconoscimento dell'entità personalizzato Amazon Comprehend nell'account di origine. Come set di dati di input per la formazione, utilizziamo un CSV lista delle entità ed documenti di formazione per riconoscere le offerte di servizi AWS in un determinato documento. Assicurati che l'elenco delle entità e i documenti di formazione siano in un Servizio di archiviazione semplice Amazon (Amazon S3) nell'account di origine. Per istruzioni, vedere Aggiunta di documenti ad Amazon S3.
Crea un ruolo IAM per Amazon Comprehend e fornisci l'accesso richiesto al bucket S3 con i dati di addestramento. Prendi nota del ruolo ARN e dei percorsi del bucket S3 da utilizzare nei passaggi successivi.
Addestra un modello con l'AWS CLI
Crea un riconoscimento di entità utilizzando il seguente comando AWS CLI. Sostituisci i tuoi parametri per i percorsi S3, il ruolo IAM e la regione. La risposta restituisce il EntityRecognizerArn
.
Lo stato del lavoro di formazione può essere monitorato chiamando il Descrivi-entità-riconoscitore e controllando lo Stato nella risposta.
Addestra un modello tramite la console
Per addestrare un modello tramite la console, completare i seguenti passaggi:
- Sulla console di Amazon Comprehend, sotto Personalizzazione, crea un nuovo modello di riconoscimento entità personalizzato.
- Fornisci un nome e una versione del modello.
- Nel Linguascegli inglese.
- Nel Tipo di entità personalizzata, Aggiungere
AWS_OFFERING
.
Per addestrare un modello di riconoscimento delle entità personalizzato, puoi scegliere uno dei due modi per fornire i dati ad Amazon Comprehend: annotazioni or elenchi di entità. Per semplicità, utilizzare il metodo dell'elenco di entità.
- Nel Formato dei dati, selezionare file CSV.
- Nel Tipo di allenamento, selezionare Utilizzo dell'elenco di entità e dei documenti di formazione.
- Fornire i percorsi di posizione S3 per il CSV dell'elenco di entità e i dati di addestramento.
- Per concedere le autorizzazioni ad Amazon Comprehend per accedere al tuo bucket S3, crea un ruolo collegato ai servizi IAM.
Nel Politica basata sulle risorse sezione, è possibile autorizzare l'accesso per la versione del modello. Gli account a cui concedi l'accesso possono importare questo modello nel loro account. Saltiamo questo passaggio per ora e aggiungiamo la policy dopo che il modello è stato addestrato e siamo soddisfatti delle prestazioni del modello.
- Scegli Creare.
Questo invia il tuo riconoscimento di entità personalizzato, che passa attraverso una serie di modelli, ottimizza i tuoi iperparametri e verifica la convalida incrociata per assicurarsi che il tuo modello sia robusto. Queste sono tutte le stesse attività svolte dai data scientist.
Definisci la policy delle risorse IAM per il modello addestrato per consentire l'accesso tra account
Quando siamo soddisfatti delle prestazioni di formazione, possiamo procedere e condividere la versione specifica del modello aggiungendo una policy delle risorse.
Aggiungi una policy basata sulle risorse dall'AWS CLI
Autorizzare l'importazione del modello dall'account di destinazione aggiungendo una policy delle risorse sul modello, come illustrato nel codice seguente. Il criterio può essere strettamente limitato a una particolare versione del modello e all'entità di destinazione. Sostituisci l'ARN del tuo riconoscitore di entità addestrato e l'account di destinazione a cui fornire l'accesso.
Aggiungi una policy basata sulle risorse tramite la console
Al termine della formazione, viene generata una versione del modello di riconoscimento dell'entità personalizzata. Possiamo scegliere il modello addestrato e la versione per visualizzare i dettagli dell'addestramento, comprese le prestazioni del modello addestrato.
Per aggiornare la politica, completare i seguenti passaggi:
- Sulla Tag, VPC e policy scheda, modificare la politica basata sulle risorse.
- Fornisci il nome della policy, Amazon Comprehend Service Principal (
comprehend.amazonaws.com
), ID account di destinazione e utenti IAM nell'account di destinazione autorizzati a importare la versione del modello.
precisiamo root
come entità IAM per autorizzare tutti gli utenti nell'account di destinazione.
- Prendere nota dell'ARN della risorsa modello, che utilizzeremo in seguito durante il processo di importazione.
Copia il modello addestrato dall'account di origine all'account di destinazione
Ora il modello viene addestrato e condiviso dall'account di origine. L'utente autorizzato dell'account di destinazione può importare il modello e creare una copia del modello nel proprio account.
Per importare un modello, devi specificare l'ARN del modello di origine e il ruolo del servizio affinché Amazon Comprehend esegua l'operazione di copia sul tuo account. Puoi specificare un ID AWS KMS opzionale per crittografare il modello nel tuo account di destinazione.
Importa il modello tramite AWS CLI
Per importare il tuo modello con l'AWS CLI, inserisci il codice seguente:
Importa il modello tramite la console
Per importare il modello tramite la console, completare i seguenti passaggi:
- Sulla console di Amazon Comprehend, sotto Riconoscimento dell'entità personalizzatascegli Importa versione.
- Nel Modello versione ARN, inserisci l'ARN per il modello addestrato nell'account di origine.
- Immettere un nome modello e una versione per la destinazione.
- Fornisci un ruolo per l'account di servizio e scegli Confermare per avviare il processo di importazione del modello.
Dopo che lo stato del modello cambia in Imported
, possiamo visualizzare i dettagli del modello, inclusi i dettagli sulle prestazioni del modello addestrato.
Testare il modello copiato tramite un processo batch
Testiamo il modello copiato nell'account di destinazione rilevando le entità personalizzate con un processo batch. Per testare il modello, scarica il file di prova e inseriscilo in un bucket S3 nel tuo account di destinazione. Crea un ruolo IAM per Amazon Comprehend e fornisci l'accesso richiesto al bucket S3 con i dati di test. Utilizzi i percorsi dei bucket ARN e S3 del ruolo che hai annotato in precedenza.
Al termine del lavoro, è possibile verificare i dati di inferenza nel bucket S3 di output specificato.
Testare il modello con l'AWS CLI
Per testare il modello utilizzando l'AWS CLI, inserisci il codice seguente:
Testare il modello tramite la console
Per testare il modello tramite la console, completare i seguenti passaggi:
- Sulla console di Amazon Comprehend, scegli Lavori di analisi e scegli Crea lavoro.
- Nel Nome, immettere un nome per il lavoro.
- Nel Tipo di analisi¸ scegli Riconoscimento dell'entità personalizzata.
- Scegli il nome del modello e la versione del modello importato.
- Fornisci i percorsi S3 per il file di test per il lavoro e il percorso di output in cui Amazon Comprehend archivia il risultato.
- Scegli o crea un ruolo IAM con l'autorizzazione per accedere ai bucket S3.
- Scegli Crea lavoro.
Al termine del processo di analisi, nel percorso del bucket S3 di output sono presenti file JSON, che puoi scaricare per verificare i risultati del riconoscimento dell'entità dal modello importato.
Conclusione
In questo post, abbiamo dimostrato la funzione di copia del modello di entità personalizzato di Amazon Comprehend. Questa funzione ti dà la possibilità di addestrare un modello di classificazione o riconoscimento di entità personalizzato Amazon Comprehend in un account e quindi condividere il modello con un altro account nella stessa regione. Ciò semplifica la strategia multi-account in cui il modello può essere addestrato una sola volta e condiviso tra account all'interno della stessa regione senza dover riqualificare o condividere i set di dati di addestramento. Ciò consente un'implementazione prevedibile in ogni account come parte del flusso di lavoro MLOps. Per ulteriori informazioni, consultare la nostra documentazione su Comprendi copia personalizzataoppure prova la procedura dettagliata in questo post tramite la console o utilizzando una shell cloud con l'AWS CLI.
Al momento della stesura di questo articolo, la funzione di copia del modello in Amazon Comprehend è disponibile nelle seguenti regioni:
- Stati Uniti orientali (Ohio)
- Stati Uniti orientali (Virginia settentrionale)
- Stati Uniti occidentali (Oregon)
- Asia Pacifico (Mumbai)
- Asia Pacifico (Seoul)
- Asia Pacifico (Singapore)
- Asia Pacifico (Sydney)
- Asia Pacifico (Tokyo)
- UE (Francoforte)
- UE (Irlanda)
- UE (Londra)
- AWS GovCloud (Stati Uniti occidentali)
Prova la funzione e inviaci un feedback tramite il Forum AWS per Amazon Comprehend o tramite i soliti contatti del supporto AWS.
Informazioni sugli autori
Premkumar Rangarajan è un architetto specializzato in soluzioni AI/ML presso Amazon Web Services e in precedenza ha scritto il libro Natural Language Processing with AWS AI services. Vanta 26 anni di esperienza nel settore IT in una varietà di ruoli, tra cui responsabile della consegna, specialista dell'integrazione e architetto aziendale. Aiuta le aziende di tutte le dimensioni ad adottare AI e ML per risolvere le loro sfide del mondo reale.
Chethan Krsna è un Senior Partner Solutions Architect in India. Collabora con i partner strategici di AWS per stabilire una solida competenza nel cloud, adottare le migliori pratiche AWS e risolvere le sfide dei clienti. È un costruttore e ama sperimentare con AI/ML, IoT e analisi.
Sriharsha MS è un architetto di soluzioni specializzato in AI / ML nel team di specialisti strategici di Amazon Web Services. Lavora con clienti AWS strategici che stanno sfruttando AI / ML per risolvere problemi aziendali complessi. Fornisce assistenza tecnica e consulenza di progettazione per implementare applicazioni AI / ML su larga scala. La sua esperienza abbraccia architettura delle applicazioni, bigdata, analisi e apprendimento automatico.
- Coinsmart. Il miglior scambio di bitcoin e criptovalute d'Europa.
- Platoblockchain. Web3 Metaverse Intelligence. Conoscenza amplificata. ACCESSO LIBERO.
- Criptofalco. Radar Altcoin. Prova gratuita.
- Fonte: https://aws.amazon.com/blogs/machine-learning/announcing-the-launch-of-the-model-copy-feature-for-amazon-comprehend-custom-models/
- "
- &
- 100
- 9
- Chi siamo
- accesso
- Il mio account
- Action
- attività
- avanzamenti
- Vantaggio
- consigli
- AI
- Servizi di intelligenza artificiale
- Tutti
- Amazon
- Amazon Web Services
- .
- analitica
- Annunciare
- annunciando
- Un altro
- api
- API
- applicabile
- Applicazioni
- applicazioni
- architettura
- auto
- disponibile
- AWS
- vantaggi
- MIGLIORE
- best practice
- sistema
- costruire
- costruttore
- affari
- sfide
- verifica
- Controlli
- classificazione
- Cloud
- codice
- Commenti
- Uncommon
- complesso
- consolle
- contenuto
- Clienti
- dati
- decennio
- consegna
- deployment
- Design
- diverso
- digitale
- documenti
- facilmente
- effetto
- enorme
- Impresa
- essential
- esempio
- esperienza
- competenza
- caratteristica
- feedback
- finanziario
- servizi finanziari
- Nome
- i seguenti
- funzionalità
- contento
- avendo
- aiuta
- Come
- Tutorial
- HTTPS
- identificare
- Identità
- realizzare
- importante
- importazione
- Compreso
- India
- industrie
- industria
- informazioni
- intuizioni
- integrazione
- Intelligence
- interesse
- IoT
- Irlanda
- da solo
- IT
- Lavoro
- Offerte di lavoro
- Le
- Lingua
- lanciare
- portare
- apprendimento
- linea
- Lista
- località
- Londra
- macchina
- machine learning
- gestione
- Media
- Siti di estrazione mineraria
- ML
- modello
- modelli
- maggior parte
- Più popolare
- Mumbai
- Naturale
- offerte
- Ohio
- minimo
- Oregon
- Altro
- Pacifico
- partner
- partner
- performance
- Frasi
- politica
- Popolare
- Direttore
- problemi
- processi
- Prodotto
- fornire
- fornisce
- rapidamente
- normativo
- necessario
- Requisiti
- risorsa
- risposta
- Risultati
- problemi
- Recensioni
- Scala
- scienziati
- sdk
- Seoul
- servizio
- Servizi
- Condividi
- condiviso
- azioni
- Conchiglia
- Un'espansione
- Singapore
- So
- Soluzioni
- RISOLVERE
- inizia a
- dichiarazione
- Stato dei servizi
- conservazione
- negozi
- Strategico
- Strategia
- supporto
- sydney
- Target
- team
- Consulenza
- test
- L’ORIGINE
- Attraverso
- tempo
- oggi
- Tokyo
- Training
- tendenze
- unico
- Aggiornanento
- us
- uso
- utenti
- fornitori
- Visualizza
- Virginia
- sito web
- servizi web
- ovest
- OMS
- entro
- senza
- lavori
- scrittura
- anni