Tendințele tehnologice și progresele media digitale în ultimul deceniu au dus la proliferarea datelor bazate pe text. Beneficiile potențiale ale extragerii acestui text pentru a obține perspective, atât tactice, cât și strategice, sunt enorme. Aceasta se numește procesarea limbajului natural (NLP). Puteți utiliza NLP, de exemplu, pentru a analiza recenziile despre produse pentru a vedea opiniile clienților, pentru a instrui un model personalizat de recunoaștere a entităților pentru a identifica tipurile de produse de interes pe baza comentariilor clienților sau pentru a pregăti un model personalizat de clasificare a textului pentru a determina cele mai populare categorii de produse.
Amazon Comprehend este un serviciu NLP cu inteligență pregătită pentru a extrage informații despre conținutul documentelor. Ea dezvoltă perspective prin recunoașterea entităților, expresiilor cheie, limbajului, sentimentelor și a altor elemente comune dintr-un document. Amazon Comprehend Custom folosește învățarea automată automată (Auto ML) pentru a construi modele NLP în numele dvs. folosind propriile date. Acest lucru vă permite să detectați entități unice pentru afacerea dvs. sau să clasificați texte sau documente conform cerințelor dvs. În plus, vă puteți automatiza întregul flux de lucru NLP cu API-uri ușor de utilizat.
Astăzi suntem bucuroși să anunțăm lansarea funcției de copiere a modelului personalizat Amazon Comprehend, care vă permite să copiați automat modelele personalizate Amazon Comprehend dintr-un cont sursă în conturi țintă desemnate din aceeași regiune, fără a necesita acces la seturile de date pe care modelul. a fost instruit și evaluat pe. Începând de astăzi, puteți utiliza Consola de administrare AWS, Interfața liniei de comandă AWS (AWS CLI) sau API-urile boto3 (Python SDK pentru AWS) pentru a copia modele personalizate antrenate dintr-un cont sursă într-un cont țintă desemnat. Această nouă caracteristică este disponibilă atât pentru clasificarea personalizată Amazon Comprehend, cât și pentru modelele de recunoaștere a entităților personalizate.
Beneficiile funcției de copiere a modelului
Această nouă caracteristică are următoarele avantaje:
- Strategia MLOps cu mai multe conturi – Antrenați un model o dată și asigurați o implementare previzibilă în mai multe medii în conturi diferite.
- Desfasurare mai rapida – Puteți copia rapid un model antrenat între conturi, evitând timpul necesar reantrenării în fiecare cont.
- Protejați seturile de date sensibile – Acum nu mai trebuie să partajați seturile de date între diferite conturi sau utilizatori. Datele de antrenament trebuie să fie disponibile numai în contul în care se efectuează antrenamentul. Acest lucru este foarte important pentru anumite industrii, cum ar fi serviciile financiare, unde izolarea datelor și sandboxing-ul sunt esențiale pentru a îndeplini cerințele de reglementare.
- Colaborare ușoară – Partenerii sau vânzătorii se pot antrena acum cu ușurință în Amazon Comprehend Custom și pot partaja modelele cu clienții lor.
Cum funcționează copierea modelului
Cu noua funcție de copiere a modelului, puteți copia modele personalizate între conturile AWS din aceeași regiune într-un proces în două etape. În primul rând, un utilizator dintr-un cont AWS (contul A), împărtășește un model personalizat care se află în contul său. Apoi, un utilizator dintr-un alt cont AWS (contul B) importă modelul în contul său.
Distribuiți un model
Pentru a partaja un model personalizat în contul A, utilizatorul atașează un Gestionarea identității și accesului AWS (IAM) politică bazată pe resurse la o versiune de model. Această politică autorizează o entitate din contul B, cum ar fi un utilizator sau un rol IAM, să importe versiunea modelului în Amazon Comprehend în contul său AWS. Puteți configura o politică bazată pe resurse fie prin consolă, fie cu personalizarea Amazon Comprehend PutResourcePolicy
API-ul.
Importați un model
Pentru a importa modelul în contul B, utilizatorul acestui cont furnizează Amazon Comprehend detaliile necesare, cum ar fi Amazon Resource Name (ARN) al modelului. Când importă modelul, acest utilizator creează un nou model personalizat în contul său AWS, care reproduce modelul pe care l-a importat. Acest model este pe deplin instruit și pregătit pentru lucrări de inferență, cum ar fi clasificarea documentelor sau recunoașterea entității denumite. Dacă modelul este criptat cu un AWS Service Management Service (AWS KMS) în sursă, apoi rolul de serviciu specificat în timpul importării modelului trebuie să aibă acces la cheia KMS pentru a decripta modelul în timpul importului. Contul țintă poate specifica și o cheie KMS pentru a cripta modelul în timpul importului. Importul modelului partajat este, de asemenea, disponibil atât pe consolă, cât și ca API.
Prezentare generală a soluțiilor
Pentru a demonstra funcționalitatea funcției de copiere a modelului, vă arătăm cum să antrenați, să partajați și să importați un model personalizat de recunoaștere a entităților Amazon Comprehend folosind atât consola Amazon Comprehend, cât și AWS CLI. Pentru această demonstrație, folosim două conturi diferite. Pașii sunt aplicabili și pentru clasificarea personalizată Amazon Comprehend. Pașii necesari sunt următorii:
- Antrenați un model personalizat de recunoaștere a entităților Amazon Comprehend în contul sursă.
- Definiți politica de resurse IAM pentru modelul instruit pentru a permite accesul pe mai multe conturi.
- Copiați modelul antrenat din contul sursă în contul țintă.
- Testați modelul copiat printr-o lucrare batch.
Antrenați un model personalizat de recunoaștere a entităților Amazon Comprehend în contul sursă
Primul pas este să antrenați un model personalizat de recunoaștere a entităților Amazon Comprehend în contul sursă. Ca set de date de intrare pentru antrenament, folosim un CSV lista de entitati și documente de instruire pentru recunoașterea ofertelor de servicii AWS într-un document dat. Asigurați-vă că lista de entități și documentele de instruire sunt într-un Serviciul Amazon de stocare simplă (Amazon S3) în contul sursă. Pentru instrucțiuni, vezi Adăugarea de documente la Amazon S3.
Creați un rol IAM pentru Amazon Comprehend și oferă accesul necesar la compartimentul S3 cu datele de instruire. Rețineți căile pentru găleți ARN și S3 pentru a le utiliza în pașii ulterioare.
Antrenați un model cu AWS CLI
Creați un dispozitiv de recunoaștere a entității utilizând următoarea comandă AWS CLI. Înlocuiți parametrii pentru căile S3, rolul IAM și Regiunea. Răspunsul returnează EntityRecognizerArn
.
Starea jobului de instruire poate fi monitorizată apelând descrie-recunoașterea entității și verificând starea din răspuns.
Antrenează un model prin consolă
Pentru a antrena un model prin consolă, parcurgeți următorii pași:
- Pe consola Amazon Comprehend, sub Personalizare, creați un nou model personalizat de recunoaștere a entităților.
- Furnizați un nume de model și o versiune.
- Pentru Limbă, alege engleză.
- Pentru Tipul entității personalizate, adăuga
AWS_OFFERING
.
Pentru a antrena un model personalizat de recunoaștere a entităților, puteți alege una dintre două moduri de a furniza date către Amazon Comprehend: adnotări or liste de entități. Pentru simplitate, utilizați metoda listei de entități.
- Pentru Format date, Selectați Fișier CSV.
- Pentru Tipul de instruire, Selectați Utilizarea listei de entități și a documentelor de instruire.
- Furnizați căile de locație S3 pentru lista de entități CSV și datele de antrenament.
- Pentru a acorda permisiuni Amazon Comprehend pentru a accesa compartimentul dvs. S3, creați un rol legat de servicii IAM.
În Politică bazată pe resurse secțiunea, puteți autoriza accesul pentru versiunea modelului. Conturile la care acordați acces pot importa acest model în contul lor. Omitem acest pas pentru moment și adăugăm politica după ce modelul este antrenat și suntem mulțumiți de performanța modelului.
- Alege Crea.
Acest lucru trimite dispozitivul de recunoaștere a entității personalizate, care trece printr-un număr de modele, vă ajustează hiperparametrii și verifică validarea încrucișată pentru a vă asigura că modelul dvs. este robust. Acestea sunt toate aceleași activități pe care le efectuează cercetătorii de date.
Definiți politica de resurse IAM pentru modelul instruit pentru a permite accesul pe mai multe conturi
Când suntem mulțumiți de performanța antrenamentului, putem merge mai departe și împărtășim versiunea specifică a modelului adăugând o politică de resurse.
Adăugați o politică bazată pe resurse din AWS CLI
Autorizați importarea modelului din contul țintă adăugând o politică de resurse pe model, așa cum se arată în codul următor. Politica poate fi limitată la o anumită versiune a modelului și principalul țintă. Înlocuiți ARN-ul de recunoaștere a entității instruite și contul țintă pentru a oferi acces la.
Adăugați o politică bazată pe resurse prin consolă
Când instruirea este finalizată, este generată o versiune personalizată a modelului de recunoaștere a entității. Putem alege modelul antrenat și versiunea pentru a vizualiza detaliile de antrenament, inclusiv performanța modelului antrenat.
Pentru a actualiza politica, parcurgeți următorii pași:
- Pe Etichete, VPC și politică fila, editați politica bazată pe resurse.
- Furnizați numele politicii, principalul serviciu Amazon Comprehend (
comprehend.amazonaws.com
), ID-ul contului țintă și utilizatorii IAM din contul țintă autorizați să importe versiunea modelului.
Precizăm root
ca entitate IAM să autorizeze toți utilizatorii din contul țintă.
Copiați modelul antrenat din contul sursă în contul țintă
Acum modelul este antrenat și partajat din contul sursă. Utilizatorul autorizat al contului țintă poate importa modelul și poate crea o copie a modelului în propriul cont.
Pentru a importa un model, trebuie să specificați ARN-ul modelului sursă și rolul de serviciu pentru Amazon Comprehend pentru a efectua acțiunea de copiere în contul dvs. Puteți specifica un ID AWS KMS opțional pentru a cripta modelul în contul țintă.
Importați modelul prin AWS CLI
Pentru a vă importa modelul cu AWS CLI, introduceți următorul cod:
Importați modelul prin consolă
Pentru a importa modelul prin consolă, parcurgeți următorii pași:
- Pe consola Amazon Comprehend, sub Recunoașterea entității personalizate, alege Import versiune.
- Pentru Versiune model ARN, introduceți ARN-ul pentru modelul antrenat în contul sursă.
- Introduceți un nume de model și o versiune pentru țintă.
- Furnizați un rol de cont de serviciu și alegeți Confirma pentru a începe procesul de import al modelului.
După ce starea modelului se schimbă în Imported
, putem vizualiza detaliile modelului, inclusiv detaliile de performanță ale modelului antrenat.
Testați modelul copiat printr-o lucrare batch
Testăm modelul copiat în contul țintă detectând entități personalizate cu un job batch. Pentru a testa modelul, descărcați fișier de testare și plasați-l într-o găleată S3 în contul dvs. țintă. Creați un rol IAM pentru Amazon Comprehend și oferiți accesul necesar la compartimentul S3 cu datele de testare. Folosiți căile de găleată pentru rol ARN și S3 pe care le-ați notat mai devreme.
Când lucrarea este finalizată, puteți verifica datele de inferență din compartimentul S3 de ieșire specificat.
Testați modelul cu AWS CLI
Pentru a testa modelul folosind AWS CLI, introduceți următorul cod:
Testați modelul prin consolă
Pentru a testa modelul prin consolă, parcurgeți următorii pași:
- În consola Amazon Comprehend, alegeți Joburi de analiză Și alegeți Creați loc de muncă.
- Pentru Nume si Prenume, introduceți un nume pentru job.
- Pentru Tipul analizei¸ alege Recunoașterea entității personalizate.
- Alegeți numele modelului și versiunea modelului importat.
- Furnizați căile S3 pentru fișierul de testare pentru job și locația de ieșire în care Amazon Comprehend stochează rezultatul.
- Alegeți sau creați un rol IAM cu permisiunea de a accesa compartimentele S3.
- Alege Creați loc de muncă.
Când munca dvs. de analiză este finalizată, aveți fișiere JSON în calea compartimentului S3 de ieșire, pe care le puteți descărca pentru a verifica rezultatele recunoașterii entității din modelul importat.
Concluzie
În această postare, am demonstrat funcția de copiere a modelului de entitate personalizată Amazon Comprehend. Această caracteristică vă oferă posibilitatea de a antrena un model de recunoaștere sau clasificare a entităților personalizate Amazon Comprehend într-un cont și apoi să partajați modelul cu alt cont din aceeași regiune. Acest lucru simplifică strategia cu mai multe conturi, în care modelul poate fi antrenat o singură dată și partajat între conturi din aceeași regiune, fără a fi nevoie să reantreneze sau să partajeze seturile de date de antrenament. Acest lucru permite o implementare previzibilă în fiecare cont ca parte a fluxului de lucru MLOps. Pentru mai multe informații, consultați documentația noastră pe Înțelegeți o copie personalizată, sau încercați explicația din această postare fie prin consolă, fie folosind un cloud shell cu AWS CLI.
În momentul scrierii acestui articol, funcția de copiere a modelului din Amazon Comprehend este disponibilă în următoarele regiuni:
- SUA Est (Ohio)
- SUA est (N. Virginia)
- SUA Vest (Oregon)
- Asia Pacific (Mumbai)
- Asia Pacific (Seul)
- Asia Pacific (Singapor)
- Asia Pacific (Sydney)
- Asia Pacific (Tokyo)
- UE (Frankfurt)
- UE (Irlanda)
- UE (Londra)
- AWS GovCloud (SUA-Vest)
Încercați funcția și vă rugăm să ne trimiteți feedback fie prin intermediul Forumul AWS pentru Amazon Comprehend sau prin contactele obișnuite de asistență AWS.
Despre Autori
Premkumar Rangarajan este un arhitect specializat în soluții AI/ML la Amazon Web Services și a fost autorul cărții Natural Language Processing with AWS AI services. Are 26 de ani de experiență în industria IT într-o varietate de roluri, inclusiv lider de livrare, specialist în integrare și arhitect de întreprindere. El ajută întreprinderile de toate dimensiunile să adopte AI și ML pentru a-și rezolva provocările din lumea reală.
Chethan Krishna este arhitect senior de soluții pentru parteneri în India. El lucrează cu partenerii strategici AWS pentru a stabili o competență solidă în cloud, pentru a adopta cele mai bune practici AWS și pentru a rezolva provocările clienților. Este un constructor și îi place să experimenteze cu AI/ML, IoT și analize.
Sriharsha MS este un arhitect de soluții specializate AI / ML în echipa Specialist strategic la Amazon Web Services. El lucrează cu clienți AWS strategici care profită de AI / ML pentru a rezolva probleme complexe de afaceri. El oferă îndrumări tehnice și sfaturi de proiectare pentru implementarea aplicațiilor AI / ML la scară largă. Experiența sa se întinde pe arhitectură de aplicații, date mari, analize și învățare automată.
- Coinsmart. Cel mai bun schimb de Bitcoin și Crypto din Europa.
- Platoblockchain. Web3 Metaverse Intelligence. Cunoștințe amplificate. ACCES LIBER.
- CryptoHawk. Radar Altcoin. Încercare gratuită.
- Sursa: https://aws.amazon.com/blogs/machine-learning/announcing-the-launch-of-the-model-copy-feature-for-amazon-comprehend-custom-models/
- "
- &
- 100
- 9
- Despre Noi
- acces
- Cont
- Acțiune
- activităţi de
- progresele
- Avantaj
- sfat
- AI
- Servicii AI
- TOATE
- Amazon
- Amazon Web Services
- analiză
- Google Analytics
- anunța
- anunțare
- O alta
- api
- API-uri
- aplicabil
- aplicație
- aplicatii
- arhitectură
- Auto
- disponibil
- AWS
- Beneficiile
- CEL MAI BUN
- Cele mai bune practici
- frontieră
- construi
- constructor
- afaceri
- provocări
- control
- Verificări
- clasificare
- Cloud
- cod
- comentarii
- Comun
- complex
- Consoleze
- conţinut
- clienţii care
- de date
- deceniu
- livrare
- desfășurarea
- Amenajări
- diferit
- digital
- documente
- cu ușurință
- efect
- enorm
- Afacere
- esenţial
- exemplu
- experienţă
- expertiză
- Caracteristică
- feedback-ul
- financiar
- Servicii financiare
- First
- următor
- funcționalitate
- fericit
- având în
- ajută
- Cum
- Cum Pentru a
- HTTPS
- identifica
- Identitate
- punerea în aplicare a
- important
- importatoare
- Inclusiv
- India
- industrii
- industrie
- informații
- perspective
- integrare
- Inteligență
- interes
- IoT
- Irlanda
- izolare
- IT
- Loc de munca
- Locuri de munca
- Cheie
- limbă
- lansa
- conduce
- învăţare
- Linie
- Listă
- locaţie
- Londra
- maşină
- masina de învățare
- administrare
- Mass-media
- Minerit
- ML
- model
- Modele
- cele mai multe
- Cel mai popular
- Mumbai
- Natural
- ofertele
- Ohio
- comandă
- Oregon
- Altele
- Pacific
- partener
- parteneri
- performanță
- Expresii
- Politica
- Popular
- Principal
- probleme
- proces
- Produs
- furniza
- furnizează
- repede
- autoritățile de reglementare
- necesar
- Cerinţe
- resursă
- răspuns
- REZULTATE
- Returnează
- Recenzii
- Scară
- oamenii de stiinta
- sdk
- Seul
- serviciu
- Servicii
- Distribuie
- comun
- Acțiuni
- Coajă
- simplu
- Singapore
- So
- soluţii
- REZOLVAREA
- Începe
- Declarație
- Stare
- depozitare
- magazine
- Strategic
- Strategie
- a sustine
- sydney
- Ţintă
- echipă
- Tehnic
- test
- Sursa
- Prin
- timp
- astăzi
- Tokyo
- Pregătire
- Tendinţe
- unic
- Actualizează
- us
- utilizare
- utilizatorii
- furnizori
- Vizualizare
- Virginia
- web
- servicii web
- Vest
- OMS
- în
- fără
- fabrică
- scris
- ani