Tehnološki trendi in napredek digitalnih medijev v zadnjem desetletju so povzročili širjenje besedilnih podatkov. Potencialne koristi rudarjenja tega besedila za pridobivanje vpogledov, tako taktičnih kot strateških, so ogromne. To se imenuje obdelava naravnega jezika (NLP). NLP lahko uporabite na primer za analizo svojih mnenj o izdelkih glede občutkov strank, usposobite model prepoznavalnika subjektov po meri za prepoznavanje vrst izdelkov, ki vas zanimajo na podlagi komentarjev strank, ali usposobite model razvrščanja besedila po meri za določitev najbolj priljubljenih kategorij izdelkov.
Amazonsko razumevanje je NLP storitev z že pripravljeno inteligenco za pridobivanje vpogledov v vsebino dokumentov. Razvija vpoglede s prepoznavanjem entitet, ključnih fraz, jezika, čustev in drugih pogostih elementov v dokumentu. Amazon Comprehend Custom uporablja samodejno strojno učenje (Auto ML) za izdelavo modelov NLP v vašem imenu z uporabo vaših lastnih podatkov. To vam omogoča odkrivanje entitet, edinstvenih za vaše podjetje, ali razvrščanje besedila ali dokumentov glede na vaše zahteve. Poleg tega lahko z API-ji, ki so preprosti za uporabo, avtomatizirate celoten potek dela NLP.
Danes z veseljem oznanjamo začetek funkcije kopiranja modela po meri Amazon Comprehend, ki vam omogoča samodejno kopiranje vaših modelov po meri Amazon Comprehend iz izvornega računa v določene ciljne račune v isti regiji, ne da bi zahtevali dostop do naborov podatkov, ki jih model je bil usposobljen in ocenjen na. Od danes naprej lahko uporabljate Konzola za upravljanje AWS, Vmesnik ukazne vrstice AWS (AWS CLI) ali API boto3 (Python SDK za AWS) za kopiranje usposobljenih modelov po meri iz izvornega računa v določen ciljni račun. Ta nova funkcija je na voljo za klasifikacijo po meri Amazon Comprehend in modele za prepoznavanje entitet po meri.
Prednosti funkcije kopiranja modela
Ta nova funkcija ima naslednje prednosti:
- Strategija MLOps za več računov – Enkrat usposobite model in zagotovite predvidljivo uvajanje v več okoljih v različnih računih.
- Hitrejša uporaba – Izurjeni model lahko hitro kopirate med računi, s čimer se izognete času, ki je potreben za ponovno usposabljanje v vsakem računu.
- Zaščitite občutljive nize podatkov – Zdaj vam ni več treba deliti naborov podatkov med različnimi računi ali uporabniki. Podatki o usposabljanju morajo biti na voljo samo na računu, kjer se izvaja usposabljanje. To je zelo pomembno za nekatere panoge, kot so finančne storitve, kjer sta izolacija podatkov in peskovnik bistvena za izpolnjevanje regulativnih zahtev.
- Enostavno sodelovanje – Partnerji ali prodajalci se lahko zdaj enostavno usposabljajo v Amazon Comprehend Custom in delijo modele s svojimi strankami.
Kako deluje kopija modela
Z novo funkcijo kopiranja modela lahko kopirate modele po meri med računi AWS v isti regiji v dvostopenjskem postopku. Prvič, uporabnik v enem računu AWS (račun A) deli model po meri, ki je v njegovem računu. Nato uporabnik v drugem računu AWS (račun B) uvozi model v svoj račun.
Delite model
Za skupno rabo modela po meri v računu A uporabnik priloži AWS upravljanje identitete in dostopa (IAM), ki temelji na virih, v različico modela. Ta pravilnik pooblašča entiteto v računu B, kot je uporabnik ali vloga IAM, da uvozi različico modela v Amazon Comprehend v svojem računu AWS. Politiko, ki temelji na virih, lahko konfigurirate prek konzole ali s po meri Amazon Comprehend PutResourcePolicy
API.
Uvozite model
Za uvoz modela v račun B uporabnik tega računa Amazon Comprehend posreduje potrebne podrobnosti, kot je Amazonovo ime vira (ARN) modela. Ko uvozi model, ta uporabnik v svojem računu AWS ustvari nov model po meri, ki posnema model, ki ga je uvozil. Ta model je v celoti usposobljen in pripravljen za opravila sklepanja, kot je razvrščanje dokumentov ali prepoznavanje imenovanih entitet. Če je model šifriran z an AWS Service Key Management (AWS KMS) v viru, potem mora imeti vloga storitve, podana med uvozom modela, dostop do ključa KMS, da lahko dešifrira model med uvozom. Ciljni račun lahko določi tudi ključ KMS za šifriranje modela med uvozom. Uvoz modela v skupni rabi je na voljo tudi na konzoli in kot API.
Pregled rešitev
Za predstavitev funkcionalnosti funkcije kopiranja modela vam pokažemo, kako usposobiti, dati v skupno rabo in uvoziti model za prepoznavanje subjektov po meri Amazon Comprehend z uporabo konzole Amazon Comprehend in AWS CLI. Za to predstavitev uporabljamo dva različna računa. Koraki veljajo tudi za klasifikacijo po meri Amazon Comprehend. Zahtevani koraki so naslednji:
- Usposobite model za prepoznavanje subjektov po meri Amazon Comprehend v izvornem računu.
- Določite politiko virov IAM za usposobljeni model, da omogočite dostop med računi.
- Kopirajte naučen model iz izvornega računa v ciljni račun.
- Preizkusite kopirani model s paketnim opravilom.
Usposobite model za prepoznavanje subjektov po meri Amazon Comprehend v izvornem računu
Prvi korak je usposobiti model za prepoznavanje subjektov po meri Amazon Comprehend v izvornem računu. Kot vhodni nabor podatkov za usposabljanje uporabljamo CSV seznam subjektov in dokumente o usposabljanju za prepoznavanje ponudbe storitev AWS v danem dokumentu. Prepričajte se, da so seznam subjektov in dokumenti o usposabljanju v Preprosta storitev shranjevanja Amazon (Amazon S3) vedro v izvornem računu. Za navodila glejte Dodajanje dokumentov v Amazon S3.
Ustvari IAM vlogo za Amazon Comprehend in zagotovi zahtevan dostop do vedra S3 s podatki o usposabljanju. Upoštevajte poti vedra ARN in S3, ki jih želite uporabiti v kasnejših korakih.
Usposobite model z AWS CLI
Ustvarite prepoznavanje entitet z naslednjim ukazom AWS CLI. Zamenjajte svoje parametre za poti S3, vlogo IAM in regijo. Odgovor vrne nazaj EntityRecognizerArn
.
Status delovnega mesta usposabljanja lahko spremljate tako, da pokličete describe-entity-recognizer in preverite Status v odgovoru.
Usposobite model prek konzole
Če želite usposobiti model prek konzole, dokončajte naslednje korake:
- Na konzoli Amazon Comprehend pod Customization, ustvarite nov model prepoznavalnika entitet po meri.
- Navedite ime modela in različico.
- za Jezik, izberite Engligh.
- za Vrsta entitete po meri, dodaj
AWS_OFFERING
.
Če želite usposobiti model za prepoznavanje entitet po meri, lahko izberete enega od dveh načinov za posredovanje podatkov Amazon Comprehend: pripombe or seznami entitet. Za poenostavitev uporabite metodo seznama entitet.
- za Oblika podatkovtako, da izberete Datoteka CSV.
- za Vrsta usposabljanjatako, da izberete Uporaba seznama entitet in dokumentov za usposabljanje.
- Podajte poti lokacije S3 za CSV seznama entitet in podatke o usposabljanju.
- Če želite aplikaciji Amazon Comprehend podeliti dovoljenja za dostop do vašega vedra S3, ustvarite vlogo, povezano s storitvijo IAM.
v Politika, ki temelji na virih razdelku, lahko odobrite dostop za različico modela. Računi, ki jim omogočite dostop, lahko uvozijo ta model v svoj račun. Ta korak za zdaj preskočimo in pravilnik dodamo, ko je model usposobljen in ko smo zadovoljni z delovanjem modela.
- Izberite ustvarjanje.
To predloži vaš prepoznavalec entitet po meri, ki gre skozi številne modele, prilagodi vaše hiperparametre in preveri navzkrižno preverjanje, da se prepriča, ali je vaš model robusten. Vse to so iste dejavnosti, ki jih izvajajo podatkovni znanstveniki.
Določite politiko virov IAM za usposobljeni model, da omogočite dostop med računi
Ko smo zadovoljni z uspešnostjo usposabljanja, lahko nadaljujemo in delimo specifično različico modela z dodajanjem pravilnika o virih.
Dodajte pravilnik, ki temelji na virih, iz AWS CLI
Pooblastite uvoz modela iz ciljnega računa tako, da modelu dodate politiko virov, kot je prikazano v naslednji kodi. Pravilnik je mogoče tesno omejiti na določeno različico modela in ciljnega principala. Zamenjajte ARN svojega usposobljenega prepoznavalnika entitet in ciljni račun, da zagotovite dostop.
Prek konzole dodajte pravilnik, ki temelji na virih
Ko je usposabljanje končano, se ustvari različica modela za prepoznavanje entitet po meri. Izberemo lahko usposobljeni model in različico, da si ogledamo podrobnosti usposabljanja, vključno z zmogljivostjo usposobljenega modela.
Če želite posodobiti pravilnik, izvedite naslednje korake:
- o Oznake, VPC in politika uredite pravilnik, ki temelji na virih.
- Navedite ime pravilnika, glavni servis Amazon Comprehend (
comprehend.amazonaws.com
), ID ciljnega računa in uporabniki IAM v ciljnem računu, pooblaščeni za uvoz različice modela.
Določimo root
kot entiteta IAM za pooblastitev vseh uporabnikov v ciljnem računu.
Kopirajte naučen model iz izvornega računa v ciljni račun
Zdaj je model usposobljen in v skupni rabi iz izvornega računa. Pooblaščeni uporabnik ciljnega računa lahko uvozi model in ustvari kopijo modela v svojem računu.
Če želite uvoziti model, morate podati ARN izvornega modela in vlogo storitve za Amazon Comprehend, da izvede dejanje kopiranja v vašem računu. Določite lahko izbirni ID AWS KMS za šifriranje modela v vašem ciljnem računu.
Uvozite model prek AWS CLI
Če želite uvoziti svoj model z AWS CLI, vnesite to kodo:
Uvozite model prek konzole
Če želite uvoziti model prek konzole, izvedite naslednje korake:
- Na konzoli Amazon Comprehend pod Prepoznavanje entitete po meri, izberite Uvozi različico.
- za Različica modela ARN, vnesite ARN za model, usposobljen v izvornem računu.
- Vnesite ime modela in različico za cilj.
- Določite vlogo storitvenega računa in izberite Potrdi za začetek postopka uvoza modela.
Ko se status modela spremeni v Imported
, si lahko ogledamo podrobnosti modela, vključno s podrobnostmi o zmogljivosti usposobljenega modela.
Preizkusite kopirani model s paketnim opravilom
Preskušamo kopirani model v ciljnem računu tako, da zaznamo entitete po meri s paketnim opravilom. Če želite preizkusiti model, prenesite testna datoteka in ga postavite v vedro S3 v vašem ciljnem računu. Ustvari IAM vlogo za Amazon Comprehend in zagotovi zahtevan dostop do vedra S3 s testnimi podatki. Uporabljate poti vedra vlog ARN in S3, ki ste jih zabeležili prej.
Ko je opravilo končano, lahko preverite sklepne podatke v podanem izhodnem vedru S3.
Preizkusite model z AWS CLI
Za testiranje modela z uporabo AWS CLI vnesite naslednjo kodo:
Preizkusite model preko konzole
Če želite preizkusiti model prek konzole, izvedite naslednje korake:
- Na konzoli Amazon Comprehend izberite Opravila za analizo In izberite Ustvari službo.
- za Ime, vnesite ime za delo.
- za Vrsta analize¸ izberite Prepoznavanje entitete po meri.
- Izberite ime modela in različico uvoženega modela.
- Navedite poti S3 za preskusno datoteko za opravilo in izhodno lokacijo, kjer Amazon Comprehend shrani rezultat.
- Izberite ali ustvarite vlogo IAM z dovoljenjem za dostop do veder S3.
- Izberite Ustvari službo.
Ko je vaše opravilo analize končano, imate v izhodni poti vedra S3 datoteke JSON, ki jih lahko prenesete, da preverite rezultate prepoznavanja entitete iz uvoženega modela.
zaključek
V tej objavi smo prikazali funkcijo kopiranja modela entitete po meri Amazon Comprehend. Ta funkcija vam omogoča, da usposobite model za prepoznavanje ali klasifikacijo subjektov po meri Amazon Comprehend v enem računu in nato delite model z drugim računom v isti regiji. To poenostavlja strategijo z več računi, pri kateri je mogoče model usposobiti enkrat in ga deliti med računi znotraj iste regije, ne da bi bilo treba znova usposobiti ali deliti nabore podatkov za usposabljanje. To omogoča predvidljivo uvedbo v vsakem računu kot del vašega delovnega toka MLOps. Za več informacij glejte našo dokumentacijo o Razumeti kopijo po meri, ali preizkusite navodila v tej objavi prek konzole ali z lupino v oblaku z AWS CLI.
Od tega pisanja je funkcija kopiranja modela v Amazon Comprehend na voljo v naslednjih regijah:
- ZDA vzhod (Ohio)
- Ameriški vzhod (N. Virginija)
- Zahod ZDA (Oregon)
- Azijsko-pacifiški kraj (Mumbaj)
- Azijsko-pacifiški kraj (Seul)
- Azijsko-pacifiški (Singapur)
- Azijsko Tihi ocean (Sydney)
- Azijsko-pacifiški kraj (Tokio)
- EU (Frankfurt)
- EU (Irska)
- EU (London)
- AWS GovCloud (ZDA-zahod)
Preizkusite funkcijo in nam pošljite povratne informacije prek Forum AWS za Amazon Comprehend ali prek običajnih stikov za podporo za AWS.
O avtorjih
Premkumar Rangarajan je specialist za rešitve AI/ML pri Amazon Web Services in je pred tem napisal knjigo Natural Language Processing with AWS AI services. Ima 26 let izkušenj v industriji IT v različnih vlogah, vključno z vodjo dostave, strokovnjakom za integracijo in arhitektom podjetja. Pomaga podjetjem vseh velikosti, da sprejmejo AI in ML za reševanje izzivov v resničnem svetu.
Chethan Krishna je višji partnerski arhitekt rešitve v Indiji. Sodeluje s strateškimi partnerji AWS za vzpostavitev močne kompetence v oblaku, sprejemanje najboljših praks AWS in reševanje izzivov strank. Je graditelj in uživa v eksperimentiranju z AI/ML, IoT in analitiko.
Šriharša MS je arhitekt rešitev za umetno inteligenco in ML v skupini za strateške strokovnjake pri Amazon Web Services. Sodeluje s strateškimi strankami AWS, ki izkoriščajo AI / ML za reševanje zapletenih poslovnih problemov. Zagotavlja tehnična navodila in nasvete za oblikovanje za obsežno izvajanje aplikacij AI / ML Njegovo strokovno znanje zajema arhitekturo aplikacij, bigdata, analitiko in strojno učenje.
- Coinsmart. Najboljša evropska borza bitcoinov in kriptovalut.
- Platoblockchain. Web3 Metaverse Intelligence. Razširjeno znanje. PROST DOSTOP.
- CryptoHawk. Altcoin radar. Brezplačen preizkus.
- Vir: https://aws.amazon.com/blogs/machine-learning/announcing-the-launch-of-the-model-copy-feature-for-amazon-comprehend-custom-models/
- "
- &
- 100
- 9
- O meni
- dostop
- Račun
- Ukrep
- dejavnosti
- napredek
- Prednost
- nasveti
- AI
- Storitve AI
- vsi
- Amazon
- Amazon Web Services
- Analiza
- analitika
- Objavi
- Napoveduje
- Še ena
- API
- API-ji
- primerno
- uporaba
- aplikacije
- Arhitektura
- avto
- Na voljo
- AWS
- Prednosti
- BEST
- najboljše prakse
- meja
- izgradnjo
- builder
- poslovni
- izzivi
- preverjanje
- Pregledi
- Razvrstitev
- Cloud
- Koda
- komentarji
- Skupno
- kompleksna
- Konzole
- vsebina
- Stranke, ki so
- datum
- desetletje
- dostava
- uvajanje
- Oblikovanje
- drugačen
- digitalni
- Dokumenti
- enostavno
- učinek
- ogromno
- Podjetje
- bistvena
- Primer
- izkušnje
- strokovno znanje
- Feature
- povratne informacije
- finančna
- finančne storitve
- prva
- po
- funkcionalnost
- srečna
- ob
- Pomaga
- Kako
- Kako
- HTTPS
- identificirati
- identiteta
- izvajati
- Pomembno
- uvoz
- Vključno
- india
- industrij
- Industrija
- Podatki
- vpogledi
- integracija
- Intelligence
- obresti
- Internet stvari
- Irska
- izolacija
- IT
- Job
- Delovna mesta
- Ključne
- jezik
- kosilo
- vodi
- učenje
- vrstica
- Seznam
- kraj aktivnosti
- London
- stroj
- strojno učenje
- upravljanje
- mediji
- Rudarstvo
- ML
- Model
- modeli
- Najbolj
- Najbolj popularni
- Mumbai
- naravna
- Ponudbe
- Ohio
- Da
- Oregon
- Ostalo
- Pacific
- partner
- partnerji
- performance
- stavki
- politika
- Popular
- , ravnateljica
- Težave
- Postopek
- Izdelek
- zagotavljajo
- zagotavlja
- hitro
- regulatorni
- obvezna
- Zahteve
- vir
- Odgovor
- Rezultati
- vrne
- Mnenja
- Lestvica
- Znanstveniki
- SDK
- Seoul
- Storitev
- Storitve
- Delite s prijatelji, znanci, družino in partnerji :-)
- deli
- Delnice
- Shell
- Enostavno
- Singapur
- So
- rešitve
- SOLVE
- Začetek
- Izjava
- Status
- shranjevanje
- trgovine
- Strateško
- Strategija
- podpora
- sydney
- ciljna
- skupina
- tehnični
- Test
- Vir
- skozi
- čas
- danes
- tokio
- usposabljanje
- Trends
- edinstven
- Nadgradnja
- us
- uporaba
- Uporabniki
- prodajalci
- Poglej
- Virginia
- web
- spletne storitve
- West
- WHO
- v
- brez
- deluje
- pisanje
- let