Teknologian trendit ja edistysaskeleet digitaalisessa mediassa viimeisen vuosikymmenen aikana ovat johtaneet tekstipohjaisen tiedon lisääntymiseen. Tämän tekstin louhimisesta, sekä taktisten että strategisten oivallusten saamiseksi, on valtavat hyödyt. Tätä kutsutaan luonnollisen kielen käsittelyksi (NLP). Voit käyttää NLP:tä esimerkiksi analysoimaan tuotearvostelujasi asiakkaiden mielipiteiden varalta, kouluttamaan mukautetun entiteetin tunnistusmallin tunnistamaan kiinnostavat tuotetyypit asiakkaiden kommenttien perusteella tai kouluttamaan mukautetun tekstin luokittelumallin määrittämään suosituimmat tuoteluokat.
Amazonin käsitys on NLP-palvelu, jossa on valmiita tietoja asiakirjojen sisällöstä. Se kehittää oivalluksia tunnistamalla asiakirjan entiteetit, avainsanat, kielen, tunteet ja muut yleiset elementit. Amazon Comprehend Custom käyttää automaattista koneoppimista (Auto ML) NLP-mallien rakentamiseen puolestasi käyttämällä omia tietojasi. Tämän avulla voit havaita yrityksellesi ainutlaatuisia kokonaisuuksia tai luokitella tekstiä tai asiakirjoja tarpeidesi mukaan. Lisäksi voit automatisoida koko NLP-työnkulkusi helppokäyttöisten sovellusliittymien avulla.
Tänään meillä on ilo ilmoittaa Amazon Comprehend mukautetun mallin kopiointiominaisuuden käynnistämisestä, jonka avulla voit automaattisesti kopioida mukautettuja Amazon Comprehend -mallejasi lähdetililtä saman alueen määrätyille kohdetileille ilman, että tarvitset pääsyä mallin tietosarjoihin. koulutettiin ja arvioitiin. Tästä päivästä alkaen voit käyttää AWS-hallintakonsoli, AWS-komentoriviliitäntä (AWS CLI) tai boto3-sovellusliittymät (Python SDK for AWS) kopioidaksesi koulutetut mukautetut mallit lähdetililtä määritetylle kohdetilille. Tämä uusi ominaisuus on saatavilla sekä Amazon Comprehendin mukautetuille luokittelu- että mukautetuille entiteettien tunnistusmalleille.
Mallin kopiointiominaisuuden edut
Tällä uudella ominaisuudella on seuraavat edut:
- Usean tilin MLOps-strategia – Kouluta malli kerran ja varmista ennakoitava käyttöönotto useissa ympäristöissä eri tileillä.
- Nopeampi käyttöönotto – Voit kopioida koulutetun mallin nopeasti tilien välillä välttäen jokaisen tilin uudelleenopetukseen kuluvaa aikaa.
- Suojaa arkaluonteisia tietojoukkoja – Nyt sinun ei enää tarvitse jakaa tietojoukkoja eri tilien tai käyttäjien välillä. Harjoitustietojen tulee olla saatavilla vain sillä tilillä, jolla harjoitus suoritetaan. Tämä on erittäin tärkeää tietyillä toimialoilla, kuten rahoituspalveluilla, joilla tietojen eristäminen ja hiekkalaatikko ovat olennaisia säädösten vaatimusten täyttämiseksi.
- Helppoa yhteistyötä – Kumppanit tai myyjät voivat nyt helposti harjoitella Amazon Comprehend Customissa ja jakaa mallit asiakkaidensa kanssa.
Kuinka mallikopio toimii
Uuden mallin kopiointiominaisuuden avulla voit kopioida mukautettuja malleja AWS-tilien välillä samalla alueella kaksivaiheisessa prosessissa. Ensinnäkin käyttäjä yhdellä AWS-tilillä (tili A) jakaa mukautetun mallin, joka on hänen tilillään. Sitten toisen AWS-tilin käyttäjä (tili B) tuo mallin tililleen.
Jaa malli
Jos haluat jakaa mukautetun mallin tilillä A, käyttäjä liittää AWS-henkilöllisyyden ja käyttöoikeuksien hallinta (IAM) resurssipohjaisen käytännön malliversioon. Tämä käytäntö valtuuttaa tilin B entiteetin, kuten IAM-käyttäjän tai roolin, tuomaan malliversion Amazon Comprehendiin AWS-tilillään. Voit määrittää resurssipohjaisen käytännön joko konsolin kautta tai mukautetulla Amazon Comprehend -käytännöllä PutResourcePolicy
API.
Tuo malli
Mallin tuomiseksi tilille B tämän tilin käyttäjä toimittaa Amazon Comprehendille tarvittavat tiedot, kuten mallin Amazon Resource Name (ARN). Kun tämä käyttäjä tuo mallin, hän luo AWS-tililleen uuden mukautetun mallin, joka kopioi hänen tuomansa mallin. Tämä malli on täysin koulutettu ja valmis päättelytöihin, kuten dokumenttien luokitteluun tai nimettyjen entiteettien tunnistamiseen. Jos malli on salattu an AWS-avainhallintapalvelu (AWS KMS) -avain lähteessä, sitten mallin tuonnin yhteydessä määritetyllä palveluroolilla on oltava pääsy KMS-avaimeen, jotta mallin salaus voidaan purkaa tuonnin aikana. Kohdetili voi myös määrittää KMS-avaimen mallin salaamiseksi tuonnin aikana. Jaetun mallin tuonti on myös saatavilla sekä konsolissa että API:na.
Ratkaisun yleiskatsaus
Mallin kopiointiominaisuuden toimivuuden esittelemiseksi näytämme, kuinka voit kouluttaa, jakaa ja tuoda mukautetun Amazon Comprehend -kokonaisuuden tunnistusmallin käyttämällä sekä Amazon Comprehend -konsolia että AWS CLI:tä. Tässä esittelyssä käytämme kahta eri tiliä. Vaiheet koskevat myös Amazon Comprehend mukautettua luokittelua. Vaaditut vaiheet ovat seuraavat:
- Harjoittele Amazon Comprehend mukautettu kokonaisuuden tunnistusmalli lähdetilillä.
- Määritä IAM-resurssikäytäntö koulutetulle mallille, jotta tilien välinen käyttö sallitaan.
- Kopioi koulutettu malli lähdetililtä kohdetilille.
- Testaa kopioitua mallia erätyön avulla.
Harjoittele Amazon Comprehend mukautettu kokonaisuuden tunnistusmalli lähdetilillä
Ensimmäinen askel on kouluttaa Amazon Comprehend mukautettu kokonaisuuden tunnistusmalli lähdetilillä. Harjoittelun syöttötietojoukona käytämme CSV-tiedostoa entiteettiluettelo ja koulutusasiakirjat AWS-palvelutarjonnan tunnistamiseksi tietyssä asiakirjassa. Varmista, että entiteettiluettelo ja koulutusasiakirjat ovat kohdassa Amazonin yksinkertainen tallennuspalvelu (Amazon S3) -ämpäri lähdetilillä. Katso ohjeet Asiakirjojen lisääminen Amazon S3:een.
Luo IAM-rooli Amazon Comprehendille ja tarjoa tarvittava pääsy S3-ämpäriin harjoitustietojen kanssa. Huomaa roolit ARN ja S3, joita käytetään myöhemmissä vaiheissa.
Kouluta mallia AWS CLI:n avulla
Luo entiteetin tunnistus käyttämällä seuraavaa AWS CLI -komentoa. Korvaa S3-polut, IAM-rooli ja alue parametrisi. Vastaus palaa takaisin EntityRecognizerArn
.
Harjoitustyön tilaa voi seurata kutsumalla kuvaus-entiteetti-tunnistimeen ja tarkistamalla Status vastauksesta.
Kouluta malli konsolin kautta
Voit kouluttaa mallin konsolin kautta suorittamalla seuraavat vaiheet:
- Amazon Comprehend -konsolin alla Räätälöinti, luo uusi mukautettu entiteetin tunnistusmalli.
- Anna mallin nimi ja versio.
- varten Kieli, valitse Englanti.
- varten Mukautetun entiteetin tyyppi, lisätä
AWS_OFFERING
.
Voit kouluttaa mukautetun kokonaisuuden tunnistusmallin valitsemalla toisen kahdesta tavasta toimittaa tietoja Amazon Comprehendille: merkinnät or kokonaisuusluettelot. Käytä yksinkertaisuuden vuoksi entiteettiluettelomenetelmää.
- varten Tietomuotovalitse CSV-tiedosto.
- varten Harjoitustyyppivalitse Käyttämällä entiteettiluetteloa ja koulutusasiakirjoja.
- Anna entiteettiluettelon CSV- ja harjoitustietojen S3-sijaintipolut.
- Jos haluat myöntää Amazon Comprehendille oikeudet käyttää S3-säilöäsi, luo IAM-palveluun linkitetty rooli.
In Resurssipohjainen politiikka -osiossa voit valtuuttaa malliversion käytön. Tilit, joille myönnät käyttöoikeuden, voivat tuoda tämän mallin tililleen. Ohitamme tämän vaiheen toistaiseksi ja lisäämme käytännön sen jälkeen, kun malli on koulutettu ja olemme tyytyväisiä mallin suorituskykyyn.
- Valita luoda.
Tämä lähettää mukautetun entiteettitunnistimen, joka käy läpi useita malleja, virittää hyperparametrejasi ja tarkistaa ristiinvalidoinnin varmistaakseen, että mallisi on kestävä. Nämä ovat kaikki samoja toimintoja, joita datatieteilijät tekevät.
Määritä IAM-resurssikäytäntö koulutetulle mallille, jotta tilien välinen käyttö sallitaan
Kun olemme tyytyväisiä koulutuksen suorituskykyyn, voimme jatkaa ja jakaa tietyn malliversion lisäämällä resurssikäytännön.
Lisää resurssipohjainen käytäntö AWS CLI:stä
Valtuuta mallin tuonti kohdetililtä lisäämällä malliin resurssikäytäntö seuraavan koodin mukaisesti. Käytäntö voi olla tiukasti rajattu tiettyyn malliversioon ja kohdepääomaan. Korvaa koulutetun entiteetin tunnistajan ARN ja kohdetili antaaksesi käyttöoikeuden.
Lisää resurssipohjainen käytäntö konsolin kautta
Kun koulutus on valmis, mukautetun entiteetin tunnistusmallin versio luodaan. Voimme valita koulutetun mallin ja version nähdäksemme koulutustiedot, mukaan lukien koulutetun mallin suorituskyvyn.
Päivitä käytäntö suorittamalla seuraavat vaiheet:
- On Tunnisteet, VPC ja käytäntö -välilehti, muokkaa resurssipohjaista käytäntöä.
- Anna käytännön nimi, Amazon Comprehend -palvelun pää (
comprehend.amazonaws.com
), kohdetilin tunnus ja IAM-käyttäjät kohdetilillä, joilla on oikeus tuoda malliversio.
Määritämme root
IAM-yksikkönä valtuuttamaan kaikki kohdetilin käyttäjät.
Kopioi koulutettu malli lähdetililtä kohdetilille
Nyt malli on koulutettu ja jaettu lähdetililtä. Valtuutettu kohdetilin käyttäjä voi tuoda mallin ja luoda mallista kopion omalle tililleen.
Mallin tuomiseksi sinun on määritettävä lähdemallin ARN ja palvelurooli, jotta Amazon Comprehend suorittaa kopiointitoiminnon tililläsi. Voit määrittää valinnaisen AWS KMS -tunnuksen mallin salaamiseksi kohdetililläsi.
Tuo malli AWS CLI:n kautta
Tuo mallisi AWS CLI:llä antamalla seuraava koodi:
Tuo malli konsolin kautta
Tuo malli konsolin kautta seuraavasti:
- Amazon Comprehend -konsolin alla Mukautetun entiteetin tunnistus, valitse Tuo versio.
- varten Malliversio ARN, anna lähdetilillä koulutetun mallin ARN.
- Anna kohteen mallin nimi ja versio.
- Anna palvelutilin rooli ja valitse Vahvistaa aloittaaksesi mallin tuontiprosessin.
Kun mallin tila muuttuu Imported
, voimme tarkastella mallin yksityiskohtia, mukaan lukien koulutetun mallin suorituskykytiedot.
Testaa kopioitua mallia erätyön avulla
Testaamme kopioitua mallia kohdetilillä havaitsemalla mukautetut entiteetit erätyöllä. Voit testata mallia lataamalla testitiedosto ja aseta se kohdetilisi S3-ämpäriin. Luo IAM-rooli Amazon Comprehendille ja tarjoa tarvittava pääsy S3-ämpäriin testitiedoilla. Käytät aiemmin mainitsemaasi roolia ARN ja S3.
Kun työ on valmis, voit tarkistaa määritetyn S3-lähtöalueen päättelytiedot.
Testaa mallia AWS CLI:llä
Voit testata mallia AWS CLI:n avulla antamalla seuraavan koodin:
Testaa mallia konsolin kautta
Voit testata mallia konsolin kautta suorittamalla seuraavat vaiheet:
- Valitse Amazon Comprehend -konsolista Analyysi työpaikkoja Ja valitse Luo työpaikka.
- varten Nimi, anna työlle nimi.
- varten Analyysityyppi¸ valitse Mukautetun entiteetin tunnistus.
- Valitse mallin nimi ja tuodun mallin versio.
- Anna työn testitiedoston S3-polut ja tulostussijainti, johon Amazon Comprehend tallentaa tuloksen.
- Valitse tai luo IAM-rooli, jolla on oikeus käyttää S3-säilöjä.
- Valita Luo työpaikka.
Kun analyysityösi on valmis, tulosteen S3-säilöpolussasi on JSON-tiedostoja, jotka voit ladata ja tarkistaa tuodun mallin entiteetin tunnistuksen tulokset.
Yhteenveto
Tässä viestissä esitimme Amazon Comprehend mukautetun entiteettimallin kopiointiominaisuuden. Tämä ominaisuus antaa sinulle mahdollisuuden kouluttaa Amazon Comprehend mukautetun entiteetin tunnistus- tai luokitusmallin yhdellä tilillä ja sitten jakaa mallin toisen tilin kanssa samalla alueella. Tämä yksinkertaistaa usean tilin strategiaa, jossa mallia voidaan kouluttaa kerran ja jakaa tilien välillä samalla alueella ilman, että koulutustietojoukkoja on koulutettava uudelleen tai jaettava. Tämä mahdollistaa ennakoitavan käyttöönoton jokaisella tilillä osana MLOps-työnkulkuasi. Lisätietoja on asiakirjoissamme osoitteessa Ymmärrä mukautettu kopio, tai kokeile tämän postauksen läpikäyntiä joko konsolin kautta tai käyttämällä pilvikuorta AWS CLI:n kanssa.
Tätä kirjoittaessa Amazon Comprehendin mallikopioominaisuus on saatavilla seuraavilla alueilla:
- Yhdysvaltojen itäosa (Ohio)
- Yhdysvaltojen itä (N. Virginia)
- Länsi-USA (Oregon)
- Aasian ja Tyynenmeren alue (Mumbai)
- Aasian ja Tyynenmeren alue (Soul)
- Aasian ja Tyynenmeren alue (Singapore)
- Aasia ja Tyynenmeren alue (Sydney)
- Aasian ja Tyynenmeren alue (Tokio)
- EU (Frankfurt)
- EU (Irlanti)
- EU (Lontoo)
- AWS GovCloud (USA-länsi)
Kokeile ominaisuutta ja lähetä meille palautetta joko osoitteessa AWS-foorumi Amazon Comprehendille tai tavallisten AWS-tukikontaktien kautta.
Tietoja Tekijät
Premkumar Rangarajan on AI/ML-asiantuntijaratkaisujen arkkitehti Amazon Web Services -palvelussa ja on aiemmin kirjoittanut kirjan Natural Language Processing with AWS AI services. Hänellä on 26 vuoden kokemus IT-alalta useissa eri tehtävissä, mukaan lukien toimitusjohtaja, integraatioasiantuntija ja yritysarkkitehti. Hän auttaa kaikenkokoisia yrityksiä ottamaan käyttöön tekoälyn ja ML:n ratkaisemaan todelliset haasteensa.
Chethan Krishna on Senior Partner Solutions -arkkitehti Intiassa. Hän työskentelee Strategic AWS Partnersin kanssa luodakseen vankan pilvikompetenssin, ottaakseen käyttöön AWS:n parhaita käytäntöjä ja ratkaistakseen asiakkaiden haasteita. Hän on rakentaja ja nauttii tekoälyn/ML:n, IoT:n ja analytiikan kokeilemisesta.
Sriharsha MS on tekoälyn / ML: n asiantuntijaratkaisuarkkitehti Amazon Web Servicesin strategisten asiantuntijoiden tiimissä. Hän työskentelee strategisten AWS-asiakkaiden kanssa, jotka hyödyntävät tekoälyä / ML: ää ratkaisemaan monimutkaisia liiketoimintaongelmia. Hän tarjoaa teknistä ohjausta ja suunnitteluneuvoja tekoälyn / ML-sovellusten toteuttamiseksi mittakaavassa. Hänen asiantuntemuksensa ulottuu sovellusarkkitehtuuriin, bigdataan, analytiikkaan ja koneoppimiseen.
- Coinsmart. Euroopan paras Bitcoin- ja kryptopörssi.
- Platoblockchain. Web3 Metaverse Intelligence. Tietoa laajennettu. VAPAA PÄÄSY.
- CryptoHawk. Altcoinin tutka. Ilmainen kokeilu.
- Lähde: https://aws.amazon.com/blogs/machine-learning/announcing-the-launch-of-the-model-copy-feature-for-amazon-comprehend-custom-models/
- "
- &
- 100
- 9
- Meistä
- pääsy
- Tili
- Toiminta
- toiminta
- edistysaskeleet
- Etu
- neuvot
- AI
- Tekoälyn palvelut
- Kaikki
- Amazon
- Amazon Web Services
- analyysi
- Analytics
- Ilmoittaa
- Ilmoittaa
- Toinen
- api
- API
- sovelletaan
- Hakemus
- sovellukset
- arkkitehtuuri
- auto
- saatavissa
- AWS
- Hyödyt
- PARAS
- parhaat käytännöt
- reunus
- rakentaa
- rakentaja
- liiketoiminta
- haasteet
- tarkkailun
- Tarkastukset
- luokittelu
- pilvi
- koodi
- kommentit
- Yhteinen
- monimutkainen
- Console
- pitoisuus
- Asiakkaat
- tiedot
- vuosikymmen
- toimitus
- käyttöönotto
- Malli
- eri
- digitaalinen
- asiakirjat
- helposti
- vaikutus
- valtava
- yritys
- olennainen
- esimerkki
- experience
- asiantuntemus
- Ominaisuus
- palaute
- taloudellinen
- rahoituspalvelut
- Etunimi
- jälkeen
- toiminnallisuus
- onnellinen
- ottaa
- auttaa
- Miten
- Miten
- HTTPS
- tunnistaa
- Identiteetti
- toteuttaa
- tärkeä
- tuovan
- Mukaan lukien
- Intia
- teollisuuden
- teollisuus
- tiedot
- oivalluksia
- integraatio
- Älykkyys
- korko
- Esineiden internet
- Irlanti
- eristäminen
- IT
- Job
- Työpaikat
- avain
- Kieli
- käynnistää
- johtaa
- oppiminen
- linja
- Lista
- sijainti
- Lontoo
- kone
- koneoppiminen
- johto
- Media
- kaivos-
- ML
- malli
- mallit
- eniten
- Suosituin
- Mumbai
- Luonnollinen
- tarjoukset
- Ohio
- tilata
- Oregon
- Muut
- Tyynenmeren
- kumppani
- kumppani
- suorituskyky
- lausekkeet
- politiikka
- Suosittu
- Pääasiallinen
- ongelmia
- prosessi
- Tuotteet
- toimittaa
- tarjoaa
- nopeasti
- sääntelyn
- tarvitaan
- vaatimukset
- resurssi
- vastaus
- tulokset
- Tuotto
- Arvostelut
- Asteikko
- tutkijat
- sdk
- Seoul
- palvelu
- Palvelut
- Jaa:
- yhteinen
- osakkeet
- Kuori
- Yksinkertainen
- Singapore
- So
- Ratkaisumme
- SOLVE
- Alkaa
- Lausunto
- Tila
- Levytila
- varastot
- Strateginen
- Strategia
- tuki
- sydney
- Kohde
- joukkue-
- Tekninen
- testi
- Lähde
- Kautta
- aika
- tänään
- Tokio
- koulutus
- Trendit
- unique
- Päivitykset
- us
- käyttää
- Käyttäjät
- myyjät
- Näytä
- virginia
- verkko
- verkkopalvelut
- Länsi
- KUKA
- sisällä
- ilman
- toimii
- kirjoittaminen
- vuotta