Digitaalse meedia tehnoloogia suundumused ja edusammud viimase kümne aasta jooksul on toonud kaasa tekstipõhiste andmete leviku. Selle teksti kaevandamise potentsiaalne kasu nii taktikaliste kui ka strateegiliste arusaamade saamiseks on tohutu. Seda nimetatakse loomuliku keele töötlemiseks (NLP). Saate kasutada NLP-d näiteks selleks, et analüüsida oma tootearvustusi klientide arvamuste osas, koolitada kohandatud olemituvastusmudelit, et tuvastada klientide kommentaaride põhjal huvipakkuvad tootetüübid, või koolitada kohandatud tekstiklassifikatsiooni mudelit, et määrata kindlaks kõige populaarsemad tootekategooriad.
Amazoni mõistmine on NLP-teenus, millel on valmis luureandmed dokumentide sisu kohta ülevaate saamiseks. See arendab teadmisi, tuvastades dokumendi olemid, võtmefraasid, keele, tunded ja muud levinud elemendid. Amazon Comprehend Custom kasutab automaatset masinõpet (Auto ML), et luua teie nimel NLP-mudeleid, kasutades teie enda andmeid. See võimaldab teil tuvastada teie ettevõtte jaoks ainulaadseid üksusi või klassifitseerida teksti või dokumente vastavalt teie vajadustele. Lisaks saate hõlpsasti kasutatavate API-de abil automatiseerida kogu oma NLP töövoo.
Täna on meil hea meel teatada Amazon Comprehendi kohandatud mudelite kopeerimisfunktsiooni käivitamisest, mis võimaldab teil automaatselt kopeerida oma Amazon Comprehendi kohandatud mudelid lähtekontolt samas piirkonnas määratud sihtkontodele, ilma et oleks vaja juurdepääsu mudeli andmekogudele. aastal koolitati ja hinnati. Alates tänasest saate kasutada AWS-i juhtimiskonsool, AWS-i käsurea liides (AWS CLI) või boto3 API-d (Python SDK for AWS), et kopeerida koolitatud kohandatud mudelid lähtekontolt määratud sihtkontole. See uus funktsioon on saadaval nii Amazon Comprehendi kohandatud klassifikatsiooni kui ka kohandatud olemituvastusmudelite jaoks.
Mudeli kopeerimise funktsiooni eelised
Sellel uuel funktsioonil on järgmised eelised.
- Mitme kontoga MLOps-strateegia – Treenige mudelit üks kord ja tagage prognoositav juurutamine mitmes keskkonnas erinevatel kontodel.
- Kiirem juurutamine – Saate koolitatud mudelit kiiresti kontode vahel kopeerida, vältides igal kontol ümberõppeks kuluvat aega.
- Kaitske tundlikke andmekogumeid – Nüüd ei pea te enam andmekogumeid erinevate kontode või kasutajate vahel jagama. Treeningu andmed peavad olema saadaval ainult sellel kontol, kus treeningut tehakse. See on väga oluline teatud tööstusharudes, nagu finantsteenused, kus andmete eraldamine ja liivakasti kasutamine on regulatiivsete nõuete täitmiseks hädavajalikud.
- Lihtne koostöö – Partnerid või müüjad saavad nüüd hõlpsasti Amazon Comprehend Customis koolitada ja mudeleid oma klientidega jagada.
Kuidas mudelikoopia töötab
Uue mudeli kopeerimise funktsiooni abil saate kaheetapilise protsessiga kopeerida kohandatud mudeleid samas piirkonnas asuvate AWS-i kontode vahel. Esiteks jagab kasutaja ühel AWS-i kontol (konto A) tema kontol olevat kohandatud mudelit. Seejärel impordib teise AWS-i konto (konto B) kasutaja mudeli oma kontole.
Jagage mudelit
Kohandatud mudeli jagamiseks kontol A lisab kasutaja AWS-i identiteedi- ja juurdepääsuhaldus (IAM) ressursipõhise poliitika mudeliversiooni. See reegel volitab konto B olemit, näiteks IAM-i kasutajat või rolli, importima mudeli versiooni oma AWS-i kontol Amazon Comprehendi. Ressursipõhise poliitika saate konfigureerida kas konsooli kaudu või kohandatud Amazon Comprehendi abil PutResourcePolicy
API.
Importige mudel
Mudeli importimiseks kontole B esitab selle konto kasutaja Amazon Comprehendile vajalikud üksikasjad, näiteks mudeli Amazoni ressursi nimi (ARN). Mudeli importimisel loob see kasutaja oma AWS-i kontol uue kohandatud mudeli, mis kordab nende imporditud mudelit. See mudel on täielikult koolitatud ja valmis järeldustöödeks, nagu dokumentide klassifitseerimine või nimega olemi tuvastamine. Kui mudel on krüpteeritud AWS-i võtmehaldusteenus (AWS KMS) võti allikas, siis peab mudeli importimisel määratud teenuserollil olema juurdepääs KMS-võtmele, et mudel importimise ajal dekrüpteerida. Sihtkonto saab määrata ka KMS-võtme, et mudelit importimise ajal krüpteerida. Jagatud mudeli importimine on samuti saadaval nii konsoolil kui ka API-na.
Lahenduse ülevaade
Mudeli kopeerimise funktsiooni funktsionaalsuse demonstreerimiseks näitame teile, kuidas koolitada, jagada ja importida Amazon Comprehendi kohandatud olemituvastusmudelit, kasutades nii Amazon Comprehendi konsooli kui ka AWS CLI-d. Selle demonstratsiooni jaoks kasutame kahte erinevat kontot. Need sammud kehtivad ka Amazon Comprehendi kohandatud klassifikatsiooni puhul. Nõutavad sammud on järgmised.
- Treenige Amazon Comprehendi kohandatud olemi tuvastamise mudelit lähtekontol.
- Kontoülese juurdepääsu võimaldamiseks määrake koolitatud mudeli jaoks IAM-i ressursipoliitika.
- Kopeerige koolitatud mudel lähtekontolt sihtkontole.
- Testige kopeeritud mudelit paketttöö kaudu.
Treenige Amazon Comprehendi kohandatud olemi tuvastamise mudelit lähtekontol
Esimene samm on Amazon Comprehendi kohandatud olemituvastusmudeli koolitamine lähtekontol. Koolituse sisendandmestikuna kasutame CSV-d üksuste loend ja koolitusdokumendid AWS-i teenusepakkumiste äratundmiseks antud dokumendis. Veenduge, et olemiloend ja koolitusdokumendid oleksid a Amazoni lihtne salvestusteenus (Amazon S3) ämber lähtekontol. Juhiseid vt Dokumentide lisamine Amazon S3-sse.
Looge IAM-i roll Amazon Comprehendi jaoks ja võimaldage vajalik juurdepääs treeningandmetega S3 ämbrile. Pange tähele rolli ARN ja S3 ämbriteed, mida hilisemates etappides kasutada.
Treenige mudelit AWS CLI-ga
Looge olemituvastaja, kasutades järgmist AWS CLI käsku. Asendage oma parameetrid S3-teede, IAM-i rolli ja piirkonna jaoks. Vastus tagastab EntityRecognizerArn
.
Koolitustöö olekut saab jälgida, kui helistada kirjeldus-olemi-tuvastajale ja vaadata vastusest Status.
Treenige mudelit konsooli kaudu
Mudeli koolitamiseks konsooli kaudu toimige järgmiselt.
- Amazon Comprehendi konsoolil, all Customization, looge uus kohandatud olemituvastusmudel.
- Esitage mudeli nimi ja versioon.
- eest Keel, vali inglise keel.
- eest Kohandatud olemi tüüp, lisama
AWS_OFFERING
.
Kohandatud olemituvastusmudeli koolitamiseks saate Amazon Comprehendile andmete edastamiseks valida ühe kahest viisist. märkused or üksuste loendid. Lihtsuse huvides kasutage olemiloendi meetodit.
- eest Andmete vormingvalige CSV-fail.
- eest Treeningu tüüpvalige Olemiloendi ja koolitusdokumentide kasutamine.
- Esitage olemiloendi CSV ja koolitusandmete jaoks S3 asukohateed.
- Selleks et anda Amazon Comprehendile õigused juurdepääsuks teie S3 ämbrile, looge IAM-i teenusega seotud roll.
aasta Ressursipõhine poliitika jaotises saate lubada juurdepääsu mudeli versioonile. Kontod, millele juurdepääsu annate, saavad selle mudeli oma kontole importida. Jätame selle sammu praegu vahele ja lisame poliitika pärast seda, kui mudel on koolitatud ja oleme mudeli jõudlusega rahul.
- Vali Looma.
See esitab teie kohandatud olemituvastaja, mis läbib mitmeid mudeleid, häälestab teie hüperparameetreid ja kontrollib ristvalideerimist, et veenduda teie mudeli töökindluses. Need on kõik samad tegevused, mida teevad andmeteadlased.
Kontoülese juurdepääsu võimaldamiseks määrake koolitatud mudeli jaoks IAM-i ressursipoliitika
Kui oleme koolituse tulemuslikkusega rahul, saame jätkata ja jagada konkreetse mudeli versiooni, lisades ressursipoliitika.
Lisage AWS-i CLI-st ressursipõhine poliitika
Lubage mudeli importimine sihtkontolt, lisades mudelile ressursipoliitika, nagu on näidatud järgmises koodis. Reegel võib olla tihedalt seotud konkreetse mudeliversiooni ja sihtpõhimõttega. Juurdepääsu võimaldamiseks asendage oma koolitatud üksuse tuvastaja ARN ja sihtkonto.
Lisage konsooli kaudu ressursipõhine poliitika
Kui koolitus on lõppenud, luuakse kohandatud olemituvastusmudeli versioon. Saame valida väljaõppinud mudeli ja versiooni, et vaadata koolituse üksikasju, sealhulgas koolitatud mudeli jõudlust.
Eeskirjade värskendamiseks tehke järgmist.
- Kohta Sildid, VPC ja poliitika muutke ressursipõhist poliitikat.
- Sisestage poliitika nimi, Amazon Comprehend teenuse peamine (
comprehend.amazonaws.com
), sihtkonto ID ja IAM-i kasutajad sihtkontol, mis on volitatud mudeliversiooni importima.
Täpsustame root
IAM-üksusena, et volitada kõiki sihtkonto kasutajaid.
Kopeerige koolitatud mudel lähtekontolt sihtkontole
Nüüd on mudelit koolitatud ja jagatud lähtekontolt. Volitatud sihtkonto kasutaja saab mudeli importida ja luua mudelist koopia oma kontol.
Mudeli importimiseks peate määrama teie kontol kopeerimistoimingu tegemiseks Amazon Comprehendi lähtemudeli ARN ja teenuserolli. Saate sihtkontol mudeli krüptimiseks määrata valikulise AWS KMS-i ID.
Importige mudel AWS CLI kaudu
Mudeli importimiseks AWS-i CLI-ga sisestage järgmine kood:
Importige mudel konsooli kaudu
Mudeli importimiseks konsooli kaudu toimige järgmiselt.
- Amazon Comprehendi konsoolil, all Kohandatud olemi tuvastamine, vali Impordi versioon.
- eest Mudeli versioon ARN, sisestage lähtekontol koolitatud mudeli ARN.
- Sisestage sihtmärgi mudeli nimi ja versioon.
- Sisestage teenusekonto roll ja valige Kinnitama mudeli importimise protsessi alustamiseks.
Pärast seda, kui mudeli olek muutub Imported
, saame vaadata mudeli üksikasju, sealhulgas treenitud mudeli toimivusandmeid.
Testige kopeeritud mudelit paketttöö kaudu
Testime kopeeritud mudelit sihtkontol, tuvastades paketttööga kohandatud olemid. Mudeli testimiseks laadige alla testfail ja asetage see oma sihtkontol S3 ämbrisse. Looge IAM-i roll Amazon Comprehendi jaoks ja tagage vajalik juurdepääs S3 ämbrile koos katseandmetega. Kasutate varem märgitud rolli ARN ja S3 ämbriteid.
Kui töö on lõpetatud, saate kindlaksmääratud väljund S3 ämbris olevaid järeldusandmeid kontrollida.
Testige mudelit AWS CLI-ga
Mudeli testimiseks AWS CLI abil sisestage järgmine kood:
Testige mudelit konsooli kaudu
Mudeli testimiseks konsooli kaudu toimige järgmiselt.
- Amazon Comprehendi konsoolil valige Analüüsitööd Ja vali Loo töökoht.
- eest Nimi, sisestage töö nimi.
- eest Analüüsi tüüp¸ vali Kohandatud olemi tuvastamine.
- Valige imporditud mudeli mudeli nimi ja versioon.
- Esitage töö testfaili S3-teed ja väljundi asukoht, kuhu Amazon Comprehend tulemuse salvestab.
- Valige või looge IAM-i roll, millel on luba juurdepääsuks S3 ämbritele.
- Vali Loo töökoht.
Kui teie analüüsitöö on lõpule viidud, on teie väljundi S3 ämbriteel JSON-failid, mille saate alla laadida, et kontrollida imporditud mudeli olemi tuvastamise tulemusi.
Järeldus
Selles postituses demonstreerisime Amazon Comprehendi kohandatud olemi mudeli kopeerimise funktsiooni. See funktsioon annab teile võimaluse treenida Amazon Comprehendi kohandatud olemi tuvastamise või klassifitseerimise mudelit ühel kontol ja seejärel jagada mudelit teise kontoga samas piirkonnas. See lihtsustab mitme kontoga strateegiat, kus mudelit saab ühe korra koolitada ja jagada sama regiooni kontode vahel, ilma et peaks koolitusandmekogumeid ümber õpetama või jagama. See võimaldab prognoositavat juurutamist igal kontol teie MLOps-i töövoo osana. Lisateabe saamiseks vaadake meie dokumentatsiooni teemal Mõistke kohandatud koopiat, või proovige selles postituses olevat ülevaadet kas konsooli kaudu või AWS-i CLI-ga pilvekestat kasutades.
Selle kirjutamise seisuga on Amazon Comprehendi mudeli kopeerimise funktsioon saadaval järgmistes piirkondades:
- USA idaosa (Ohio)
- USA idaosa (N. Virginia)
- USA lääneosa (Oregon)
- Aasia Vaikne ookean (Mumbai)
- Aasia Vaikne ookean (Soul)
- Aasia Vaikne ookean (Singapur)
- Aasia Vaikne ookean (Sydney)
- Aasia Vaikne ookean (Tokyo)
- EL (Frankfurt)
- EL (Iirimaa)
- EL (London)
- AWS GovCloud (USA – lääneosa)
Proovige seda funktsiooni ja saatke meile tagasisidet kas aadressil AWS foorum Amazon Comprehendi jaoks või tavaliste AWS-i tugikontaktide kaudu.
Autoritest
Premkumar Rangarajan on AI/ML-i spetsialiseerunud lahenduste arhitekt ettevõttes Amazon Web Services ja on varem kirjutanud raamatu Natural Language Processing with AWS AI services. Tal on IT-valdkonnas 26-aastane kogemus mitmesugustel ametikohtadel, sealhulgas tarnejuht, integratsioonispetsialist ja ettevõtte arhitekt. Ta aitab igas suuruses ettevõtetel AI ja ML kasutusele võtta, et lahendada oma tegelikke väljakutseid.
Chethan Krishna on India vanempartnerilahenduste arhitekt. Ta teeb koostööd strateegiliste AWS-i partneritega tugeva pilvepädevuse loomiseks, AWS-i parimate tavade kasutuselevõtuks ja klientide väljakutsete lahendamiseks. Ta on ehitaja ja talle meeldib katsetada AI/ML-i, asjade interneti ja analüütikaga.
Sriharsha MS on AI/ML-i spetsialiseerunud lahenduste arhitekt Amazon Web Servicesi strateegiliste spetsialistide meeskonnas. Ta töötab strateegiliste AWS-i klientidega, kes kasutavad AI/ML eeliseid keeruliste äriprobleemide lahendamiseks. Ta annab tehnilisi juhiseid ja disaininõuandeid AI/ML rakenduste ulatuslikuks rakendamiseks. Tema teadmised hõlmavad rakenduste arhitektuuri, bigdata, analüütikat ja masinõpet.
- Münditark. Euroopa parim Bitcoini ja krüptobörs.
- Platoblockchain. Web3 metaversiooni intelligentsus. Täiustatud teadmised. TASUTA PÄÄS.
- CryptoHawk. Altcoini radar. Tasuta prooviversioon.
- Allikas: https://aws.amazon.com/blogs/machine-learning/announcing-the-launch-of-the-model-copy-feature-for-amazon-comprehend-custom-models/
- "
- &
- 100
- 9
- MEIST
- juurdepääs
- konto
- tegevus
- tegevus
- edusammud
- ADEelis
- nõuanne
- AI
- AI teenused
- Materjal: BPA ja flataatide vaba plastik
- Amazon
- Amazon Web Services
- analüüs
- analytics
- Teatama
- Kuulutades
- Teine
- API
- API-liidesed
- kohaldatav
- taotlus
- rakendused
- arhitektuur
- auto
- saadaval
- AWS
- Kasu
- BEST
- parimaid tavasid
- piir
- ehitama
- ehitaja
- äri
- väljakutseid
- kontroll
- Kontroll
- klassifikatsioon
- Cloud
- kood
- kommentaarid
- ühine
- keeruline
- konsool
- sisu
- Kliendid
- andmed
- kümme aastat
- tarne
- kasutuselevõtu
- Disain
- erinev
- digitaalne
- dokumendid
- kergesti
- mõju
- tohutu
- ettevõte
- oluline
- näide
- kogemus
- teadmised
- tunnusjoon
- tagasiside
- finants-
- finantsteenused
- esimene
- Järel
- funktsionaalsus
- õnnelik
- võttes
- aitab
- Kuidas
- Kuidas
- HTTPS
- identifitseerima
- Identity
- rakendada
- oluline
- importivate
- Kaasa arvatud
- India
- tööstusharudes
- tööstus
- info
- teadmisi
- integratsioon
- Intelligentsus
- huvi
- asjade Interneti
- Iirimaa
- isolatsioon
- IT
- töö
- Tööturg
- Võti
- keel
- algatama
- viima
- õppimine
- joon
- nimekiri
- liising
- London
- masin
- masinõpe
- juhtimine
- Meedia
- Kaevandamine
- ML
- mudel
- mudelid
- kõige
- Populaarseim
- Mumbai
- Natural
- Pakkumised
- Ohio
- et
- Oregon
- Muu
- Vaikne ookean
- partner
- partnerid
- jõudlus
- fraasid
- poliitika
- populaarne
- Peamine
- probleeme
- protsess
- Toode
- anda
- annab
- kiiresti
- regulatiivne
- nõutav
- Nõuded
- ressurss
- vastus
- Tulemused
- Tulu
- Arvustused
- Skaala
- teadlased
- SDK
- Seoul
- teenus
- Teenused
- Jaga
- jagatud
- Aktsiad
- Shell
- lihtne
- Singapur
- So
- Lahendused
- LAHENDAGE
- algus
- väljavõte
- olek
- ladustamine
- kauplustes
- Strateegiline
- Strateegia
- toetama
- sydney
- sihtmärk
- meeskond
- Tehniline
- test
- Allikas
- Läbi
- aeg
- täna
- Tokyo
- koolitus
- Trends
- ainulaadne
- Värskendused
- us
- kasutama
- Kasutajad
- müüjad
- vaade
- virginia
- web
- veebiteenused
- Läände
- WHO
- jooksul
- ilma
- töötab
- kirjutamine
- aastat