Amazon SageMaker JumpStart pakub nüüd Amazon Comprehendi sülearvuteid kohandatud klassifitseerimiseks ja kohandatud olemi tuvastamiseks

Amazoni mõistmine on loomuliku keele töötlemise (NLP) teenus, mis kasutab tekstist arusaamade leidmiseks masinõpet (ML). Amazon Comprehend pakub kohandatud funktsioone, kohandatud olemi tuvastamine, kohandatud klassifikatsioonja eelkoolitatud API-d näiteks võtmefraaside eraldamine, sentimentide analüüs, olemituvastus ja palju muud, et saaksite hõlpsasti integreerida NLP-d oma rakendustesse.

Lisasime hiljuti Amazon Comprehendiga seotud märkmikud Amazon SageMaker JumpStart märkmikud, mis aitavad teil kiiresti Amazon Comprehendi kohandatud klassifikaatori ja kohandatud olemituvastaja kasutamist alustada. Kohandatud klassifikatsiooni abil saate korraldada dokumente enda määratletud kategooriatesse (klassidesse). Kohandatud olemituvastus laiendab Amazon Comprehendi eelkoolitatud olemituvastuse API võimalusi, aidates teil tuvastada teie domeeni või ettevõtte jaoks ainulaadseid olemitüüpe, mis ei kuulu eelseadistatud üldisesse olemi tüübid.

Selles postituses näitame teile, kuidas kasutada JumpStarti, et luua Amazon Comprehend kohandatud klassifitseerimise ja kohandatud olemi tuvastamise mudelid osana teie ettevõtte NLP vajadustest.

SageMaker KiirStart

. Amazon SageMaker Studio sihtleht pakub võimalust kasutada KiirStarti. KiirStart pakub kiiret viisi alustamiseks, pakkudes eelkoolitatud mudeleid mitmesuguste probleemide jaoks. Saate neid mudeleid treenida ja häälestada. KiirStart pakub ka muid ressursse, nagu märkmikud, ajaveebid ja videod.

JumpStart märkmikud on sisuliselt näidiskood, mida saate kasutada kiireks alustamiseks lähtepunktina. Praegu pakume teile üle 40 märkmiku, mida saate kasutada nii nagu on või kohandada vastavalt vajadusele. Märkmikud leiate otsingu või vahekaartidega vaatepaneeli abil. Kui olete leidnud sülearvuti, mida soovite kasutada, saate selle importida, kohandada seda vastavalt oma vajadustele ning valida taristu ja keskkonna, milles sülearvuti käitada.

Alustage JumpStart sülearvutitega

KiirStartiga alustamiseks minge lehele Amazon SageMaker konsool ja avage Studio. Viitama Alustage SageMaker Studioga Stuudio kasutamise alustamise juhiste saamiseks. Seejärel tehke järgmised sammud.

1. Avage Studios JumpStarti käivitusleht ja valige Avage SageMaker JumpStart.

Teile pakutakse mitut viisi otsimiseks. Võite kasutada ülaosas olevaid vahekaarte, et jõuda soovitud juurde, või kasutada otsingukasti, nagu on näidatud järgmisel ekraanipildil.

2. Märkmikute leidmiseks läheme lehele Sülearvutid Tab.

Selle artikli kirjutamise ajal pakub JumpStart 47 märkmikku. Amazon Comprehendiga seotud märkmike leidmiseks saate kasutada filtreid.

3. Kohta Sisu tüüp rippmenüüst valige märkmik.

Nagu näete järgmisel ekraanipildil, on meil praegu kaks Amazon Comprehendi sülearvutit.

Järgmistes osades uurime mõlemat märkmikku.

Amazon Comprehend kohandatud klassifikaator

Selles märkmikus näitame, kuidas kasutada kohandatud klassifikaatori API dokumentide liigitusmudeli loomiseks.

Kohandatud klassifikaator on täielikult hallatav Amazon Comprehendi funktsioon, mis võimaldab teil luua kohandatud teksti klassifikatsioonimudeleid, mis on teie ettevõtte jaoks ainulaadsed, isegi kui teil on vähe või puuduvad igasugused ML-teadmised. Kohandatud klassifikaator tugineb Amazon Comprehendi olemasolevatele võimalustele, mida on juba koolitatud kümnete miljonite dokumentide jaoks. See võtab kokku suure osa NLP klassifikatsioonimudeli koostamiseks vajalikust keerukusest. Kohandatud klassifikaator laadib ja kontrollib automaatselt treeningandmeid, valib õiged ML-algoritmid, koolitab teie mudelit, leiab optimaalsed hüperparameetrid, testib mudelit ja pakub mudeli jõudlusnäitajaid. Amazon Comprehendi kohandatud klassifikaator pakub ka hõlpsasti kasutatavat konsooli kogu ML-i töövoo jaoks, sealhulgas teksti märgistamiseks, kasutades Amazon SageMaker Ground Truth, mudeli koolitamine ja juurutamine ning testitulemuste visualiseerimine. Amazon Comprehendi kohandatud klassifikaatoriga saate luua järgmisi mudeleid:

• Mitme klassi klassifikatsioonimudel – Mitmeklassilises klassifikatsioonis saab igale dokumendile määrata ühe ja ainult ühe klassi. Üksikud klassid välistavad üksteist. Näiteks võib filmi liigitada dokumentaalfilmiks või ulmeks, kuid mitte mõlemaks korraga.
• Mitme märgistusega klassifitseerimismudel – Mitme märgiga klassifikatsioonis esindavad üksikud klassid erinevaid kategooriaid, kuid need kategooriad on kuidagi seotud ega välista üksteist. Selle tulemusena on igale dokumendile määratud vähemalt üks klass, kuid neid võib olla rohkemgi. Näiteks võib film olla lihtsalt märulifilm või märulifilm, ulmefilm ja komöödia – kõik korraga.

See märkmik ei vaja ML-teadmisi, et koolitada mudelit näidisandmestiku või teie ettevõttepõhise andmekogumiga. Saate kasutada selles märkmikus käsitletud API toiminguid oma rakendustes.

Amazoni kohandatud olemituvastaja

Selles märkmikus näitame, kuidas kasutada kohandatud olemi tuvastamise API olemi tuvastamise mudeli loomiseks.

Kohandatud olemituvastus laiendab Amazon Comprehendi võimalusi, aidates teil tuvastada teie konkreetsed olemitüübid, mis ei kuulu eelseadistatud üldiste olemitüüpide hulka. See tähendab, et saate analüüsida dokumente ja eraldada üksusi, nagu tootekoodid või ettevõttepõhised olemid, mis vastavad teie konkreetsetele vajadustele.

Täpse kohandatud olemi tuvastaja ise loomine võib olla keeruline protsess, mis nõuab suurte käsitsi annoteeritud koolitusdokumentide komplektide ettevalmistamist ning mudelikoolituse jaoks õigete algoritmide ja parameetrite valimist. Amazon Comprehend aitab vähendada keerukust, pakkudes kohandatud olemituvastusmudeli loomiseks automaatset annotatsiooni ja mudeliarendust.

Näidismärkmik võtab koolituse andmestiku CSV-vormingus ja käivitab tekstisisestuse põhjal järeldused. Amazon Comprehend toetab ka täiustatud kasutusjuhtumit, mis kasutab koolituseks Ground Truthi annoteeritud andmeid ja võimaldab teil PDF-ide ja Wordi dokumentide kohta otse järeldusi teha. Lisateabe saamiseks vaadake Looge Amazon Comprehendi abil PDF-dokumentide jaoks kohandatud olemituvastaja.

Amazon Comprehend on annotatsioonipiiranguid alandanud ja võimaldanud teil saada stabiilsemaid tulemusi, eriti mõne võttega alamproovide puhul. Selle täiuse kohta lisateabe saamiseks vaadake Amazon Comprehend teatab kohandatud olemi tuvastamise madalamatest märkuste piirangutest.

See märkmik ei vaja ML-teadmisi, et koolitada mudelit näidisandmestiku või teie ettevõttepõhise andmekogumiga. Saate kasutada selles märkmikus käsitletud API toiminguid oma rakendustes.

Kasutage, kohandage ja juurutage Amazon Comprehend JumpStart märkmikke

Kui olete valinud Amazon Comprehendi märkmiku, mida soovite kasutada, valige Impordi märkmik. Seda tehes näete, et sülearvuti kernel käivitub.

Märkmiku importimine käivitab märkmiku käitamiseks kasutatava märkmiku eksemplari, tuuma ja pildi valimise. Pärast vaikeinfrastruktuuri loomist saate valikuid vastavalt oma vajadustele muuta.

Nüüd lugege üle märkmiku kontuur ja lugege hoolikalt jaotisi eeltingimuste seadistamise, andmete seadistamise, mudeli treenimise, järelduste tegemise ja mudeli peatamise kohta. Kohandage loodud koodi vastavalt oma vajadustele.

Vastavalt oma vajadustele võite soovida kohandada järgmisi jaotisi.

• Õigused – Tootmisrakenduse puhul soovitame piirata juurdepääsupoliitikaga ainult neid, mis on vajalikud rakenduse käitamiseks. Lubasid saab piirata kasutusjuhtumi (nt koolitus või järeldused) ja konkreetsete ressursinimede (nt täielik) alusel. Amazoni lihtne salvestusteenus (Amazon S3) ämbri nimi või S3 ämbri nime muster. Samuti peaksite piirama juurdepääsu kohandatud klassifikaatorile või SageMakeri toimingutele ainult nendele, mida teie rakendus vajab.
• Andmed ja asukoht – Näidismärkmik pakub näidisandmeid ja S3 asukohti. Vastavalt oma vajadustele võite kasutada oma andmeid koolituseks, valideerimiseks ja testimiseks ning vajadusel kasutada erinevaid S3 asukohti. Samamoodi saate mudeli loomisel valida mudeli hoidmise erinevates kohtades. Lihtsalt veenduge, et olete andnud S3 ämbritele juurdepääsuks õiged load.
• Eeltöötluse etapid – Kui kasutate treenimiseks ja testimiseks erinevaid andmeid, võite soovida eeltöötlusetappe vastavalt oma vajadustele kohandada.
• Testimisandmed - Saate testimiseks tuua oma järeldusandmed.
• Koristage – Korduvate tasude vältimiseks kustutage sülearvuti käivitatud ressursid.

Järeldus

Selles postituses näitasime teile, kuidas kasutada JumpStarti Amazon Comprehend API-de õppimiseks ja kiirendamiseks, muutes Studios Amazon Comprehendiga seotud märkmike leidmise ja käitamise mugavaks, võimaldades samal ajal koodi vastavalt vajadusele muuta. Märkmikud kasutavad näidisandmekogumeid koos AWS-i tooteteadete ja näidisuudiste artiklitega. Võite kasutada seda märkmikku, et õppida, kuidas kasutada Pythoni märkmikus Amazon Comprehend API-sid, või kasutada seda lähtepunktina ja laiendada koodi oma ainulaadsete nõuete ja tootmisrakenduste jaoks.

Saate hakata kasutama KiirStarti ja kasutada rohkem kui 40 erinevate teemade sülearvutit kõigis piirkondades, kus Studio on lisatasuta saadaval.

---

Autoritest

Lana Zhang on AWS WWSO tehisintellektiteenuste meeskonna vanem lahenduste arhitekt, kellel on sisu modereerimise ja äratundmise alased AI ja ML-alased teadmised. Ta on kirglik AWS-i AI-teenuste reklaamimise ja klientide abistamise vastu nende ärilahenduste muutmisel.

Meenakshisundaram Thandavarayan on AWS-iga AI/ML vanemspetsialist. Ta aitab kõrgtehnoloogilisi strateegilisi kontosid nende AI ja ML teekonnal. Ta on väga kirglik andmepõhise AI vastu

Rachna Chadha on AWS-i strateegiliste kontode pealahendusarhitekt AI/ML. Rachna on optimist, kes usub, et tehisintellekti eetiline ja vastutustundlik kasutamine võib tulevikus ühiskonda parandada ning tuua majanduslikku ja sotsiaalset õitsengut. Vabal ajal meeldib Rachnale perega aega veeta, matkata ja muusikat kuulata.