Amazon SageMaker JumpStart zdaj ponuja prenosne računalnike Amazon Comprehend za klasifikacijo po meri in zaznavanje entitet po meri

Amazonsko razumevanje je storitev za obdelavo naravnega jezika (NLP), ki uporablja strojno učenje (ML) za odkrivanje vpogledov iz besedila. Amazon Comprehend ponuja prilagojene funkcije, prepoznavanje entitet po meri, klasifikacija po meriin vnaprej usposobljeni API-ji kot so pridobivanje ključnih besednih zvez, analiza čustev, prepoznavanje entitet in drugo, tako da lahko preprosto vključite NLP v svoje aplikacije.

Nedavno smo dodali zvezke, povezane z Amazon Comprehend Amazon SageMaker JumpStart prenosnike, ki vam lahko pomagajo hitro začeti uporabljati klasifikator po meri Amazon Comprehend in razpoznavalec entitet po meri. S klasifikacijo po meri lahko dokumente organizirate v kategorije (razrede), ki jih določite sami. Prepoznavanje entitet po meri razširja zmožnost API-ja za predhodno usposobljeno zaznavanje entitet Amazon Comprehend, tako da vam pomaga prepoznati vrste entitet, ki so edinstvene za vašo domeno ali podjetje in niso v prednastavljenem generičnem vrste entitet.

V tej objavi vam pokažemo, kako uporabiti JumpStart za izdelavo klasifikacije po meri Amazon Comprehend in modelov za odkrivanje entitet po meri kot del potreb NLP vašega podjetja.

SageMaker JumpStart

O Amazon SageMaker Studio ciljna stran ponuja možnost uporabe JumpStart. JumpStart ponuja hiter način za začetek z zagotavljanjem vnaprej pripravljenih modelov za različne vrste težav. Te modele lahko usposobite in prilagodite. JumpStart ponuja tudi druge vire, kot so zvezki, spletni dnevniki in videoposnetki.

Zvezki JumpStart so v bistvu vzorčna koda, ki jo lahko uporabite kot izhodišče za hiter začetek. Trenutno vam ponujamo več kot 40 zvezkov, ki jih lahko uporabljate takšne, kot so, ali jih po potrebi prilagodite. Svoje zvezke lahko poiščete z iskanjem ali podoknom za pogled z zavihki. Ko najdete prenosni računalnik, ki ga želite uporabiti, ga lahko uvozite, ga prilagodite svojim zahtevam ter izberete infrastrukturo in okolje za izvajanje prenosnega računalnika.

Začnite z zvezki JumpStart

Če želite začeti uporabljati JumpStart, pojdite na Amazon SageMaker konzolo in odprite Studio. Nanašati se na Začnite uporabljati SageMaker Studio za navodila, kako začeti uporabljati Studio. Nato izvedite naslednje korake:

1. V Studiu pojdite na zagonsko stran JumpStart in izberite Pojdite na SageMaker JumpStart.

Na voljo vam je več načinov iskanja. Lahko uporabite zavihke na vrhu, da pridete do želenega, ali uporabite iskalno polje, kot je prikazano na naslednjem posnetku zaslona.

2. Če želite najti zvezke, gremo na Prenosniki tab.

V času pisanja JumpStart ponuja 47 zvezkov. Za iskanje zvezkov, povezanih z Amazon Comprehend, lahko uporabite filtre.

3. o Vrsta vsebine spustni meni, izberite notebook.

Kot lahko vidite na naslednjem posnetku zaslona, ​​imamo trenutno dva prenosnika Amazon Comprehend.

V naslednjih razdelkih raziskujemo oba zvezka.

Klasifikator po meri Amazon Comprehend

V tem zvezku prikazujemo, kako uporabljati API klasifikatorja po meri ustvariti model klasifikacije dokumentov.

Klasifikator po meri je v celoti upravljana funkcija Amazon Comprehend, ki vam omogoča izdelavo modelov klasifikacije besedila po meri, ki so edinstveni za vaše podjetje, tudi če imate malo ali nič strokovnega znanja o ML. Klasifikator po meri temelji na obstoječih zmožnostih Amazon Comprehend, ki so že usposobljene za več deset milijonov dokumentov. Abstrahira velik del kompleksnosti, ki je potrebna za izgradnjo klasifikacijskega modela NLP. Klasifikator po meri samodejno naloži in pregleda podatke o usposabljanju, izbere prave algoritme ML, usposobi vaš model, poišče optimalne hiperparametre, preizkusi model in zagotovi meritve zmogljivosti modela. Klasifikator po meri Amazon Comprehend ponuja tudi konzolo, ki je enostavna za uporabo za celoten potek dela ML, vključno z označevanjem besedila z Amazon SageMaker Ground Truth, usposabljanje in uvajanje modela ter vizualizacija rezultatov testa. S klasifikatorjem po meri Amazon Comprehend lahko sestavite naslednje modele:

• Večrazredni klasifikacijski model – Pri večrazredni klasifikaciji ima lahko vsak dokument dodeljen en in samo en razred. Posamezni razredi se med seboj izključujejo. Na primer, film lahko označimo kot dokumentarec ali kot znanstveno fantastiko, vendar ne obojega hkrati.
• Klasifikacijski model z več oznakami – Pri klasifikaciji z več oznakami posamezni razredi predstavljajo različne kategorije, vendar so te kategorije nekako povezane in se ne izključujejo. Posledično ima vsak dokument dodeljen vsaj en razred, lahko pa tudi več. Na primer, film je lahko preprosto akcijski film ali pa je lahko akcijski film, znanstvenofantastični film in komedija, vse hkrati.

Ta prenosni računalnik ne potrebuje strokovnega znanja o ML za usposabljanje modela z vzorčnim naborom podatkov ali z naborom podatkov, specifičnim za vaše podjetje. Operacije API-ja, obravnavane v tem zvezku, lahko uporabite v svojih aplikacijah.

Amazon Custom Entity Recognizer

V tem zvezku prikazujemo, kako uporabljati API za prepoznavanje entitet po meri ustvariti model za prepoznavanje entitet.

Prepoznavanje entitet po meri razširja zmožnosti storitve Amazon Comprehend tako, da vam pomaga identificirati specifične tipe entitet, ki niso v prednastavljenih generičnih tipih entitet. To pomeni, da lahko analizirate dokumente in izvlečete entitete, kot so kode izdelkov ali poslovne entitete, ki ustrezajo vašim posebnim potrebam.

Samostojna izdelava natančnega prepoznavalnika entitet po meri je lahko zapleten proces, ki zahteva pripravo velikih sklopov ročno označenih dokumentov za usposabljanje in izbiro pravih algoritmov in parametrov za usposabljanje modela. Amazon Comprehend pomaga zmanjšati zapletenost z zagotavljanjem samodejnega označevanja in razvoja modela za ustvarjanje modela za prepoznavanje entitete po meri.

Primer zvezka vzame nabor podatkov za usposabljanje v formatu CSV in izvede sklepanje glede na vnos besedila. Amazon Comprehend podpira tudi napreden primer uporabe, ki za usposabljanje vzame označene podatke Ground Truth in vam omogoča neposredno izvajanje sklepanja o PDF-jih in Wordovih dokumentih. Za več informacij glejte Z Amazon Comprehend zgradite prepoznavanje entitet po meri za dokumente PDF.

Amazon Comprehend je znižal omejitve opomb in vam omogočil stabilnejše rezultate, zlasti za podvzorce z nekaj posnetki. Za več informacij o tej izboljšavi glejte Amazon Comprehend napoveduje nižje omejitve pripisov za prepoznavanje entitet po meri.

Ta prenosni računalnik ne potrebuje strokovnega znanja o ML za usposabljanje modela z vzorčnim naborom podatkov ali z naborom podatkov, specifičnim za vaše podjetje. Operacije API-ja, obravnavane v tem zvezku, lahko uporabite v svojih aplikacijah.

Uporabite, prilagodite in uvedite prenosnike Amazon Comprehend JumpStart

Ko izberete prenosni računalnik Amazon Comprehend, ki ga želite uporabiti, izberite Uvozi zvezek. Ko to storite, lahko vidite zagon jedra prenosnika.

Uvoz vašega prenosnika sproži izbiro primerka prenosnika, jedra in slike, ki se uporablja za izvajanje prenosnika. Ko je privzeta infrastruktura omogočena, lahko spremenite izbire glede na svoje zahteve.

Zdaj preglejte oris zvezka in natančno preberite razdelke za nastavitev predpogojev, nastavitev podatkov, usposabljanje modela, izvajanje sklepanja in zaustavitev modela. Ustvarjeno kodo lahko prilagodite svojim potrebam.

Na podlagi vaših zahtev boste morda želeli prilagoditi naslednje razdelke:

• Dovoljenja – Za produkcijsko aplikacijo priporočamo, da politike dostopa omejite samo na tiste, ki so potrebni za izvajanje aplikacije. Dovoljenja je mogoče omejiti glede na primer uporabe, kot je usposabljanje ali sklepanje, in posebna imena virov, kot je polno Preprosta storitev shranjevanja Amazon (Amazon S3) ime vedra ali vzorec imena vedra S3. Omejite tudi dostop do klasifikatorja po meri ali operacij SageMaker samo na tiste, ki jih potrebuje vaša aplikacija.
• Podatki in lokacija – Primer zvezka ponuja vzorčne podatke in lokacije S3. Na podlagi vaših zahtev lahko uporabite lastne podatke za usposabljanje, validacijo in testiranje ter po potrebi uporabite različne lokacije S3. Podobno, ko je model ustvarjen, se lahko odločite, da ga obdržite na različnih lokacijah. Prepričajte se le, da ste zagotovili prava dovoljenja za dostop do veder S3.
• Koraki predhodne obdelave – Če uporabljate različne podatke za usposabljanje in testiranje, boste morda želeli prilagoditi korake predprocesiranja glede na vaše zahteve.
• Podatki o testiranju – Za testiranje lahko prinesete lastne podatke sklepanja.
• Čiščenje – Izbrišite vire, ki jih je zagnal prenosnik, da se izognete ponavljajočim se bremenitvam.

zaključek

V tej objavi smo vam pokazali, kako uporabljati JumpStart za učenje in hitrejšo uporabo API-jev Amazon Comprehend, tako da olajšate iskanje in zagon zvezkov, povezanih z Amazon Comprehend, iz Studia, hkrati pa imate možnost spreminjanja kode po potrebi. Beležnice uporabljajo vzorčne nabore podatkov z objavami izdelkov AWS in vzorčne članke z novicami. Ta zvezek lahko uporabite, da se naučite uporabljati API-je Amazon Comprehend v prenosnem računalniku Python, ali pa ga uporabite kot izhodišče in razširite kodo za svoje edinstvene zahteve in produkcijske uvedbe.

Začnete lahko uporabljati JumpStart in izkoristite več kot 40 zvezkov v različnih temah v vseh regijah, kjer je Studio na voljo brez dodatnih stroškov.

---

O avtorjih

Lana Zhang je višji arhitekt rešitev pri ekipi AWS WWSO AI Services s strokovnim znanjem in izkušnjami na področju umetne inteligence in strojnega upravljanja za moderiranje in prepoznavanje vsebine. Navdušena je nad promocijo storitev umetne inteligence AWS in pomaga strankam pri preoblikovanju njihovih poslovnih rešitev.

Meenakshisundaram Thandavarayan je višji strokovnjak za AI/ML pri AWS. Pomaga visokotehnološkim strateškim računom na njihovi poti AI in ML. Zelo je navdušen nad AI, ki temelji na podatkih

Rachna Chadha je glavni arhitekt rešitev AI/ML v Strategic Accounts pri AWS. Rachna je optimist, ki verjame, da lahko etična in odgovorna uporaba umetne inteligence izboljša družbo v prihodnosti ter prinese gospodarsko in družbeno blaginjo. V prostem času Rachna rada preživlja čas z družino, hodi na pohode in posluša glasbo.