Az Amazon SageMaker JumpStart mostantól Amazon Comprehend notebookokat kínál az egyéni osztályozáshoz és az egyéni entitások észleléséhez

Amazon Comprehend egy természetes nyelvi feldolgozó (NLP) szolgáltatás, amely gépi tanulást (ML) használ a szövegből származó információk felfedezésére. Az Amazon Comprehend testreszabott funkciókat kínál, egyéni entitás felismerés, egyéni besorolásés előre betanított API-k mint például a kulcskifejezések kinyerése, hangulatelemzés, entitásfelismerés stb., így könnyedén integrálhatja az NLP-t alkalmazásaiba.

Nemrég hozzáadtuk az Amazon Comprehendhez kapcsolódó notebookokat Amazon SageMaker JumpStart notebookok, amelyek segítségével gyorsan elkezdheti használni az Amazon Comprehend egyéni osztályozót és egyéni entitásfelismerőt. Egyéni osztályozással a dokumentumokat az Ön által meghatározott kategóriákba (osztályokba) rendezheti. Az egyéni entitásfelismerés kibővíti az Amazon Comprehend előre betanított entitásészlelési API képességét azáltal, hogy segít azonosítani azokat az entitástípusokat, amelyek egyediek az Ön domainjére vagy vállalkozására, és nem tartoznak az előre beállított általánosságba. entitástípusok.

Ebben a bejegyzésben bemutatjuk, hogyan használhatja a JumpStartot az Amazon Comprehend egyéni osztályozási és egyéni entitásészlelési modellek létrehozásához vállalati NLP-szükségletei részeként.

SageMaker JumpStart

A Amazon SageMaker Studio A nyitóoldal lehetőséget biztosít a JumpStart használatára. A JumpStart gyors kezdési módot biztosít azáltal, hogy előre betanított modelleket biztosít különféle problématípusokhoz. Ezeket a modelleket betaníthatja és hangolhatja. A JumpStart egyéb forrásokat is biztosít, például jegyzetfüzeteket, blogokat és videókat.

A JumpStart notebookok alapvetően mintakódok, amelyeket kiindulási pontként használhat a gyors kezdéshez. Jelenleg több mint 40 notebookot kínálunk, amelyeket használhat, vagy szükség szerint testre szabhat. Jegyzetfüzeteit a keresés vagy a füles nézet panel segítségével találhatja meg. Miután megtalálta a használni kívánt notebookot, importálhatja a notebookot, testreszabhatja az igényeinek megfelelően, és kiválaszthatja azt az infrastruktúrát és környezetet, amelyen a notebook futni kíván.

Kezdje el a JumpStart notebookokat

A JumpStart használatának megkezdéséhez nyissa meg a Amazon SageMaker konzolt, és nyissa meg a Studio-t. Hivatkozni Kezdje el a SageMaker Studio használatát a Studio használatának megkezdéséhez. Ezután hajtsa végre a következő lépéseket:

1. A Studio alkalmazásban lépjen a JumpStart indítóoldalára, és válassza a lehetőséget Lépjen a SageMaker JumpStart oldalra.

Többféle keresési módot kínálnak Önnek. Használhatja a felül található füleket, hogy elérje azt, amit keres, vagy használja a keresőmezőt, ahogy az a következő képernyőképen látható.

2. Jegyzetfüzetek kereséséhez megyünk a notebookok Tab.

A cikk írásakor a JumpStart 47 notebookot kínál. Szűrők segítségével megtalálhatja az Amazon Comprehendhez kapcsolódó notebookokat.

3. A Tartalom típus legördülő menüből válassza ki jegyzetfüzet.

Amint az a következő képernyőképen látható, jelenleg két Amazon Comprehend notebookunk van.

A következő részekben mindkét jegyzetfüzetet megvizsgáljuk.

Amazon Comprehend egyéni osztályozó

Ebben a jegyzetfüzetben bemutatjuk, hogyan kell használni a egyéni osztályozó API dokumentumosztályozási modell létrehozásához.

Az egyéni osztályozó egy teljesen felügyelt Amazon Comprehend funkció, amely lehetővé teszi egyedi szövegosztályozási modellek felépítését, amelyek egyediek az Ön vállalkozása számára, még akkor is, ha kevés vagy semmilyen ML-szakértelemmel rendelkezik. Az egyedi osztályozó az Amazon Comprehend meglévő képességeire épít, amelyek már több tízmillió dokumentumra vannak kiképezve. Ez absztrahálja az NLP osztályozási modell felépítéséhez szükséges bonyolultság nagy részét. Az egyéni osztályozó automatikusan betölti és ellenőrzi a betanítási adatokat, kiválasztja a megfelelő ML-algoritmusokat, betanítja a modellt, megtalálja az optimális hiperparamétereket, teszteli a modellt, és modellteljesítmény-mérőszámokat biztosít. Az Amazon Comprehend egyéni osztályozó egy könnyen használható konzolt is biztosít a teljes ML munkafolyamathoz, beleértve a szöveg címkézését Amazon SageMaker Ground Truth, egy modell betanítása és telepítése, valamint a teszteredmények megjelenítése. Az Amazon Comprehend egyéni osztályozóval a következő modelleket állíthatja össze:

• Többosztályos osztályozási modell – Többosztályos besorolásnál minden dokumentumhoz csak egy osztály rendelhető. Az egyes osztályok kölcsönösen kizárják egymást. Például egy film besorolható dokumentumfilmnek vagy tudományos-fantasztikusnak, de nem mindkettőnek egyszerre.
• Többcímkés osztályozási modell – A többcímkés osztályozásban az egyes osztályok különböző kategóriákat képviselnek, de ezek a kategóriák valamilyen módon összefüggenek, és nem zárják ki egymást. Ennek eredményeként minden dokumentumhoz legalább egy osztály van hozzárendelve, de lehet több is. Például egy film lehet egyszerűen akciófilm, vagy lehet akciófilm, sci-fi film és vígjáték is, egyszerre.

Ez a jegyzetfüzet nem igényel ML-szakértelmet a modell betanításához a példaadatkészlettel vagy a saját vállalkozásspecifikus adatkészlettel. A jegyzetfüzetben tárgyalt API-műveleteket saját alkalmazásaiban használhatja.

Amazon egyéni entitásfelismerő

Ebben a jegyzetfüzetben bemutatjuk, hogyan kell használni a egyéni entitásfelismerő API entitásfelismerési modell létrehozásához.

Az egyéni entitásfelismerés kiterjeszti az Amazon Comprehend képességeit azáltal, hogy segít azonosítani azokat a konkrét entitástípusokat, amelyek nem szerepelnek az előre beállított általános entitástípusokban. Ez azt jelenti, hogy elemezhet dokumentumokat, és olyan entitásokat bonthat ki, mint például a termékkódok vagy az üzletspecifikus entitások, amelyek megfelelnek az Ön egyedi igényeinek.

Egy pontos egyéni entitásfelismerő önálló felépítése összetett folyamat lehet, amelyhez manuálisan jegyzett oktatási dokumentumok nagy készleteinek elkészítésére, valamint a megfelelő algoritmusok és paraméterek kiválasztására van szükség a modelltanításhoz. Az Amazon Comprehend segít csökkenteni a bonyolultságot azáltal, hogy automatikus annotációt és modellfejlesztést biztosít egyéni entitásfelismerő modell létrehozásához.

A példajegyzetfüzet CSV formátumban veszi a betanítási adatkészletet, és következtetést futtat le a szövegbevitel alapján. Az Amazon Comprehend egy olyan speciális használati esetet is támogat, amely a Ground Truth megjegyzésekkel ellátott adatokat veszi a képzéshez, és lehetővé teszi közvetlenül a következtetések futtatását PDF- és Word-dokumentumokon. További információkért lásd: Hozzon létre egyéni entitásfelismerőt PDF-dokumentumokhoz az Amazon Comprehend segítségével.

Az Amazon Comprehend csökkentette a kommentárok korlátait, és lehetővé tette, hogy stabilabb eredményeket kapjon, különösen a néhány felvételes részminták esetében. A fejlesztéssel kapcsolatos további információkért lásd: Az Amazon Comprehend alacsonyabb kommentárkorlátokat jelent be az egyéni entitásfelismeréshez.

Ez a jegyzetfüzet nem igényel ML-szakértelmet a modell betanításához a példaadatkészlettel vagy a saját vállalkozásspecifikus adatkészlettel. A jegyzetfüzetben tárgyalt API-műveleteket saját alkalmazásaiban használhatja.

Az Amazon Comprehend JumpStart notebookok használata, testreszabása és üzembe helyezése

Miután kiválasztotta a használni kívánt Amazon Comprehend notebookot, válassza a lehetőséget Jegyzetfüzet importálása. Amikor ezt megteszi, láthatja, hogy a notebook kernel elindul.

A jegyzetfüzet importálása aktiválja a jegyzetfüzet futtatásához használt notebook példány, kernel és képfájl kiválasztását. Az alapértelmezett infrastruktúra kiépítése után a beállításokat igényei szerint módosíthatja.

Most nézze át a notebook vázlatát, és figyelmesen olvassa el az előfeltételek beállításával, az adatbeállítással, a modell betanításával, a következtetés futtatásával és a modell leállításával kapcsolatos szakaszokat. Nyugodtan testreszabhatja a generált kódot igényei szerint.

Igényei alapján érdemes lehet személyre szabni a következő szakaszokat:

• Engedélyek – Éles alkalmazások esetén azt javasoljuk, hogy a hozzáférési házirendeket csak az alkalmazás futtatásához szükségesekre korlátozzák. Az engedélyek korlátozhatók a használati eset alapján, például képzés vagy következtetés, valamint konkrét erőforrásnevek, például teljes Amazon egyszerű tárolási szolgáltatás (Amazon S3) vödörnév vagy S3 gyűjtőkörnév minta. Az egyéni osztályozóhoz vagy a SageMaker műveletekhez való hozzáférést csak azokra kell korlátoznia, amelyekre az alkalmazásnak szüksége van.
• Adatok és hely – A példajegyzetfüzet mintaadatokat és S3 helyeket kínál. Igényei alapján használhatja saját adatait a képzéshez, az érvényesítéshez és a teszteléshez, és szükség szerint használhat különböző S3 helyeket. Hasonlóképpen, a modell létrehozásakor dönthet úgy, hogy a modellt különböző helyeken tartja. Csak győződjön meg arról, hogy a megfelelő engedélyeket adta meg az S3 tárolók eléréséhez.
• Az előfeldolgozás lépései – Ha különböző adatokat használ a képzéshez és a teszteléshez, érdemes lehet az előfeldolgozási lépéseket az igényei szerint módosítani.
• Vizsgálati adatok – Tesztelésre hozhatod saját következtetési adataidat.
• Tisztítsuk meg – Törölje a notebook által elindított erőforrásokat az ismétlődő költségek elkerülése érdekében.

Következtetés

Ebben a bejegyzésben bemutattuk, hogyan használhatja a JumpStartot az Amazon Comprehend API-k használatának elsajátítására és gyorsítására azáltal, hogy kényelmessé teszi az Amazon Comprehendhez kapcsolódó notebookok megkeresését és futtatását a Studio alkalmazásból, miközben lehetőség van a kód szükség szerinti módosítására. A notebookok mintaadatkészleteket használnak az AWS-termékbejelentésekkel és mintahírekkel. Használhatja ezt a jegyzetfüzetet, hogy megtanulja, hogyan kell használni az Amazon Comprehend API-kat egy Python-jegyzetfüzetben, vagy használhatja kiindulási pontként, és tovább bővítheti a kódot egyedi követelményeinek és éles telepítéseinek megfelelően.

Elkezdheti használni a JumpStartot, és több mint 40 notebook előnyeit élvezheti különböző témákban minden olyan régióban, ahol a Studio további költségek nélkül elérhető.

---

A szerzőkről

Lana Zhang az AWS WWSO AI Services csapatának idősebb megoldástervezője, aki jártas a mesterséges intelligencia és az ML tartalommoderálás és felismerés terén. Szenvedélyesen támogatja az AWS AI-szolgáltatásokat, és segít ügyfeleinek üzleti megoldásaik átalakításában.

Meenakshisundaram Thandavarayan vezető AI/ML specialista az AWS-vel. Segíti a hi-tech stratégiai fiókokat az AI és az ML útjukon. Nagyon szenvedélyes az adatvezérelt mesterséges intelligencia iránt

Rachna Chadha az AWS stratégiai számláinak fő megoldástervezője, az AI/ML. Rachna optimista, aki hisz abban, hogy az AI etikus és felelős használata javíthatja a társadalmat a jövőben, és gazdasági és társadalmi jólétet hozhat. Szabadidejében Rachna szereti a családjával tölteni az idejét, kirándulni és zenét hallgatni.