Automatizálja az IT-szolgáltatási kérelmek osztályozását egy Amazon Comprehend egyéni osztályozóval

A vállalatok gyakran nagy mennyiségű IT-szolgáltatási kéréssel foglalkoznak. Hagyományosan az igénylőre nehezedik, hogy minden kérdéshez válassza ki a megfelelő kategóriát. A jegy kézi hibája vagy téves besorolása általában az informatikai szolgáltatási igény megoldásának késését jelenti. Ez csökkentheti a termelékenységet, a vevői elégedettség csökkenését, hatással lehet a szolgáltatási szintű megállapodásokra (SLA), és szélesebb körű működési hatásokat is okozhat. Vállalkozása növekedésével egyre fontosabbá válik a megfelelő szolgáltatási kérés megfelelő csapathoz történő eljuttatásának problémája. A gépi tanuláson (ML) és mesterséges intelligencián alapuló megközelítés alkalmazása segíthet a vállalkozás folyamatosan változó igényeinek kielégítésében.

A felügyelt ML olyan folyamat, amely címkézett adatkészleteket és kimeneteket használ az adatok osztályozására vagy az eredmény előrejelzésére vonatkozó tanulási algoritmusok betanításához. Amazon Comprehend egy természetes nyelvi feldolgozó (NLP) szolgáltatás, amely az ML segítségével értékes betekintést és összefüggéseket tár fel a szövegben. Az ML által működtetett API-kat biztosít kulcskifejezések, entitások, hangulatelemzés és egyebek kinyeréséhez.

Ebben a bejegyzésben bemutatjuk, hogyan valósíthat meg egy felügyelt ML-modellt, amely segíthet az IT-szolgáltatáskérések automatikus osztályozásában Amazon Comprehend egyéni besorolás. Az Amazon Comprehend egyéni besorolása segít az Amazon Comprehend testreszabásában az Ön egyedi igényeinek megfelelően, anélkül, hogy az ML-alapú NLP-megoldások elkészítéséhez szükséges készségeket kellene megadnia. Az automatikus ML vagy AutoML segítségével az Amazon Comprehend egyéni osztályozás testreszabott NLP-modelleket épít fel az Ön nevében, az Ön által megadott betanítási adatok felhasználásával.

A megoldás áttekintése

Az IT-szolgáltatáskérés besorolásának szemléltetésére ez a megoldás a SEOSS adatkészlet. Ez az adatkészlet egy szisztematikusan visszakeresett adatkészlet, amely 33 nyílt forráskódú szoftverprojektből áll, amelyek nagyszámú típusos műterméket és nyomkövetési hivatkozásokat tartalmaznak közöttük. Ez a megoldás a végfelhasználók által jelentett 33 nyílt forráskódú projekt problémaadatait, összefoglalóit és leírásait használja fel egy egyéni osztályozó modell felépítéséhez az Amazon Comprehend használatával.

Ez a bejegyzés bemutatja, hogyan kell megvalósítani és telepíteni a megoldást a AWS Cloud Development Kit (AWS CDK) egy izolált Amazon Virtual Private Cloud (Amazon VPC) környezet, amely csak privát alhálózatokból áll. A kódot az AWS CDK használatának bemutatására is használjuk szolgáltatói keretrendszer, mini-keretrendszer a szolgáltató megvalósításához AWS felhőképződés egyéni erőforrások egyéni erőforrások létrehozásához, frissítéséhez vagy törléséhez, például egy Amazon Comprehend végponthoz. Az Amazon Comprehend végpont olyan felügyelt erőforrásokat tartalmaz, amelyek elérhetővé teszik egyéni modelljét valós idejű következtetések levonásához az ügyfélgépek vagy harmadik féltől származó alkalmazások számára. Az kód ehhez a megoldáshoz elérhető a Githubon.

Az AWS CDK segítségével telepítheti a megoldás infrastruktúráját, alkalmazáskódját és konfigurációját. Ezenkívül szüksége van egy AWS-fiókra és AWS-erőforrások létrehozására. Az AWS CDK segítségével AWS-erőforrásokat hozhat létre, például VPC-t privát alhálózatokkal, Amazon VPC végpontok, Amazon elasztikus fájlrendszer (Amazon EFS), an Amazon Simple Notification Service (Amazon SNS) témakör, an Amazon egyszerű tárolási szolgáltatás (Amazon S3) vödör, Amazon S3 eseményértesítésekés AWS Lambda funkciókat. Ezek az AWS-erőforrások együttesen alkotják a képzési veremet, amelyet az egyéni osztályozó modell felépítéséhez és betanításához használ.

Miután létrehozta ezeket az AWS-erőforrásokat, töltse le a SEOSS adatkészletet, és töltse fel az adatkészletet a megoldás által létrehozott S3 tárolóba. Ha ezt a megoldást az AWS Régióban us-east-2 telepíti, akkor az S3 csoportnév formátuma comprehendcustom--us-east-2-s3stack. A megoldás az Amazon S3 többrészes feltöltési triggerét használja egy Lambda funkció meghívására, amely elindítja a bemeneti adatok előfeldolgozását, és az előfeldolgozott adatok segítségével betanítja az Amazon Comprehend egyéni osztályozót az egyéni osztályozó modell létrehozásához. Ezután használja az egyéni osztályozó modell Amazon erőforrásnevét (ARN) a következtetési verem létrehozásához, amely az AWS CDK használatával létrehoz egy Amazon Comprehend végpontot. szolgáltatói keretrendszer, amelyet azután harmadik féltől származó alkalmazásokból vagy kliensgépekből származó következtetésekhez használhat.

A következő ábra szemlélteti a képzési verem architektúráját.

A munkafolyamat lépései a következők:

1. Töltse fel a SEOSS-adatkészletet a képzési verem telepítési folyamatának részeként létrehozott S3-csoportba. Ez létrehoz egy eseményindítót, amely meghívja a etl_lambda funkciót.
2. A etl_lambda funkció letölti a nyers adatkészletet az Amazon S3-ból az Amazon EFS-be.
3. A etl_lambda funkció elvégzi a SEOSS adatkészlet adat-előfeldolgozási feladatát.
4. Amikor a függvény végrehajtása befejeződött, feltölti az átalakított adatokat a következővel prepped_data az S3 vödör előtagja.
5. Miután az átalakított adatok feltöltése befejeződött, sikeres ETL-befejezési üzenetet küld az Amazon SNS.
6. Az Amazon Comprehendben kétféle módon osztályozhatja dokumentumait: több osztályú vagy több címkés. A többosztályos mód minden dokumentumhoz egy és csak egy osztályt azonosít, a többcímkés mód pedig minden dokumentumhoz egy vagy több címkét azonosít. Mivel minden dokumentumhoz egyetlen osztályt szeretnénk azonosítani, az egyéni osztályozó modellt több osztályos módban tanítjuk. Az Amazon SNS kiváltja a train_classifier_lambda funkció, amely elindítja az Amazon Comprehend osztályozó képzést több osztályos módban.
7. A train_classifier_lambda funkció elindítja az Amazon Comprehend egyéni osztályozó képzést.
8. Az Amazon Comprehend letölti az átalakított adatokat a prepped_data előtag az Amazon S3-ban az egyéni osztályozó modell betanításához.
9. Amikor a modellképzés befejeződött, az Amazon Comprehend feltölti a model.tar.gz fájlt a output_data az S3 vödör előtagja. Az egyéni osztályozó modell betanításának átlagos befejezési ideje körülbelül 10 óra.
10. Az Amazon S3 feltöltési trigger meghívja a extract_comprehend_model_name_lambda függvény, amely lekéri az ARN egyéni osztályozó modellt.
11. A függvény kivonja az ARN egyéni osztályozó modellt az S3 esemény hasznos adatából és válaszából list-document-classifiers hívás.
12. A függvény elküldi az ARN egyéni osztályozó modellt arra az e-mail címre, amelyre korábban előfizetett a képzési verem létrehozási folyamatának részeként. Ezután ezt az ARN-t használja a következtetési verem telepítéséhez.

Ez a telepítés létrehozza a következtetési veremet, amint az a következő ábrán látható. A következtetési verem egy REST API-t biztosít, amelyet egy AWS Identity and Access Management (IAM) hitelesítő, amellyel a címkék megbízhatósági pontszámait generálhatja a harmadik féltől származó alkalmazástól vagy ügyfélgéptől származó beviteli szöveg alapján.

Előfeltételek

Ehhez a demóhoz a következő előfeltételekkel kell rendelkeznie:

• An AWS-fiók.
• Python 3.7 vagy újabb, node.jsés megy a fejlesztőgépben. Az AWS CDK a Node.js meghatározott verzióit használja (>=10.13.0, kivéve a 13.0.0 – 13.6.0 verziót). Az aktív hosszú távú támogatás (LTS) verziója javasolt.
  A Node.js aktív LTS-verziójának telepítéséhez a következőket használhatja script telepítése mert nvm És használni nvm nak nek telepíteni a Node.js LTS verzió. Az aktuális aktív LTS Node.js fájlt a csomagkezelőn keresztül is telepítheti a választott operációs rendszertől függően.

  MacOS esetén a Node.js fájlt a csomagkezelőn keresztül telepítheti a következő módon utasítás.

  Windows esetén a Node.js fájlt a csomagkezelőn keresztül telepítheti a következő módon utasítás.

• Az AWS CDK v2 előre telepítve van, ha egy AWS Cloud9 IDE. Ha AWS Cloud9 IDE-t használ, kihagyhatja ezt a lépést. Ha nincs telepítve az AWS CDK a fejlesztőgépen, telepítse az AWS CDK v2-t globálisan a Node Package Manager paranccsal npm install -g aws-cdk. Ehhez a lépéshez telepíteni kell a Node.js fájlt a fejlesztőgépen.
• Konfigurálja az AWS hitelesítési adatait az AWS-erőforrások eléréséhez és létrehozásához az AWS CDK használatával. Az utasításokat lásd Hitelesítési adatok és régió megadása.
• Töltse le a SEOSS adatkészlet Követelményekből, hibajelentésekből, kódelőzményekből és 33 nyílt forráskódú szoftverprojekt nyomkövetési hivatkozásaiból áll. Mentse el a fájlt dataverse_files.zip a helyi gépen.

Telepítse az AWS CDK képzési veremét

Az AWS CDK telepítéséhez a képzési veremmel kezdjük. Hajtsa végre a következő lépéseket:

1. A GitHub adattár klónozása:

$ git clone https://github.com/aws-samples/amazon-comprehend-custom-automate-classification-it-service-request.git

2. Navigáljon a amazon-comprehend-custom-automate-classification-it-service-request mappa:

$ cd amazon-comprehend-custom-automate-classification-it-service-request/

Az összes következő parancs a amazon-comprehend-custom-automate-classification-it-service-request könyvtárban.

3. Az amazon-comprehend-custom-automate-classification-it-service-request könyvtárban inicializálja a Python virtuális környezetet, és telepítse a követelmények.txt fájlt a pip-vel:

$ python3 -m venv .venv
$ source .venv/bin/activate
$ pip install -r requirements.txt

4. Ha először használja az AWS CDK-t egy adott AWS-fiókban és régióban, tekintse meg a az AWS CDK környezet rendszerindítása:

$ cdk bootstrap aws:///

5. Szintetizálja a CloudFormation sablonokat ehhez a megoldáshoz a használatával cdk synth És használni cdk deploy a korábban említett AWS-erőforrások létrehozásához:

$ cdk synth
$ cdk deploy VPCStack EFSStack S3Stack SNSStack ExtractLoadTransformEndPointCreateStack --parameters SNSStack:emailaddressarnnotification=

Miután beléptél cdk deploy, az AWS CDK megkérdezi, hogy kíván-e változtatásokat telepíteni a cdk deploy parancsban meghívott összes veremhez.

6. belép y az egyes veremlétrehozási promptokhoz, akkor a cdk telepítési lépés létrehozza ezeket a veremeket. Iratkozzon fel az Ön által megadott e-mail címre a cdk telepítés részeként létrehozott SNS témakörre.
7. Miután a cdk telepítése sikeresen befejeződött, hozzon létre egy mappát, melynek neve raw_data az S3 vödörben comprehendcustom---s3stack.
8. Töltse fel a SEOSS adatkészletet dataverse_files.zip amit korábban letöltött ebbe a mappába.

A feltöltés befejezése után a megoldás meghívja a etl_lambda függvény egy Amazon S3 eseményindító segítségével elindítja a kibontási, átalakítási és betöltési (ETL) folyamatot. Az ETL folyamat sikeres befejezése után üzenetet küld az SNS témakörnek, amely meghívja a train_classifier_lambda funkció. Ez a funkció elindítja az Amazon Comprehend egyéni osztályozó modell képzését. Attól függően, hogy modelljét a teljes SEOSS-adatkészletre tanítja-e, a betanítás akár 10 órát is igénybe vehet. Amikor a képzési folyamat befejeződött, az Amazon Comprehend feltölti a model.tar.gz fájlt a output_data előtag az S3 vödörben.

Ez a feltöltés kiváltja a extract_comprehend_model_name_lambda függvény egy S3 eseményindítóval, amely kibontja az ARN egyéni osztályozó modellt, és elküldi azt a korábban feliratkozott e-mail címre. Ezt az ARN egyéni osztályozó modellt használják ezután a következtetési verem létrehozásához. Amikor a modell betanítás befejeződött, megtekintheti az egyéni osztályozó modell teljesítménymutatóit az Amazon Comprehend konzol verzió részletei szakaszához navigálva (lásd a következő képernyőképet), vagy az Amazon Comprehend használatával. Boto3 SDK.

Telepítse az AWS CDK következtetési veremét

Most készen áll a következtetési verem telepítésére.

1. Másolja ki az ARN egyéni osztályozó modellt a kapott e-mailből, és használja a következőket cdk deploy parancsot a következtetési verem létrehozásához.

Ez a parancs egy IAM-engedélyező által védett API-átjáró REST API-t telepít, amelyet az execute-api:Invoke IAM jogosultsággal rendelkező AWS-felhasználói azonosítóra vagy IAM-szerepkörre használ. A következő cdk deploy parancs telepíti a következtetési veremet. Ez a verem az AWS CDK-t használja szolgáltatói keretrendszer létrehozni az Amazon Comprehend végpontot egyéni erőforrásként, így az Amazon Comprehend végpont létrehozása, törlése és frissítése a következtetési verem életciklusának részeként elvégezhető a cdk deploy és cdk delete parancsok használatával.

Mivel a modell betanítása után le kell futtatnia a következő parancsot, ami akár 10 órát is igénybe vehet, ezért győződjön meg arról, hogy abban a Python virtuális környezetben van, amelyet egy korábbi lépésben inicializált, és a amazon-comprehend-custom-automate-classification-it-service-request Könyvtár:

$ cdk deploy APIGWInferenceStack --parameters APIGWInferenceStack:documentclassifierarn=

Például:

$ cdk deploy APIGWInferenceStack --parameters APIGWInferenceStack:documentclassifierarn=arn:aws:comprehend:us-east-2:111122223333:document-classifier/ComprehendCustomClassifier-11111111-2222-3333-4444-abc5d67e891f/version/v1

2. Azután cdk deploy parancs sikeresen befejeződött, másolja ki a APIGWInferenceStack.ComprehendCustomClassfierInvokeAPI értéket a konzol kimenetéből, és használja ezt a REST API-t arra, hogy következtetéseket generáljon egy kliensgépről vagy egy harmadik féltől származó alkalmazásból, amely rendelkezik execute-api:Invoke IAM privilégium. Ha ezt a megoldást az us-east-2-ben futtatja, akkor ennek a REST API-nak a formátuma a következő https://.execute-api.us-east-2.amazonaws.com/prod/invokecomprehendV1.

Alternatív megoldásként használhatja a tesztklienst apiclientinvoke.py a GitHub adattárból, hogy kérést küldjön az egyéni osztályozó modellnek. Az apiclientinvoke.py használata előtt győződjön meg arról, hogy a következő előfeltételek teljesülnek:

• Megvan a boto3 és a requests Python csomag a pip használatával telepítve az ügyfélgépen.
• Beállította a Boto3 hitelesítő adatait. Alapértelmezés szerint a tesztkliens azt feltételezi, hogy létezik egy alapértelmezett nevű profil, és rendelkezik a execute-api:Invoke IAM-jogosultság a REST API-n.
• A SigV4Auth arra a régióra mutat, ahol a REST API telepítve van. Frissítse a értéket us-east-2 in apiclientinvoke.py ha a REST API-ja az us-east-2-ben van telepítve.
• Ön hozzárendelte a raw_data változó azzal a szöveggel, amelyre az osztály előrejelzését vagy az osztályozási kérést kívánja készíteni:

raw_data="""Spark is a unified analytics engine for large-scale data processing. It provides high-level APIs in Scala, Java, Python, and R, and an optimized engine that supports general computation graphs for data analysis."""

• Ön hozzárendelte a restapi változó a korábban másolt REST API-val:

restapi="https://.execute-api.us-east-2.amazonaws.com/prod/invokecomprehendV1"

3. Futtassa a apiclientinvoke.py az előző frissítések után:

$ python3 apiclientinvoke.py

A következő választ kapja az egyéni osztályozó modelltől:

{
 "statusCode": 200,
 "body": [
	{
	 "Name": "SPARK",
	 "Score": 0.9999773502349854
	},
	{
	 "Name": "HIVE",
	 "Score": 1.1613215974648483e-05
	},
	{
	 "Name": "DROOLS",
	 "Score": 1.1110682862636168e-06
	}
   ]
}

Az Amazon Comprehend megbízhatósági pontszámot ad vissza minden egyes helyesen hozzárendelt címkéhez. Ha a szolgáltatás nagyon magabiztos egy címkét illetően, akkor a pontszám közelebb lesz az 1-hez. Ezért a SEOSS-adatkészlettel betanított Amazon Comprehend egyéni osztályozómodell esetében az egyéni osztályozó modell azt jósolja, hogy a szöveg a SPARK osztályhoz tartozik. Ez az Amazon Comprehend egyéni osztályozó modell által visszaadott besorolás felhasználható az IT-szolgáltatáskérések osztályozására vagy az IT-szolgáltatáskérések helyes kategóriájának előrejelzésére, ezáltal csökkentve a kézi hibákat vagy a szolgáltatáskérések téves besorolását.

Tisztítsuk meg

Az ebben a bejegyzésben létrehozott összes erőforrás megtisztításához, amely a képzési verem és a következtetési verem részeként jött létre, használja a következő parancsot. Ez a parancs törli az előző cdk deploy parancsok részeként létrehozott összes AWS-erőforrást:

$ cdk destroy --all

Következtetés

Ebben a bejegyzésben bemutattuk, hogy a vállalkozások hogyan valósíthatnak meg felügyelt ML-modellt az Amazon Comprehend egyéni besorolásával, hogy előre jelezzék az IT-szolgáltatási kérelmek kategóriáját a tárgy vagy a végfelhasználó által benyújtott kérés leírása alapján. Miután felépített és betanított egy egyéni osztályozó modellt, valós idejű elemzést futtathat az egyéni osztályozáshoz egy végpont létrehozásával. Miután telepítette ezt a modellt egy Amazon Comprehend végponton, valós idejű következtetések futtatására használható harmadik féltől származó alkalmazások vagy más ügyfélgépek, beleértve az IT-szolgáltatáskezelési eszközöket is. Ezt a következtetést ezután felhasználhatja a hibakategória előrejelzésére, és csökkentheti a kézi hibákat vagy a jegyek téves besorolását. Ez segít csökkenteni a jegyfeloldás késedelmét, és növeli a felbontás pontosságát és az ügyfelek termelékenységét, ami végső soron az ügyfelek elégedettségének növekedését eredményezi.

Az ebben a bejegyzésben szereplő fogalmakat kiterjesztheti más felhasználási esetekre is, például az üzleti vagy informatikai jegyek útválasztására különböző belső csapatokhoz, például üzleti részlegekhez, ügyfélszolgálati ügynökökhöz és 2/3 szintű informatikai támogatáshoz, amelyet akár végfelhasználók, akár automatizáltak hoznak létre. eszközök.

Referenciák

• Rath, Michael; Mäder, Patrick, 2019, „A SEOSS-adatkészlet – Követelmények, hibajelentések, kódelőzmények és nyomkövetési hivatkozások teljes projektekhez”, https://doi.org/10.7910/DVN/PDDZ4Q, Harvard Dataverse, V1

A szerzőkről

Arnab Chakraborty az Ohio állambeli Cincinnatiből származó Sr. Solutions Architect az AWS-nél. Szenvedélyesen rajong a vállalati és megoldási architektúra, az adatelemzés, a szerver nélküli és a gépi tanulás témaköreiért. Szabadidejében szívesen néz filmeket, utazási műsorokat és sportol.

Vírusos Desai az AWS vezető megoldási építésze. Több mint 25 éves információtechnológiai tapasztalattal segíti ügyfeleit az AWS átvételében és az architektúrák modernizálásában. Szeret túrázni, és szívesen búvárkodik az ügyfelekkel az AWS-ben.