Automatiseerige IT-teenuste taotluste klassifitseerimine Amazon Comprehendi kohandatud klassifikaatoriga

Ettevõtted tegelevad sageli suurte IT-teenuste taotlustega. Traditsiooniliselt lasub iga väljaande jaoks õige kategooria valimine taotleja kanda. Käsitsi tehtud viga või pileti valesti klassifitseerimine tähendab tavaliselt IT-teenuse taotluse lahendamise viivitamist. Selle tulemuseks võib olla tootlikkuse vähenemine, klientide rahulolu vähenemine, mõju teenusetaseme lepingutele (SLA) ja laiemad tegevused. Teie ettevõtte kasvades muutub veelgi olulisemaks probleem õige teenusepäringu õigele meeskonnale jõudmiseks. Masinõppel (ML) ja tehisintellektil põhineva lähenemisviisi kasutamine võib aidata teie ettevõtte pidevalt arenevaid vajadusi rahuldada.

Järelevalvega ML on protsess, mis kasutab märgistatud andmekogumeid ja väljundeid, et koolitada õppealgoritme, kuidas andmeid klassifitseerida või tulemusi ennustada. Amazoni mõistmine on loomuliku keele töötlemise (NLP) teenus, mis kasutab tekstis väärtuslike arusaamade ja seoste avastamiseks ML-i. See pakub ML-i toega API-sid võtmefraaside, olemite, sentimentaalanalüüsi ja muu eraldamiseks.

Selles postituses näitame teile, kuidas rakendada järelevalvega ML-mudelit, mis aitab IT-teenuste taotlusi automaatselt klassifitseerida, kasutades Amazon mõista kohandatud klassifikatsiooni. Amazon Comprehendi kohandatud klassifikatsioon aitab teil kohandada Amazon Comprehendi teie konkreetsetele vajadustele ilma ML-põhiste NLP-lahenduste loomiseks vajalike oskusteta. Automaatse ML-i või AutoML-i abil koostab Amazon Comprehend kohandatud klassifikatsioon teie nimel kohandatud NLP-mudeleid, kasutades teie esitatud koolitusandmeid.

Ülevaade lahendusest

IT-teenuse taotluste klassifikatsiooni illustreerimiseks kasutab see lahendus SEOSS-i andmestik. See andmestik on süstemaatiliselt välja otsitav andmestik, mis koosneb 33 avatud lähtekoodiga tarkvaraprojektist, mis sisaldab suurt hulka trükitud artefakte ja nendevahelisi jälgimislinke. See lahendus kasutab nende 33 avatud lähtekoodiga projekti probleemiandmeid, kokkuvõtteid ja kirjeldusi, mille lõppkasutajad on teatanud, et luua Amazon Comprehendi abil kohandatud klassifikaatori mudel.

See postitus näitab, kuidas lahendust rakenduse abil juurutada ja juurutada AWS pilvearenduskomplekt (AWS CDK) isoleeritud Amazoni virtuaalne privaatpilv (Amazon VPC) keskkond, mis koosneb ainult privaatsetest alamvõrkudest. Samuti kasutame koodi selleks, et näidata, kuidas saate AWS CDK-d kasutada pakkuja raamistik, miniraamistik teenusepakkuja juurutamiseks AWS CloudFormation kohandatud ressursid kohandatud ressursi, näiteks Amazon Comprehendi lõpp-punkti loomiseks, värskendamiseks või kustutamiseks. Amazon Comprehendi lõpp-punkt sisaldab hallatud ressursse, mis muudavad teie kohandatud mudeli kliendimasinale või kolmanda osapoole rakendustele reaalajas järelduste tegemiseks kättesaadavaks. The kood selle lahenduse jaoks on saadaval Githubis.

Lahenduse infrastruktuuri, rakenduse koodi ja konfiguratsiooni juurutamiseks kasutate AWS CDK-d. Teil on vaja ka AWS-i kontot ja AWS-i ressursside loomise võimalust. Kasutate AWS-i CDK-d, et luua AWS-i ressursse, nagu privaatsete alamvõrkudega VPC, Amazon VPC lõpp-punktid, Amazon elastne failisüsteem (Amazon EFS), an Amazoni lihtne teavitusteenus (Amazon SNS) teema, an Amazoni lihtne salvestusteenus (Amazon S3) kopp, Amazon S3 sündmuste teatisedja AWS Lambda funktsioonid. Need AWS-i ressursid moodustavad ühiselt koolituspaki, mida kasutate kohandatud klassifikaatori mudeli koostamiseks ja koolitamiseks.

Pärast nende AWS-i ressursside loomist laadite alla SEOSS-i andmestiku ja laadite andmekogumi üles lahenduse loodud S3 ämbrisse. Kui juurutate seda lahendust AWS-i regioonis us-east-2, on S3 ämbri nime vorming comprehendcustom--us-east-2-s3stack. Lahendus kasutab Amazon S3 mitmeosalist üleslaadimispäästikut, et käivitada Lambda funktsioon, mis käivitab sisendandmete eeltöötluse, ja kasutab eeltöödeldud andmeid Amazon Comprehend kohandatud klassifikaatori koolitamiseks kohandatud klassifikaatori mudeli loomiseks. Seejärel kasutate kohandatud klassifikaatori mudeli Amazoni ressursi nime (ARN), et luua järelduste virn, mis loob AWS CDK abil Amazon Comprehendi lõpp-punkti. pakkuja raamistik, mida saate seejärel kasutada järelduste tegemiseks kolmanda osapoole rakendusest või klientmasinast.

Järgnev diagramm illustreerib koolituspinu arhitektuuri.

Töövoo etapid on järgmised.

1. Laadige SEOSS-i andmestik üles S3 ämbrisse, mis on loodud koolituspinu juurutamisprotsessi osana. See loob sündmuse päästiku, mis kutsub esile etl_lambda funktsiooni.
2. . etl_lambda funktsioon laadib toorandmete komplekti Amazon S3-st alla Amazon EFS-i.
3. . etl_lambda funktsioon täidab SEOSS-i andmestiku andmete eeltöötlusülesande.
4. Kui funktsiooni täitmine on lõppenud, laadib see teisendatud andmed üles rakendusega prepped_data S3 ämbri eesliide.
5. Pärast teisendatud andmete üleslaadimise lõpetamist saadetakse Amazon SNS-ile ETL-i eduka lõpetamise teade.
6. Amazon Comprehendis saate oma dokumente klassifitseerida kahe režiimi abil: mitme klassi või mitme sildi järgi. Mitme klassi režiim tuvastab iga dokumendi jaoks ühe ja ainult ühe klassi ning mitme sildi režiim tuvastab iga dokumendi jaoks ühe või mitu silti. Kuna soovime tuvastada iga dokumendi jaoks ühe klassi, treenime kohandatud klassifikaatori mudelit mitme klassi režiimis. Amazon SNS käivitab train_classifier_lambda funktsioon, mis käivitab Amazon Comprehend klassifikaatori koolituse mitme klassi režiimis.
7. . train_classifier_lambda funktsioon käivitab Amazon Comprehend kohandatud klassifikaatori koolituse.
8. Amazon Comprehend laadib teisendatud andmed alla prepped_data prefiks Amazon S3-s kohandatud klassifikaatori mudeli koolitamiseks.
9. Kui mudelikoolitus on lõppenud, laadib Amazon Comprehend üles model.tar.gz faili juurde output_data S3 ämbri eesliide. Selle kohandatud klassifikaatori mudeli väljaõppe keskmine läbimisaeg on ligikaudu 10 tundi.
10. Amazon S3 üleslaadimise päästik kutsub esile extract_comprehend_model_name_lambda funktsioon, mis hangib kohandatud klassifikaatori mudeli ARN.
11. Funktsioon eraldab kohandatud klassifikaatori mudeli ARN S3 sündmuse kasulikust koormusest ja vastusest list-document-classifiers helistama.
12. Funktsioon saadab kohandatud klassifikaatori mudeli ARN e-posti aadressile, mille olite koolitusvirna loomise protsessi käigus varem tellinud. Seejärel kasutate seda ARN-i järelduste virna juurutamiseks.

See juurutus loob järelduste virna, nagu on näidatud järgmisel joonisel. Järelduspinn pakub teile REST API-d, mis on kaitstud an AWS-i identiteedi- ja juurdepääsuhaldus (IAM) autoriseerija, mida saate seejärel kasutada siltide usaldusskooride loomiseks kolmanda osapoole rakendusest või klientmasinast saadud sisendteksti põhjal.

Eeldused

Selle demo jaoks peaksid teil olema järgmised eeltingimused.

• An AWS-i konto.
• Python 3.7 või uuem, Node.jsja Git arendusmasinas. AWS-i CDK kasutab konkreetseid Node.js-i versioone (>=10.13.0, välja arvatud versioonid 13.0.0–13.6.0). Soovitatav on aktiivse pikaajalise toe (LTS) versioon.
  Node.js-i aktiivse LTS-versiooni installimiseks võite kasutada järgmist installi skript eest nvm ja kasutamise nvm et paigaldama Node.js LTS versioon. Sõltuvalt teie valitud operatsioonisüsteemist saate installida ka praeguse aktiivse LTS Node.js paketihalduri kaudu.

  MacOS-i jaoks saate Node.js-i installida paketihalduri kaudu, kasutades järgmist juhised.

  Windowsi puhul saate faili Node.js installida paketihalduri kaudu, kasutades järgmist juhised.

• AWS CDK v2 on eelinstallitud, kui kasutate AWSi pilv IDE. Kui kasutate AWS Cloud9 IDE-d, võite selle sammu vahele jätta. Kui teil pole arendusmasinasse installitud AWS CDK-d, installige AWS CDK v2 globaalselt, kasutades käsku Node Package Manager npm install -g aws-cdk. Selle sammu jaoks on Node.js installitud arendusmasinasse.
• Konfigureerige oma AWS-i mandaadid, et AWS-i ressursse kasutada ja AWS-i CDK abil luua. Juhiste saamiseks vaadake Mandaatide ja piirkonna määramine.
• Lae alla SEOSS-i andmestik mis koosneb nõuetest, veaaruannetest, koodiajaloost ja 33 avatud lähtekoodiga tarkvaraprojekti jälgimislinkidest. Salvestage fail dataverse_files.zip oma kohalikus masinas.

Juurutage AWS CDK treeningpinn

AWS CDK juurutamiseks alustame koolituste virust. Tehke järgmised sammud.

1. Kloonige GitHubi hoidla:

$ git clone https://github.com/aws-samples/amazon-comprehend-custom-automate-classification-it-service-request.git

2. Liikuge amazon-comprehend-custom-automate-classification-it-service-request kausta:

$ cd amazon-comprehend-custom-automate-classification-it-service-request/

Kõik järgmised käsud käivitatakse rakenduses amazon-comprehend-custom-automate-classification-it-service-request kataloog.

3. Initsialiseerige Pythoni virtuaalne keskkond kataloogis amazon-comprehend-custom-automate-classification-it-service-request ja installige failid nõuded.txt koos pip-ga:

$ python3 -m venv .venv
$ source .venv/bin/activate
$ pip install -r requirements.txt

4. Kui kasutate AWS CDK-d konkreetsel AWS-i kontol ja piirkonnas esimest korda, vaadake juhiseid AWS CDK keskkonna alglaadimine:

$ cdk bootstrap aws:///

5. Sünteesige selle lahenduse jaoks CloudFormationi mallid, kasutades cdk synth ja kasutamise cdk deploy varem mainitud AWS-i ressursside loomiseks:

$ cdk synth
$ cdk deploy VPCStack EFSStack S3Stack SNSStack ExtractLoadTransformEndPointCreateStack --parameters SNSStack:emailaddressarnnotification=

Pärast sisenemist cdk deploy, küsib AWS CDK, kas soovite juurutada muudatusi iga virna jaoks, mida käsku cdk deploy välja kutsutakse.

6. sisene y iga virna loomise viipa jaoks loob cdk juurutamise samm need virnad. Tellige enda antud meiliaadress SNS-i teemasse, mis on loodud cdk juurutamise osana.
7. Kui cdk juurutamine on edukalt lõpule jõudnud, looge kaust nimega raw_data S3 ämbris comprehendcustom---s3stack.
8. Laadige üles SEOSS-i andmestik dataverse_files.zip mille olete varem sellesse kausta alla laadinud.

Pärast üleslaadimise lõpetamist kutsub lahendus välja etl_lambda funktsiooni Amazon S3 sündmusepäästiku abil, et käivitada ekstraktimise, teisendamise ja laadimise (ETL) protsess. Kui ETL-protsess on edukalt lõppenud, saadetakse SNS-i teemale teade, mis kutsub esile train_classifier_lambda funktsiooni. See funktsioon käivitab Amazon Comprehendi kohandatud klassifikaatori mudeli koolituse. Olenevalt sellest, kas treenite oma mudelit kogu SEOSS-i andmestiku põhjal, võib koolitus kesta kuni 10 tundi. Kui koolitusprotsess on lõppenud, laadib Amazon Comprehend üles model.tar.gz faili juurde output_data eesliide S3 ämbris.

See üleslaadimine käivitab extract_comprehend_model_name_lambda funktsioon S3 sündmuse päästikuga, mis ekstraheerib kohandatud klassifikaatori mudeli ARN ja saadab selle varem tellitud meiliaadressile. Seda kohandatud klassifikaatori mudelit ARN kasutatakse seejärel järelduste virna loomiseks. Kui mudelikoolitus on lõppenud, saate kohandatud klassifikaatori mudeli jõudlusmõõdikuid vaadata, navigeerides Amazon Comprehendi konsoolis versiooni üksikasjade jaotisesse (vt järgmist ekraanipilti) või kasutades Amazon Comprehendi Boto3 SDK.

Juurutage AWS CDK järelduspinn

Nüüd olete valmis järelduste virna juurutama.

1. Kopeerige saadud meilist kohandatud klassifikaatori mudel ARN ja kasutage järgmist cdk deploy käsk järelduste virna loomiseks.

See käsk juurutab API Gateway REST API, mis on kaitstud IAM-i autoriseerijaga, mida kasutate AWS-i kasutaja-ID või IAM-i rolli järeldamiseks, millel on õigus execute-api:Invoke IAM. Järgmine käsk cdk deploy juurutab järelduspinu. See virn kasutab AWS CDK-d pakkuja raamistik Amazon Comprehendi lõpp-punkti loomiseks kohandatud ressursina, nii et Amazon Comprehendi lõpp-punkti loomist, kustutamist ja värskendamist saab teha järelduste virna elutsükli osana, kasutades käske cdk deploy ja cdk delete.

Kuna pärast mudelitreeningu lõppemist peate käivitama järgmise käsu, mis võib võtta kuni 10 tundi, veenduge, et olete Pythoni virtuaalses keskkonnas, mille lähtestati varasemas etapis ja amazon-comprehend-custom-automate-classification-it-service-request kataloog:

$ cdk deploy APIGWInferenceStack --parameters APIGWInferenceStack:documentclassifierarn=

Näiteks:

$ cdk deploy APIGWInferenceStack --parameters APIGWInferenceStack:documentclassifierarn=arn:aws:comprehend:us-east-2:111122223333:document-classifier/ComprehendCustomClassifier-11111111-2222-3333-4444-abc5d67e891f/version/v1

2. Pärast cdk deploy käsk on edukalt lõpule viidud, kopeerige APIGWInferenceStack.ComprehendCustomClassfierInvokeAPI väärtust konsooli väljundist ja kasutage seda REST API-d, et luua järeldusi klientmasinast või kolmanda osapoole rakendusest, millel on execute-api:Invoke IAM-i privileeg. Kui kasutate seda lahendust us-east-2-s, on selle REST API vorming https://.execute-api.us-east-2.amazonaws.com/prod/invokecomprehendV1.

Teise võimalusena võite kasutada testklienti apiclientinvoke.py GitHubi hoidlast, et saata päring kohandatud klassifikaatori mudelile. Enne apiclientinvoke.py kasutamist veenduge, et on täidetud järgmised eeltingimused.

• Teil on boto3 ja requests Pythoni pakett installitud kliendi masinasse pipi abil.
• Olete konfigureerinud Boto3 mandaadid. Vaikimisi eeldab testklient, et vaikimisi nimega profiil on olemas ja sellel on execute-api:Invoke IAM-i privileeg REST API-s.
• SigV4Auth osutab piirkonnale, kus REST API on juurutatud. Värskendage väärtuseks us-east-2 in apiclientinvoke.py kui teie REST API on juurutatud us-east-2-s.
• Olete määranud raw_data muutuja tekstiga, millele soovite klassi ennustuse või liigituspäringu teha:

raw_data="""Spark is a unified analytics engine for large-scale data processing. It provides high-level APIs in Scala, Java, Python, and R, and an optimized engine that supports general computation graphs for data analysis."""

• Olete määranud restapi muutuja varem kopeeritud REST API-ga:

restapi="https://.execute-api.us-east-2.amazonaws.com/prod/invokecomprehendV1"

3. Käivita apiclientinvoke.py pärast eelnevaid värskendusi:

$ python3 apiclientinvoke.py

Saate kohandatud klassifikaatori mudelilt järgmise vastuse:

{
 "statusCode": 200,
 "body": [
	{
	 "Name": "SPARK",
	 "Score": 0.9999773502349854
	},
	{
	 "Name": "HIVE",
	 "Score": 1.1613215974648483e-05
	},
	{
	 "Name": "DROOLS",
	 "Score": 1.1110682862636168e-06
	}
   ]
}

Amazon Comprehend tagastab usaldusskoorid iga sildi kohta, mille ta on õigesti omistanud. Kui teenus on sildi suhtes väga kindel, on skoor lähemal 1-le. Seetõttu ennustab kohandatud klassifikaatori mudel Amazon Comprehendi kohandatud klassifikaatori mudeli puhul, mida koolitati SEOSS-i andmestikku kasutades, teksti kuulumist klassi SPARK. Seda Amazon Comprehendi kohandatud klassifikaatori mudeli tagastatud klassifikatsiooni saab seejärel kasutada IT-teenuse taotluste klassifitseerimiseks või IT-teenusepäringute õige kategooria ennustamiseks, vähendades sellega käsitsi vigu või teenusepäringute vale klassifitseerimist.

Koristage

Kõigi selles postituses loodud ressursside puhastamiseks, mis loodi koolituspinu ja järelduste virna osana, kasutage järgmist käsku. See käsk kustutab kõik AWS-i ressursid, mis on loodud eelmiste cdk juurutamiskäskude osana:

$ cdk destroy --all

Järeldus

Selles postituses näitasime teile, kuidas ettevõtted saavad rakendada järelevalvega ML-mudelit, kasutades Amazon Comprehendi kohandatud klassifikatsiooni, et ennustada IT-teenuse taotluste kategooriat kas teema või lõppkasutaja esitatud päringu kirjelduse põhjal. Pärast kohandatud klassifikaatori mudeli loomist ja koolitamist saate lõpp-punkti loomisega käitada kohandatud klassifikatsiooni reaalajas analüüsi. Pärast selle mudeli juurutamist Amazon Comprehendi lõpp-punktis saab seda kasutada reaalajas järelduste tegemiseks kolmandate osapoolte rakenduste või muude kliendimasinate, sealhulgas IT-teenuste haldustööriistade abil. Seejärel saate seda järeldust kasutada veakategooria ennustamiseks ja käsitsi vigade või piletite valesti klassifitseerimise vähendamiseks. See aitab vähendada viivitusi piletite lahendamisel ning suurendab eraldusvõime täpsust ja klientide tootlikkust, mis lõppkokkuvõttes suurendab klientide rahulolu.

Saate laiendada selle postituse mõisteid muudele kasutusjuhtudele, näiteks äri- või IT-piletite marsruutimine erinevatele sisemistele meeskondadele, nagu äriosakonnad, klienditeenindusagendid ja 2./3. taseme IT-tugi, mis on loodud kas lõppkasutajate või automatiseeritud kaudu. tähendab.

viited

• Rath, Michael; Mäder, Patrick, 2019, "SEOSS-i andmestik – nõuded, veaaruanded, koodiajalugu ja jälgimislingid kogu projektide jaoks", https://doi.org/10.7910/DVN/PDDZ4Q, Harvard Dataverse, V1

Autoritest

Arnab Chakraborty on AWS-i vanem lahenduste arhitekt, mis asub Cincinnatis, Ohios. Ta on kirglik ettevõtete ja lahenduste arhitektuuri, andmeanalüütika, serverivaba ja masinõppe teemade vastu. Vabal ajal vaatab ta meelsasti filme, reisisaateid ja sporti.

Viiruslik Desai on AWS-i peamine lahenduste arhitekt. Rohkem kui 25-aastase kogemusega infotehnoloogia vallas on ta aidanud klientidel AWS-i kasutusele võtta ja nende arhitektuure kaasajastada. Talle meeldib matkata ja ta naudib klientidega sügavale sukeldumist kõigis AWS-is.