Automatisoi IT-palvelupyyntöjen luokittelu mukautetulla Amazon Comprehend -luokittimella

Yritykset käsittelevät usein suuria määriä IT-palvelupyyntöjä. Perinteisesti pyynnön esittäjällä on taakka valita oikea kategoria jokaiselle ongelmalle. Manuaalinen virhe tai lipun väärä luokittelu tarkoittaa yleensä viivettä IT-palvelupyynnön ratkaisemisessa. Tämä voi johtaa tuottavuuden laskuun, asiakastyytyväisyyden laskuun, vaikutukseen palvelutasosopimuksiin (SLA) ja laajempiin toiminnallisiin vaikutuksiin. Yrityksesi kasvaessa ongelma saada oikea palvelupyyntö oikealle tiimille tulee entistä tärkeämmäksi. Koneoppimiseen (ML) ja tekoälyyn perustuvan lähestymistavan käyttö voi auttaa yrityksesi jatkuvasti kehittyviin tarpeisiin.

Valvottu ML on prosessi, joka käyttää tunnistettuja tietojoukkoja ja lähtöjä oppimisalgoritmien kouluttamiseen tietojen luokitteluun tai tuloksen ennustamiseen. Amazonin käsitys on luonnollisen kielen käsittelypalvelu (NLP), joka käyttää ML:ää löytääkseen arvokkaita oivalluksia ja yhteyksiä tekstistä. Se tarjoaa ML:n tehostamia API:ita avainlauseiden, entiteettien, tunneanalyysien ja muiden poimimiseksi.

Tässä viestissä näytämme, kuinka voit ottaa käyttöön valvotun ML-mallin, joka voi auttaa luokittelemaan IT-palvelupyynnöt automaattisesti käyttämällä Amazon Comprehend mukautettu luokitus. Amazon Comprehendin mukautettu luokittelu auttaa sinua räätälöimään Amazon Comprehendin erityistarpeisiisi ilman ML-pohjaisten NLP-ratkaisujen rakentamiseen vaadittavia taitoja. Automaattisen ML:n tai AutoML:n avulla Amazon Comprehend mukautettu luokittelu rakentaa mukautettuja NLP-malleja puolestasi käyttämällä antamiasi harjoitustietoja.

Katsaus ratkaisuun

IT-palvelupyyntöluokituksen havainnollistamiseksi tämä ratkaisu käyttää SEOSS-tietojoukko. Tämä tietojoukko on systemaattisesti haettu tietojoukko, joka koostuu 33 avoimen lähdekoodin ohjelmistoprojektista, joka sisältää suuren määrän kirjoitettuja artefakteja ja jäljittää linkkejä niiden välillä. Tämä ratkaisu käyttää näiden 33 avoimen lähdekoodin projektin ongelmatietoja, yhteenvetoja ja loppukäyttäjien raportoimia kuvauksia mukautetun luokitinmallin rakentamiseen Amazon Comprehendin avulla.

Tämä viesti osoittaa, kuinka ratkaisu otetaan käyttöön ja otetaan käyttöön käyttämällä AWS Cloud Development Kit (AWS CDK) eristetyssä Amazonin virtuaalinen yksityinen pilvi (Amazon VPC) -ympäristö, joka koostuu vain yksityisistä aliverkoista. Käytämme koodia myös esitelläksemme, kuinka voit käyttää AWS CDK:ta tarjoajan puitteet, minikehys palveluntarjoajan toteuttamiseen AWS-pilven muodostuminen mukautettuja resursseja, joilla voit luoda, päivittää tai poistaa mukautetun resurssin, kuten Amazon Comprehend -päätepisteen. Amazon Comprehend -päätepiste sisältää hallittuja resursseja, jotka tuovat mukautetun mallisi saataville reaaliaikaista päättelyä varten asiakaskoneelle tai kolmannen osapuolen sovelluksille. The koodi tälle ratkaisulle on saatavilla Githubista.

AWS CDK:n avulla otat käyttöön ratkaisun infrastruktuurin, sovelluskoodin ja kokoonpanon. Tarvitset myös AWS-tilin ja mahdollisuuden luoda AWS-resursseja. Käytät AWS CDK:ta AWS-resurssien, kuten VPC:n, jossa on yksityisiä aliverkkoja, luomiseen, Amazon VPC -päätepisteet, Amazonin elastinen tiedostojärjestelmä (Amazon EFS), an Amazonin yksinkertainen ilmoituspalvelu (Amazon SNS) aihe, an Amazonin yksinkertainen tallennuspalvelu (Amazon S3) ämpäri, Amazon S3 -tapahtumailmoituksetja AWS Lambda toimintoja. Nämä AWS-resurssit muodostavat yhdessä koulutuspinon, jota käytät mukautetun luokitinmallin rakentamiseen ja kouluttamiseen.

Kun olet luonut nämä AWS-resurssit, lataat SEOSS-tietojoukon ja lataat tietojoukon ratkaisun luomaan S3-säihöön. Jos otat tämän ratkaisun käyttöön AWS-alueella us-east-2, S3-alueen nimen muoto on comprehendcustom--us-east-2-s3stack. Ratkaisu käyttää Amazon S3:n moniosaista latausliipaisinta kutsumaan Lambda-toimintoa, joka käynnistää syöttötietojen esikäsittelyn, ja käyttää esikäsiteltyä dataa mukautetun Amazon Comprehend -luokittimen harjoittamiseen mukautetun luokitinmallin luomiseksi. Käytä sitten mukautetun luokitinmallin Amazon-resurssin nimeä (ARN) luodaksesi päättelypinon, joka luo Amazon Comprehend -päätepisteen käyttämällä AWS CDK:ta. tarjoajan puitteet, jota voit sitten käyttää johtopäätöksiin kolmannen osapuolen sovelluksesta tai asiakaskoneesta.

Seuraava kaavio havainnollistaa harjoituspinon arkkitehtuuria.

Työnkulun vaiheet ovat seuraavat:

1. Lataa SEOSS-tietojoukko S3-säilöyn, joka on luotu osana koulutuspinon käyttöönottoprosessia. Tämä luo tapahtumatriggerin, joka kutsuu etl_lambda toiminto.
2. - etl_lambda toiminto lataa raakadatajoukon Amazon S3:sta Amazon EFS:ään.
3. - etl_lambda toiminto suorittaa SEOSS-tietojoukon tietojen esikäsittelytehtävän.
4. Kun funktion suoritus on valmis, se lataa muunnetut tiedot prepped_data etuliite S3-ämpäriin.
5. Kun muunnettujen tietojen lataus on valmis, Amazon SNS:lle lähetetään onnistuneesta ETL:n valmistumisesta kertova viesti.
6. Amazon Comprehendissä voit luokitella asiakirjasi kahdella tavalla: moniluokkainen tai monitarra. Moniluokkatila tunnistaa yhden ja vain yhden luokan kullekin asiakirjalle, ja monitarratila tunnistaa yhden tai useamman tarran kullekin asiakirjalle. Koska haluamme tunnistaa yhden luokan jokaiselle asiakirjalle, koulutamme mukautetun luokitinmallin moniluokkatilassa. Amazon SNS laukaisee train_classifier_lambda toiminto, joka käynnistää Amazon Comprehend -luokittajakoulutuksen moniluokkaisessa tilassa.
7. - train_classifier_lambda -toiminto käynnistää mukautetun luokittelijan koulutuksen Amazon Comprehend.
8. Amazon Comprehend lataa muunnetut tiedot prepped_data etuliite Amazon S3:ssa mukautetun luokitinmallin kouluttamiseksi.
9. Kun mallikoulutus on valmis, Amazon Comprehend lataa model.tar.gz tiedosto tiedostoon output_data S3-kauhan etuliite. Tämän mukautetun luokitinmallin koulutuksen keskimääräinen valmistumisaika on noin 10 tuntia.
10. Amazon S3 -latauskäynnistin käynnistää extract_comprehend_model_name_lambda toiminto, joka hakee mukautetun luokitinmallin ARN.
11. Funktio poimii mukautetun luokitinmallin ARN S3-tapahtuman hyötykuormasta ja vastauksesta list-document-classifiers puhelu.
12. Funktio lähettää mukautetun luokitinmallin ARN sähköpostiosoitteeseen, jonka olet tilannut aiemmin osana koulutuspinon luontiprosessia. Tämän ARN:n avulla otat johtopäätöspinon käyttöön.

Tämä käyttöönotto luo johtopäätöspinon seuraavan kuvan mukaisesti. Päätelmäpino tarjoaa sinulle REST API:n, joka on suojattu an AWS-henkilöllisyyden ja käyttöoikeuksien hallinta (IAM) valtuutus, jota voit sitten käyttää luomaan tarrojen luottamuspisteitä kolmannen osapuolen sovelluksesta tai asiakaskoneesta toimitetun syöttötekstin perusteella.

Edellytykset

Tätä demoa varten sinulla tulee olla seuraavat edellytykset:

• An AWS-tili.
• Python 3.7 tai uudempi, Node.jsja mennä kehityskoneessa. AWS CDK käyttää tiettyjä Node.js-versioita (>=10.13.0, paitsi versiot 13.0.0 – 13.6.0). Suosittelemme aktiivisen pitkäaikaisen tuen (LTS) versiota.
  Voit asentaa Node.js:n aktiivisen LTS-version seuraavasti asenna komentosarja varten nvm Ja käyttää nvm että asentaa Node.js LTS-versio. Voit myös asentaa nykyisen aktiivisen LTS Node.js:n paketinhallinnan kautta valitsemastasi käyttöjärjestelmästä riippuen.

  MacOS:ssa voit asentaa Node.js:n paketinhallinnan kautta käyttämällä seuraavaa ohjeet.

  Windowsissa voit asentaa Node.js:n paketinhallinnan kautta seuraavalla tavalla ohjeet.

• AWS CDK v2 on esiasennettu, jos käytät AWS-pilvi9 IDE. Jos käytät AWS Cloud9 IDE:tä, voit ohittaa tämän vaiheen. Jos sinulla ei ole AWS CDK:ta asennettuna kehityskoneeseen, asenna AWS CDK v2 maailmanlaajuisesti käyttämällä Node Package Manager -komentoa. npm install -g aws-cdk. Tämä vaihe edellyttää, että Node.js on asennettu kehityskoneeseen.
• Määritä AWS-kirjautumistietosi, jotta voit käyttää ja luoda AWS-resursseja AWS CDK:n avulla. Katso ohjeet kohdasta Tunnustietojen ja alueen määrittäminen.
• Lataa SEOSS-tietojoukko koostuu vaatimuksista, virheraporteista, koodihistoriasta ja jäljityslinkeistä 33 avoimen lähdekoodin ohjelmistoprojektiin. Tallenna tiedosto dataverse_files.zip paikallisella koneellasi.

Ota AWS CDK -koulutuspino käyttöön

AWS CDK:n käyttöönotto aloitetaan koulutuspinosta. Suorita seuraavat vaiheet:

1. Kloonaa GitHub-arkisto:

$ git clone https://github.com/aws-samples/amazon-comprehend-custom-automate-classification-it-service-request.git

2. Siirry amazon-comprehend-custom-automate-classification-it-service-request kansio:

$ cd amazon-comprehend-custom-automate-classification-it-service-request/

Kaikki seuraavat komennot suoritetaan sisällä amazon-comprehend-custom-automate-classification-it-service-request hakemistoon.

3. Alusta Python-virtuaaliympäristö hakemistossa amazon-comprehend-custom-automate-classification-it-service-request ja asenna requirements.txt pip:llä:

$ python3 -m venv .venv
$ source .venv/bin/activate
$ pip install -r requirements.txt

4. Jos käytät AWS CDK:ta tietyllä AWS-tilillä ja -alueella ensimmäistä kertaa, katso ohjeet käynnistää AWS CDK -ympäristösi:

$ cdk bootstrap aws:///

5. Syntetisoi tämän ratkaisun CloudFormation-mallit käyttämällä cdk synth Ja käyttää cdk deploy luodaksesi aiemmin mainitut AWS-resurssit:

$ cdk synth
$ cdk deploy VPCStack EFSStack S3Stack SNSStack ExtractLoadTransformEndPointCreateStack --parameters SNSStack:emailaddressarnnotification=

Sisääntulon jälkeen cdk deploy, AWS CDK kysyy, haluatko ottaa muutokset käyttöön jokaiselle cdk deploy -komennossa kutsutulle pinolle.

6. enter y jokaiselle pinon luontikehotteelle cdk-käyttöönottovaihe luo nämä pinot. Tilaa antamasi sähköpostiosoite SNS-aiheeseen, joka on luotu osana cdk:n käyttöönottoa.
7. Kun cdk:n käyttöönotto on suoritettu onnistuneesti, luo kansio nimeltä raw_data S3-ämpäriin comprehendcustom---s3stack.
8. Lataa SEOSS-tietojoukko dataverse_files.zip jonka latasit aiemmin tähän kansioon.

Kun lataus on valmis, ratkaisu kutsuu etl_lambda toiminto Amazon S3 -tapahtumaliipaisimen avulla purkamis-, muunnos- ja latausprosessin (ETL) käynnistämiseen. Kun ETL-prosessi on valmis, SNS-aiheeseen lähetetään viesti, joka kutsuu train_classifier_lambda toiminto. Tämä toiminto käynnistää mukautetun Amazon Comprehend -luokittelumallikoulutuksen. Riippuen siitä, koulutatko malliasi täydellisellä SEOSS-tietojoukolla, koulutus voi kestää jopa 10 tuntia. Kun koulutusprosessi on valmis, Amazon Comprehend lataa model.tar.gz tiedosto tiedostoon output_data etuliite S3-ämpäriin.

Tämä lataus laukaisee extract_comprehend_model_name_lambda toiminto käyttämällä S3-tapahtumaliipaisinta, joka poimii mukautetun luokitinmallin ARN ja lähettää sen aiemmin tilaamaasi sähköpostiosoitteeseen. Tätä mukautettua luokitinmallia ARN käytetään sitten päättelypinon luomiseen. Kun mallikoulutus on valmis, voit tarkastella mukautetun luokitinmallin suorituskykymittareita siirtymällä Amazon Comprehend -konsolin version tiedot -osioon (katso seuraava kuvakaappaus) tai käyttämällä Amazon Comprehendia Boto3 SDK.

Ota käyttöön AWS CDK -päätelmäpino

Nyt olet valmis ottamaan johtopäätöspinon käyttöön.

1. Kopioi mukautettu luokitinmalli ARN saamastasi sähköpostista ja käytä seuraavaa cdk deploy komento luodaksesi päättelypinon.

Tämä komento ottaa käyttöön API Gateway REST API:n, joka on suojattu IAM-valtuutetulla, jota käytät AWS-käyttäjätunnuksen tai IAM-roolin päättelyyn, jolla on vain execute-api:Invoke IAM -oikeus. Seuraava cdk deploy -komento ottaa käyttöön johtopäätöspinon. Tämä pino käyttää AWS CDK:ta tarjoajan puitteet luoda Amazon Comprehend -päätepiste mukautetuksi resurssiksi, jotta Amazon Comprehend -päätepisteen luominen, poistaminen ja päivittäminen voidaan tehdä osana päättelypinon elinkaarta käyttämällä cdk deploy- ja cdk tuhota -komentoja.

Koska sinun on suoritettava seuraava komento mallin harjoittelun jälkeen, mikä voi kestää jopa 10 tuntia, varmista, että olet Python-virtuaaliympäristössä, jonka alustit aiemmassa vaiheessa ja amazon-comprehend-custom-automate-classification-it-service-request hakemistoon:

$ cdk deploy APIGWInferenceStack --parameters APIGWInferenceStack:documentclassifierarn=

Esimerkiksi:

$ cdk deploy APIGWInferenceStack --parameters APIGWInferenceStack:documentclassifierarn=arn:aws:comprehend:us-east-2:111122223333:document-classifier/ComprehendCustomClassifier-11111111-2222-3333-4444-abc5d67e891f/version/v1

2. Jälkeen cdk deploy komento on suoritettu onnistuneesti, kopioi APIGWInferenceStack.ComprehendCustomClassfierInvokeAPI arvo konsolin lähdöstä ja käytä tätä REST-sovellusliittymää luomaan päätelmiä asiakaskoneesta tai kolmannen osapuolen sovelluksesta, jolla on execute-api:Invoke IAM:n etuoikeus. Jos käytät tätä ratkaisua us-east-2:ssa, tämän REST API:n muoto on https://.execute-api.us-east-2.amazonaws.com/prod/invokecomprehendV1.

Vaihtoehtoisesti voit käyttää testiasiakasta apiclientinvoke.py GitHub-arkistosta lähettääksesi pyynnön mukautettuun luokitinmalliin. Ennen kuin käytät apiclientinvoke.py-tiedostoa, varmista, että seuraavat edellytykset täyttyvät:

• Sinulla on boto3 ja requests Python-paketti asennettu pip:llä asiakaskoneeseen.
• Olet määrittänyt Boto3-tunnistetiedot. Oletuksena testiasiakas olettaa, että oletus-niminen profiili on olemassa ja sillä on execute-api:Invoke IAM-oikeus REST-sovellusliittymässä.
• SigV4Auth osoittaa alueelle, jossa REST API on otettu käyttöön. Päivitä arvo us-east-2 in apiclientinvoke.py jos REST API on käytössä us-east-2.
• Olet määrittänyt raw_data muuttuja tekstin kanssa, jolle haluat tehdä luokan ennusteen tai luokituspyynnön:

raw_data="""Spark is a unified analytics engine for large-scale data processing. It provides high-level APIs in Scala, Java, Python, and R, and an optimized engine that supports general computation graphs for data analysis."""

• Olet määrittänyt restapi muuttuja aiemmin kopioidulla REST API:lla:

restapi="https://.execute-api.us-east-2.amazonaws.com/prod/invokecomprehendV1"

3. Suorita apiclientinvoke.py edellisten päivitysten jälkeen:

$ python3 apiclientinvoke.py

Saat seuraavan vastauksen mukautetusta luokitinmallista:

{
 "statusCode": 200,
 "body": [
	{
	 "Name": "SPARK",
	 "Score": 0.9999773502349854
	},
	{
	 "Name": "HIVE",
	 "Score": 1.1613215974648483e-05
	},
	{
	 "Name": "DROOLS",
	 "Score": 1.1110682862636168e-06
	}
   ]
}

Amazon Comprehend palauttaa luottamuspisteet jokaisesta tunnisteesta, jonka se on määrittänyt oikein. Jos palvelu on erittäin varma tarrasta, pisteet ovat lähempänä yhtä. Siksi SEOSS-tietojoukon avulla opetetun Amazon Comprehend mukautetun luokitinmallin mukautettu luokitinmalli ennustaa tekstin kuuluvan luokkaan SPARK. Tätä Amazon Comprehendin mukautetun luokitusmallin palauttamaa luokitusta voidaan sitten käyttää IT-palvelupyyntöjen luokitteluun tai IT-palvelupyyntöjen oikean luokan ennustamiseen, mikä vähentää manuaalisia virheitä tai palvelupyyntöjen virheellistä luokittelua.

Puhdistaa

Voit puhdistaa kaikki tässä viestissä luodut resurssit, jotka on luotu osana koulutuspinoa ja päättelypinoa, käyttämällä seuraavaa komentoa. Tämä komento poistaa kaikki AWS-resurssit, jotka on luotu osana aiempia cdk deploy -komentoja:

$ cdk destroy --all

Yhteenveto

Tässä postauksessa näytimme sinulle, kuinka yritykset voivat toteuttaa valvotun ML-mallin käyttämällä Amazon Comprehend mukautettua luokittelua ennustaakseen IT-palvelupyyntöjen luokan joko loppukäyttäjän lähettämän pyynnön aiheen tai kuvauksen perusteella. Kun olet rakentanut ja kouluttanut mukautetun luokitinmallin, voit suorittaa mukautetun luokituksen reaaliaikaisen analyysin luomalla päätepisteen. Kun olet ottanut tämän mallin käyttöön Amazon Comprehend -päätepisteessä, sitä voidaan käyttää reaaliaikaisten päätelmien suorittamiseen kolmannen osapuolen sovelluksilla tai muilla asiakaskoneilla, mukaan lukien IT-palvelujen hallintatyökalut. Tämän päätelmän avulla voit sitten ennustaa vikaluokan ja vähentää manuaalisia virheitä tai lippujen virheellisiä luokituksia. Tämä auttaa vähentämään lippujen ratkaisemisen viiveitä ja lisää resoluution tarkkuutta ja asiakkaiden tuottavuutta, mikä viime kädessä johtaa asiakastyytyväisyyden kasvuun.

Voit laajentaa tämän postauksen käsitteitä muihin käyttötapauksiin, kuten liike- tai IT-lippujen reitittämiseen erilaisiin sisäisiin tiimeihin, kuten yritysosastoihin, asiakaspalveluagentteihin ja tason 2/3 IT-tukeen, joko loppukäyttäjien tai automatisoidun avulla. tarkoittaa.

Viitteet

• Rath, Michael; Mäder, Patrick, 2019, "SEOSS Dataset – Requirements, Bug Reports, Code History ja Trace Links for Entire Projects", https://doi.org/10.7910/DVN/PDDZ4Q, Harvard Dataverse, V1

Tietoja Tekijät

Arnab Chakraborty on Sr. Solutions -arkkitehti AWS:ssä Cincinnatista Ohiosta. Hän on intohimoinen yritys- ja ratkaisuarkkitehtuuriin, tietoanalytiikkaan, palvelimettomaan ja koneoppimiseen liittyvistä aiheista. Vapaa-ajallaan hän katselee elokuvia, matkaohjelmia ja urheilua.

Virus- Desai on AWS:n pääratkaisuarkkitehti. Yli 25 vuoden kokemuksella tietotekniikasta hän on auttanut asiakkaita ottamaan käyttöön AWS:n ja modernisoimaan arkkitehtuuriaan. Hän pitää vaeltamisesta ja nauttii sukeltamisesta syvälle asiakkaiden kanssa kaikessa AWS-asioissa.