Kuidas CCC intelligentsed lahendused lõid kohandatud lähenemisviisi keeruliste AI-mudelite majutamiseks, kasutades Amazon SageMakerit

Taasavaldanud Platon

järgijaid: 0

Selle postituse kaasautoriteks on Christopher Diaz, Sam Kinard, Jaime Hidalgo ja Daniel Suarez ettevõttest CCC Intelligent Solutions.

Selles postituses arutame, kuidas CCC intelligentsed lahendused (CCC) kombineeritud Amazon SageMaker koos teiste AWS-teenustega, et luua kohandatud lahendus, mis suudab majutada kavandatud keerukaid tehisintellekti (AI) mudeleid. CCC on juhtiv tarkvara-teenusena (SaaS) platvorm mitme triljoni dollari suuruse vara- ja õnnetusjuhtumikindlustuse majanduse jaoks, mis toetab kindlustusandjate, remonditöökodade, autotootjate, varuosade tarnijate, laenuandjate ja palju muud. CCC pilvetehnoloogia ühendab rohkem kui 30,000 XNUMX ettevõtet, kes digiteerivad missioonikriitilisi töövooge, kaubandust ja klientide kogemusi. Usaldusväärne liider tehisintellekti, asjade Interneti (IoT), kliendikogemuse ning võrgu- ja töövoohalduse vallas pakub CCC uuendusi, mis hoiavad inimeste elu edasi, kui see on kõige olulisem.

Väljakutse

CCC töötleb aastas rohkem kui 1 triljoni dollariseid nõuete tehinguid. Kuna ettevõte jätkab arenemist, et integreerida tehisintellekt oma olemasolevasse ja uude tootekataloogi, nõuab see keerukate ärivajaduste lahendamiseks multimodaalse masinõppe (ML) komplektmudelite koolitamiseks ja juurutamiseks keerukaid lähenemisviise. Need on mudelite klass, mis hõlmab patenteeritud algoritme ja teemavaldkonna teadmisi, mida CCC on aastate jooksul lihvinud. Need mudelid peaksid suutma neelata uusi nüansirikaste andmete kihte ja kliendireegleid, et luua ühtseid prognoositulemusi. Sellest ajaveebipostitusest saame teada, kuidas CCC kasutas Amazon SageMakeri hostimist ja muid AWS-i teenuseid, et juurutada või hostida mitut multimodaalset mudelit ansambli järelduste konveierisse.

Nagu on näidatud järgmisel diagrammil, on ansambel kahe või enama mudeli kogum, mis on orkestreeritud töötama lineaarselt või mittelineaarselt ühe ennustuse saamiseks. Lineaarselt virnastatuna saab ansambli üksikuid mudeleid ennustamiseks otse kasutada ja hiljem ühendamiseks konsolideerida. Mõnikord saab ansamblimudeleid rakendada ka järjestikuse järelduste konveierina.

Meie kasutusjuhul on ansambli torujuhe rangelt mittelineaarne, nagu on näidatud järgmisel diagrammil. Mittelineaarsed ansambelkonveierid on teoreetiliselt otseselt atsüklilised graafikud (DAG). Meie kasutusjuhtumi puhul oli sellel DAG-konveieril nii sõltumatud mudelid, mida käitatakse paralleelselt (teenused B, C) kui ka muud mudelid, mis kasutavad eelmiste etappide prognoose (teenus D).

CCC teaduspõhisest kultuurist tulenev tava on tehnoloogiate pidev ülevaatamine, mida saab klientidele suurema väärtuse toomiseks kasutada. Kuna CCC seisis silmitsi selle ansambli väljakutsega, käivitas juhtkond kontseptsiooni tõestamise (POC) algatuse, et hinnata põhjalikult AWS-i pakkumisi, et teha kindlaks, kas Amazon SageMaker ja muud AWS-i tööriistad suudavad hallata üksikute AI-mudelite hostimist keerukas ja mittelineaarses vormis. ansamblid.

Ansambel selgitas: Selles kontekstis on ansambel kahest või enamast AI-mudelist koosnev rühm, mis töötavad koos ühe üldise ennustuse loomiseks.

Uurimist juhivad küsimused

Kas Amazon SageMakerit saab kasutada keerukate tehisintellektimudelite komplektide majutamiseks, mis töötavad koos, et pakkuda ühtset üldist ennustust? Kui jah, siis kas SageMaker võib pakkuda muid eeliseid, nagu suurem automatiseerimine, töökindlus, jälgimine, automaatne skaleerimine ja kulude kokkuhoiu meetmed?

Alternatiivsete viiside leidmine CCC tehisintellekti mudelite juurutamiseks pilveteenuse pakkujate tehnoloogiliste edusammude abil võimaldab CCC-l tuua tehisintellekti lahendused turule kiiremini kui tema konkurents. Lisaks pakub rohkem kui üks juurutusarhitektuur paindlikkust, et leida tasakaal kulude ja jõudluse vahel, lähtudes äriprioriteetidest.

Vastavalt meie nõuetele koostasime järgmise funktsioonide loendi kontrollnimekirjana tootmistaseme juurutusarhitektuuri jaoks.

Komplekssete ansamblite tugi
Garanteeritud tööaeg kõikidele komponentidele
Kohandatav automaatne skaleerimine juurutatud AI mudelite jaoks
AI mudeli sisendi ja väljundi säilitamine
Kõigi komponentide kasutusmõõdikud ja logid
Kulude kokkuhoiu mehhanismid

Kuna enamik CCC AI-lahendusi tugineb arvutinägemismudelitele, oli vaja uut arhitektuuri, et toetada pildi- ja videofaile, mille eraldusvõime suureneb. Oli suur vajadus kujundada ja rakendada see arhitektuur asünkroonse mudelina.

Pärast uurimistsükleid ja esialgseid võrdlusuuringuid otsustas CCC, et SageMaker sobib suurepäraselt enamiku nende tootmisnõuete täitmiseks, eriti SageMakeri garanteeritud tööaega, mis tagab enamiku selle järelduskomponentide jaoks. Amazon SageMakeri asünkroonse järelduse lõpp-punktide vaikefunktsioon, mis salvestab sisendi/väljundi Amazon S3-s, lihtsustab keerukatest ansamblitest loodud andmete säilitamise ülesannet. Lisaks, kui iga AI mudelit hostib oma lõpp-punkt, muutub automaatse skaleerimise poliitika haldamine mudeli või lõpp-punkti tasemel lihtsamaks. Haldamise lihtsustamise tõttu saavad arendusmeeskonnad pühendada rohkem aega skaleerimispoliitika peenhäälestamiseks, et minimeerida arvutusressursside ülevarustamist.

Olles otsustanud jätkata SageMakeri kasutamist arhitektuuri keskse komponendina, mõistsime ka, et SageMaker võib olla osa veelgi suuremast arhitektuurist, mida täiendatakse paljude teiste serverita AWS-i hallatavate teenustega. Seda valikut oli vaja selle keeruka arhitektuuri kõrgema järgu orkestreerimise ja vaadeldavuse hõlbustamiseks.

Esiteks, et eemaldada kasuliku koormuse suuruse piirangud ja oluliselt vähendada ajalõpu riski suure liiklusega stsenaariumide korral, rakendas CCC arhitektuuri, mis käitab ennustusi asünkroonselt, kasutades SageMakeri asünkroonse järelduse lõpp-punktid koos teiste AWS-i hallatavate teenustega, mis on peamised ehitusplokid. Lisaks järgib süsteemi kasutajaliides tule ja unusta disainimustrit. Teisisõnu, kui kasutaja on oma sisendi süsteemi üles laadinud, ei pea enam midagi tegema. Neid teavitatakse, kui ennustus on saadaval. Allolev joonis illustreerib meie asünkroonse sündmustepõhise arhitektuuri kõrgetasemelist ülevaadet. Tulevas osas sukeldume põhjalikult kavandatud arhitektuuri teostusvoogu.

Samm-sammult lahendus

Samm 1

Klient esitab taotluse AWS API lüüs lõpp-punkt. Päringu sisu sisaldab tehisintellekti teenuse nime, kust nad ennustust vajavad, ja soovitud teavitamisviisi.

See taotlus edastatakse a Lambda kutsutud funktsioon Uus ennustus, kelle peamised ülesanded on:

Kontrollige, kas kliendi soovitud teenus on saadaval.
Määrake päringule kordumatu ennustuse ID. Seda ennustuse ID-d saab kasutaja kasutada ennustuse oleku kontrollimiseks kogu protsessi vältel.
Loo an Amazon S3 eelallkirjastatud URL, mida kasutaja peab järgmises etapis kasutama ennustuspäringu sisendsisu üleslaadimiseks.
Loo sissekanne Amazon DynamoDB saadud päringu teabega.

Lambda funktsioon tagastab seejärel API lüüsi lõpp-punkti kaudu vastuse sõnumiga, mis sisaldab päringule määratud ennustuse ID-d ja Amazon S3 eelallkirjastatud URL-i.

Samm 2

Klient laadib prognoositava sisendi sisu turvaliselt üles S3 ämbrisse, kasutades eelmises etapis loodud eelallkirjastatud URL-i. Sisendsisu sõltub AI-teenusest ja võib koosneda piltidest, tabeliandmetest või mõlema kombinatsioonist.

Samm 3

S3-salv on konfigureeritud käivitama sündmust, kui kasutaja laadib sisendsisu üles. See teade saadetakse Amazon SQS-i järjekorda ja seda käsitleb kutsutud Lambda funktsioon Protsessi sisend. Protsessi sisend Lambda hangib DynamoDB-lt selle ennustus-ID-ga seotud teabe, et saada selle teenuse nimi, millele päring tuleb esitada.

See teenus võib olla kas üks AI mudel, sel juhul Protsessi sisend Lambda esitab päringu seda mudelit hostivale SageMakeri lõpp-punktile (samm 3-A) või võib see olla AI-teenus, mille puhul Protsessi sisend Lambda esitab päringu astmefunktsioonide olekumasinale, mis majutab ansambliloogikat (samm 3-B).

Mõlema valiku puhul (üksik AI mudel või ensemble AI teenus), kui lõplik ennustus on valmis, salvestatakse see vastavasse S3 ämbrisse ja helistajat teavitatakse 1. sammus täpsustatud meetodil (täpsemalt teavituste kohta leiate sammust 4).

Samm 3-A

Kui ennustus-ID on seotud ühe AI mudeliga, Protsessi sisend Lambda esitab päringu mudelit teenindavale SageMakeri lõpp-punktile. Selles süsteemis toetatakse kahte tüüpi SageMakeri lõpp-punkte:

Asünkroonne: Protsessi sisend Lambda esitab päringu SageMakeri asünkroonsele lõpp-punktile. Vahetu vastus sisaldab S3 asukohta, kuhu SageMaker salvestab ennustuse väljundi. See päring on asünkroonne, järgides tule ja unusta mustrit ega blokeeri Lambda funktsiooni täitmisvoogu.
Synchronous: Protsessi sisend Lambda teeb päringu SageMakeri sünkroonsele lõpp-punktile. Kuna tegemist on sünkroonse päringuga, ootab protsessi sisend vastust ja kui see on saadud, salvestab see selle S3-sse analoogsel viisil, nagu teeksid SageMakeri asünkroonsed lõpp-punktid.

Mõlemal juhul (sünkroonsed või asünkroonsed lõpp-punktid) töödeldakse ennustust samaväärsel viisil, salvestades väljundi S3 ämbrisse. Kui asünkroonne SageMakeri lõpp-punkt lõpetab ennustuse, käivitatakse Amazon SNS-i sündmus. Seda käitumist korratakse ka sünkroonsete lõpp-punktide jaoks koos Lambda-funktsiooni täiendava loogikaga.

Samm 3-B

Kui ennustus-ID on seotud AI-ansambliga, Protsessi sisend Lambda esitab päringu selle AI ansambliga seotud sammufunktsioonile. Nagu eespool mainitud, on AI Ensemble arhitektuur, mis põhineb AI mudelite rühmal, mis töötavad koos ühe üldise prognoosi loomiseks. AI-ansambli orkestreerimine toimub astmefunktsiooni kaudu.

Sammufunktsioonil on üks samm AI-teenuse kohta, mis sisaldab ansamblit. Iga samm kutsub esile Lambda funktsiooni, mis valmistab ette vastava AI-teenuse sisendi, kasutades eelmiste sammude eelmiste AI-teenuse kutsete väljundsisu erinevaid kombinatsioone. Seejärel helistab see igale AI-teenusele, mis selles kontekstis võib olla üks AI-mudel või mõni muu AI-ansambel.

Sama lambda funktsioon, nn HankigeTransformCall AI Ensemble'i vahepealsete ennustuste käsitlemiseks kasutatakse kogu sammu funktsioonis, kuid iga sammu jaoks on erinevad sisendparameetrid. See sisend sisaldab kutsutava AI-teenuse nime. See sisaldab ka kaardistamise määratlust, et luua sisend määratud AI-teenuse jaoks. Seda tehakse kohandatud süntaksi abil, mida Lambda saab dekodeerida, mis kokkuvõttes on JSON-sõnastik, kus väärtused tuleks asendada varasemate AI-ennustuste sisuga. Lambda laadib need eelmised ennustused alla Amazon S3-st.

Igas etapis on HankigeTransformCall Lambda loeb Amazon S3-st eelnevaid väljundeid, mida on vaja määratud AI-teenuse sisendi koostamiseks. Seejärel kutsub see esile Uus ennustus Lambda-kood, mida on varem 1. toimingus kasutatud, ja esitage teenuse nimi, tagasihelistamise meetod ("sammufunktsioon") ja tagasihelistamiseks vajalik luba päringu kasulikus koormuses, mis seejärel salvestatakse DynamoDB-sse uue ennustuskirjena. Lambda salvestab ka selle etapi loodud sisendi S3 ämbrisse. Olenevalt sellest, kas see etapp on üks AI-mudel või AI-ansambel, esitab Lambda päringu SageMakeri lõpp-punktile või muule astmefunktsioonile, mis haldab AI-ansamblit, mis on lähteansambli sõltuvus.

Kui taotlus on tehtud, läheb sammufunktsioon ootelolekusse, kuni see saab tagasihelistamisloa, mis näitab, et see võib liikuda järgmisse etappi. Tagasihelistamismärgi saatmise toimingu teostab Lambda funktsioon, mida nimetatakse teated (täpsem teave sammus 4), kui vaheprognoos on valmis. Seda protsessi korratakse iga sammufunktsioonis määratletud etapi jaoks, kuni lõplik ennustus on valmis.

Samm 4

Kui ennustus on valmis ja S3 ämbrisse salvestatud, käivitub SNS-teatis. Seda sündmust saab sõltuvalt voost käivitada erineval viisil:

Automaatselt, kui SageMakeri asünkroonne lõpp-punkt lõpetab ennustuse.
Sammufunktsiooni kõige viimase sammuna.
By Protsessi sisend or HankigeTransformCall Lambda, kui sünkroonne SageMakeri lõpp-punkt on ennustuse tagastanud.

B ja C jaoks loome SNS-i sõnumi, mis sarnaneb sellega, mida A automaatselt saadab.

Selle SNS-i teema jaoks on tellitud Lambda-funktsioon nimega teatised. Teavitused Lambda saab DynamoDB-st ennustus-ID-ga seotud teabe, värskendab kirje olekuväärtusega "lõpetatud" või "viga" ja sooritab vajalikud toimingud sõltuvalt andmebaasi kirjesse salvestatud tagasihelistamise režiimist.

Kui see ennustus on AI-ansambli vahepealne ennustus, nagu on kirjeldatud toimingus 3-B, on selle ennustusega seotud tagasihelistamisrežiim "sammufunktsioon" ja andmebaasi kirjel on tagasihelistamisluba, mis on seotud konkreetse sammuga sammu funktsioon. Lambda helistab AWS Step Functions API-le, kasutades meetodit „SendTaskSuccess” või „SendTaskFailure”. See võimaldab sammufunktsioonil jätkata järgmise sammuga või väljuda.

Kui ennustus on sammufunktsiooni lõplik väljund ja tagasihelistamisrežiim on “Webhook” [või e-post, sõnumivahendajad (Kafka) jne], siis teatab Lambda sellest klienti määratud viisil. Kasutaja saab igal ajal küsida oma ennustuse olekut. Taotlus peab sisaldama ennustuse ID-d, mis määrati sammus 1, ja osutama API lüüsis õigele URL-ile, et suunata päring Lambda-funktsiooni nimega tulemused.

Tulemused Lambda esitab DynamoDB-le päringu, saades päringu oleku ja tagastades teabe kasutajale. Kui ennustuse olek on viga, siis lisatakse vastusesse tõrke asjakohased üksikasjad. Kui ennustuse olek on edu, tagastatakse S3 eelallkirjastatud URL, et kasutaja saaks prognoositava sisu alla laadida.

Tulemused

Esialgsed jõudlustestimise tulemused on paljulubavad ja toetavad CCC vajadust laiendada selle uue juurutusarhitektuuri rakendamist.

Märkimisväärsed tähelepanekud:

Testid näitavad suure läbilaskevõimega ja 0-protsendilise tõrkemääraga pakett- või samaaegsete taotluste töötlemise tugevust suure liiklusega stsenaariumide korral.
Sõnumijärjekorrad tagavad süsteemis stabiilsuse äkiliste päringute sissevoolu korral, kuni skaleerimise päästikud suudavad pakkuda täiendavaid arvutusressursse. Liikluse 3 korda suurendamisel kasvas päringu keskmine latentsus vaid 5 protsenti.
Stabiilsuse hind on suurenenud latentsus, mis on tingitud erinevate süsteemikomponentide vahelisest sidepidamisest. Kui kasutajaliiklus ületab algtaseme, saab lisatud latentsust osaliselt leevendada, pakkudes rohkem arvutusressursse, kui jõudlus on kuludest tähtsam.
SageMakeri asünkroonse järelduse lõpp-punktid võimaldavad eksemplaride arvu skaleerida nullini, hoides lõpp-punkti päringute vastuvõtmiseks aktiivsena. See funktsioon võimaldab juurutustel jätkata töötamist ilma arvutuskulusid tekitamata ja vajaduse korral nullist suurendada kahe stsenaariumi korral: madalamates testkeskkondades kasutatavad teenuse juurutused ja need, mille liiklus on minimaalne, ilma et oleks vaja kohest töötlemist.

Järeldus

Nagu POC-protsessi käigus täheldati, loob CCC ja AWS-i ühiselt loodud uuenduslik disain kindla aluse Amazon SageMakeri kasutamiseks koos teiste AWS-i hallatavate teenustega, et majutada keerulisi multimodaalseid AI-ansambleid ning korraldada järelduste konveierid tõhusalt ja sujuvalt. Kasutades Amazon SageMakeri kasutuselolevaid funktsioone, nagu Asynchronous Inference, on CCC-l rohkem võimalusi keskenduda spetsiaalsetele ärikriitilistele ülesannetele. CCC teaduspõhise kultuuri vaimus areneb see uudne arhitektuur edasi, kuna CCC juhib AWS-i kõrval teed võimsate uute AI-lahenduste vallandamiseks klientidele.

Üksikasjalikud juhised asünkroonsete järelduste lõpp-punktide loomise, kutsumise ja jälgimise kohta leiate dokumentatsioon, mis sisaldab ka a märkmiku näidis et aidata teil alustada. Hinnateabe saamiseks külastage Amazon SageMakeri hinnakujundus.

Näiteid asünkroonsete järelduste kasutamise kohta struktureerimata andmetega, nagu arvutinägemine ja loomuliku keele töötlemine (NLP), vaadake Käivitage Amazon SageMakeri asünkroonsete lõpp-punktidega suurte videote puhul arvutinägemise järeldus ja Parandage väärtuslikku uurimistööd Hugging Face ja Amazon SageMaker asünkroonsete järelduste lõpp-punktidega, Vastavalt.

Autoritest

Christopher Diaz on CCC Intelligent Solutionsi uurimis- ja arendustegevuse juhtiv insener. Teadus- ja arendusmeeskonna liikmena on ta töötanud mitmesuguste projektidega alates ETL-i tööriistade loomisest, tausta veebiarendusest, koostööst teadlastega, et koolitada hajutatud süsteemides tehisintellekti mudeleid, ning hõlbustada uute tehisintellektiteenuste pakkumist uurimis- ja operatsioonimeeskondade vahel. Tema hiljutine fookus on keskendunud pilvetööriistade lahenduste uurimisele, et täiustada ettevõtte tehisintellektimudelite arendamise elutsükli erinevaid aspekte. Vabal ajal meeldib talle proovida uusi restorane oma kodulinnas Chicagos ja koguda nii palju LEGO komplekte, kui koju mahub. Christopher omandas arvutiteaduse bakalaureusekraadi Kirde-Illinoisi ülikoolis.

Emmy auhinna võitja Sam Kinard on CCC Intelligent Solutionsi tarkvaratehnika vanemjuht. Ta asub Texase osariigis Austinis ja vaidleb AI Runtime Teamiga, mis vastutab CCC tehisintellektitoodete kõrge kättesaadavuse ja suuremahulise teenindamise eest. Vabal ajal naudib Sam oma kahe imelise lapse tõttu unepuudust. Samil on bakalaureusekraad arvutiteaduses ja bakalaureusekraad matemaatikas Texase ülikoolist Austinis.

Jaime Hidalgo on CCC Intelligent Solutionsi vanemsüsteemide insener. Enne tehisintellekti uurimisrühmaga liitumist juhtis ta ettevõtte globaalset üleminekut Microservices Architecture'ile, kavandades, ehitades ja automatiseerides AWS-i infrastruktuuri, et toetada pilvetoodete ja -teenuste juurutamist. Praegu ehitab ja toetab ta kohapealset andmekeskuse klastrit, mis on loodud tehisintellekti koolituse jaoks, ning kavandab ja ehitab pilvelahendusi ettevõtte tuleviku tehisintellekti uurimise ja juurutamise jaoks.

Daniel Suarez on CCC Intelligent Solutionsi andmeteaduse insener. AI Engineering meeskonna liikmena tegeleb ta AI-mudelite automatiseerimise ja ettevalmistamisega mõõdikute ja muude ML-toimingute aspektide tootmisel, hindamisel ja jälgimisel. Daniel sai Illinoisi Tehnoloogiainstituudist arvutiteaduse magistrikraadi ning Universidad Politecnica de Madridi magistrikraadi telekommunikatsioonitehnikas.

Arunprasath Shankar on AWS-iga AI/ML-i spetsialistlahenduste vanemarhitekt, kes aitab globaalsetel klientidel oma AI-lahendusi pilves tõhusalt ja tõhusalt skaleerida. Vabal ajal vaatab Arun meelsasti ulmefilme ja kuulab klassikalist muusikat.

Justin McWhirter on AWS-i lahenduste arhitekti juht. Ta teeb koostööd suurepäraste lahendusarhitektide meeskonnaga, kes aitavad klientidel AWS-i platvormi kasutuselevõtul positiivse kogemuse saada. Kui Justin ei tööta, naudib ta oma kahe poisiga videomänge mängida, jäähokit ja oma Jeepiga maastikul sõita.