Lemmikloomade profiilide optimeerimine Purina rakenduse Petfinder jaoks, kasutades Amazon Rekognitioni kohandatud silte ja AWS-i sammufunktsioone | Amazoni veebiteenused

Nestle'i tütarettevõttel Purina US-l on pikk ajalugu, mis võimaldab inimestel hõlpsamini lemmikloomi adopteerida. Lemmikute leidja, üle 11,000 XNUMX loomade varjupaiga ja päästerühma digitaalne turg USA-s, Kanadas ja Mehhikos. Juhtiva lemmikloomade adopteerimise platvormina on Petfinder aidanud miljonitel lemmikloomadel oma igaveseks kodu leida.

Purina otsib järjekindlalt viise, kuidas muuta Petfinderi platvorm veelgi paremaks nii varjupaikade kui ka päästerühmade ja lemmikloomade adopteerijate jaoks. Üks väljakutse, millega nad silmitsi seisid, oli konkreetse loomatõu adekvaatne kajastamine. Kuna paljud varjupaigaloomad on segatõugud, nõudis tõugude ja atribuutide õige tuvastamine lemmikloomaprofiilis käsitsi pingutust, mis oli aeganõudev. Purina kasutas tehisintellekti (AI) ja masinõpet (ML), et automatiseerida loomatõu tuvastamist ulatuslikult.

See postitus kirjeldab, kuidas Purina kasutas Amazon Rekognitioni kohandatud sildid, AWS-i astmefunktsioonidja muud AWS-i teenused, et luua ML-mudel, mis tuvastab üleslaaditud pildi põhjal lemmikloomatõu ja kasutab seejärel ennustust lemmiklooma atribuutide automaatseks sisestamiseks. Lahendus keskendub tehisintellekti/ML-i rakenduste töövoo väljatöötamise aluspõhimõtetele, milleks on andmete ettevalmistamine, mudeli koolitus, mudeli hindamine ja mudeli jälgimine.

Lahenduse ülevaade

Loomatõugude ennustamiseks pildi järgi on vaja kohandatud ML-mudeleid. Kujutiste analüüsimiseks kohandatud mudeli väljatöötamine on märkimisväärne ettevõtmine, mis nõuab aega, teadmisi ja ressursse ning võtab sageli kuid. Lisaks on sageli vaja tuhandeid või kümneid tuhandeid käsitsi märgistatud pilte, et anda mudelile otsuste tegemiseks piisavalt andmeid. Töövoo seadistamine mudelite prognooside auditeerimiseks või ülevaatamiseks, et kinnitada teie nõuetele vastavust, võib üldist keerukust veelgi suurendada.

Rekognitioni kohandatud siltidega, mis on üles ehitatud olemasolevatele võimalustele Amazon Rekognitsioon, saate piltidel tuvastada teie ettevõtte vajadustele vastavad objektid ja stseenid. Seda on juba koolitatud kümnete miljonite piltide jaoks paljudes kategooriates. Tuhandete piltide asemel saate üles laadida väikese komplekti treeningpilte (tavaliselt paarsada pilti või vähem kategooria kohta), mis on teie kasutusjuhtumile omased.

Lahendus kasutab järgmisi teenuseid:

• Amazon API värav on täielikult hallatav teenus, mis hõlbustab arendajatel API-de avaldamist, hooldamist, jälgimist ja turvalisust mis tahes ulatuses.
• . AWS pilvearenduskomplekt (AWS CDK) on avatud lähtekoodiga tarkvara arendusraamistik, mis võimaldab määratleda pilvetaristu koodina kaasaegsete programmeerimiskeeltega ja juurutada selle kaudu. AWS CloudFormation.
• AWS CodeBuild on täielikult hallatav pidev integratsiooniteenus pilves. CodeBuild kompileerib lähtekoodi, käivitab testid ja toodab juurutamiseks valmis pakette.
• Amazon DynamoDB on kiire ja paindlik mitterelatsiooniline andmebaasiteenus mis tahes mastaabis.
• AWS Lambda on sündmustepõhine arvutusteenus, mis võimaldab teil käivitada peaaegu igat tüüpi rakenduste või taustateenuste koodi ilma servereid pakkumata või haldamata.
• Amazon Rekognitsioon pakub eelkoolitatud ja kohandatavaid arvutinägemise (CV) võimalusi, et hankida teie piltidest ja videotest teavet ja teadmisi. Koos Amazon Rekognitioni kohandatud sildid, saate piltidel tuvastada teie ettevõtte vajadustele vastavad objektid ja stseenid.
• AWS-i astmefunktsioonid on täielikult hallatav teenus, mis hõlbustab hajutatud rakenduste ja mikroteenuste komponentide koordineerimist visuaalsete töövoogude abil.
• AWS-i süsteemihaldur on turvaline täielik halduslahendus ressursside jaoks AWS-is ning multicloud- ja hübriidkeskkondades. Parameetrite pood, Systems Manageri võimalus, pakub turvalist ja hierarhilist salvestusruumi konfiguratsiooniandmete haldamiseks ja saladuste haldamiseks.

Purina lahendust kasutatakse kui API lüüs HTTP lõpp-punkt, mis suunab päringud lemmiklooma atribuutide hankimiseks. See kasutab lemmiklooma tõu ennustamiseks Rekognitioni kohandatud silte. ML-mudel on koolitatud Purina andmebaasist võetud lemmikloomaprofiilide põhjal, eeldades, et esmane tõumärgis on tõeline etikett. DynamoDB-d kasutatakse lemmiklooma atribuutide salvestamiseks. Lambdat kasutatakse lemmiklooma atribuutide päringu töötlemiseks API Gateway, Amazon Rekognitioni ja DynamoDB vahel.

Arhitektuuri rakendatakse järgmiselt:

1. Rakendus Petfinder suunab lemmiklooma atribuutide hankimise taotluse API lüüsi kaudu.
2. API Gateway kutsub lemmiklooma atribuutide hankimiseks funktsiooni Lambda.
3. Lambda funktsioon kutsub lemmiklooma tõu ennustamiseks välja Rekognition Custom Label järelduse lõpp-punkti.
4. Funktsioon Lambda kasutab lemmiklooma tõu ennustatud teavet, et teha DynamoDB tabelist lemmiklooma atribuutide otsing. See kogub lemmiklooma atribuudid ja saadab need tagasi Petfinderi rakendusse.

Järgmine diagramm illustreerib lahenduse töövoogu.

Purina Petfinderi meeskond soovib automatiseeritud lahendust, mida nad saaksid minimaalse hooldusega kasutusele võtta. Selle saavutamiseks kasutame sammufunktsioone, et luua olekumasin, mis koolitab mudeleid uusimate andmetega, kontrollib nende jõudlust võrdlusaluste komplekti alusel ja paigutab mudelid ümber, kui neid on täiustatud. Mudeli ümberõpe käivitatakse profiiliteavet esitavate kasutajate tehtud tõuparanduste arvust.

Modellikoolitus

Piltide analüüsimiseks kohandatud mudeli väljatöötamine on märkimisväärne ettevõtmine, mis nõuab aega, teadmisi ja ressursse. Lisaks on sageli vaja tuhandeid või kümneid tuhandeid käsitsi märgistatud pilte, et anda mudelile otsuste tegemiseks piisavalt andmeid. Nende andmete kogumine võib võtta kuid ja nõuab suuri jõupingutusi, et neid masinõppes kasutamiseks sildistada. Tehnika nimega ülekandmisõpe aitab toota kvaliteetsemaid mudeleid, laenates eelnevalt koolitatud mudeli parameetreid, ja võimaldab treenida mudeleid vähemate piltidega.

Meie väljakutse seisneb selles, et meie andmed ei ole täiuslikult märgistatud: profiiliandmeid sisestavad inimesed võivad teha vigu ja teevad seda. Siiski leidsime, et piisavalt suurte andmeproovide puhul moodustasid valesti märgistatud kujutised piisavalt väikese osa ja mudeli jõudlust ei mõjutanud täpsus rohkem kui 2%.

ML töövoog ja olekumasin

Step Functions olekumasin on välja töötatud Amazon Rekognitioni mudeli automaatse ümberõppe abistamiseks. Tagasisidet kogutakse profiili sisestamise ajal – iga kord, kui kasutaja muudab pildilt tuletatud tõugu teiseks tõuks, salvestatakse parandus. See olekumasin käivitatakse paranduste ja täiendavate andmete konfigureeritavast läviarvust.

Olekumasin läbib lahenduse loomiseks mitu sammu:

1. Looge koolitus- ja testimismanifestifailid, mis sisaldavad loendit Amazoni lihtne salvestusteenus (Amazon S3) pilditeed ja nende sildid Amazon Rekognitioni kasutamiseks.
2. Looge manifestifailide abil Amazon Rekognitioni andmestik.
3. Treenige Amazon Rekognitioni mudeliversiooni pärast andmekogumi loomist.
4. Kui koolitus on lõppenud, käivitage mudeli versioon.
5. Hinnake mudelit ja koostage toimivusmõõdikud.
6. Kui jõudlusnäitajad on rahuldavad, värskendage mudeli versiooni parameetrite poes.
7. Oodake, kuni uus mudeliversioon Lambda funktsioonides levib (20 minutit), seejärel peatage eelmine mudel.

Mudeli hindamine

Kasutame oma mudeli kinnitamiseks meie andmeproovist võetud juhuslikku 20% kinnipidamise komplekti. Kuna tuvastatavad tõud on konfigureeritavad, ei kasuta me treeningu ajal valideerimiseks fikseeritud andmekogumit, küll aga kasutame integratsiooni testimiseks käsitsi märgistatud hindamiskomplekti. Mõõdikute arvutamiseks kasutatakse käsitsi märgistatud komplekti ja mudeli tuvastatavate tõugude kattumist. Kui mudeli tõu tuvastamise täpsus on üle määratud läve, reklaamime mudelit lõpp-punktis kasutamiseks.

Järgmised on mõned ekraanipildid lemmikloomade ennustamise töövoost rakendusest Rekognition Custom Labels.

Kasutuselevõtt koos AWS CDK-ga

Step Functions olekumasin ja sellega seotud infrastruktuur (sh Lambda funktsioonid, CodeBuildi projektid ja Systems Manageri parameetrid) juurutatakse Pythoni abil koos AWS CDK-ga. AWS CDK kood sünteesib CloudFormationi malli, mida see kasutab lahenduse kogu infrastruktuuri juurutamiseks.

Integratsioon Petfinderi rakendusega

Rakendus Petfinder pääseb kujutise klassifitseerimise lõpp-punktile juurde API lüüsi lõpp-punkti kaudu, kasutades POST-päringut, mis sisaldab JSON-i kasulikku koormust koos väljadega Amazon S3 tee jaoks pildile ja tagastatavate tulemuste arvu jaoks.

KPI-d, mida mõjutada

Pildi järelduse lõpp-punkti käitamise lisakulude õigustamiseks tegime katseid, et määrata väärtus, mille lõpp-punkt Petfinderile lisab. Lõpp-punkti kasutamine pakub kahte peamist parendustüüpi:

• Lemmikloomade profiile loovate lemmikloomade varjupaikade pingutus on väiksem
• Täielikumad lemmikloomaprofiilid, mis peaksid parandama otsingu asjakohasust

Pingutuse ja profiili täielikkuse mõõtmise mõõdikud hõlmavad parandatud automaatselt täidetavate väljade arvu, täidetud väljade koguarvu ja lemmikloomaprofiili üleslaadimiseks kuluvat aega. Otsingu asjakohasuse paranemine tuleneb kaudselt kasutuselevõtumääraga seotud peamiste tulemusnäitajate mõõtmisest. Purina sõnul vähenes pärast lahenduse kasutuselevõttu Petfinderi rakenduses lemmikloomaprofiili loomise keskmine aeg 7 minutilt 4 minutile. See on tohutu edu ja aja kokkuhoid, sest 2022. aastal laaditi üles 4 miljonit lemmikloomaprofiili.

TURVALISUS

Arhitektuuriskeemi kaudu liikuvad andmed krüpteeritakse edastamisel ja puhkeolekus vastavalt AWS Hästi läbimõeldud parimad tavad. Kõigi AWS-i töövõttude ajal vaatab turvaekspert lahenduse üle, et tagada turvaline rakendamine.

Järeldus

Oma Rekognitioni kohandatud siltidel põhineva lahendusega suudab Petfinderi meeskond kiirendada lemmikloomade varjupaikade lemmikloomaprofiilide loomist, vähendades varjupaiga personali halduskoormust. AWS CDK-l põhinev juurutamine juurutab koolituse ja juurutamise protsessi automatiseerimiseks Step Functions töövoo. Rekognitioni kohandatud siltide kasutamise alustamiseks vaadake Amazon Rekognitioni kohandatud siltidega alustamine. Võite ka mõnda vaadata Sammufunktsioonide näited ja alustage AWS CDK-ga.

---

Autoritest

Mason Cahill on AWS-i professionaalsete teenustega DevOpsi vanemkonsultant. Talle meeldib aidata organisatsioonidel nende ärieesmärke saavutada ning ta on kirglik AWS-i pilves automatiseeritud lahenduste loomise ja tarnimise vastu. Väljaspool tööd meeldib talle perega aega veeta, matkata ja jalgpalli mängida.

Matthew Chasse on andmeteaduse konsultant ettevõttes Amazon Web Services, kus ta aitab klientidel luua skaleeritavaid masinõppelahendusi. Matthew’l on matemaatikadoktor ning ta naudib vabal ajal kaljuronimist ja muusikat.

Rushikesh Jagtap on lahenduste arhitekt, kellel on üle 5-aastane kogemus AWS Analyticsi teenuste vallas. Ta on kirglik aidata klientidel luua skaleeritavaid ja kaasaegseid andmeanalüütika lahendusi, et saada andmetest ülevaadet. Väljaspool tööd meeldib talle vormel-1 vaadata, sulgpalli mängida ja Go Kartidega sõita.

Tayo Olajide on staažikas pilvandmetehnoloogia üldteadlane, kellel on enam kui kümneaastane kogemus andmelahenduste kujundamisel ja rakendamisel pilvekeskkondades. Tayo, kes on kirglik töötlemata andmete väärtuslikeks teadmisteks muutmise vastu, on mänginud keskset rolli erinevate tööstusharude, sealhulgas rahanduse, tervishoiu ja autotööstuse andmekanalite kavandamisel ja optimeerimisel. Valdkonna mõtteliidrina usub Tayo, et andmete jõud seisneb nende võimes juhtida teadlikke otsuseid ning on pühendunud ettevõtetele abistamisele pilveajastul oma andmete täielikku potentsiaali ära kasutades. Kui ta just andmejuhtmeid ei koosta, võite leida Tayo, kes uurib tehnoloogia uusimaid suundumusi, matkab vabas õhus või nokitseb vidinate ja tarkvara kallal.

• SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
• PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
• PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
• PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
• PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
• Allikas: https://aws.amazon.com/blogs/machine-learning/optimize-pet-profiles-for-purinas-petfinder-application-using-amazon-rekognition-custom-labels-and-aws-step-functions/