Hoe Prodege $ 1.5 miljoen aan jaarlijkse menselijke beoordelingskosten bespaarde met behulp van low-code computer vision AI

Dit bericht is mede geschreven door Arun Gupta, de directeur van Business Intelligence bij Prodege, LLC.

Prodege is een datagestuurd marketing- en consumenteninzichtplatform dat bestaat uit consumentenmerken - Swagbucks, MyPoints, Tada, ySense, InboxDollars, InboxPounds, DailyRewards, PollFish en Upromise - samen met een complementaire reeks zakelijke oplossingen voor marketeers en onderzoekers. Prodege heeft 120 miljoen gebruikers en heeft sinds 2.1 $ 2005 miljard aan beloningen betaald. In 2021 lanceerde Prodege Magic Receipts, een nieuwe manier voor zijn gebruikers om geld terug te verdienen en cadeaubonnen in te wisselen, gewoon door in de winkel te winkelen bij hun favoriete retailers, en een ontvangstbewijs uploaden.

Om op het snijvlak van klanttevredenheid te blijven, is constante focus en innovatie nodig.

Het opbouwen van een data science-team vanaf het begin is een geweldige investering, maar kost tijd, en vaak zijn er mogelijkheden om directe zakelijke impact te creëren met AWS AI-services. Volgens Gartner, tegen het einde van 2024 zal 75% van de ondernemingen overschakelen van proefprojecten naar het operationaliseren van AI. Nu het bereik van AI en machine learning (ML) groeit, moeten teams zich concentreren op het creëren van een goedkope, impactvolle oplossing die gemakkelijk door een organisatie kan worden overgenomen.

In dit bericht delen we hoe Prodege hun klantervaring heeft verbeterd door AI en ML in zijn bedrijf te integreren. Prodege wilde een manier vinden om zijn klanten sneller te belonen na het uploaden van hun bonnetjes. Ze hadden geen geautomatiseerde manier om de bonnen visueel te inspecteren op afwijkingen voordat ze kortingen gaven. Omdat het aantal bonnen tienduizenden per week bedroeg, was het handmatige proces voor het identificeren van afwijkingen niet schaalbaar.

Met behulp van Amazon Rekognition Custom Labels beloonde Prodege hun klanten 5 keer sneller na het uploaden van bonnen, verhoogde de correcte classificatie van afwijkende bonnen van 70% naar 99% en bespaarde $ 1.5 miljoen aan jaarlijkse menselijke beoordelingskosten.

De uitdaging: afwijkingen in bonnen snel en nauwkeurig op schaal detecteren

De toewijding van Prodege aan een eersteklas klantervaring vereiste een verhoging van de snelheid waarmee klanten beloningen ontvangen voor het enorm populaire Magic Receipts-product. Om dat te doen, moest Prodege afwijkingen in de kassabon sneller detecteren. Prodege onderzocht het bouwen van hun eigen deep learning-modellen met Keras. Deze oplossing was veelbelovend op de lange termijn, maar kon om de volgende redenen niet met de door Prodege gewenste snelheid worden geïmplementeerd:

• Vereist een grote dataset – Prodege realiseerde zich dat het aantal afbeeldingen dat ze nodig zouden hebben om het model te trainen in de tienduizenden zou liggen, en ze zouden ook veel rekenkracht met GPU's nodig hebben om het model te trainen.
• Tijdrovend en kostbaar – Prodege had honderden door mensen gelabelde geldige en afwijkende bonnen, en de afwijkingen waren allemaal visueel. Het toevoegen van extra gelabelde afbeeldingen zorgde voor operationele kosten en kon alleen tijdens normale kantooruren werken.
• Vereiste aangepaste code en veel onderhoud – Prodege zou aangepaste code moeten ontwikkelen om het aangepaste model te trainen en te implementeren en de levenscyclus ervan te behouden.

Overzicht van de oplossing: Recognition Custom Labels

Prodege werkte samen met het AWS-accountteam om eerst de zakelijke use-case te identificeren om bonnen efficiënt en geautomatiseerd te kunnen verwerken, zodat hun bedrijf alleen kortingen op geldige bonnen uitgaf. Het datawetenschapsteam van Prodege wilde een oplossing waarvoor een kleine dataset nodig was om van start te gaan, die onmiddellijke zakelijke impact kon hebben en die minimale code en weinig onderhoud vereiste.

Op basis van deze input identificeerde het accountteam Rekognition Custom Labels als een mogelijke oplossing om een ​​model te trainen om te identificeren welke bonnen geldig zijn en welke afwijkingen vertonen. Rekognition Custom Labels biedt een computer vision AI-mogelijkheid met een visuele interface om automatisch modellen te trainen en in te zetten met slechts een paar honderd afbeeldingen van geüploade gelabelde gegevens.

De eerste stap was om een ​​model te trainen met behulp van de gelabelde bonnen van Prodege. De bonnen waren onderverdeeld in twee labels: geldig en abnormaal. Ongeveer honderd bonnen van elke soort werden zorgvuldig geselecteerd door het zakelijke team van Prodege, dat op de hoogte was van de anomalieën. De sleutel tot een goed model in Rekognition Custom Labels is het hebben van nauwkeurige trainingsgegevens. De volgende stap was het opzetten opleiding van het model met een paar klikken op de Rekognition Custom Labels-console. De F1-score, die wordt gebruikt om de nauwkeurigheid en kwaliteit van het model te meten, kwam uit op 97%. Dit moedigde Prodege aan om wat extra tests in hun sandbox uit te voeren en het getrainde model te gebruiken om te concluderen of nieuwe bonnen geldig waren of afwijkingen vertoonden. Inferentie instellen met Rekognition Custom Labels is een eenvoudig proces met één klik en het biedt ook voorbeeldcode om programmatische inferentie in te stellen.

Aangemoedigd door de nauwkeurigheid van het model, zette Prodege een pilot batch-inferentiepijplijn op. De pijplijn zou het model starten, honderden bonnen tegen het model uitvoeren, de resultaten opslaan en vervolgens het model elke week afsluiten. Het nalevingsteam zou vervolgens de ontvangsten evalueren om te controleren op juistheid. De nauwkeurigheid bleef voor de piloot even hoog als tijdens de eerste tests. Het Prodege-team heeft ook een pijplijn opgezet om nieuwe bonnen te trainen om de nauwkeurigheid van het model te behouden en te verbeteren.

Ten slotte werkte het business intelligence-team van Prodege samen met het applicatieteam en met ondersteuning van het AWS-account- en productteam om een ​​eindpunt voor inferentie op te zetten dat met hun applicatie zou werken om de geldigheid van geüploade bonnen in realtime te voorspellen en de gebruikers een best- in-class consumentenbeloningen ervaring. De oplossing is gemarkeerd in de volgende afbeelding. Op basis van de voorspellings- en betrouwbaarheidsscore van Rekognition Custom Labels heeft het business intelligence-team van Prodege bedrijfslogica toegepast om het te laten verwerken of om extra controle te ondergaan. Door een mens in de lus te introduceren, kan Prodege de kwaliteit van de voorspellingen bewaken en het model waar nodig bijscholen.

Resultaten

Met Rekognition Custom Labels verhoogde Prodege de correcte classificatie van afwijkende bonnen van 70% naar 99% en bespaarde het $ 1.5 miljoen aan jaarlijkse menselijke beoordelingskosten. Hierdoor kon Prodege zijn klanten 5 keer sneller belonen na het uploaden van hun bonnetjes. Het beste van Rekognition Custom Labels was dat het eenvoudig in te stellen was en dat er slechts een kleine set vooraf geclassificeerde afbeeldingen nodig was om het ML-model te trainen voor zeer betrouwbare afbeeldingsdetectie (ongeveer 200 afbeeldingen versus 50,000 vereist om een ​​model helemaal opnieuw te trainen ). De eindpunten van het model waren gemakkelijk toegankelijk via de API. Rekognition Custom Labels was een uiterst effectieve oplossing voor Prodege om een ​​soepele werking van hun gevalideerde scanproduct voor bonnen mogelijk te maken, en hielp Prodege veel tijd en middelen te besparen bij het uitvoeren van handmatige detectie.

Conclusie

Op het snijvlak van klanttevredenheid blijven vereist constante focus en innovatie, en is een strategisch doel voor bedrijven van vandaag. Dankzij de computervisieservices van AWS kon Prodege onmiddellijke zakelijke impact creëren met een goedkope en low-code-oplossing. In samenwerking met AWS blijft Prodege innoveren en blijft het toonaangevend op het gebied van klanttevredenheid. Je kunt vandaag nog aan de slag met Erkenning aangepaste labels en uw bedrijfsresultaten te verbeteren.

Over de auteurs

Arun Gupta is de directeur van Business Intelligence bij Prodege LLC. Hij heeft een passie voor het toepassen van Machine Learning-technologieën om effectieve oplossingen te bieden voor uiteenlopende zakelijke problemen.

Prashanth Ganapathie is Senior Solutions Architect in het Small Medium Business (SMB) segment bij AWS. Hij vindt het leuk om meer te weten te komen over AWS AI/ML-services en om klanten te helpen hun bedrijfsresultaten te behalen door oplossingen voor hen te bouwen. Buiten het werk houdt Prashanth van fotografie, reizen en het uitproberen van verschillende keukens.

Amit Gupta is een AI Services Solutions Architect bij AWS. Hij is gepassioneerd om klanten te voorzien van goed ontworpen machine learning-oplossingen op schaal.

Nick Ramos is Senior Accountmanager bij AWS. Hij heeft een passie voor het helpen van klanten bij het oplossen van hun meest complexe zakelijke uitdagingen, het inbrengen van AI/ML in de bedrijven van klanten en het helpen van klanten om hun omzet te laten groeien.