Kuidas Meesho koostas Amazon SageMakeri järelduse abil üldistatud vooreaderdaja | Amazoni veebiteenused

See on külalispostitus, mille kirjutasid Meeshos Rama Badrinath, Divay Jindal ja Utkarsh Agrawal.

---

meesho on India kõige kiiremini kasvav e-kaubandusettevõte, mille missiooniks on demokratiseerida Interneti-kaubandus kõigi jaoks ja teha see kättesaadavaks järgmisele miljardile India kasutajale. Meesho asutati 2015. aastal ja keskendub täna ostjatele ja müüjatele kogu Indias. Meesho turg pakub mikro-, väike- ja keskmise suurusega ettevõtetele ning üksikettevõtjatele juurdepääsu miljonitele klientidele, valiku enam kui 30 kategooriast ja enam kui 900 alamkategooriast, üle-India logistikat, makseteenuseid ja klienditoe võimalusi oma tõhusaks haldamiseks. ettevõtted Meesho ökosüsteemis.

E-kaubanduse platvormina soovib Meesho parandada kasutajakogemust, pakkudes isikupärastatud ja asjakohaseid tootesoovitusi. Tahtsime luua üldistatud voojärjestuse, mis arvestab individuaalseid eelistusi ja ajaloolist käitumist, et kuvada tooteid tõhusalt iga kasutaja voos. Selle kaudu soovisime suurendada kasutajate seotust, konversioonimäärasid ja üldist ärikasvu, kohandades ostukogemust iga kliendi ainulaadsete vajadustega ja pakkudes nende raha eest parimat väärtust.

Kasutasime AWS-i masinõppe (ML) teenuseid nagu Amazon SageMaker välja töötada võimas üldistatud söödareager (GFR). Selles postituses käsitleme GFR-i põhikomponente ja seda, kuidas see ML-põhine lahendus lihtsustas ML-i elutsüklit, tagades ökosüsteemis tõhusa infrahalduse, mastaapsuse ja töökindluse.

Lahenduse ülevaade

Kasutajate voogude isikupärastamiseks analüüsisime ulatuslikke ajaloolisi andmeid, hankides ülevaate funktsioonidest, mis hõlmavad sirvimismustreid ja huvisid. Neid väärtuslikke omadusi kasutatakse järjestusmudelite koostamiseks. GFR isikupärastab iga kasutaja voogu reaalajas, võttes arvesse erinevaid tegureid, nagu geograafia, eelnev ostumuster, hankimiskanalid ja palju muud. Kasutatakse ka mitmeid interaktsioonipõhiseid funktsioone, et tabada kasutaja seotust üksuse, kaubakategooria või üksuse omadustega, nagu hind, hinnang või allahindlus.

Kasutatakse ka mitmeid kasutaja-agnostilisi funktsioone ja punkte üksuse tasemel. Nende hulka kuuluvad kauba populaarsuse skoor ja kaupade ostukalduvus. Kõik need funktsioonid on sisendiks Learning to Rank (LTR) mudelile, mis proovib väljastada klikkimise tõenäosust (PCTR) ja ostutõenäosust (PCVR).

Erinevate ja asjakohaste soovituste jaoks hangib GFR kandidaattooteid mitmest kanalist, sealhulgas ekspluateerimine (teadaolevad kasutaja eelistused), uurimine (uudsed ja potentsiaalselt huvitavad tooted), populaarsus (populaarsed kaubad) ja hiljutised (viimased täiendused).

Järgmine diagramm illustreerib GFR-i arhitektuuri.

Arhitektuuri saab jagada kaheks erinevaks komponendiks: mudeli koolitus ja mudeli juurutamine. Järgmistes jaotistes käsitleme üksikasjalikumalt iga komponenti ja kasutatavaid AWS-teenuseid.

Modellikoolitus

Meesho kasutatud Amazon EMR Apache Sparkiga, et töödelda sadu miljoneid andmepunkte, olenevalt mudeli keerukusest. Üks suuremaid väljakutseid oli hajutatud koolituste korraldamine mastaapselt. Kasutasime Amazon EMR-is Daski – hajutatud andmeteaduse andmetöötluse raamistikku, mis integreerub algselt Pythoni raamatukogudega –, et laiendada koolitustöid kogu klastris. Mudeli hajutatud väljaõpe aitas lühendada koolitusaega päevadest tundidesse ning võimaldas meil Sparki töid tõhusalt ja kulutõhusalt ajastada. Kasutasime võrguühenduseta funktsioonide poodi, et säilitada kõigi mudelikoolituses kasutatavate funktsioonide väärtuste ajalooline kirje. Treeningutest pärit mudeliartefaktid on salvestatud Amazoni lihtne salvestusteenus (Amazon S3), mis pakub mugavat juurdepääsu ja versioonihaldust.

Kasutasime ajaproovi võtmise strateegiat, et luua mudelitreeningu jaoks koolitus-, valideerimis- ja testimisandmed. Mudeli toimivuse hindamiseks jälgisime erinevaid mõõdikuid – kõige olulisemad on ROC-kõvera alune pindala ja täppis-meelekutsumise kõvera alune pindala. Samuti jälgisime mudeli kalibreerimist, et vältida üle- ja alakindlusprobleeme, prognoosides samal ajal tõenäosusskoore.

Mudeli juurutamine

Meesho kasutas koolitatud mudeli juurutamiseks SageMakeri järelduste lõpp-punkte, mille automaatne skaleerimine oli lubatud. SageMaker pakkus erinevate ML-raamistike toega hõlpsat juurutamist, võimaldades mudeleid teenindada madala latentsusajaga. Kuigi AWS pakub enamiku kasutusjuhtude jaoks sobivaid standardseid järelduskujutisi, koostasime kohandatud järelduskujutise, mis vastab konkreetselt meie vajadustele, ja lükkasime selle Amazoni elastsete konteinerite register (Amazon ECR).

Ehitasime ettevõttesisese A/B testimisplatvormi, mis hõlbustas A/B mõõdikute reaalajas jälgimist, võimaldades meil teha andmepõhiseid otsuseid kiiresti. Kasutasime ka A / B testimise SageMakeri funktsioon, et juurutada lõpp-punktis mitu tootmisvarianti. A/B katsete kaudu täheldasime platvormi konversioonimäära ligikaudu 3.5% suurenemist ja kasutajate rakenduste avamise sageduse suurenemist, mis tõstab esile selle lähenemisviisi tõhususe.

Jälgime erinevaid triivisid, nagu funktsioonide triivimine ja eelnev triiv, mitu korda päevas pärast mudeli kasutuselevõttu, et vältida mudeli jõudluse halvenemist.

Me kasutasime AWS Lambda erinevate automaatikate ja päästikute seadistamiseks, mis on vajalikud mudeli ümberõppe, lõpp-punktide värskendamise ja jälgimisprotsesside käigus.

Soovituste töövoog pärast mudeli juurutamist toimib järgmiselt (nagu on märgitud lahenduse arhitektuuri diagrammil):

1. Kasutajakonteksti ja interaktsioonifunktsioonidega sisendpäringud võetakse rakenduskihis vastu Meesho mobiili- ja veebirakendusest.
2. Rakenduse kiht toob veebifunktsioonide poest lisafunktsioone, nagu kasutaja ajaloolised andmed, ja lisab need sisendpäringutele.
3. Lisatud funktsioonid saadetakse soovituste loomiseks reaalajas lõpp-punktidesse.
4. Mudeli ennustused saadetakse tagasi rakenduskihile.
5. Rakenduskiht kasutab neid ennustusi mobiili- või veebirakenduse kasutajavoogude isikupärastamiseks.

Järeldus

Meesho rakendas SageMakeri abil edukalt üldistatud voogude järjestamise, mille tulemuseks oli iga kliendi jaoks väga isikupärastatud tootesoovitused, mis põhinevad nende eelistustel ja ajaloolisel käitumisel. Selline lähenemine parandas oluliselt kasutajate seotust ja tõi kaasa kõrgemad konversioonimäärad, aidates kaasa ettevõtte üldisele ärikasvule. AWS-i teenuste kasutamise tulemusel vähenes meie ML-i elutsükli tööaeg märkimisväärselt – kuudelt vaid nädalateni, mis suurendas meie meeskonna tõhusust ja tootlikkust.

Selle täiustatud vooreastajaga jätkab Meesho kohandatud ostukogemuste pakkumist, lisades oma klientidele rohkem väärtust ja täites oma missiooni demokratiseerida e-kaubandust kõigi jaoks.

Meeskond on tänulik pideva toetuse ja juhendamise eest Ravindra Yadav, Meesho andmeteaduse direktor ja Debdoot Mukherjee, Meesho tehisintellekti juht, kes mängis selle edu saavutamisel võtmerolli.

SageMakeri kohta lisateabe saamiseks vaadake Amazon SageMakeri arendaja juhend.

---

Autoritest

Utkarsh Agrawal töötab praegu Meeshos vanemandmeteadlasena. Varem töötas ta Fractal Analyticsi ja Trelliga erinevates valdkondades, sealhulgas soovitussüsteemid, aegread, NLP ja palju muud. Tal on magistrikraad matemaatikas ja andmetöötluses India Tehnoloogiainstituudist Kharagpur (IIT).

Rama Badrinath töötab praegu Meeshos peamise andmeteadlasena. Varem töötas ta Microsofti ja ShareChatiga erinevates domeenides, sealhulgas soovitussüsteemides, pildi AI-s, NLP-s ja mujal. Tal on India teadusinstituudi (IISc) magistrikraad masinõppes. Ta on avaldanud ettekandeid ka sellistel tuntud konverentsidel nagu KDD ja ECIR.

Divay Jindal töötab praegu Meeshos juhtiva andmeteadlasena. Varem töötas ta Bookmyshowga erinevatel domeenidel, sealhulgas soovitussüsteemidel ja dünaamilisel hinnakujundusel.

Venugopal pai on AWS-i lahenduste arhitekt. Ta elab Indias Bengalurus ja aitab digitaalse päritoluga klientidel oma rakendusi AWS-is skaleerida ja optimeerida.

• SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
• PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
• PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
• PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
• PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
• Allikas: https://aws.amazon.com/blogs/machine-learning/how-meesho-built-a-generalized-feed-ranker-using-amazon-sagemaker-inference/