Data Science Team a ParallelDotsnál – Év végi jelentés

2020 [és 2021 első fele] egy fekete hattyú volt. A családoknak, társaságoknak és cégeknek olyan dolgokkal kellett szembenézniük, amelyeket nem tudtak elképzelni. Ebben a bejegyzésben megpróbálom kiemelni, hogy a ParallelDots AI csapata hogyan alkalmazkodott ebben az időszakban, és hogyan építkezik kiskereskedelmi AI megoldásaink következő generációjára.

A ParallelDots 2020 februárjában teljes távoli munkamódba vált, és azóta a csapat egy napig nem találkozott fizikailag. Azelőtt mindig is nagyon összetartó egység voltunk, így az első néhány hét teljes mértékben a távoli munkakultúra kialakításával telt. Jobb kommunikáción és egy egészen más tulajdonosi struktúrán kellett gondolkodnunk. Tekintettel arra, hogy a cég üzleti sokktól is megküzdött, ezek a hetek kemények voltak. Én személy szerint büszke vagyok arra, ahogy a csapatunk kezelte a nyomást, és nem csak beállította, hanem fejlődött is, hogy a csúcstechnológiás kavargógép legyen, ami mindig is volt. Csak néhány hét finomítás, és ismét nagyszerűek voltunk.

Kihívások az AI csapat számára [2020 márciusa körül]

[Az általunk épített különböző AI algoritmusok és rendszerek "miért" talán unalmasnak találja, tudom, mert megtenném 😉 , ha csak a "hogyan" vagy az összes új klassz technológia és algoritmus érdekelne, lépjen le az „Új rendszerek és algoritmusok” szakaszhoz]

A ParallelDots mesterséges intelligencia csapatának szerepe különböző problémák megoldása, amelyek szűk keresztmetszetet okoznak a ParallelDots AI képzési és telepítési infrastruktúrájában. Ezeket a kihívásokat a következőkre oszthatja: A. AI képzés és pontossági szűk keresztmetszetek [vagy kutatási szűk keresztmetszetek] és B. Telepítési/következtetési szűk keresztmetszetek [vagy MLOPS szűk keresztmetszetek, ahogy mi nevezzük őket]. 2020 elején, miközben mesterséges intelligencia technológiánk már több mint egymillió képet dolgozott fel havonta, néhány kihívást kellett megoldanunk a méretezés érdekében:

1. Olyan következtetési infrastruktúra telepítése, amely automatikusan skálázható arra az esetre, ha túl sok kiskereskedelmi képfájlt kell feldolgozni, hogy megőrizzük SLA-jainkat, miközben gondoskodunk arról, hogy a telepítést a kis munkaterheléshez csökkentsük. A GPU-k költséges gépek, és a statikus [vagy készenléti vagy manuális devops] infrastruktúra szoros kötél az SLA-k teljesítése és a magas költségek elkerülése között.
2. Kiskereskedelmi számítógépes látási algoritmusaink telefonon történő futtatása. Mindig is egy olyan új termékre gondoltunk, amelyben az élvonalbeli mesterséges intelligencia telefonokban használható kis üzletekben lassú internetkapcsolattal a számlázási/GRN/készletkezelési célokra. Nem csak ez, néhány leendő polcóra-ügyfelünk olyan telepítéseket akart, amelyek az üzleteken belül használhatók gyors következtetésekhez anélkül, hogy a képfeltöltésre és -feldolgozásra kellett volna várni. Tisztában voltunk azzal, hogy ha a kiskereskedelmi mesterséges intelligencia-algoritmusainkat telefonokon futtatnánk, az segítene álmaink második termékének megépítésében, de a meglévő termékeinknek is segítene új ügyfeleket szerezni. Mindkét fenti kihívás MLOPS kihívás, ahogy mi nevezzük őket.
3. Termékek méretváltozatainak észlelése a képeken. Egy másik kihívás az volt, hogy a kiskereskedelmi képeken egy termék méretszintű eltéréseit észleljük. Példaként tegyük fel, hogy van képe egy polc chiphez, és nem csak a Lay's Magic masala számát kell detektálnia mesterséges intelligencia segítségével, hanem a Lay's Magic masala 10 INR / 20 INR / 30 INR közötti osztását is meg kell adnia. elemzésében. Azok számára, akik nem dolgoztak a Computer Vision alkalmazásban, ez nyilvánvaló és egyszerű következő megoldandó problémának tűnhet, mivel a mesterséges intelligencia képes felismerni a polcon lévő termékeket, és nagyon nagy pontossággal besorolni a márkák közé. De ismeri a híres XKCD #1425-öt [Mindig mindenhez van releváns XKCD 😉]. Releváns XKCD
4. Az eladáshelyi anyagok részeinek ellenőrzése. A polcképek elemzésének másik része a polcon lévő termékek észlelésén és azonosításán kívül a különféle értékesítési pontok polcán való jelenlétének ellenőrzése. Ezek az értékesítési pontok olyan dolgok, amelyeket gyakran látni egy kiskereskedelmi vagy kirana üzletben, például polccsíkok, kivágások, poszterek, gandolák és bemutató állványok. Nagyon sokáig használtuk a Deep Keypoint egyeztetést az ilyen meccsekhez, és korábban jól működött. Idővel azonban az ügyfelek arra kértek minket, hogy ne csak a polcképeken igazoljuk a POSM-et, hanem mutassuk meg azokat a hiányzó darabokat is, amelyeket a kereskedő esetleg kihagyott a POSM-ből. Például előfordulhat, hogy egy kereskedő elmulasztotta elhelyezni a posztert a bemutató állványon, vagy valami baleset miatt eltávolították az üzletből. Ahhoz, hogy ezt nagyon pontosan olyan szinten tegyük, amelyen a képosztályozás működik, szükségünk volt egy olyan algoritmusra, amely mindenhol edzés nélkül működik, mivel a POSM-ek heteken/hónapokon belül változnak.
5. Pontosabb polcos termékdetektorok betanítása. A Retail Shelf Computer Vision áttért arra a technológiára, hogy az első lépésben egy általános polcobjektum-érzékelő [kivesz minden polcobjektumot osztályozás nélkül], majd osztályozza a termékeket, majd a második lépésben kivonja a problémákat, hogy elkerülje a problémákat egylépéses detektorok + osztályozók hozzon létre [Tömeges termékferdeség a polcokon rossz osztályozási kimenetek létrehozása / projektenként sok adatra vonatkozó képzés, és nincs járulékos haszon abból, hogy a mesterséges intelligencia javult a korábbi projektekből és így tovább]. 2019-ben már volt egy ilyen általános polctárgy-detektorból és egy korszerű osztályozóból álló rendszerünk második lépcsőben, de a polctárgy-detektor kimeneti dobozformái lehetett volna jobbak is.
6. Korábbi mesterséges intelligencia-tanítás és hibajavítások felhasználása az osztályozók jobb és gyorsabb betanítására. Nagyon sok osztályozót képezünk ki [olyan modellek, amelyek az 1. lépés algoritmusával kinyert polcobjektumokat az általunk igényelt termékmárkák egyikébe sorolják be]. Mindig felmerül a kérdés, hogy az általunk gyűjtött összes betanítási adatot – beleértve a korábbi osztályozók hibáit is – felhasználhatjuk-e egy olyan algoritmus létrehozására, amely segíthet új osztályozók gyors és pontosabb betanításában. Az Ön által talált négy kutatási probléma [3-6] a polcóratermékünk [3,4] új követelményeit tükrözi, és a meglévő verem [5,6] javítását. Most is volt egy sor kutatási probléma az NLP API-készletünkből.
7. Egy általánosabb Sentiment Analysis API. Az interneten elérhető Sentiment Analysis API-t a házon belüli kommentárokkal ellátott tweetekre képezték ki, és így annak ellenére, hogy nagy pontossággal rendelkezett, a tartományspecifikusabb dolgokban, például politikai vagy pénzügyi cikkekben megbukhatott. A tweetekkel ellentétben az ilyen különböző tartományi cikkeket nehéz megjegyzésekkel ellátni olyan emberek számára, akik nem jártasak az adatkészlet tartományában. Sok annotálatlan adat felhasználása olyan osztályozók betanításához, amelyek több tartományon is működhetnek, mindig is kihívást jelentett.
8. Egy új célzott hangulati API. Az aspektus alapú érzéselemzés már régóta létezik. Végül volt egy házon belüli, annotált adatkészletünk az ilyen elemzésekhez, de a célunk valamivel konkrétabb volt. Olyan API-t akartunk építeni, ahol egy mondatot adsz: "Az alma nem volt ízletes, de a narancs nagyon finom volt." negatív eredményt adna, ha „Apple”-ra, vagy pozitív eredményt adna narancssárga elemre. Célunk tehát egy korszerű aspektus alapú érzelemelemző algoritmus létrehozása volt.

Most, hogy meguntalak azon kihívások részleteivel, amelyeket megpróbáltunk megoldani, jöjjön az érdekes rész. Új MLOPS platformjaink és algoritmusaink.

Új rendszerek és algoritmusok

Hadd mutassam be új barátaimat, néhány fantasztikus technológiai rendszert és mesterséges intelligencia algoritmust, amelyeket az elmúlt időszakban fejlesztettünk ki és alkalmaztunk a szűk keresztmetszetek leküzdésére.

Mobile Product Recognition AI vagy Mobile Shelf Recognition AI

A ParallelDots Oogashop bemutatása – Link

(LinkedIn hírfolyam és videó)

Nem egy, hanem két különböző típusú AI-algoritmust építettünk és telepítettünk mobileszközökön. Néhány nappal ezelőtt láthattad rendkívül vírusos bejegyzéseinket, ahol a mobiltelefon-számlázást demóztuk, és az offline polcellenőrzésekről beszélgettünk.

Itt a link a ShelfWatch eszközön található képfelismerő funkciójához (ODIN) – Link

(Cikk)

Ezek az AI-modellek lényegében a felhőben telepített modellek kicsinyített változatai. Némi pontossági veszteséggel ezek a modellek már elég kicsik ahhoz, hogy telefon GPU-n futhassanak [amely sokkal kisebb, mint egy kiszolgáló GPU]. A Tensorflow új mobiltelepítési keretrendszereit használjuk ezeknek a modelleknek az üzembe helyezésére az OOGASHOP és a ShelfWatch alkalmazásunkban.

(Papír) Kompakt kiskereskedelmi polcszegmentáció mobil telepítéshez – Link

Pratyush Kumar, Muktabh Mayank Srivastava

Autoscaling Cloud AI következtetés

Amikor az üzletek 11 óra körül nyitnak (különböző időzónák szerint délelőtt 11 órakor, vagyis bárhol is legyenek ügyfeleink értékesítői vagy árusai), szervereink őrült sok árusítóval néznek szembe, akik fotókat töltenek fel a felhőnkbe, hogy feldolgozzák és elmondják nekik a sajátjukat. kiskereskedelmi végrehajtási pontszám. Aztán este 11 óra után, amikor a kiskereskedelmi üzletek bezárnak, alig van elegendő mesterséges intelligencia-következtetési munkaterhelésünk. Míg a Lambda-szerű automatikus skálázást számos szolgáltató bevezette, mi egy felhőtől független automatikus skálázási technikát szerettünk volna az AI következtetési infrastruktúránk számára. Ha több kép van a feldolgozási sorunkban, akkor több GPU-ra van szükségünk, amelyek roppantják őket, különben csak egy, vagy esetleg egy sem. Ennek érdekében a teljes mesterségesintelligencia-következtetési réteget áthelyezték a Docker, Kubernetes és KEDA alapú architektúrába, ahol tetszőleges számú új GPU-t lehet létrehozni a munkaterhelés alapján. Nincs többé kötél, hogy megpróbálja kezelni a vállalat SLA-ját, és $$-t takarítson meg a költséges GPU-gépek üzemeltetésén.

A polcobjektum-észlelési algoritmusok javítása

(Papír) Gauss-térképek tanulása sűrű objektumok észleléséhez – Link

Sonaal Kant

Korábban egyszerű, gyorsabb RCNN-eket használtunk, amelyeket polcobjektum-kinyerésre képeztek ki: Egyszerű objektumészlelési alappapír . Sok felhasználási esetre jól működött. de több korszerű megközelítésre volt szükségünk. 2020-ban csapatunk egy új módszert fedezett fel a Gauss-térképek használatával a legkorszerűbb eredmények elérése érdekében. Ez a munka [később megjelent a BMVC-n, az egyik legnépszerűbb Computer Vision konferencián BMVC honlapja ] segítségével nemcsak kielégítő, hanem a lehető legjobb eredményeket is elérhetjük a polcon lévő tárgyak észlelésekor.

A trükk lényegében az, hogy a Gauss-térképek képzését az objektumészlelés kiegészítő veszteségeként használják. Ez sokkal pontosabbá teszi a különböző termékek dobozait.

Egy másik kérdés, amit régóta próbálunk megválaszolni a polctárgyfelismeréssel kapcsolatban, az volt, hogy most, hogy a termékek felismerésének igénye egy downstream feladatba került, és a feladat az, hogy az összes lehetséges termékre dobozokat rajzoljunk, van-e A hatalmas, megjegyzés nélküli adatkészletben található zajok és torzítások felhasználásának módja a polcobjektumok jobb észlelése érdekében. Egy újabb munkában [említve a RetailVision workshop a CVPR 2021-en Kiskereskedelmi Vision Workshop ], a megjegyzés nélküli polcképek hatalmas tárházát használjuk a polctárgy-észlelési feladat pontosságának javítására.

(Papír) Félig felügyelt tanulás a sűrű objektumok észleléséhez kiskereskedelmi jelenetekben – Link

Jaydeep Chauhan, Srikrishna Varadarajan, Muktabh Mayank Srivastava

A psuedlabel alapú hallgatói képzés egy trükk, amelyet több területen is használtunk, nem a polctárgyak észlelésére. Míg más öntanuló technikák nagy tételeket igényelnek a GPU-kra, így megnehezítik a korlátozott hardverekhez, például a ParallelDotshoz hasonló cégek számára a kipróbálást. , pszeudocímkéket alakítottunk ki trükkünkként az egyetlen GPU-s öntanuláshoz.

Az osztályozási pontosság javítása

Korábban számos trükköt alkalmaztunk a pontos osztályozók nagy pontosságú betanításához.

(Papír) trükkök a kiskereskedelmi termékek képi osztályozásához – Link, amely szemlélteti, hogyan képezzük az osztályozókat nagy pontossággal.

Muktabh Mayank Srivastava

Az összes olyan doboz, amelyet a polctárgy-érzékelő kivon a polcképből, áthalad ezen az osztályozón, hogy a termék márkájára következtessen.

Az üzletek gyakran változó katalógusai miatt azonban termékosztályozónknak fejlődnie kell, hogy a dolgokat egy kicsit másképp végezze. Az osztályozó betanítása erőforrás-igényes, az üzletek katalógusaiból gyorsan felkerülő vagy onnan kikerülő termékekkel olyan osztályozóra van szükségünk, amely gyorsan betanítható és pontosabb vagy legalább olyan pontos, mint a teljes gerinc finomhangolását igénylő módszerek. Ez úgy hangzik, mintha az ember torta és értékelné is, és ez az, amit az öntanulási technikákról kimutattak a Deep Learningben. Igyekeztünk az Self Learning koncepcióit felhasználni olyan osztályozók létrehozására, amelyeket nagyon könnyen lehet tanítani.

(Papír) Kontrasztív tanulás és álcímkék használata a kiskereskedelmi termékek képi osztályozásának megjelenítésére – Link

Muktabh Mayank Srivastava

A trükk, amit itt használunk, az, hogy a rendelkezésünkre álló kiskereskedelmi termékképek hatalmas tárházát [annotált és megjegyzés nélküli] felhasználjuk egy reprezentációs tanuló képzésére, akinek a kimenete betáplálható egy egyszerű gépi tanulási osztályozóba a képzéshez. Az ilyen tanult jellemzőreprezentációk elég jól működnek. Milyen klassz dolog egy kis logisztikai regressziós osztályozót betanítani a kiskereskedelmi képek osztályozására. Sajnos több mint 20-szor több kép áll rendelkezésünkre az ilyen feladatokhoz, ezért jelenleg az elért pontosságunk a korlátozott hardver-infrastruktúrára korlátozódik az ilyen öntanuláshoz, és ennek ellenére sok [nem minden] adatkészleten felülmúljuk a technikát.

Méretalapú következtetés a polcképek alapján

Miközben különböző termékek márkáit észleltük a polcképeken, egy újabb specifikáció, amelyet megpróbáltunk megoldani, az, hogy megtudjuk, milyen méretű termék az a termék, amelytől függünk. Például míg a Computer Vision csővezeték egy Lays Magic Masala-t észlel a polcon, és Lays Magic Masalaként osztályozza, honnan tudhatjuk, hogy a termék 50 grammos, 100 grammos vagy 200 grammos változata. Így egy harmadik lefelé irányuló feladatot is beiktatunk a polc méretváltozatának kitalálására. Ez a csővezeték átveszi a polcról kinyert különböző dobozokat, azok márkáit, és olyan funkciókat hoz létre, amelyek segítségével kitalálható a méret. Nyilvánvaló, hogy nem használhatunk határolókeret koordinátákat vagy területet ilyen érveléshez, mivel a képek bármilyen távolságból készíthetők. Olyan jellemzőket használunk, mint a méretarány és a különböző csoportok dobozai közötti területarány a méretváltozat megállapításához.

(Papír) gépi tanulási megközelítések méret alapú érvelés végrehajtásához a kiskereskedelmi polcobjektumokon a termékváltozatok osztályozásához – Link

Muktabh Mayank Srivastava, Pratyush Kumar

Sok jellemzőmérnöki trükköt használnak az érvelési feladat két változatának betanításához: XGBOOST használata bindált jellemzők felett, és neurális hálózat használata Gauss-keverékből származó jellemzők felett.

Indoklás az értékesítési pontok anyagairól

Amikor belép egy kiskereskedelmi üzletbe, különféle POSM anyagokat észlelhet: polccsíkokat, kivágásokat, posztereket, gandolákat és bemutató állványokat.

Míg a Deep Learning alapú kulcspont-reprezentációs illesztést használtuk a POSM jelenlétének ellenőrzésére egy képen, volt egy feladat, hogy a POSM-ről részről részre okoskodjunk. A fenti példában például szükségünk lehet arra, hogy ellenőrizzük, hogy a termékfotó jobbra az ideális polcsávban jelen van-e egy valós elhelyezésen vagy sem. Ezt a POSM-ellenőrzés után „rész” észlelésnek nevezzük.

(Papír) Keypoint Matching és Interactive Self Attention Network használata a kiskereskedelmi POSM-ek ellenőrzésére – Link

Harshita Seth, Sonaal Kant, Muktabh Mayank Srivastava

Lényegében mivel a POSM nagyon gyorsan változik hetente/havonta, soha nem lehet sok adatot beszerezni az algoritmusok betanításához az egyes POSM-ekhez. Tehát olyan algoritmusokra van szükségünk, amelyek a meglévő adatkészleteken tanítanak úgy, hogy bármilyen adatkészletre alkalmazhatóak legyenek. Ez a célunk a POSM-ek önfigyelő hálózatának közelmúltbeli munkájával. A pontos jelenlét meghatározásához az egyező kulcspontokat [az ideális POSM-képen és a valódi szóképen] és ezek leíróit [mindkét képről] használjuk bemenetként az egyes részekhez.

Egy Sentiment Analysis API, amely bármilyen domainadaton működik

Amikor egy hangulatelemző API-ként telepítendő modellt betanít, nem igazán lehet különböző tartományokból származó adatokat megjegyzésekkel ellátni. Például a korábbi hangulatelemzési modellünk egy nagy nyelvi modell volt, amelyet 10-15 2 páratlan tweetre finomítottak, amelyeket házon belül kommentáltunk. Így az algoritmus alig látott különböző területeken kifejezett érzelmeket tanulás közben. Megpróbáltuk az öntanulást használni, hogy a hangulatosztályozási algoritmusunkat strapabíróvá tegyük a tartományváltáshoz. Vegyünk XNUMX millió + megjegyzés nélküli mondatot, futtassuk az osztályozó régebbi verzióját álcímkék létrehozásához, és képezzünk ki egy új osztályozót, hogy megtanulja ezeket az álcímkéket, és fellendüljön. Van egy hangulatosztályozója, amely sokkal robusztusabb a tartományban, miközben a kezdeti tartományban a pontossága megmarad azonos. Túl jól hangzik, hogy igaz legyen, nézze meg munkáinkat:

(Papír) A Psuedlabels (Psuedlabels) használatával az érzelmek osztályozói segítségével a modell jobban általánosítható az adatkészletek között – Link

Natesh Reddy, Muktabh Mayank Srivastava

Korszerű módszer létrehozása a célzott érzelmek kimutatására

Nálunk az NLP API üzletágban a célzott hangulat az, ha van egy mondat: „Az Apple nem volt olyan finom, de a narancs jó volt”, az osztályozó negatív értéket ad vissza, ha „alma” bemenetet kap, és pozitívat, ha narancsot kap. Alapvetően a mondat egy tárgyára irányuló érzelem. Új módszert fejlesztettünk ki, amely érzékeli a célzott hangulatot, és hamarosan elérhető lesz NLP API-ként. A kutatási terület az Aspect Based hangulatelemzésnek felel meg, és legutóbbi munkáink a legkorszerűbb eredményeket kapják több adathalmazban, pusztán a kontextuális [BERT] és a nem kontextuális [GloVe] architektúra finomhangolásával. Az érzés valahol a kontextusban rejtőzik, igaz?

(Papír) A BERT megérti a hangulatot? A kontextuális és nem kontextuális beágyazások összehasonlítása az aspektus alapú érzésmodellek javítása érdekében – Link

Natesh Reddy, Pranaydeep Singh, Muktabh Mayank Srivastava

Előre és felfelé

Reméljük, hogy tetszett az új technológia, amelyet tavaly fejlesztettünk ki. Nagyon szívesen válaszolok kérdésekre, ha van. Folytatjuk az új és izgalmas technológia fejlesztését, és dolgozunk néhány új, remek gépi tanulási problémán, mint például a Graph Neural Networks for Retail Recommendation, a Out-Of-Distribution Image Classification és a Language Models. Mi is felveszünk, írjon nekünk a karriers@paralleldots.com címre, vagy jelentkezzen az AngelList oldalunkon, hogy csatlakozzon AI csapatunkhoz. Jelentkezhet, ha gépi tanulási mérnök, háttérfejlesztő vagy AI projektmenedzser szeretne lenni. ParallelDots AngelList

Tetszett a blog? Tekintse meg a másikunkat blogok hogy megtudja, hogyan segíthet a képfelismerő technológia a márkáknak a kiskereskedelemben alkalmazott végrehajtási stratégiáik fejlesztésében.

Szeretné látni, hogyan teljesít a saját márkája a polcokon? Kattintson itt hogy ütemezze be a ShelfWatch ingyenes demóját.