Data Science Team di ParallelDots – Rapporto di fine anno

Il 2020 [e la prima metà del 2021] era un cigno nero. Famiglie, Società e aziende hanno dovuto affrontare cose che non avrebbero potuto concepire. In questo post, cercherò di evidenziare come il team di ParallelDots AI si è adattato in questo periodo e ha costruito per la prossima generazione delle nostre soluzioni di intelligenza artificiale al dettaglio.

ParallelDots è entrato in modalità di lavoro remoto completo a febbraio 2020 e da allora il team non si è incontrato fisicamente per un giorno. Prima di allora eravamo sempre stati un'unità molto unita e quindi le prime settimane sono state totalmente spese per costruire una cultura del lavoro a distanza. Abbiamo dovuto pensare a una migliore comunicazione ea una struttura proprietaria molto diversa. Dato che anche l'azienda stava affrontando uno shock economico, queste settimane sono state difficili. Personalmente sono orgoglioso del modo in cui il nostro team ha gestito la pressione e non solo si è adattato, ma si è evoluto per diventare la macchina per frullare la migliore tecnologia che è sempre stata. Solo poche settimane di modifiche e siamo tornati a essere fantastici.

Sfide per il team AI [circa marzo 2020]

[Potresti trovare noioso il "perché" dei diversi algoritmi e sistemi di intelligenza artificiale che stiamo costruendo, lo so perché lo avrei fatto 😉 , nel caso fossi interessato solo al "come" o a tutta la nuova fantastica sezione di tecnologia e algoritmi, vai alla sezione "Nuovi sistemi e algoritmi"]

Il ruolo del team di ParallelDots AI sta risolvendo diversi problemi che ostacolano la nostra infrastruttura di formazione e distribuzione AI in ParallelDots. Puoi suddividere queste sfide in: A. Colli di bottiglia di addestramento e precisione dell'IA [o colli di bottiglia della ricerca] e B. Colli di bottiglia di distribuzione/inferenza [o colli di bottiglia MLOPS come li chiamiamo noi] . All'inizio del 2020, mentre la nostra tecnologia di intelligenza artificiale stava già elaborando oltre un milione di immagini al mese, alcune sfide che avremmo dovuto risolvere per aumentarla erano:

1. Distribuzione di un'infrastruttura di inferenza che può aumentare automaticamente nel caso in cui ci siano troppe immagini di vendita al dettaglio da elaborare in modo da preservare i nostri SLA assicurandoci che la distribuzione sia ridotta per piccoli carichi di lavoro. Le GPU sono macchine costose e avere un'infrastruttura statica [o standard o manuale] è una corda tesa tra il rispetto degli SLA ed evitare costi elevati.
2. Fare in modo che i nostri algoritmi di visione artificiale al dettaglio vengano eseguiti sul telefono. Avevamo sempre pensato a un nuovo prodotto in cui l'IA on-edge potesse essere utilizzata nel telefono di piccoli punti vendita con connessione Internet lenta per fatturazione/GRN/Gestione dell'inventario. Non solo, alcuni dei nostri potenziali clienti di shelfwatch desideravano implementazioni che potessero essere utilizzate all'interno dei negozi per una rapida inferenza senza l'attesa per il caricamento e l'elaborazione delle immagini. Eravamo consapevoli del fatto che se potessimo far funzionare i nostri algoritmi di intelligenza artificiale per la vendita al dettaglio sui telefoni, ci aiuterebbe a realizzare il secondo prodotto dei nostri sogni, ma aiuterebbe anche il nostro prodotto esistente a ottenere nuovi clienti. Entrambe le sfide di cui sopra sono sfide MLOPS come le chiamiamo.
3. Rilevamento delle varianti di dimensione dei prodotti nelle immagini. Un'altra sfida consisteva nel rilevare le variazioni a livello di dimensione per un prodotto nelle immagini di vendita al dettaglio. Ad esempio, supponiamo che tu abbia un'immagine per uno scaffale di patatine e devi rilevare i conteggi non solo di Lay's magic masala usando l'IA, ma anche dare una divisione tra 10 pacchetti INR / 20 INR / 30 INR di Lay's Magic masala nella tua analisi Per le persone che non hanno lavorato in Computer Vision, questo potrebbe sembrare un ovvio e semplice problema successivo da risolvere dato che l'IA è in grado di rilevare i prodotti sugli scaffali e classificarli come marchi con una precisione molto elevata. Ma conosci il famoso XKCD #1425 [C'è sempre un XKCD rilevante per tutto 😉] . XKCD rilevante
4. Verifica delle parti dei materiali del punto vendita. Un'altra parte dell'analisi delle immagini degli scaffali, oltre al rilevamento e all'identificazione dei prodotti sullo scaffale, è la verifica della presenza di vari materiali per il punto vendita sullo scaffale. Questi materiali per punti vendita sono cose che vedresti spesso in un negozio al dettaglio o kirana intorno a te come strisce di scaffali, ritagli, poster, gandole e rack dimostrativi. Abbiamo usato la corrispondenza Deep Keypoint per tali corrispondenze per molto tempo e funzionava bene. Tuttavia, con il tempo i clienti ci hanno chiesto non solo di verificare il POSM nelle immagini degli scaffali, ma anche di evidenziare i pezzi mancanti che un commerciante avrebbe potuto perdere in un POSM. Ad esempio, un commerciante potrebbe non aver posizionato un poster su un rack dimostrativo o potrebbe essere stato rimosso dal negozio a causa di un incidente. Per farlo in modo molto accurato a un livello in cui funziona la classificazione delle immagini, avevamo bisogno di un algoritmo che funzionasse ovunque senza formazione poiché i POSM cambiano entro settimane/mesi.
5. Formazione di rilevatori di prodotti da scaffale più accurati. Retail Shelf Computer Vision è passata alla tecnologia di avere un rilevatore di oggetti da scaffale generico [estrae qualsiasi oggetto da scaffale senza classificarlo] nel primo passaggio e quindi classificare i prodotti quindi estratti nel secondo passaggio per evitare i problemi rilevatori + classificatori a un passaggio creare [Enorme distorsione del prodotto sugli scaffali che crea risultati di classificazione errati / formazione su molti dati per progetto e nessun guadagno incrementale dall'IA che migliora rispetto ai progetti precedenti e così via]. Avevamo già un tale sistema di un rilevatore di oggetti da scaffale generico e un classificatore all'avanguardia nella seconda fase nel 2019, ma le forme della scatola di uscita del rilevatore di oggetti da scaffale avrebbero potuto essere migliori.
6. Utilizzo dell'addestramento AI passato e delle correzioni degli errori per addestrare i classificatori in modo migliore e più veloce. Formiamo così tanti classificatori [modelli che classificano gli oggetti sugli scaffali estratti dall'algoritmo del passaggio 1 in uno dei marchi di prodotti di cui abbiamo bisogno]. C'è un modo per utilizzare tutti i dati di addestramento che raccogliamo, inclusi gli errori dei classificatori passati per creare un algoritmo che possa aiutare ad addestrare nuovi classificatori sia in modo rapido che più accurato è una domanda che è sempre in giro. I quattro problemi di ricerca [3-6] che hai riscontrato riflettono i nuovi requisiti del nostro prodotto shelfwatch [3,4] e il miglioramento dello stack esistente [5,6]. Ora c'era anche una serie di problemi di ricerca dal nostro stack di API NLP.
7. Un'API di analisi del sentimento più generica. L'API di analisi del sentimento che avevamo online è stata addestrata su tweet annotati interni e quindi, nonostante abbia una grande precisione, potrebbe fallire su argomenti più specifici del dominio come ad esempio articoli politici o finanziari. A differenza dei tweet, articoli di dominio così diversi sono difficili da annotare da persone che non hanno esperienza nel dominio di un set di dati. L'uso di molti dati non annotati per addestrare classificatori che potrebbero funzionare su più domini è stata una sfida sempre esistente.
8. Una nuova API sentiment mirata. L'analisi del sentimento basata sugli aspetti è in circolazione da un po' di tempo. Finalmente avevamo un set di dati annotato interno per tale analisi, ma il nostro obiettivo era in qualche modo più specifico. Volevamo creare un'API in cui dici una frase "La mela non era gustosa ma l'arancia era davvero buonissima". darebbe un output negativo se analizzato per "Apple" o positivo se analizzato per arancione. Quindi puntavamo a costruire un algoritmo di analisi del sentimento basato sull'aspetto all'avanguardia.

Ora che ti ho annoiato con i dettagli delle sfide che stavamo cercando di risolvere, veniamo alla parte interessante. Le nostre nuove piattaforme e algoritmi MLOPS.

Nuovi sistemi e algoritmi

Lascia che ti presenti i miei nuovi amici, alcuni fantastici sistemi tecnologici e algoritmi di intelligenza artificiale che abbiamo sviluppato e implementato nell'ultima volta per affrontare i colli di bottiglia.

Mobile Product Recognition AI o Mobile Shelf Recognition AI

Introduzione a ParallelDots Oogashop – Link

(Feed e video di LinkedIn)

Abbiamo creato e implementato non uno, ma due diversi tipi di algoritmi di intelligenza artificiale sui dispositivi mobili. Potresti aver visto i nostri post estremamente virali qualche giorno fa in cui abbiamo dimostrato la fatturazione dei telefoni cellulari e abbiamo parlato di controlli sugli scaffali offline.

Ecco il collegamento alla funzione di riconoscimento delle immagini sul dispositivo (ODIN) di ShelfWatch: Link

(Articolo)

In sostanza, questi modelli di intelligenza artificiale sono versioni ridotte dei modelli che distribuiamo sul cloud. Con una certa perdita di precisione, questi modelli sono ora abbastanza piccoli da poter essere eseguiti su una GPU del telefono [che è molto più piccola di una GPU di servizio]. I nuovi framework di distribuzione mobile di Tensorflow sono ciò che utilizziamo per distribuire questi modelli rispettivamente nelle nostre app OOGASHOP e ShelfWatch.

Segmentazione compatta dello scaffale al dettaglio (cartaceo) per la distribuzione mobile – Link

Pratyush Kumar, Muktabh Mayank Srivastava

Inferenza IA cloud con scalabilità automatica

Quando i negozi aprono verso le 11:11 [le 11:XNUMX per fusi orari diversi, ovvero ovunque nel mondo i nostri clienti abbiano la loro forza vendita o commercianti], i nostri server devono affrontare un carico folle di venditori che caricano foto sul nostro cloud per elaborare e raccontare loro le loro punteggio di esecuzione al dettaglio. E poi, dopo le XNUMX:XNUMX, quando i negozi al dettaglio chiudono, non abbiamo abbastanza carico di lavoro per l'inferenza dell'IA. Sebbene Lambda come la scalabilità automatica sia stata introdotta da molti fornitori, volevamo una tecnica di scalabilità automatica indipendente dal cloud per la nostra infrastruttura di inferenza AI. Quando ci sono più immagini nella nostra coda di elaborazione, abbiamo bisogno di più GPU per sgranocchiarle, altrimenti solo una o forse nessuna. Per fare ciò, l'intero livello di inferenza dell'IA è stato spostato su Docker, Kubernetes e architettura basata su KEDA dove è possibile generare un numero arbitrario di nuove GPU in base al carico di lavoro. Non più una corda tesa per cercare di gestire lo SLA dell'azienda e risparmiare $$ sulle costose macchine GPU.

Miglioramento degli algoritmi di rilevamento degli oggetti dello scaffale

(Cartaceo) Apprendimento delle mappe gaussiane per il rilevamento di oggetti densi – Link

Sonal Kant

In precedenza stavamo utilizzando semplici RCNN più veloci addestrati per l'estrazione di oggetti da scaffale: Carta di riferimento per il rilevamento di oggetti semplici . Ha funzionato bene per molti casi d'uso. ma avevamo bisogno di approcci più avanzati. Nel 2020 il nostro team ha scoperto un nuovo metodo per utilizzare le mappe gaussiane per ottenere risultati all'avanguardia. Questo lavoro [successivamente pubblicato al BMVC, una delle migliori conferenze di Computer Vision Sito web BMVC ] ci ha aiutato a ottenere non solo risultati soddisfacenti, ma anche i migliori possibili sul rilevamento di oggetti da scaffale.

Il trucco consiste essenzialmente nell'utilizzare l'addestramento delle mappe gaussiane come perdita ausiliaria per il rilevamento degli oggetti. Questo rende le scatole per diversi prodotti molto più precise.

Un'altra domanda che abbiamo cercato di affrontare per molto tempo in termini di rilevamento degli oggetti sugli scaffali è stata, ora che la necessità di riconoscere i prodotti è stata spostata in un'attività a valle e il compito è disegnare caselle su tutti i possibili prodotti, c'è un modo per utilizzare i rumori e le distorsioni contenuti in un enorme set di dati non annotato per un migliore rilevamento degli oggetti sugli scaffali. In un recente lavoro, [menzionato a Workshop RetailVision al CVPR 2021 Workshop sulla visione al dettaglio ], utilizziamo il nostro enorme repository di immagini di scaffali non annotate per migliorare la precisione dell'attività di rilevamento degli oggetti sugli scaffali.

(Cartaceo) Apprendimento semi-supervisionato per il rilevamento di oggetti densi in scene di vendita al dettaglio – Link

Jaydeep Chauhan, Srikrishna Varadarajan, Muktabh Mayank Srivastava

La formazione degli studenti basata su Psuedolabel è un trucco che abbiamo utilizzato in più campi, non per il rilevamento di oggetti sugli scaffali. Mentre altre tecniche di autoapprendimento richiedono il caricamento di grandi quantità di batch sulle GPU, rendendo così difficile per un'azienda come hardware limitato come ParallelDots provarle , le pseudoetichette sono ciò che abbiamo adattato come trucco per eseguire l'autoapprendimento della singola GPU.

Migliorare la precisione della classificazione

Abbiamo utilizzato più trucchi in passato per addestrare classificatori accurati con elevata precisione.

Borsa di trucchi (di carta) per la classificazione dell'immagine del prodotto al dettaglio - Link, che illustra come formiamo i classificatori con elevata precisione.

Muktabh Mayank Srivastava

Tutte le scatole che il rilevatore di oggetti scaffale estrae da un'immagine scaffale vengono passate attraverso questo classificatore per dedurre la marca del prodotto.

Tuttavia, con i cataloghi dei negozi che cambiano frequentemente, il nostro classificatore di prodotti deve evolversi per fare le cose in modo leggermente diverso. La formazione di un classificatore richiede molte risorse, con prodotti che vengono aggiunti o rimossi rapidamente dai cataloghi dei negozi, abbiamo bisogno di un classificatore che possa essere addestrato rapidamente ed essere più accurato o almeno altrettanto accurato dei metodi che coinvolgono la messa a punto dell'intera spina dorsale. Suona come avere una torta e anche valutarla, ed è ciò che le tecniche di autoapprendimento hanno dimostrato di fare nel Deep Learning. Abbiamo cercato di utilizzare i concetti di Self Learning per creare classificatori che possono essere addestrati in modo molto leggero.

(Carta) Utilizzo dell'apprendimento contrastante e delle pseudoetichette per apprendere le rappresentazioni per la classificazione dell'immagine del prodotto al dettaglio - Link

Muktabh Mayank Srivastava

Il trucco che utilizziamo qui è utilizzare l'enorme repository di immagini di prodotti al dettaglio che abbiamo [sia annotato che non annotato] per addestrare uno studente di rappresentazione, il cui output può essere inviato a un semplice classificatore di Machine Learning per l'addestramento. Tali rappresentazioni delle caratteristiche apprese funzionano abbastanza bene. Che bello è addestrare un piccolo classificatore di regressione logistica per classificare le immagini di vendita al dettaglio. Sfortunatamente, abbiamo oltre 20 volte più immagini per tali attività, quindi in questo momento la nostra precisione raggiunta è limitata all'infrastruttura hardware limitata per eseguire tale autoapprendimento e ancora superiamo lo stato dell'arte su molti [non tutti] set di dati.

Inferenza basata sulla dimensione su immagini scaffale

Sebbene abbiamo rilevato marchi di prodotti diversi visti nelle immagini degli scaffali, una specifica recente che abbiamo cercato di risolvere è quella di ragionare su quale variante di taglia di un prodotto è il prodotto da cui dipendiamo. Ad esempio, mentre la pipeline Computer Vision rileva un Lays Magic Masala sullo scaffale e lo classifica come Lays Magic Masala, come facciamo a sapere se è una variante da 50 grammi o una variante da 100 grammi o una variante da 200 grammi del prodotto. Includiamo quindi una terza attività a valle per indovinare la variante dimensionale dello scaffale. Questa pipeline prende le diverse scatole estratte dallo scaffale, i loro marchi e crea caratteristiche che possono essere utilizzate per indovinare le dimensioni. Come è ovvio, non è possibile utilizzare le coordinate o l'area del riquadro di delimitazione per tale ragionamento poiché le immagini possono essere riprese da qualsiasi distanza. Utilizziamo funzioni come le proporzioni e le proporzioni tra scatole di gruppi diversi per dedurre la variante di dimensione.

(Cartaceo) Approcci di machine learning per eseguire ragionamenti basati sulle dimensioni sugli oggetti Retail Shelf per classificare le varianti di prodotto - Link

Muktabh Mayank Srivastava, Pratyush Kumar

Molti trucchi di ingegneria delle funzionalità vengono utilizzati per addestrare le due varianti dell'attività di ragionamento: utilizzo di XGBOOST su funzionalità raggruppate e utilizzo di una rete neurale su funzionalità derivate da un modello misto gaussiano.

Ragionamento sui materiali del punto vendita

Quando entri in un negozio al dettaglio, noterai diversi materiali POSM: strisce per scaffali, ritagli, poster, gandole e rack dimostrativi.

Mentre abbiamo utilizzato la corrispondenza della rappresentazione dei punti chiave basata sul Deep Learning per verificare la presenza del POSM in un'immagine, c'era un compito per ragionare sul POSM parte per parte. Nell'esempio sopra, ad esempio, potrebbe essere necessario verificare se la fotografia del prodotto verso destra nella striscia ideale dello scaffale è presente in un posizionamento nel mondo reale o meno. Chiamiamo questo rilevamento "Parte" dopo la verifica POSM.

(Cartaceo) Utilizzo di Keypoint Matching e Interactive Self Attention Network per verificare i POSM al dettaglio – Link

Harshita Seth, Sonaal Kant, Muktabh Mayank Srivastava

In sostanza, poiché il POSM cambia molto velocemente settimanalmente/mensile, non è mai possibile ottenere molti dati per addestrare algoritmi per ciascun POSM. Quindi abbiamo bisogno di algoritmi che si addestrano in un certo modo sui set di dati esistenti in modo che possano essere applicati a qualsiasi set di dati. Questo è il nostro obiettivo con il recente lavoro di rete di auto-attenzione per i POSM. Usiamo i punti chiave abbinati [su un'immagine POSM ideale e sull'immagine di una parola reale] e i loro descrittori [da entrambe le immagini] come input per ciascuna parte separatamente per determinare la presenza esatta.

Un'API di analisi del sentimento che funziona su qualsiasi dato di dominio

Quando si addestra un modello da distribuire come API di analisi del sentiment, non è possibile ottenere realmente annotati dati da domini diversi. Ad esempio, il precedente modello di analisi del sentimento che avevamo era un modello linguistico di grandi dimensioni perfezionato su 10-15 tweet dispari che abbiamo annotato internamente. Quindi l'algoritmo ha appena visto il sentimento espresso in diversi domini durante l'apprendimento. Abbiamo provato a utilizzare l'apprendimento automatico per rendere il nostro algoritmo di classificazione dei sentimenti resistente al cambio di dominio. Prendi 2 milioni di frasi senza annotazioni, esegui una versione precedente del classificatore per creare pseudoetichette e addestra un nuovo classificatore per imparare queste pseudoetichette e boom.. hai un classificatore di sentimenti che è molto più robusto del dominio, mentre la sua precisione nel dominio iniziale rimane il stesso. Sembra troppo bello per essere vero, dai un'occhiata al nostro lavoro:

(Carta) L'uso di Psuedolabel per l'addestramento dei classificatori di sentimenti rende il modello una migliore generalizzazione tra i set di dati - Link

Natesh Reddy, Muktabh Mayank Srivastava

Realizzare un metodo all'avanguardia per rilevare il sentimento mirato

Per noi, nel business dell'API NLP, il sentimento mirato è quando hai la frase "La mela non era così gustosa, ma l'arancia era buona", un classificatore restituisce negativo quando riceve l'input "mela" e positivo se riceve l'input arancione. Fondamentalmente, sentimento diretto verso un oggetto in una frase. Abbiamo sviluppato un nuovo metodo che rileva il sentiment mirato e che sarà presto disponibile come API NLP. Il campo di ricerca corrisponde all'analisi del sentimento basata sull'aspetto e il nostro lavoro recente ottiene risultati allo stato dell'arte in più set di dati, semplicemente mettendo a punto un'architettura che confronta contestuale [BERT] e non contestuale [GloVe]. Il sentimento è nascosto nel contesto da qualche parte, giusto?

(Carta) BERT capisce il sentimento? Sfruttare i confronti tra incorporamenti contestuali e non contestuali per migliorare i modelli di sentiment basati sugli aspetti – Link

Natesh Reddy, Pranaydeep Singh, Muktabh Mayank Srivastava

In avanti e verso l'alto

Spero ti sia piaciuta la nuova tecnologia che abbiamo sviluppato l'anno scorso. Molto felice di rispondere alle domande se ne hai. Continuiamo a sviluppare nuove ed entusiasmanti tecnologie e stiamo lavorando ad alcuni nuovi interessanti problemi di Machine Learning come Graph Neural Networks for Retail Recommendation, Out-Of-Distribution Image Classification e Language Models. Stiamo assumendo anche noi, scrivici su careers@paralleldots.com o fai domanda sulla nostra pagina AngelList per entrare a far parte del nostro team di intelligenza artificiale. Puoi candidarti se vuoi diventare un ingegnere di machine learning, uno sviluppatore backend o un project manager AI. Elenco degli angeli di ParallelDots

Ti è piaciuto il blog? Dai un'occhiata al nostro altro blog per vedere come la tecnologia di riconoscimento delle immagini può aiutare i marchi a migliorare le loro strategie di esecuzione nella vendita al dettaglio.

Vuoi vedere come si esibisce il tuo marchio sugli scaffali? Clic qui per programmare una demo gratuita per ShelfWatch.