Zespół Data Science w ParallelDots – raport na koniec roku

Rok 2020 [i pierwsza połowa 2021] był czarnym łabędziem. Rodziny, stowarzyszenia i firmy musiały stawić czoła rzeczom, o których nie mogły sobie wyobrazić. W tym poście postaram się podkreślić, w jaki sposób zespół ParallelDots AI dostosowywał się w tym okresie i tworzył dla następnej generacji naszych detalicznych rozwiązań AI.

ParallelDots przeszedł w pełny tryb pracy zdalnej w lutym 2020 roku i od tego czasu zespół nie spotkał się fizycznie przez jeden dzień. Wcześniej zawsze byliśmy bardzo zgraną jednostką i dlatego pierwsze tygodnie spędziliśmy całkowicie na budowaniu kultury pracy zdalnej. Musieliśmy pomyśleć o lepszej komunikacji i zupełnie innej strukturze własności. Biorąc pod uwagę, że firma również przeżywała szok biznesowy, te tygodnie były ciężkie. Osobiście jestem dumny ze sposobu, w jaki nasz zespół poradził sobie z presją i nie tylko dostosował się, ale ewoluował, aby stać się najlepszą maszyną do mieszania technologii, jaką zawsze była. Zaledwie kilka tygodni poprawek i znów byliśmy niesamowici.

Wyzwania dla zespołu AI [około marca 2020]

[Możesz uznać „dlaczego” różne algorytmy i systemy sztucznej inteligencji, które tworzymy, za nudne, wiem, bo bym tak , jeśli interesuje Cię tylko „jak” lub cała nowa fajna sekcja technologii i algorytmów, przejdź do sekcji „Nowe systemy i algorytmy”]

Rola zespołu ParallelDots AI polega na rozwiązywaniu różnych problemów, które stanowią wąskie gardło naszej infrastruktury szkoleniowej i wdrożeniowej AI w ParallelDots. Wyzwania te można podzielić na: A. Wąskie gardła szkolenia AI i dokładności [lub Wąskie gardła badań] oraz B. Wąskie gardła w zakresie wdrażania/wnioskowania [lub Wąskie gardła MLOPS, jak je nazywamy]. Na początku 2020 r., kiedy nasza technologia AI przetwarzała już ponad milion obrazów miesięcznie, niektóre wyzwania, które mieliśmy rozwiązać, aby zwiększyć jej skalę, to:

1. Wdrażanie infrastruktury wnioskowania, która może automatycznie skalować się w górę w przypadku zbyt wielu obrazów detalicznych do przetworzenia, aby zachować nasze umowy SLA, jednocześnie upewniając się, że wdrożenie jest skalowane w przypadku małych obciążeń. Procesory graficzne to kosztowne maszyny, a posiadanie statycznej infrastruktury [lub gotowej lub ręcznej instalacji] jest przeszkodą między spełnieniem umów SLA a unikaniem wysokich kosztów.
2. Uruchamianie naszych algorytmów wizyjnych w sprzedaży detalicznej na telefonie. Zawsze myśleliśmy o nowym produkcie, w którym sztuczna inteligencja może być wykorzystywana w telefonach w małych punktach sprzedaży detalicznej z wolnym łączem internetowym do rozliczeń/GRN/zarządzania zapasami. Nie tylko to, niektórzy z naszych potencjalnych klientów na półki chcieli wdrożeń, które można wykorzystać w sklepach do szybkiego wnioskowania bez oczekiwania na przesłanie obrazu i proces. Zdawaliśmy sobie sprawę, że gdybyśmy mogli uruchomić nasze detaliczne algorytmy AI na telefonach, pomogłoby nam to zbudować nasz wymarzony drugi produkt, ale także pomogłoby naszemu obecnemu produktowi zdobyć nowych klientów. Oba powyższe wyzwania są wyzwaniami MLOPS, jak je nazywamy.
3. Wykrywanie wariantów rozmiaru produktów na zdjęciach. Kolejnym wyzwaniem było wykrycie różnic w rozmiarze produktu na zdjęciach detalicznych. Jako przykład załóżmy, że masz obraz na półkę z żetonami i musisz wykryć liczbę nie tylko magicznej masali Lay's za pomocą sztucznej inteligencji, ale także podzielić między pakietami 10 INR / 20 INR / 30 INR z Lay's Magic masala w swojej analizie. Dla osób, które nie pracowały w Computer Vision, może to wyglądać na oczywisty i prosty kolejny problem do rozwiązania, biorąc pod uwagę, że sztuczna inteligencja może wykryć produkt na półce i sklasyfikować go jako marki z bardzo dużą dokładnością. Ale znasz słynne XKCD #1425 [Zawsze jest odpowiedni XKCD do wszystkiego 😉 ] . Odpowiednie XKCD
4. Weryfikacja części materiałów w punkcie sprzedaży. Kolejnym elementem analizy obrazów półek, oprócz wykrywania i identyfikacji produktów na półce, jest weryfikacja obecności różnych materiałów POS na półce. Te materiały w punktach sprzedaży to rzeczy, które często można zobaczyć w sklepie detalicznym lub sklepie kirana w pobliżu, takie jak listwy półkowe, wycinanki, plakaty, gandole i stojaki demonstracyjne. Używaliśmy dopasowywania Deep Keypoint do takich dopasowań przez bardzo długi czas i kiedyś działało to dobrze. Jednak z czasem klienci poprosili nas nie tylko o weryfikację POSM na obrazach półek, ale także o wskazanie brakujących elementów, które merchandiser mógł pominąć w POSM. Na przykład sprzedawca mógł przegapić umieszczenie plakatu na stojaku demonstracyjnym lub mógł zostać usunięty w sklepie z powodu jakiegoś wypadku. Aby zrobić to bardzo dokładnie na poziomie, na którym działa klasyfikacja obrazów, potrzebowaliśmy algorytmu, który działa wszędzie bez treningu, ponieważ POSM zmieniają się w ciągu tygodni/miesięcy.
5. Szkolenie dokładniejszych detektorów produktów na półkach. Retail Shelf Computer Vision przeniósł się na technologię posiadania ogólnego wykrywacza przedmiotów na półce [wyodrębnianie dowolnego przedmiotu z półki bez klasyfikowania go] w pierwszym kroku, a następnie klasyfikowanie produktów, a następnie wyodrębnianie produktów w drugim kroku, aby uniknąć problemów, wykrywacze jednoetapowe + klasyfikatory utwórz [Ogromna skośność produktu na półkach, tworząca złe wyniki klasyfikacji / szkolenie na dużej ilości danych na projekt i brak przyrostowych korzyści wynikających z poprawy AI z poprzednich projektów i tak dalej]. Mieliśmy już taki system ogólnego wykrywacza przedmiotów na półkach i najnowocześniejszy klasyfikator w drugim etapie w 2019 r., ale kształty skrzynek wyjściowych wykrywacza przedmiotów na półkach mogły być lepsze.
6. Wykorzystując wcześniejsze szkolenia AI i korekty błędów, aby trenować klasyfikatory zarówno lepiej, jak i szybciej. Szkolimy tak wiele klasyfikatorów [modeli, które klasyfikują obiekty z półek wyodrębnione przez algorytm kroku 1 do jednej z wymaganych przez nas marek produktów]. Czy istnieje sposób na wykorzystanie wszystkich zebranych danych szkoleniowych, w tym błędów poprzednich klasyfikatorów, do stworzenia algorytmu, który może pomóc w szybkim i dokładniejszym szkoleniu nowych klasyfikatorów, to pytanie, które jest zawsze aktualne. Cztery problemy badawcze [3-6], które znalazłeś, odzwierciedlają nowe wymagania naszego produktu zegarkowego [3,4] i ulepszają istniejący stos [5,6]. Teraz pojawił się również zestaw problemów badawczych z naszego stosu API NLP.
7. Bardziej ogólny interfejs API do analizy nastrojów. Interfejs API analizy nastrojów, który mieliśmy online, został przeszkolony w zakresie wewnętrznych tweetów z adnotacjami i dlatego pomimo dużej dokładności mógł zawieść w przypadku bardziej specyficznych dla domeny spraw, takich jak artykuły polityczne lub finansowe. W przeciwieństwie do tweetów, takie artykuły w różnych domenach są trudne do opisania przez osoby, które nie mają doświadczenia w domenie zestawu danych. Wykorzystywanie dużej ilości danych bez adnotacji do trenowania klasyfikatorów, które mogłyby działać w różnych domenach, było od zawsze istniejącym wyzwaniem.
8. Nowy ukierunkowany interfejs API nastrojów. Analiza sentymentu oparta na aspektach istnieje już od jakiegoś czasu. W końcu mieliśmy wewnętrzny zestaw danych z adnotacjami do takiej analizy, ale nasz cel był nieco bardziej szczegółowy. Chcieliśmy zbudować API, w którym podasz zdanie „Jabłko nie było smaczne, ale pomarańcza była naprawdę mniam”. da wynik ujemny, gdy przeanalizujemy „Jabłko” lub Pozytywny, gdy przeanalizujemy go dla pomarańczy. Dlatego naszym celem było zbudowanie najnowocześniejszego algorytmu Aspektowej Analizy Sentymentu.

Teraz, gdy znudziłem Cię szczegółami wyzwań, które próbowaliśmy rozwiązać, przejdźmy do interesującej części. Nasze nowe platformy i algorytmy MLOPS.

Nowe systemy i algorytmy

Pozwólcie, że przedstawię wam moich nowych przyjaciół, kilka niesamowitych systemów technologicznych i algorytmów AI, które opracowaliśmy i wdrożyliśmy w ostatnim czasie, aby poradzić sobie z wąskimi gardłami.

Mobile Product Recognition AI lub Mobile Shelf Recognition AI

Wprowadzenie do ParallelDots Oogashop – Połączyć

(Kanał i wideo LinkedIn)

Zbudowaliśmy i wdrożyliśmy nie jeden, ale dwa różne typy algorytmów AI na urządzeniach mobilnych. Być może widziałeś kilka dni temu nasze niezwykle wirusowe posty, w których prezentowaliśmy rozliczenia za telefon komórkowy i rozmawialiśmy o audytach półek offline.

Oto link do funkcji rozpoznawania obrazu na urządzeniu (ODIN) firmy ShelfWatch – Połączyć

(Artykuł)

Zasadniczo te modele AI są przeskalowanymi wersjami modeli, które wdrażamy w chmurze. Z pewną utratą dokładności modele te są teraz wystarczająco małe, aby działać na GPU w telefonie [który jest znacznie mniejszy niż GPU obsługujący]. Nowe platformy wdrażania mobilnego Tensorflow są tym, czego używamy do wdrażania tych modeli odpowiednio w naszych aplikacjach OOGASHOP i ShelfWatch.

(Papierowa) Kompaktowa segmentacja półek sklepowych do zastosowań mobilnych — Połączyć

Pratyush Kumar, Muktabh Mayank Srivastava

Autoskalowanie Cloud AI wnioskowanie

Kiedy sklepy otwierają się około godziny 11 [11 rano dla różnych stref czasowych, to znaczy gdziekolwiek na świecie nasi klienci mają swoich sprzedawców lub merchandizerów], nasze serwery napotykają szaloną masę merchandizerów przesyłających zdjęcia do naszej chmury w celu przetworzenia i poinformowania ich o swoich detaliczny wynik wykonania. A po godzinie 11:XNUMX, kiedy sklepy detaliczne są zamykane, nie mamy wystarczającego obciążenia wnioskowaniem AI. Chociaż autoskalowanie podobne do lambda zostało wprowadzone przez wielu dostawców, chcieliśmy niezależnej od chmury techniki autoskalowania dla naszej infrastruktury wnioskowania AI. Gdy w naszej kolejce przetwarzania jest więcej obrazów, potrzebujemy więcej procesorów graficznych, które je przetwarzają, w przeciwnym razie tylko jeden lub być może żaden. W tym celu cała warstwa wnioskowania AI została przeniesiona do architektury opartej na platformach Docker, Kubernetes i KEDA, gdzie w zależności od obciążenia można utworzyć dowolną liczbę nowych procesorów graficznych. Koniec z próbami zarządzania umową SLA firmy i oszczędzaniem na kosztownych w eksploatacji maszynach GPU.

Poprawa algorytmów wykrywania obiektów półkowych

(Artykuł) Nauka map Gaussa do wykrywania gęstych obiektów – Połączyć

Sonaala Kanta

Wcześniej korzystaliśmy z prostych Faster RCNN wyszkolonych do ekstrakcji obiektów z półki: Papier bazowy do prostego wykrywania obiektów . Działało dobrze w wielu przypadkach użycia. ale potrzebowaliśmy więcej najnowocześniejszych podejść. W 2020 r. nasz zespół odkrył nową metodę korzystania z map Gaussa, aby uzyskać najnowocześniejsze wyniki. Ta praca [później opublikowana na BMVC, jednej z najlepszych konferencji Computer Vision Strona internetowa BMVC ] pomogło nam uzyskać nie tylko zadowalające, ale także najlepsze możliwe wyniki wykrywania obiektów na półce.

Sztuczka polega zasadniczo na wykorzystaniu treningu map gaussowskich jako pomocniczej straty w wykrywaniu obiektów. Dzięki temu pudełka na różne produkty są znacznie bardziej precyzyjne.

Innym pytaniem, na które od dawna staramy się odpowiedzieć w zakresie wykrywania przedmiotów na półce, jest to, że teraz, gdy potrzeba rozpoznawania produktów została przeniesiona do zadania niższego szczebla, a zadaniem jest narysowanie pudełek na wszystkich możliwych produktach, czy istnieje sposób na wykorzystanie szumów i zniekształceń zawartych w ogromnym zbiorze danych bez adnotacji w celu lepszego wykrywania obiektów na półce. W niedawnej pracy [wspomniana w Warsztaty RetailVision na CVPR 2021 Warsztaty dotyczące wizji sprzedaży detalicznej ], używamy naszego ogromnego repozytorium obrazów półek bez adnotacji, aby zwiększyć dokładność zadania wykrywania przedmiotów na półkach.

(Papier) Częściowo nadzorowana nauka wykrywania gęstych obiektów w scenach handlowych — Połączyć

Jaydeep Chauhan, Srikrishna Varadarajan, Muktabh Mayank Srivastava

Szkolenie studentów oparte na pseudoetykietach to sztuczka, którą zastosowaliśmy w wielu dziedzinach, a nie do wykrywania obiektów na półce. Podczas gdy inne techniki samouczenia wymagają ładowania dużych partii na procesory graficzne, co utrudnia wypróbowanie ich przez firmę z ograniczonym sprzętem, taką jak ParallelDots , pseudoetykiety są tym, co zaadaptowaliśmy jako naszą sztuczkę do samodzielnego uczenia się pojedynczego GPU.

Poprawa dokładności klasyfikacji

W przeszłości stosowaliśmy wiele sztuczek, aby trenować dokładne klasyfikatory z dużą dokładnością.

(Papierowa) torba ze sztuczkami do klasyfikacji obrazów produktów detalicznych – Połączyć, który ilustruje, w jaki sposób trenujemy klasyfikatory z dużą dokładnością.

Muktabh Mayank Śrivastava

Wszystkie pudełka, które wykrywacz przedmiotów na półce wyodrębnia z obrazu półki, są przepuszczane przez ten klasyfikator w celu określenia marki produktu.

Jednak wraz z często zmieniającymi się katalogami sklepów, nasz klasyfikator produktów musi ewoluować, aby robić rzeczy nieco inaczej. Szkolenie klasyfikatora wymaga dużej ilości zasobów, ponieważ produkty są szybko dodawane lub usuwane z katalogów sklepów, potrzebujemy klasyfikatora, który można szybko przeszkolić i który będzie dokładniejszy lub przynajmniej tak dokładny, jak metody polegające na dostrajaniu pełnego szkieletu. Brzmi to jak posiadanie własnego ciasta i ocenianie go, i to właśnie wykazano w technikach samouczenia się w Deep Learning. Staraliśmy się wykorzystać koncepcje samouczenia się, aby stworzyć klasyfikatory, które można bardzo lekko trenować.

(Artykuł) Wykorzystanie kontrastowego uczenia się i pseudoetykiet do nauki reprezentacji do klasyfikacji wizerunku produktów detalicznych – Połączyć

Muktabh Mayank Śrivastava

Sztuczka, której tu używamy, polega na wykorzystaniu ogromnego repozytorium obrazów produktów detalicznych, które posiadamy [zarówno z adnotacjami, jak i bez adnotacji], aby przeszkolić osobę uczącą się reprezentacji, której dane wyjściowe można przekazać do prostego klasyfikatora uczenia maszynowego w celu przeszkolenia. Takie wyuczone reprezentacje cech działają całkiem dobrze. Jak fajnie jest wytrenować mały logistyczny klasyfikator regresji do klasyfikowania obrazów detalicznych. Niestety, mamy ponad 20 razy więcej obrazów do takich zadań, dlatego w tej chwili nasza osiągnięta dokładność jest ograniczona do ograniczonej infrastruktury sprzętowej umożliwiającej takie samouczenie się, a mimo to pokonujemy najnowocześniejsze rozwiązania w wielu [nie wszystkich] zestawach danych.

Wnioskowanie na podstawie rozmiaru na podstawie obrazów półek

Chociaż wykrywamy marki różnych produktów widocznych na obrazach półek, ostatnia specyfikacja, którą próbowaliśmy rozwiązać, polega na ustaleniu, jaki wariant rozmiaru produktu jest produktem, od którego jesteśmy zależni. Na przykład, podczas gdy potok Computer Vision wykrywa Lays Magic Masala na półce i klasyfikuje go jako Lays Magic Masala, skąd mamy wiedzieć, czy jest to wariant produktu 50 Gram, 100 Gram czy 200 Gram. W ten sposób dołączamy trzecie dalsze zadanie, aby odgadnąć wariant rozmiaru półki. Ten rurociąg bierze różne pudełka wydobyte z półki, ich marki i tworzy cechy, które można wykorzystać do odgadnięcia rozmiaru. Jak jest oczywiste, nie można używać współrzędnych pola ograniczającego lub obszaru do takiego rozumowania, ponieważ obrazy można robić z dowolnej odległości. Używamy funkcji, takich jak proporcje i proporcje między pudełkami z różnych grup, aby określić wariant rozmiaru.

(Papier) Metody uczenia maszynowego do wnioskowania opartego na rozmiarze na obiektach półki handlowej w celu klasyfikacji wariantów produktów – Połączyć

Muktabh Mayank Srivastava, Pratyush Kumar

Do trenowania dwóch wariantów zadania wnioskowania używa się wielu sztuczek związanych z inżynierią cech: Używanie XGBOOST na funkcjach binned i używanie sieci neuronowej na funkcjach pochodnych modelu mieszanego Gaussa.

Rozumowanie o materiałach punktu sprzedaży

Wchodząc do sklepu detalicznego, można zauważyć różne materiały POSM: paski półek, wycinanki, plakaty, gandole i stojaki demonstracyjne.

Chociaż używaliśmy opartego na Deep Learning dopasowania reprezentacji punktów kluczowych do weryfikacji obecności POSM na obrazie, było zadanie, aby wnioskować o POSM część po części. To jest na przykład w powyższym przykładzie, możemy być potrzebni, aby sprawdzić, czy zdjęcie produktu po prawej stronie w idealnym pasku półki jest obecne w prawdziwym świecie, czy nie. Nazywamy to wykrywaniem „Części” po weryfikacji POSM.

(Papier) Korzystanie z funkcji dopasowywania punktów kluczowych i interaktywnej sieci samoobsługi do weryfikacji detalicznych punktów sprzedaży — Połączyć

Harshita Seth, Sonaal Kant, Muktabh Mayank Srivastava

Zasadniczo, ponieważ POSM zmienia się bardzo szybko co tydzień / co miesiąc, nigdy nie można uzyskać dużej ilości danych, aby wytrenować algorytmy dla każdego POSM. Potrzebujemy więc algorytmów, które trenują w sposób na istniejących zestawach danych, aby można je było zastosować w dowolnym zestawie danych. Taki jest nasz cel w ramach niedawnej pracy sieci samooceny dla POSM. Używamy dopasowanych punktów kluczowych [na idealnym obrazie POSM i obrazie rzeczywistym] i ich deskryptorach [z obu obrazów] jako danych wejściowych dla każdej części osobno, aby określić dokładną obecność.

Interfejs API do analizy nastrojów, który działa na dowolnych danych domeny

Podczas trenowania modelu, który ma zostać wdrożony jako interfejs API analizy tonacji, tak naprawdę nie można uzyskać danych z różnych domen z adnotacjami. Na przykład poprzedni model analizy sentymentu, który mieliśmy, był modelem dużego języka, dostrojonym do ponad 10-15 tys. Tak więc algorytm prawie nie widział sentymentów wyrażanych w różnych dziedzinach podczas uczenia się. Próbowaliśmy użyć samouczenia się, aby nasz algorytm klasyfikacji nastrojów był odporny na zmianę domeny. Weź 2 miliony + zdanie bez adnotacji, uruchom starszą wersję klasyfikatora, aby utworzyć pseudoetykiety i wytrenuj nowy klasyfikator, aby nauczyć się tych pseudoetykiet i boom.. masz klasyfikator sentymentalny, który jest znacznie bardziej niezawodny w domenie, podczas gdy jego dokładność w początkowej domenie pozostaje niezmienna to samo. Brzmi zbyt pięknie, aby mogło być prawdziwe, sprawdź naszą pracę :

(Artykuł) Używanie pseudoetykiet do uczenia klasyfikatorów nastrojów sprawia, że ​​model lepiej uogólnia się w różnych zestawach danych – Połączyć

Natesh Reddy, Muktabh Mayank Srivastava

Tworzenie najnowocześniejszej metody wykrywania ukierunkowanych nastrojów

Dla nas, w biznesie NLP API, ukierunkowany sentyment ma miejsce wtedy, gdy masz zdanie „Jabłko nie było tak smaczne, ale pomarańczowe było dobre”, klasyfikator zwraca wartość ujemną, gdy otrzyma dane wejściowe „jabłko” i dodatni, jeśli otrzyma dane wejściowe w kolorze pomarańczowym. Zasadniczo sentyment skierowany do obiektu w zdaniu. Opracowaliśmy nową metodę, która wykrywa ukierunkowany sentyment i która wkrótce będzie dostępna jako API NLP. Dziedzina badań odpowiada analizie sentymentu opartej na aspektach, a nasza ostatnia praca uzyskuje najnowocześniejsze wyniki w wielu zestawach danych, po prostu dopracowując architekturę porównując kontekstową [BERT] i niekontekstową [GloVe]. Sentyment jest gdzieś ukryty w kontekście, prawda?

(Artykuł) Czy BERT rozumie sentyment? Wykorzystanie porównań osadzeń kontekstowych i niekontekstowych w celu ulepszenia modeli nastrojów opartych na aspektach — Połączyć

Natesha Reddy’ego, Pranaydeepa Singha, Muktabh Mayank Śrivastava

Naprzód i w górę

Mam nadzieję, że spodobała Ci się nowa technologia, którą opracowaliśmy w zeszłym roku. Bardzo chętnie odpowiem na pytania, jeśli masz jakieś. Nieustannie rozwijamy nową i ekscytującą technologię i pracujemy nad kilkoma nowymi, fajnymi problemami z uczeniem maszynowym, takimi jak grafowe sieci neuronowe dla handlu detalicznego, klasyfikacja obrazów poza dystrybucją i modele językowe. Zatrudniamy również, napisz do nas na careers@paralleldots.com lub zgłoś się na naszej stronie AngelList, aby dołączyć do naszego zespołu AI. Możesz aplikować, jeśli chcesz zostać inżynierem uczenia maszynowego, programistą zaplecza lub kierownikiem projektu AI. Lista Aniołów ParallelDots

Podobał Ci się blog? Sprawdź nasze inne blogi aby zobaczyć, jak technologia rozpoznawania obrazu może pomóc markom ulepszyć ich strategie realizacji w handlu detalicznym.

Chcesz zobaczyć, jak Twoja marka radzi sobie na półkach? Kliknij tutaj zaplanować bezpłatne demo dla ShelfWatch.