Tim Ilmu Data di ParallelDots – Laporan Akhir Tahun

2020 [dan paruh pertama 2021] adalah angsa hitam. Keluarga, Masyarakat, dan perusahaan harus menghadapi hal-hal yang tidak dapat mereka bayangkan. Dalam posting ini, saya akan mencoba menyoroti bagaimana tim ParallelDots AI telah beradaptasi dalam periode ini dan membangun untuk generasi berikutnya dari solusi AI ritel kami.

ParallelDots masuk ke mode kerja jarak jauh penuh pada Februari 2020 dan sejak itu tim belum pernah bertemu secara fisik selama sehari. Kami selalu menjadi unit yang sangat erat sebelum itu dan dengan demikian beberapa minggu pertama benar-benar dihabiskan untuk membangun budaya kerja jarak jauh. Kami harus memikirkan komunikasi yang lebih baik dan struktur kepemilikan yang sangat berbeda. Mengingat bahwa perusahaan juga menghadapi kejutan bisnis, minggu-minggu ini sulit. Saya pribadi bangga dengan cara tim kami menangani tekanan dan tidak hanya menyesuaikan, tetapi juga berkembang menjadi mesin pengaduk dengan teknologi terbaik seperti sebelumnya. Hanya beberapa minggu penyesuaian dan kami kembali menjadi luar biasa.

Tantangan untuk tim AI [sekitar Maret 2020]

[Anda mungkin menganggap 'mengapa' dari berbagai algoritme dan sistem AI yang kami bangun membosankan, saya tahu karena saya akan memiliki , jika Anda hanya tertarik pada 'bagaimana', atau semua bagian teknologi dan algoritme keren yang baru, pindah ke bagian 'Sistem dan Algoritma Baru']

Peran tim AI ParallelDots adalah memecahkan berbagai masalah yang menghambat infrastruktur pelatihan dan penerapan AI kami di ParallelDots. Anda dapat membagi tantangan ini menjadi: A. Pelatihan AI dan Kemacetan Akurasi [atau Kemacetan Penelitian] dan B. Kemacetan Penyebaran/Inferensi [atau Kemacetan MLOPS sebagaimana kami menyebutnya] . Pada awal tahun 2020, sementara teknologi AI kami telah memproses lebih dari satu juta gambar per bulan, beberapa tantangan yang diharapkan dapat kami selesaikan untuk meningkatkannya adalah:

1. Menyebarkan infrastruktur inferensi yang dapat ditingkatkan secara otomatis jika ada terlalu banyak gambar ritel untuk diproses untuk mempertahankan SLA kami sambil memastikan penerapan diperkecil untuk beban kerja kecil. GPU adalah mesin yang mahal dan memiliki infrastruktur statis [atau off-the-shelf atau manual devops] adalah hambatan antara memenuhi SLA dan menghindari biaya tinggi.
2. Membuat algoritme visi komputer ritel kami berjalan di ponsel. Kami selalu memikirkan produk baru di mana AI on-edge dapat digunakan di telepon di gerai ritel kecil dengan koneksi internet yang lambat untuk Penagihan/GRN/Manajemen Inventaris. Tidak hanya itu, beberapa calon klien jam rak kami menginginkan penerapan yang dapat digunakan di dalam toko untuk inferensi cepat tanpa menunggu unggahan dan proses gambar. Kami sadar bahwa jika kami dapat membuat algoritme AI ritel kami berjalan di ponsel, itu akan membantu kami membangun produk kedua impian kami, tetapi juga akan membantu produk kami yang sudah ada mendapatkan klien baru. Kedua tantangan di atas adalah tantangan MLOPS sebagaimana kami menyebutnya.
3. Mendeteksi varian Ukuran produk dalam gambar. Tantangan lain adalah untuk mendeteksi variasi tingkat ukuran untuk produk dalam gambar ritel. Sebagai contoh, katakanlah Anda memiliki gambar untuk rak chip dan Anda harus mendeteksi jumlah tidak hanya masala ajaib Lay menggunakan AI, tetapi juga memberikan pembagian antara 10 INR / 20 INR / 30 INR paket masala Lay's Magic dalam analisis Anda. Bagi orang yang belum pernah bekerja di Computer Vision, ini mungkin terlihat seperti masalah berikutnya yang jelas dan sederhana untuk dipecahkan mengingat AI dapat mendeteksi produk di rak dan mengklasifikasikannya sebagai merek dengan akurasi yang sangat tinggi. Tapi Anda tahu XKCD #1425 yang terkenal [Selalu ada XKCD yang relevan untuk semuanya ] . XKCD yang relevan
4. Memverifikasi bagian dari Point-Of-Sale-Materials. Bagian lain dari menganalisis gambar rak selain mendeteksi dan mengidentifikasi produk di rak adalah memverifikasi keberadaan berbagai Bahan Point of Sale di rak. Bahan point of sale ini adalah hal-hal yang sering Anda lihat di toko retail atau kirana di sekitar Anda seperti rak strip, guntingan, poster, gandolas, dan rak demo. Kami menggunakan pencocokan Deep Keypoint untuk pertandingan seperti itu untuk waktu yang sangat lama dan itu berfungsi dengan baik. Namun, seiring berjalannya waktu, pelanggan telah meminta kami tidak hanya untuk memverifikasi POSM di gambar rak tetapi juga untuk menunjukkan bagian yang hilang yang mungkin terlewatkan oleh penjual di dalam POSM. Misalnya, penjual mungkin melewatkan penempatan poster di rak demo atau mungkin terhapus di toko karena suatu kecelakaan. Untuk melakukan ini dengan sangat akurat pada tingkat di mana klasifikasi gambar berfungsi, kami membutuhkan algoritme yang berfungsi di mana saja tanpa pelatihan karena POSM berubah dalam beberapa minggu/bulan.
5. Melatih pendeteksi produk rak yang lebih akurat. Visi Komputer Rak Ritel telah pindah ke teknologi memiliki detektor objek rak generik [mengekstrak objek rak apa pun tanpa mengklasifikasikannya] pada langkah pertama dan kemudian mengklasifikasikan produk kemudian mengekstraksi pada langkah kedua untuk menghindari masalah detektor satu langkah + pengklasifikasi buat [kecondongan produk besar-besaran di rak membuat keluaran klasifikasi buruk / pelatihan pada banyak data per proyek dan tidak ada keuntungan tambahan dari AI menjadi lebih baik dari proyek sebelumnya dan seterusnya]. Kami sudah memiliki sistem detektor objek rak generik dan pengklasifikasi canggih pada langkah kedua pada tahun 2019, tetapi bentuk kotak keluaran dari detektor objek rak bisa lebih baik.
6. Menggunakan pelatihan AI sebelumnya dan koreksi kesalahan untuk melatih pengklasifikasi dengan lebih baik dan lebih cepat. Kami melatih begitu banyak pengklasifikasi [model yang mengklasifikasikan objek rak yang diekstraksi dengan algoritma langkah 1 menjadi salah satu merek produk yang kami butuhkan]. Apakah ada cara untuk menggunakan semua data pelatihan yang kami kumpulkan, termasuk kesalahan pengklasifikasi masa lalu untuk membuat algoritme yang dapat membantu melatih pengklasifikasi baru dengan cepat dan lebih akurat adalah pertanyaan yang selalu ada. Empat masalah penelitian [3-6] yang Anda temukan mencerminkan persyaratan baru produk jam tangan rak kami [3,4] dan menyempurnakan tumpukan yang ada [5,6]. Sekarang ada juga serangkaian masalah penelitian dari tumpukan NLP API kami.
7. API Analisis Sentimen yang lebih umum. API Analisis Sentimen yang kami miliki online dilatih tentang tweet beranotasi internal dan dengan demikian meskipun memiliki akurasi yang tinggi dapat gagal pada hal-hal yang lebih spesifik domain seperti misalnya artikel politik atau keuangan. Tidak seperti tweet, artikel domain yang berbeda seperti itu sulit dijelaskan oleh orang yang tidak berpengalaman dalam domain kumpulan data. Menggunakan banyak data tanpa catatan untuk melatih pengklasifikasi yang dapat bekerja di seluruh domain telah menjadi tantangan yang selalu ada.
8. API sentimen baru yang ditargetkan. Analisis sentimen berbasis aspek telah ada selama beberapa waktu. Kami akhirnya memiliki kumpulan data beranotasi internal untuk analisis semacam itu, tetapi tujuan kami agak lebih spesifik. Kami ingin membangun API di mana Anda memberikan kalimat "Apel itu tidak enak tapi jeruknya benar-benar enak." akan memberikan output negatif ketika dianalisis untuk "Apple" atau Positif ketika dianalisis untuk oranye. Oleh karena itu, kami menargetkan untuk membangun algoritma Analisis Sentimen Berbasis Aspek yang canggih.

Sekarang saya telah membuat Anda bosan dengan detail tantangan yang kami coba selesaikan, mari kita masuk ke bagian yang menarik. Platform dan algoritma MLOPS baru kami.

Sistem dan Algoritma Baru

Izinkan saya memperkenalkan Anda kepada teman-teman baru saya, beberapa sistem teknologi luar biasa, dan algoritme AI yang telah kami kembangkan dan terapkan selama ini untuk mengatasi kemacetan.

AI Pengenalan Produk Seluler atau AI Pengenalan Rak Seluler

Pengantar ParallelDots Oogashop – Link

(Umpan dan Video LinkedIn)

Kami telah membangun dan menerapkan bukan hanya satu, tetapi dua jenis algoritme AI yang berbeda di perangkat seluler. Anda mungkin telah melihat posting kami yang sangat viral beberapa hari yang lalu di mana kami mendemonstrasikan penagihan ponsel dan berbicara tentang audit rak offline.

Berikut tautan ke Fitur Pengenalan Gambar Di Perangkat (ODIN) ShelfWatch – Link

(Artikel)

Pada dasarnya, model AI ini adalah versi yang diperkecil dari model yang kami terapkan di cloud. Dengan sedikit kehilangan akurasi, model ini sekarang cukup kecil untuk dijalankan pada GPU ponsel [yang jauh lebih kecil daripada GPU server]. Kerangka kerja penerapan seluler baru Tensorflow adalah yang kami gunakan untuk menerapkan model ini di aplikasi OOGASHOP dan ShelfWatch kami masing-masing.

(Kertas) Segmentasi Rak Ritel Ringkas untuk Penerapan Seluler – Link

Pratyush Kumar, Muktabh Mayank Srivastava

Penskalaan Otomatis Cloud AI Inferensi

Ketika toko buka sekitar pukul 11 [11 untuk zona waktu yang berbeda, di mana pun di dunia klien kami memiliki tenaga penjualan atau pedagang ], server kami menghadapi beban berat pedagang yang mengunggah foto di cloud kami untuk diproses dan memberi tahu mereka tentang mereka skor eksekusi ritel. Dan kemudian setelah jam 11 malam ketika toko ritel tutup, kami hampir tidak memiliki beban kerja inferensi AI yang cukup. Sementara penskalaan otomatis seperti Lambda telah diperkenalkan oleh banyak penyedia, kami menginginkan teknik penskalaan otomatis independen cloud untuk infrastruktur inferensi AI kami. Ketika ada lebih banyak gambar dalam antrian pemrosesan kami, kami membutuhkan lebih banyak GPU untuk mengolahnya, jika tidak, hanya satu atau mungkin tidak sama sekali. Untuk melakukan ini, seluruh lapisan inferensi AI dipindahkan ke arsitektur berbasis Docker, Kubernetes, dan KEDA di mana sejumlah GPU baru dapat dihasilkan berdasarkan beban kerja. Tidak ada lagi kesulitan untuk mengelola SLA perusahaan dan menghemat $$ untuk menjalankan mesin GPU yang mahal.

Memperbaiki Algoritma Deteksi Objek Rak

(Kertas) Mempelajari Peta Gaussian untuk Deteksi Objek Padat – Link

Sonaal Kanto

Kami telah menggunakan RCNN Lebih Cepat sederhana yang dilatih untuk ekstraksi objek rak sebelumnya: Kertas Dasar Deteksi Objek Sederhana . Ini bekerja dengan baik untuk banyak kasus penggunaan. tapi kami membutuhkan lebih banyak pendekatan seni. Pada tahun 2020, tim kami menemukan metode baru untuk menggunakan Gaussian Maps untuk mendapatkan hasil yang paling mutakhir. Karya ini [kemudian diterbitkan di BMVC, salah satu konferensi Computer Vision teratas Situs web BMVC ] membantu kami mendapatkan tidak hanya memuaskan tetapi juga hasil terbaik pada deteksi objek rak.

Trik dasarnya adalah menggunakan pelatihan peta gaussian sebagai kerugian tambahan untuk deteksi objek. Ini membuat kotak untuk produk yang berbeda jauh lebih presisi.

Pertanyaan lain yang telah lama kami coba jawab dalam hal deteksi objek rak adalah, sekarang kebutuhan untuk mengenali produk telah dipindahkan ke tugas hilir dan tugasnya adalah menggambar kotak di atas semua produk yang mungkin, apakah ada cara untuk menggunakan kebisingan dan distorsi yang terkandung dalam kumpulan data besar yang tidak diberi catatan untuk deteksi objek rak yang lebih baik. Dalam sebuah karya baru-baru ini, [disebutkan di Workshop RetailVision di CVPR 2021 Lokakarya Visi Ritel ], kami menggunakan gudang besar gambar rak tanpa catatan untuk meningkatkan akurasi tugas deteksi objek rak.

(Kertas) Pembelajaran Semi-diawasi untuk Deteksi Objek Padat di Adegan Ritel – Link

Jaydeep Chauhan, Srikrishna Varadarajan, Muktabh Mayank Srivastava

Pelatihan siswa berbasis pseudolabel adalah trik yang telah kami gunakan di berbagai bidang, bukan untuk deteksi objek rak. Sementara teknik belajar mandiri lainnya memerlukan batch ukuran besar untuk dimuat di GPU sehingga menyulitkan perusahaan seperti perangkat keras terbatas seperti ParallelDots untuk mencobanya , pseudolabel adalah apa yang telah kami adaptasikan sebagai trik kami untuk melakukan pembelajaran mandiri GPU tunggal.

Meningkatkan Akurasi Klasifikasi

Kami telah menggunakan beberapa trik di masa lalu untuk melatih pengklasifikasi akurat dengan akurasi tinggi.

(Kertas) Bag Of Trik untuk Klasifikasi Gambar Produk Ritel – Link, yang menggambarkan cara kami melatih pengklasifikasi dengan akurasi tinggi.

Muktabh Mayank Srivastava

Semua kotak yang diekstraksi oleh detektor objek rak dari gambar rak dilewatkan melalui pengklasifikasi ini untuk menyimpulkan merek produk.

Namun, dengan katalog toko yang sering berubah, pengklasifikasi produk kami perlu berevolusi untuk melakukan sesuatu yang sedikit berbeda. Pelatihan pengklasifikasi membutuhkan sumber daya yang intensif, dengan produk yang ditambahkan atau dihapus dengan cepat dari katalog toko, kita membutuhkan pengklasifikasi yang dapat dilatih dengan cepat dan lebih akurat atau setidaknya seakurat metode yang melibatkan penyempurnaan tulang punggung penuh. Ini terdengar seperti memiliki kue dan memberi peringkat juga, dan itulah yang telah ditunjukkan oleh teknik belajar mandiri dalam Pembelajaran Mendalam. Kami telah mencoba menggunakan konsep Belajar Mandiri untuk membuat pengklasifikasi yang dapat dilatih dengan sangat ringan.

(Kertas) Menggunakan Pembelajaran Kontrastif dan Pseudolabel untuk mempelajari representasi untuk Klasifikasi Gambar Produk Ritel – Link

Muktabh Mayank Srivastava

Trik yang kami gunakan di sini adalah menggunakan repositori besar gambar produk ritel yang kami miliki [baik beranotasi dan tidak beranotasi] untuk melatih pembelajar representasi, yang outputnya dapat diumpankan ke pengklasifikasi Machine Learning sederhana untuk pelatihan. Representasi fitur yang dipelajari seperti itu bekerja dengan cukup baik. Betapa kerennya melatih pengklasifikasi regresi logistik kecil untuk mengklasifikasikan gambar ritel. Sayangnya, kami memiliki lebih dari 20 kali lebih banyak gambar untuk tugas seperti itu, oleh karena itu saat ini akurasi yang kami capai terbatas pada infrastruktur perangkat keras yang terbatas untuk melakukan pembelajaran mandiri tersebut dan kami masih mengalahkan seni pada banyak [tidak semua] kumpulan data.

Inferensi berdasarkan ukuran pada Gambar Rak

Meskipun kami telah mendeteksi merek produk yang berbeda yang terlihat di gambar rak, spesifikasi terbaru yang kami coba pecahkan adalah untuk mempertimbangkan varian ukuran produk yang kami andalkan. Misalnya, ketika pipa Computer Vision mendeteksi Lays Magic Masala di rak dan mengklasifikasikannya sebagai Lays Magic Masala, bagaimana kita tahu apakah itu varian 50 Gram atau varian 100 Gram atau varian 200 Gram produk. Dengan demikian kami menyertakan tugas hilir ketiga untuk menebak varian ukuran rak. Pipa ini mengambil kotak berbeda yang diambil dari rak, mereknya dan membuat fitur yang dapat digunakan untuk menebak ukurannya. Seperti yang sudah jelas, Anda tidak dapat menggunakan koordinat kotak pembatas atau area untuk alasan seperti gambar dapat diambil dari jarak berapa pun. Kami menggunakan fitur seperti rasio aspek dan rasio area antara kotak dari grup yang berbeda untuk menyimpulkan varian ukuran.

(Kertas) Pendekatan Machine Learning untuk melakukan penalaran berdasarkan ukuran pada objek Rak Ritel untuk mengklasifikasikan varian produk – Link

Muktabh Mayank Srivastava, Pratyush Kumar

Banyak trik rekayasa fitur yang digunakan untuk melatih dua varian tugas penalaran: Menggunakan XGBOOST melalui fitur binned dan menggunakan Neural Network melalui fitur turunan model campuran Gaussian.

Alasan tentang Point of Sales Material

Saat Anda masuk ke toko ritel, Anda akan melihat bahan POSM yang berbeda: strip rak, guntingan, poster, gandolas, dan rak demo.

Sementara kami telah menggunakan pencocokan representasi keypoint berbasis Deep Learning untuk memverifikasi keberadaan POSM dalam sebuah gambar, ada tugas untuk memberi alasan tentang POSM bagian demi bagian. Yaitu pada contoh di atas misalnya, kita mungkin perlu memeriksa apakah foto produk ke arah kanan di rak strip ideal di hadirkan pada penempatan dunia nyata atau tidak. Kami menyebutnya deteksi "Bagian" setelah verifikasi POSM.

(Kertas) Menggunakan Pencocokan Keypoint dan Jaringan Perhatian Mandiri Interaktif untuk memverifikasi POSM Ritel – Link

Harshita Seth, Sonaal Kant, Muktabh Mayank Srivastava

Pada dasarnya karena POSM berubah sangat cepat mingguan/bulanan, Anda tidak akan pernah bisa mendapatkan banyak data untuk melatih algoritma untuk setiap POSM. Sehingga dibutuhkan algoritma yang melatih dengan cara pada dataset yang ada sehingga dapat diterapkan pada dataset apapun. Itulah tujuan kami dengan karya terbaru jaringan perhatian diri untuk POSM. Kami menggunakan titik kunci yang cocok [pada gambar POSM ideal dan gambar kata nyata] dan deskriptornya [dari kedua gambar] sebagai masukan untuk setiap bagian secara terpisah untuk menentukan keberadaan yang tepat.

API Analisis Sentimen yang berfungsi pada data domain apa pun

Saat melatih model untuk diterapkan sebagai API analisis sentimen, Anda tidak bisa benar-benar mendapatkan data dari domain berbeda yang dianotasi. Misalnya, model analisis sentimen sebelumnya yang kami miliki adalah model bahasa besar yang disetel lebih dari 10-15 ribu tweet aneh yang kami anotasi secara internal. Jadi algoritme hampir tidak melihat sentimen yang diekspresikan dalam domain yang berbeda saat belajar. Kami mencoba menggunakan Self Learning untuk membuat algoritma klasifikasi sentimen kami kokoh terhadap perubahan domain. Ambil 2 Juta + kalimat tanpa catatan, jalankan pengklasifikasi versi lama untuk membuat pseudolabel dan latih pengklasifikasi baru untuk mempelajari pseudolabel dan boom.. Anda memiliki pengklasifikasi sentimen yang jauh lebih kuat untuk domain, sementara akurasinya di domain awal tetap sama. Kedengarannya terlalu bagus untuk menjadi kenyataan, lihat pekerjaan kami:

(Kertas) Menggunakan Psuedolabels untuk melatih Pengklasifikasi Sentimen membuat model digeneralisasi lebih baik di seluruh kumpulan data – Link

Natesh Reddy, Muktabh Mayank Srivastava

Membuat metode canggih untuk mendeteksi sentimen yang ditargetkan

Bagi kami, dalam bisnis NLP API, sentimen yang ditargetkan adalah ketika Anda memiliki kalimat “Apple tidak begitu enak, tapi jeruk itu enak”, pengklasifikasi mengembalikan negatif ketika mendapat input “apel” dan positif jika mendapat input oranye. Pada dasarnya, sentimen diarahkan pada suatu objek dalam sebuah kalimat. Kami telah mengembangkan metode baru yang mendeteksi sentimen yang ditargetkan dan yang akan segera tersedia sebagai NLP API. Bidang penelitian sesuai dengan analisis sentimen Berbasis Aspek dan karya terbaru kami mendapatkan hasil mutakhir dalam beberapa kumpulan data, hanya dengan menyempurnakan arsitektur yang membandingkan [BERT] kontekstual dan non-kontekstual [GloVe]. Sentimen tersembunyi dalam konteks di suatu tempat, bukan?

(Kertas) Apakah BERT Memahami Sentimen? Memanfaatkan Perbandingan Antara Embedding Kontekstual dan Non-Kontekstual untuk Meningkatkan Model Sentimen Berbasis Aspek – Link

Natesh Reddy, Pranaydeep Singh, Muktabh Mayank Srivastava

Maju dan Maju

Semoga Anda menyukai teknologi baru yang kami kembangkan tahun lalu. Sangat senang untuk menjawab pertanyaan jika Anda memiliki. Kami terus mengembangkan teknologi baru dan menarik dan sedang mengerjakan beberapa masalah Machine Learning baru yang keren seperti Graph Neural Networks untuk Rekomendasi Ritel, Klasifikasi Gambar Di Luar Distribusi, dan Model Bahasa. Kami juga sedang merekrut, menulis kepada kami di careers@paralleldots.com atau melamar di halaman AngelList kami untuk bergabung dengan tim AI kami. Anda dapat melamar jika ingin menjadi Insinyur Pembelajaran Mesin, Pengembang Backend, atau Manajer Proyek AI. Daftar Malaikat ParallelDots

Menyukai blog? Lihat yang lain blog untuk melihat bagaimana teknologi pengenalan gambar dapat membantu merek meningkatkan strategi pelaksanaannya di ritel.

Ingin melihat kinerja merek Anda di rak? Klik di sini untuk menjadwalkan demo gratis untuk ShelfWatch.