Ini adalah posting tamu yang ditulis oleh Andrew Masek, Insinyur Perangkat Lunak di The Barcode Registry dan Erik Quisling, CEO The Barcode Registry.
Pemalsuan produk adalah satu-satunya perusahaan kriminal terbesar di dunia. Tumbuh lebih dari 10,000% dalam dua dekade terakhir, penjualan barang palsu sekarang berjumlah $1.7 triliun per tahun di seluruh dunia, lebih banyak dari perdagangan narkoba dan manusia. Meskipun metode tradisional pencegahan pemalsuan seperti kode batang unik dan verifikasi produk bisa sangat efektif, teknologi pembelajaran mesin (ML) baru seperti deteksi objek tampaknya sangat menjanjikan. Dengan deteksi objek, kini Anda dapat mengambil gambar suatu produk dan mengetahui hampir seketika apakah produk tersebut kemungkinan sah atau palsu.
Grafik Registri Kode Batang (bersama dengan mitranya Buyabarcode.com) adalah solusi layanan lengkap yang membantu pelanggan mencegah penipuan dan pemalsuan produk. Ini dilakukan dengan menjual barcode unik yang terdaftar di GS1, memverifikasi kepemilikan produk, dan mendaftarkan produk dan barcode pengguna dalam database yang komprehensif. Penawaran terbaru mereka, yang kami bahas di posting ini, menggunakan Amazon SageMaker untuk membuat model deteksi objek untuk membantu mengenali produk palsu secara instan.
Ikhtisar solusi
Untuk menggunakan model deteksi objek ini, Anda harus mengumpulkan data terlebih dahulu untuk melatihnya. Perusahaan mengunggah gambar beranotasi dari produk mereka ke The Barcode Registry situs web. Setelah data ini diunggah ke Layanan Penyimpanan Sederhana Amazon (Amazon S3) dan diproses oleh AWS Lambda fungsi, Anda dapat menggunakannya untuk melatih model deteksi objek SageMaker. Model ini dihosting di titik akhir SageMaker, tempat situs web menghubungkannya ke pengguna akhir.
Ada tiga langkah kunci untuk membuat The Barcode Registry digunakan untuk membuat model deteksi objek khusus dengan SageMaker:
- Buat skrip pelatihan untuk dijalankan SageMaker.
- Buat wadah Docker dari skrip pelatihan dan unggah ke Amazon ECR.
- Gunakan konsol SageMaker untuk melatih model dengan algoritme khusus.
Data produk
Sebagai prasyarat untuk melatih model deteksi objek, Anda memerlukan akun AWS dan gambar pelatihan, yang terdiri dari setidaknya 100 gambar objek Anda berkualitas tinggi (resolusi tinggi dan dalam beberapa kondisi pencahayaan). Seperti halnya model ML, data berkualitas tinggi adalah yang terpenting. Untuk melatih model pendeteksian objek, kita membutuhkan gambar yang berisi produk yang relevan serta kotak pembatas yang menjelaskan di mana produk berada dalam gambar, seperti yang ditunjukkan pada contoh berikut.
Untuk melatih model yang efektif, diperlukan gambar masing-masing produk merek dengan latar belakang dan kondisi pencahayaan yang berbedaโsekitar 30โ100 gambar beranotasi unik untuk setiap produk.
Setelah gambar diunggah ke server web, gambar diunggah ke Amazon S3 menggunakan AWS SDK untuk PHP. Peristiwa Lambda dipicu setiap kali gambar diunggah. Fungsi tersebut menghapus metadata Exif dari gambar, yang terkadang dapat menyebabkan gambar tampak diputar saat dibuka oleh pustaka ML yang kemudian digunakan untuk melatih model. Data kotak pembatas terkait disimpan dalam file JSON dan diunggah ke Amazon S3 untuk menyertai gambar.
SageMaker untuk model deteksi objek
SageMaker adalah layanan ML terkelola yang mencakup berbagai alat untuk membangun, melatih, dan menghosting model di cloud. Secara khusus, TheBarcodeRegistry menggunakan SageMaker untuk layanan deteksi objeknya karena pelatihan model ML dan layanan hosting SageMaker yang andal dan skalabel. Ini berarti bahwa banyak merek dapat memiliki model deteksi objek mereka sendiri yang dilatih dan dihosting dan bahkan jika penggunaan melonjak tak terduga, tidak akan ada waktu henti.
Registri Kode Batang menggunakan wadah Docker khusus yang diunggah ke Registry Kontainer Elastis Amazon (Amazon ECR) untuk memiliki kontrol yang lebih halus dari algoritma deteksi objek yang digunakan untuk pelatihan dan inferensi serta dukungan untuk Server Multi Model (MMS). MMS sangat penting untuk kasus penggunaan deteksi pemalsuan karena memungkinkan beberapa model merek dihosting dengan biaya yang efektif di server yang sama. Atau, Anda dapat menggunakan built-in algoritma deteksi objek untuk menerapkan model standar yang dikembangkan oleh AWS dengan cepat.
Latih model deteksi objek khusus dengan SageMaker
Pertama, Anda perlu menambahkan algoritma deteksi objek Anda. Dalam hal ini, unggah wadah Docker yang menampilkan skrip untuk melatih model deteksi objek Yolov5 ke Amazon ECR:
- Di konsol SageMaker, di bawah buku catatan di panel navigasi, pilih Contoh notebook.
- Pilih Buat instance notebook.
- Masukkan nama untuk instance notebook dan di bawah Izin dan enkripsi pilih salah satu Identitas AWS dan Manajemen Akses (IAM) peran dengan izin yang diperlukan.
- Buka Repositori Git menu.
- Pilih Gandakan repositori Git publik ke instance notebook ini saja dan rekatkan yang berikut ini URL repositori Git: https://github.com/portoaj/SageMakerObjectDetection
- Klik Buat instance notebook dan tunggu sekitar lima menit hingga status instans diperbarui dari Pending untuk Dalam pelayanan dalam Contoh notebook menu.
- Setelah buku catatan itu Dalam pelayanan, pilih dan klik tindakan dan Buka Jupyter untuk meluncurkan instance notebook di tab baru.
- Pilih Deteksi Objek SageMaker direktori dan kemudian klik pada
sagemakerobjectdetection.ipynb
untuk meluncurkan notebook Jupyter. - Pilih
conda_python3
kernel dan klik Atur Kernel. - Pilih sel kode dan atur
aws_account_id
variabel ke ID Akun AWS Anda. - Klik Run untuk memulai proses membangun wadah Docker dan mengunggahnya ke Amazon ECR. Proses ini mungkin memakan waktu sekitar 20 menit untuk diselesaikan.
- Setelah wadah Docker diunggah, kembali ke Contoh notebook menu, pilih instance Anda, dan klik tindakan dan berhenti untuk mematikan instance notebook Anda.
Setelah algoritme dibuat dan didorong ke Amazon ECR, Anda dapat menggunakannya untuk melatih model melalui konsol SageMaker.
- Di konsol SageMaker, di bawah Pelatihan di panel navigasi, pilih Pekerjaan pelatihan.
- Pilih Buat pekerjaan pelatihan.
- Masukkan nama pekerjaan dan pilih Identitas AWS dan Manajemen Akses (IAM) peran dengan izin yang diperlukan.
- Untuk Sumber algoritma, pilih Wadah algoritma Anda sendiri di ECR.
- Untuk Wadah, masukkan jalur registri.
- Menyetel instance ml.p2.xlarge tunggal di bawah konfigurasi sumber daya harus cukup untuk melatih model Yolov5.
- Tentukan lokasi Amazon S3 untuk data input dan jalur output Anda serta pengaturan lainnya seperti mengonfigurasi VPC melalui Cloud Pribadi Virtual Amazon (Amazon VPC) atau mengaktifkan Pelatihan Spot Terkelola.
- Pilih Buat pekerjaan pelatihan.
Anda dapat melacak kemajuan pelatihan model di konsol SageMaker.
Pelatihan model otomatis
Diagram berikut mengilustrasikan alur kerja pelatihan model otomatis:
Untuk membuat SageMaker mulai melatih model deteksi objek segera setelah pengguna selesai mengunggah data mereka, server web menggunakan Gerbang API Amazon untuk memberi tahu fungsi Lambda bahwa merek telah selesai dan untuk memulai pekerjaan pelatihan.
Ketika model merek berhasil dilatih, Jembatan Acara Amazon memanggil fungsi Lambda yang memindahkan model terlatih ke bucket S3 titik akhir langsung, di mana akhirnya siap untuk inferensi. Alternatif yang lebih baru untuk menggunakan Amazon EventBridge untuk memindahkan model melalui siklus hidup MLOps yang harus Anda pertimbangkan adalah Pipa SageMaker.
Host model untuk inferensi
Diagram berikut mengilustrasikan alur kerja inferensi:
Untuk menggunakan model terlatih, SageMaker memerlukan model inferensi untuk dihosting oleh titik akhir. Titik akhir adalah server atau larik server yang digunakan untuk benar-benar meng-host model inferensi. Mirip dengan wadah pelatihan yang kami buat, wadah Docker untuk inferensi dihosting di Amazon ECR. Model inferensi menggunakan wadah Docker itu dan mengambil gambar input yang diambil pengguna dengan ponsel mereka, menjalankannya melalui model deteksi objek terlatih, dan mengeluarkan hasilnya.
Sekali lagi, The Barcode Registry menggunakan wadah Docker kustom untuk model inferensi untuk mengaktifkan penggunaan Multi Model Server, tetapi jika hanya satu model yang diperlukan yang dapat dengan mudah di-host melalui algoritma deteksi objek bawaan.
Kesimpulan
Barcode Registry (bersama dengan mitranya Buyabarcode.com) menggunakan AWS untuk seluruh jalur deteksi objeknya. Server web menyimpan data dengan andal di Amazon S3 dan menggunakan fungsi API Gateway dan Lambda untuk menghubungkan server web ke cloud. SageMaker siap melatih dan menghosting model ML, yang berarti pengguna dapat mengambil gambar produk di ponsel mereka dan melihat apakah produk tersebut palsu. Posting ini menunjukkan cara membuat dan menghosting model deteksi objek menggunakan SageMaker, serta cara mengotomatiskan prosesnya.
Dalam pengujian, model mampu mencapai akurasi lebih dari 90% pada set pelatihan 62 gambar dan set pengujian 32 gambar, yang cukup mengesankan untuk model yang dilatih tanpa campur tangan manusia. Untuk memulai melatih model deteksi objek sendiri, lihat yang resmi dokumentasi atau belajar caranya menerapkan model deteksi objek ke edge menggunakan AWS IoT Greengrass.
Konten dan opini dalam posting ini adalah milik penulis pihak ketiga dan AWS tidak bertanggung jawab atas konten atau keakuratan posting ini.
Tentang Penulis
Andrew Masek, Insinyur Perangkat Lunak di The Barcode Registry.
Erik Quisling, CEO Registri Kode Batang.
- Coinsmart. Pertukaran Bitcoin dan Crypto Terbaik Eropa.
- Platoblockchain. Intelijen Metaverse Web3. Pengetahuan Diperkuat. AKSES GRATIS.
- CryptoHawk. Radar Altcoin. Uji Coba Gratis.
- Sumber: https://aws.amazon.com/blogs/machine-learning/how-the-barcode-registry-detects-counterfeit-products-using-object-detection-and-amazon-sagemaker/
- "
- 000
- 10
- 100
- 7
- Tentang Kami
- mengakses
- Akun
- algoritma
- Meskipun
- Amazon
- api
- Otomatis
- AWS
- batas
- Kotak
- merek
- Bangunan
- built-in
- Menyebabkan
- ceo
- awan
- kode
- mengumpulkan
- Perusahaan
- konfigurasi
- konsul
- Wadah
- Wadah
- Konten
- kontrol
- Palsu
- membuat
- Pidana
- adat
- pelanggan
- data
- Basis Data
- menyebarkan
- Deteksi
- dikembangkan
- berbeda
- membahas
- Buruh pelabuhan
- turun
- penghentian
- Obat-obatan
- mudah
- Tepi
- Efektif
- memungkinkan
- Titik akhir
- insinyur
- Enterprise
- Acara
- contoh
- Akhirnya
- Pertama
- berikut
- penipuan
- fungsi
- pergi
- barang
- Pertumbuhan
- Tamu
- tamu Post
- membantu
- membantu
- Seterpercayaapakah Olymp Trade? Kesimpulan
- How To
- HTTPS
- manusia
- identitas
- gambar
- penting
- idiot
- IT
- Pekerjaan
- kunci
- Terbaru
- jalankan
- BELAJAR
- pengetahuan
- lokasi
- mesin
- Mesin belajar
- berhasil
- ML
- model
- model
- lebih
- pindah
- Navigasi
- buku catatan
- menawarkan
- resmi
- Pendapat
- urutan
- Lainnya
- kepemilikan
- pasangan
- gambar
- cukup
- Pencegahan
- swasta
- proses
- Produk
- Produk
- menjanjikan
- publik
- segera
- mengenali
- relevan
- gudang
- sumber
- tanggung jawab
- Run
- penjualan
- terukur
- SDK
- layanan
- Layanan
- set
- mirip
- Sederhana
- Jepret
- Perangkat lunak
- Software Engineer
- larutan
- Spot
- awal
- mulai
- Status
- penyimpanan
- toko
- berhasil
- mendukung
- Teknologi
- pengujian
- Dunia
- pihak ketiga
- Melalui
- waktu
- alat
- jalur
- tradisional
- Pelatihan
- kereta
- unik
- Memperbarui
- menggunakan
- Verifikasi
- maya
- menunggu
- jaringan
- web server
- Situs Web
- tanpa
- dunia
- industri udang di seluruh dunia.
- tahun