Bu, The Barcode Registry Yazılım Mühendisi Andrew Masek ve The Barcode Registry CEO'su Erik Quisling tarafından yazılan bir konuk yazısıdır.
Ürün sahteciliği dünyadaki en büyük suç girişimidir. Son yirmi yılda %10,000'in üzerinde büyüyen sahte ürün satışları, şu anda dünya çapında yılda 1.7 trilyon ABD Doları tutarında, bu da uyuşturucu ve insan kaçakçılığından daha fazladır. Benzersiz barkodlar ve ürün doğrulama gibi geleneksel sahteciliği önleme yöntemleri çok etkili olabilse de, nesne algılama gibi yeni makine öğrenimi (ML) teknolojileri çok umut verici görünüyor. Nesne algılama ile artık bir ürünün resmini çekebilir ve neredeyse anında o ürünün yasal mı yoksa sahte mi olduğunu anlayabilirsiniz.
The Barkod Kaydı (partneri ile birlikte buyabarcode.com), müşterilerin ürün sahtekarlığını ve sahteciliğini önlemesine yardımcı olan eksiksiz bir hizmet çözümüdür. Bunu, benzersiz GS1 kayıtlı barkodları satarak, ürün sahipliğini doğrulayarak ve kullanıcıların ürünlerini ve barkodlarını kapsamlı bir veritabanına kaydederek yapar. Bu yazıda tartıştığımız en son teklifleri Amazon Adaçayı Yapıcı sahte ürünleri anında tanımaya yardımcı olacak nesne algılama modelleri oluşturmak.
Çözüme genel bakış
Bu nesne algılama modellerini kullanmak için önce onları eğitmek için veri toplamanız gerekir. Şirketler, ürünlerinin açıklamalı resimlerini Barkod Kaydı'na yükler Web sitesi. Bu veriler yüklendikten sonra Amazon Basit Depolama Hizmeti (Amazon S3) tarafından işlenir ve AWS Lambda işlevleri, bir SageMaker nesne algılama modelini eğitmek için kullanabilirsiniz. Bu model, web sitesinin onu son kullanıcıya bağladığı bir SageMaker uç noktasında barındırılır.
Barkod Kaydı'nın SageMaker ile özel bir nesne algılama modeli oluşturmak için kullandığı üç temel adım vardır:
- SageMaker'ın çalışması için bir eğitim komut dosyası oluşturun.
- Eğitim komut dosyasından bir Docker kapsayıcısı oluşturun ve bunu Amazon ECR'ye yükleyin.
- Özel algoritma ile bir modeli eğitmek için SageMaker konsolunu kullanın.
Ürün bilgileri
Bir nesne algılama modelini eğitmek için bir ön koşul olarak, nesnenizin en az 100 yüksek kaliteli (yüksek çözünürlüklü ve birden çok aydınlatma koşulunda) resminden oluşan bir AWS hesabına ve eğitim görüntülerine ihtiyacınız olacaktır. Herhangi bir ML modelinde olduğu gibi, yüksek kaliteli veriler çok önemlidir. Bir nesne algılama modelini eğitmek için, aşağıdaki örnekte gösterildiği gibi, ilgili ürünleri içeren görüntülere ve ürünlerin görüntülerde nerede olduğunu açıklayan sınırlayıcı kutulara ihtiyacımız var.
Etkili bir model yetiştirmek için, bir markanın farklı arka plan ve aydınlatma koşullarına sahip her bir ürününün resimlerine ihtiyaç vardır - her ürün için yaklaşık 30–100 benzersiz açıklamalı resim.
Görüntüler web sunucusuna yüklendikten sonra, aşağıdakiler kullanılarak Amazon S3'e yüklenir: PHP için AWS SDK'sı. Her resim yüklendiğinde bir Lambda olayı tetiklenir. İşlev, görüntülerden Exif meta verilerini kaldırır; bu, bazen daha sonra modeli eğitmek için kullanılan ML kitaplıkları tarafından açıldıklarında döndürülmüş görünmelerine neden olabilir. İlişkili sınırlayıcı kutu verileri JSON dosyalarında depolanır ve görüntülere eşlik etmesi için Amazon S3'e yüklenir.
Nesne algılama modelleri için SageMaker
SageMaker, bulutta modeller oluşturmak, eğitmek ve barındırmak için çeşitli araçlar içeren, yönetilen bir ML hizmetidir. TheBarcodeRegistry, SageMaker'ın güvenilir ve ölçeklenebilir ML modeli eğitim ve barındırma hizmetleri nedeniyle nesne algılama hizmeti için özellikle SageMaker'ı kullanır. Bu, birçok markanın kendi nesne algılama modellerini eğitip barındırabileceği ve kullanım beklenmedik şekilde artsa bile herhangi bir kesinti olmayacağı anlamına gelir.
Barkod Kaydı, şuraya yüklenen özel Docker kapsayıcılarını kullanır: Amazon Elastik Konteyner Kayıt Defteri (Amazon ECR), eğitim ve çıkarım için kullanılan nesne algılama algoritmasının daha ayrıntılı kontrolüne ve ayrıca Çoklu Model Sunucu (MMS). MMS, birden fazla markanın modelinin aynı sunucuda uygun maliyetli bir şekilde barındırılmasına olanak tanıdığından, sahtecilik tespiti kullanım durumu için çok önemlidir. Alternatif olarak, yerleşik nesne algılama algoritması AWS tarafından geliştirilen standart modelleri hızla dağıtmak için.
SageMaker ile özel bir nesne algılama modeli eğitin
İlk olarak, nesne algılama algoritmanızı eklemeniz gerekir. Bu durumda, bir Yolov5 nesne algılama modelini Amazon ECR'ye eğitmek için komut dosyaları içeren bir Docker kapsayıcısı yükleyin:
- SageMaker konsolunda, defter gezinme bölmesinde öğesini seçin. Dizüstü bilgisayar örnekleri.
- Klinik Defter örneği oluşturun.
- Not defteri örneği için bir ad girin ve İzinler ve şifreleme Birini seçin AWS Kimlik ve Erişim Yönetimi (IAM) rolü gerekli izinlere sahiptir.
- Açın Git depoları menüsü.
- seç Herkese açık bir Git deposunu yalnızca bu dizüstü bilgisayar örneğine kopyalayın ve aşağıdakini yapıştırın Git deposu URL'si: https://github.com/portoaj/SageMakerObjectDetection
- Tıkla Defter örneği oluştur ve örneğin durumunun güncellenmesi için yaklaşık beş dakika bekleyin Kadar için Serviste içinde Not defteri örneği menüsü.
- Not defteri bir kez Servisteseçin ve tıklayın İşlemler ve Jupyter'ı aç not defteri örneğini yeni bir sekmede başlatmak için.
- seçmek SageMakerNesne Algılama dizini ve ardından üzerine tıklayın
sagemakerobjectdetection.ipynb
Jupyter not defterini başlatmak için. - seçmek
conda_python3
çekirdek ve tıklayın Çekirdeği Ayarla. - Kod hücresini seçin ve
aws_account_id
AWS Hesap Kimliğinize değişken. - Tıkla koşmak Docker kapsayıcısı oluşturma ve Amazon ECR'ye yükleme sürecine başlamak için. Bu işlemin tamamlanması yaklaşık 20 dakika sürebilir.
- Docker kapsayıcısı yüklendikten sonra, Dizüstü bilgisayar örnekleri menüsünü seçin, örneğinizi seçin ve İşlemler ve dur not defteri örneğinizi kapatmak için.
Algoritma oluşturulup Amazon ECR'ye gönderildikten sonra, SageMaker konsolu aracılığıyla bir modeli eğitmek için kullanabilirsiniz.
- SageMaker konsolunda, Eğitim gezinme bölmesinde öğesini seçin. Eğitim işleri.
- Klinik Eğitim işi oluştur.
- İş için bir ad girin ve AWS Kimlik ve Erişim Yönetimi (IAM) rolü gerekli izinlere sahiptir.
- İçin algoritma kaynağıseçin ECR'de kendi algoritma kapsayıcınız.
- İçin Konteyner, kayıt defteri yolunu girin.
- Kaynak yapılandırması altında tek bir ml.p2.xlarge örneğinin ayarlanması, bir Yolov5 modelinin eğitimi için yeterli olmalıdır.
- Hem giriş verileriniz hem de çıkış yolunuz için ve aracılığıyla VPC yapılandırma gibi diğer ayarlar için Amazon S3 konumlarını belirtin. Amazon Sanal Özel Bulut (Amazon VPC) veya Managed Spot Training'in etkinleştirilmesi.
- Klinik Eğitim işi oluştur.
Modelin antrenman ilerlemesini SageMaker konsolunda takip edebilirsiniz.
Otomatik model eğitimi
Aşağıdaki şema, otomatikleştirilmiş model eğitimi iş akışını göstermektedir:
Bir kullanıcı verilerini yüklemeyi bitirir bitirmez SageMaker'ın nesne algılama modelini eğitmeye başlaması için web sunucusu şunları kullanır: Amazon API Ağ Geçidi markanın bitirdiğini bir Lambda işlevine bildirmek ve bir eğitim işine başlamak.
Bir markanın modeli başarılı bir şekilde eğitildiğinde, Amazon EventBridge eğitilmiş modeli, sonunda çıkarım için hazır olduğu canlı uç noktanın S3 klasörüne taşıyan bir Lambda işlevi çağırır. Modelleri MLOps yaşam döngüsü boyunca taşımak için Amazon EventBridge kullanmaya daha yeni bir alternatif, göz önünde bulundurmanız gereken SageMaker Boru Hatları.
Modeli çıkarım için barındırın
Aşağıdaki şema, çıkarım iş akışını göstermektedir:
Eğitilen modelleri kullanmak için SageMaker, bir uç nokta tarafından barındırılacak bir çıkarım modeli gerektirir. Uç nokta, çıkarım modelini fiilen barındırmak için kullanılan sunucu veya sunucu dizisidir. Oluşturduğumuz eğitim kapsayıcısına benzer şekilde, Amazon ECR'de çıkarım için bir Docker kapsayıcısı barındırılır. Çıkarım modeli, bu Docker kapsayıcısını kullanır ve kullanıcının telefonuyla aldığı giriş görüntüsünü alır, onu eğitilmiş nesne algılama modelinde çalıştırır ve sonucu verir.
Yine, Barkod Kaydı, Çoklu Model Sunucusunun kullanımını sağlamak için çıkarım modeli için özel Docker kapsayıcıları kullanır, ancak yalnızca bir model gerekiyorsa, yerleşik nesne algılama algoritması aracılığıyla kolayca barındırılabilir.
Sonuç
Barkod Kaydı (iş ortağı Buyabarcode.com ile birlikte), tüm nesne algılama ardışık düzeni için AWS'yi kullanır. Web sunucusu, verileri Amazon S3'te güvenilir bir şekilde depolar ve web sunucusunu buluta bağlamak için API Gateway ve Lambda işlevlerini kullanır. SageMaker, ML modellerini kolayca eğitir ve barındırır; bu, bir kullanıcının telefonunda bir ürünün resmini çekebileceği ve ürünün sahte olup olmadığını görebileceği anlamına gelir. Bu gönderi, SageMaker kullanarak bir nesne algılama modelinin nasıl oluşturulacağını ve barındırılacağını ve ayrıca sürecin nasıl otomatikleştirileceğini gösterir.
Testte, model 90 görüntüden oluşan bir eğitim setinde ve 62 görüntüden oluşan bir test setinde %32'ın üzerinde doğruluk elde edebildi; bu, herhangi bir insan müdahalesi olmadan eğitilmiş bir model için oldukça etkileyici. Nesne algılama modellerini kendiniz eğitmeye başlamak için resmi belgeleme veya nasıl yapılacağını öğrenmek AWS IoT Greengrass kullanarak bir nesne algılama modelini uca dağıtın.
Bu gönderideki içerik ve görüşler üçüncü taraf yazara aittir ve AWS bu gönderinin içeriğinden veya doğruluğundan sorumlu değildir.
Yazarlar Hakkında
Andrew Masek, The Barcode Registry şirketinde Yazılım Mühendisi.
Erik Quisling, The Barcode Registry CEO'su.
- Akıllı para. Avrupa'nın En İyi Bitcoin ve Kripto Borsası.
- Plato blok zinciri. Web3 Metaverse Zekası. Bilgi Güçlendirildi. SERBEST ERİŞİM.
- KriptoHawk. Altcoin Radarı. Ücretsiz deneme.
- Kaynak: https://aws.amazon.com/blogs/machine-learning/how-the-barcode-registry-detects-counterfeit-products-using-object-detection-and-amazon-sagemaker/
- "
- 000
- 10
- 100
- 7
- Hakkımızda
- erişim
- Hesap
- algoritma
- Rağmen
- Amazon
- api
- Otomatik
- AWS
- sınır
- kutu
- markalar
- bina
- yerleşik
- Sebeb olmak
- ceo
- bulut
- kod
- toplamak
- Şirketler
- yapılandırma
- konsolos
- Konteyner
- Konteynerler
- içerik
- kontrol
- Sahte
- Oluşturma
- Ceza
- görenek
- Müşteriler
- veri
- veritabanı
- dağıtmak
- Bulma
- gelişmiş
- farklı
- tartışmak
- liman işçisi
- aşağı
- Kesinti
- İlaçlar
- kolayca
- kenar
- Etkili
- etkinleştirme
- Son nokta
- mühendis
- kuruluş
- Etkinlikler
- örnek
- Nihayet
- Ad
- takip etme
- dolandırıcılık
- işlev
- Git
- mal
- Büyüyen
- Konuk
- Misafir Mesaj
- yardım et
- yardımcı olur
- Ne kadar
- Nasıl Yapılır
- HTTPS
- insan
- Kimlik
- görüntü
- önemli
- IOT
- IT
- İş
- anahtar
- son
- başlatmak
- ÖĞRENİN
- öğrenme
- yerleri
- makine
- makine öğrenme
- yönetilen
- ML
- model
- modelleri
- Daha
- hareket
- Navigasyon
- defter
- teklif
- resmi
- Görüşler
- sipariş
- Diğer
- mülkiyet
- Partner
- resim
- güzel
- Önleme
- özel
- süreç
- PLATFORM
- Ürünler
- umut verici
- halka açık
- hızla
- tanımak
- uygun
- Depo
- kaynak
- sorumlu
- koşmak
- satış
- ölçeklenebilir
- sdk
- hizmet
- Hizmetler
- set
- benzer
- Basit
- çıtçıt
- Yazılım
- Yazılım Mühendisi
- çözüm
- Spot
- başlama
- başladı
- Durum
- hafızası
- mağaza
- Başarılı olarak
- destek
- Teknolojileri
- Test yapmak
- Dünya
- üçüncü şahıslara ait
- İçinden
- zaman
- araçlar
- iz
- geleneksel
- Eğitim
- trenler
- benzersiz
- Güncelleme
- kullanım
- Doğrulama
- Sanal
- beklemek
- ağ
- web sunucusu
- Web sitesi
- olmadan
- Dünya
- Dünya çapında
- yıl