Amazon Rekognition Custom Labels ve Dassault Systèmes 3DEXCITE ile sentetik veri kümelerini kullanan bilgisayarla görme

Bu gönderi, Storm Reply'nin CTO'su Bernard Paques ve Dassault Systèmes 3DExcite Kıdemli Strateji Uzmanı Karl Herkt ile birlikte yazılmıştır.

Bilgisayarla görme endüstriyel bakım, imalat, lojistik ve tüketici uygulamaları için çok önemli olsa da, benimsenmesi eğitim veri kümelerinin manuel olarak oluşturulmasıyla sınırlıdır. Endüstriyel bağlamda etiketli resimlerin oluşturulması esas olarak manuel olarak yapılır, bu da sınırlı tanıma yetenekleri yaratır, ölçeklenmez ve işçilik maliyetlerine ve iş değerinin gerçekleşmesinde gecikmelere neden olur. Bu, ürün tasarımında, ürün mühendisliğinde ve ürün konfigürasyonunda hızlı yinelemelerin sağladığı iş çevikliğine aykırıdır. Bu süreç, arabalar, uçaklar veya modern binalar gibi karmaşık ürünler için ölçeklenmez, çünkü bu senaryolarda her etiketleme projesi benzersizdir (benzersiz ürünlerle ilgili). Sonuç olarak, bilgisayarla görü teknolojisi, veri hazırlamada büyük bir çaba sarf etmeden, bazen kullanım senaryosunun teslimini sınırlayarak büyük ölçekli benzersiz projelere kolayca uygulanamaz.

Bu yazıda, tasarım ve CAD dosyalarından son derece uzmanlaşmış bilgisayarlı görü sistemlerinin oluşturulduğu yeni bir yaklaşım sunuyoruz. Görsel olarak doğru dijital ikizlerin yaratılması ve sentetik etiketli görüntülerin üretilmesiyle başlıyoruz. Sonra bu görüntüleri itiyoruz Amazon Rekognition Özel Etiketleri özel bir nesne algılama modeli eğitmek için. Yazılımla birlikte mevcut fikri mülkiyeti kullanarak, bilgisayarla görüsünü ekonomik ve çeşitli endüstriyel bağlamlarla alakalı hale getiriyoruz.

Tanıma sistemlerinin özelleştirilmesi, iş sonuçlarının elde edilmesine yardımcı olur

Dijital ikizlerden üretilen özel bilgisayarlı görme sistemleri, aşağıdaki kullanım durumlarında gösterilebilecek belirli özelliklere sahiptir:

• Benzersiz ürünler için izlenebilirlik – Airbus, Boeing ve diğer uçak üreticileri benzersiz Üretici Seri Numaraları (MSN'ler) ürettikleri her uçağa. Bu, üretmek için tüm üretim süreci boyunca yönetilir. uçuşa elverişlilik belgeleri ve uçmak için izin almak. A dijital ikiz (fiziksel bir ürünü temsil eden sanal bir 3B model) her bir MSN'nin konfigürasyonundan türetilebilir ve bu MSN'nin endüstriyel tesislerdeki ilerlemesini izleyen dağıtılmış bir bilgisayarlı görüş sistemi oluşturur. Özel tanıma, havayollarına verilen şeffaflığı otomatikleştirir ve havayolları tarafından manuel olarak gerçekleştirilen çoğu kontrol noktasının yerini alır. Benzersiz ürünlerde otomatik kalite güvencesi, uçaklara, arabalara, binalara ve hatta zanaat yapımlarına uygulanabilir.
• Bağlamsallaştırılmış artırılmış gerçeklik – Profesyonel düzeyde bilgisayarlı görü sistemleri, sınırlı manzaraları kapsayabilir, ancak daha yüksek ayırt etme yeteneklerine sahiptir. Örneğin endüstriyel bakımda bir resimde tornavida bulmak işe yaramaz; tornavida modelini ve hatta seri numarasını tanımlamanız gerekir. Bu tür sınırlı bağlamlarda, özel tanıma sistemleri, bulgularıyla daha alakalı oldukları için genel tanıma sistemlerinden daha iyi performans gösterir. Özel tanıma sistemleri aracılığıyla hassas geri bildirim döngüleri sağlar özel artırılmış gerçeklik HMI veya mobil cihazlarda teslim edilir.
• Uçtan uca kalite kontrol - İle sistem Mühendisliği, kısmi yapıların dijital ikizlerini oluşturabilir ve üretim ve üretim süreçlerinin çeşitli aşamalarına uyum sağlayan bilgisayarlı görüş sistemleri oluşturabilirsiniz. Görsel kontroller, üretim iş istasyonlarıyla iç içe geçerek uçtan uca incelemeye ve kusurların erken tespitine olanak tanır. Özel tanıma uçtan uca denetim için kusurların montaj hatlarına basamaklanmasını etkili bir şekilde önler. Reddetme oranını azaltmak ve üretim çıktısını en üst düzeye çıkarmak nihai hedeftir.
• Esnek kalite denetimi – Modern kalite denetimi, tasarım varyasyonlarına ve esnek üretime uyum sağlamalıdır. Tasarımdaki farklılıklar, ürün kullanımı ve ürün bakımıyla ilgili geri bildirim döngülerinden gelir. Esnek üretim sipariş üzerine üretim stratejisi için önemli bir yetenektir ve maliyet optimizasyonunun yalın üretim ilkesiyle uyumludur. Özel tanıma, tasarım varyasyonlarını ve konfigürasyon seçeneklerini dijital ikizlerde entegre ederek, bilgisayarlı görü sistemlerinin üretim planlarına ve tasarım varyasyonlarına dinamik olarak uyarlanmasını sağlar.

Amazon Rekognition tarafından desteklenen Dassault Systèmes 3DEXCITE ile bilgisayar görüşünü iyileştirin

Dijital ikizler konusunda derin uzmanlığa sahip ve aynı zamanda Avrupa'nın en büyük ikinci yazılım editörü olan Dassault Systèmes içinde, 3DEXCITE ekibi farklı bir yol araştırıyor. Karl Herkt tarafından açıklandığı gibi, "Ya sentetik görüntülerden eğitilmiş bir sinir modeli fiziksel bir ürünü tanıyabilseydi?" 3DEXCITE, teknolojilerini AWS altyapısıyla birleştirerek bu sorunu çözmüş ve bu özgün yaklaşımın uygulanabilirliğini kanıtlamıştır. olarak da bilinir etki alanları arası nesne algılamaAlgılama modelinin kaynak etki alanındaki etiketlenmiş görüntülerden (sentetik görüntüler) öğrendiği ve etiketlenmemiş hedef alana (fiziksel bileşenler) yönelik tahminler yaptığı yer.

Dassault Systèmes 3DEXCITE ve AWS Prototyping ekibi, endüstriyel bir dişli kutusunun parçalarını tanıyan bir gösterici sistemi oluşturmak için güçlerini birleştirdi. Bu prototip 3 haftada üretildi ve eğitilen model %98 F1 puanı elde etti. Tanıma modeli, gerçek bir parçanın herhangi bir resmini içermeyen bir yazılım hattından tamamen eğitilmiştir. 3DEXCITE, endüstriyel bir dişli kutusunun tasarım ve CAD dosyalarından görsel olarak doğru dijital ikizler yarattı. Ayrıca dijital ikizlerden binlerce sentetik etiketli görüntü ürettiler. Ardından, bu görüntülerden son derece uzmanlaşmış bir sinir modeli eğitmek için Tanıma Özel Etiketleri kullandılar ve ilgili bir tanıma API'si sağladılar. Dişli kutusunun bir fiziksel parçasının herhangi bir web kamerasından tanınmasını sağlamak için bir web sitesi oluşturdular.

Amazon Rekognisyon Nesneleri, insanları, metinleri, sahneleri, etkinlikleri ve potansiyel olarak uygunsuz içeriği tanımlama dahil olmak üzere resimlerden ve videolardan anlamlı meta verileri çıkarmanıza izin vermek için derin öğrenme teknolojisini kullanan bir yapay zeka hizmetidir ve makine öğrenimi (ML) uzmanlığı gerektirmez. Amazon Rekognition ayrıca çok çeşitli kullanıcı doğrulama, kişi sayma ve güvenlik kullanım senaryoları için yüzleri algılamak, analiz etmek ve karşılaştırmak için kullanabileceğiniz son derece doğru yüz analizi ve yüz arama özellikleri sunar. Son olarak, Tanıma Özel Etiketleri ile nesne algılama ve görüntü sınıflandırma modelleri oluşturmak için kendi verilerinizi kullanabilirsiniz.

Sentetik etiketli görüntülerin üretilmesi için Dassault Systèmes teknolojisinin bilgisayar görüşü için Rekognition Özel Etiketleri ile birleşimi, tanıma sistemleri için ölçeklenebilir bir iş akışı sağlar. Kullanım kolaylığı burada önemli bir olumlu faktördür çünkü genel yazılım hattına Tanıma Özel Etiketleri eklemek zor değildir - bir API'yi bir iş akışına entegre etmek kadar basittir. Makine öğrenimi bilimcisi olmaya gerek yok; yakalanan kareleri AWS'ye gönderin ve bir veritabanına girebileceğiniz veya bir web tarayıcısında görüntüleyebileceğiniz bir sonuç alın.

Bu, eğitim veri kümelerinin manuel olarak oluşturulmasına göre dramatik gelişmenin daha da altını çiziyor. Maliyetli, gereksiz çalışma saatlerine gerek kalmadan daha hızlı ve daha doğru sonuçlar elde edebilirsiniz. Çok sayıda potansiyel kullanım örneği ile Dassault Systèmes ve Rekognition Özel Etiketlerin kombinasyonu, günümüz işletmelerine önemli ve anında yatırım getirisi sağlama potansiyeline sahiptir.

Çözüme genel bakış

Bu çözümdeki ilk adım, eğitim veri kümesini oluşturan görüntüleri oluşturmaktır. Bu, 3DEXCITE platformu tarafından yapılır. Etiketleme verilerini programlı olarak betikler kullanarak üretebiliriz. Amazon SageMaker Yer Gerçeği sınıflandırma ve nesne algılama görevleri için görüntüleri ve videoları kolayca etiketlemek için bir açıklama aracı sağlar. Amazon Rekognition'da bir model eğitmek için etiketleme dosyasının Temel Gerçek biçimiyle uyumlu olması gerekir. Bu etiketler, görüntü boyutu, sınırlayıcı kutu koordinatları ve sınıf kimlikleri gibi bilgiler de dahil olmak üzere JSON'dadır.

Ardından, sentetik görüntüleri ve manifestoyu şuraya yükleyin: Amazon Basit Depolama Hizmeti (Amazon S3), burada Tanıma Özel Etiketleri bunları eğitim veri kümesinin bileşenleri olarak içe aktarabilir.

Rekognition Custom Labels'ın modelleri bir dizi gerçek bileşen görüntüsüne karşı test etmesine izin vermek için, bir kamerayla çekilen gerçek motor parçalarının bir dizi resmini sağlıyor ve bunları test veri kümesi olarak kullanmak üzere Amazon S3'e yüklüyoruz.

Son olarak, Rekognition Custom Labels, sentetik eğitim veri kümesini ve gerçek nesnelerin resimlerinden oluşan test veri kümesini kullanarak en iyi nesne algılama modelini eğitir ve uygulamamızda nesne tanımayı çalıştırmak için kullanabileceğimiz modelle uç noktayı oluşturur.

Aşağıdaki şema, çözüm iş akışımızı göstermektedir:

Sentetik görüntüler oluşturun

Sentetik görüntüler, Dassault Systèmes'in bir ürünü olan 3Dexperience platformundan oluşturulur. Bu platform, nesnenin CAD (bilgisayar destekli tasarım) dosyasına dayalı olarak fotogerçekçi görüntüler oluşturmanıza ve işlemenize olanak tanır. Platformdaki görüntü dönüştürme konfigürasyonlarını değiştirerek birkaç saat içinde binlerce varyant üretebiliriz.

Bu prototipte, nesne algılama için aşağıdaki beş görsel olarak farklı dişli kutusu parçasını seçtik. Bir dişli muhafazası, dişli oranı, yatak kapağı, flanş ve sonsuz dişli içerirler.

Görüntü çeşitliliğini artırmak ve sentetik verileri daha fotogerçekçi hale getirmek için aşağıdaki veri büyütme yöntemlerini kullandık. Model genelleme hatasını azaltmaya yardımcı olur.

• Yakınlaştırma / uzaklaştırma – Bu yöntem, görüntülerdeki nesneyi rastgele yakınlaştırır veya uzaklaştırır.
• rotasyon – Bu yöntem, görüntülerdeki nesneyi döndürür ve sanal bir kamera, nesnenin rastgele fotoğraflarını 360 derecelik açılardan çeker gibi görünür.
• Malzemenin görünümünü ve hissini iyileştirin – Bazı dişli parçaları için malzemenin görünümünün ilk işlemede daha az gerçekçi olduğunu belirledik. Sentetik görüntüleri iyileştirmek için metalik bir efekt ekledik.
• Farklı aydınlatma ayarları kullanın – Bu prototipte iki aydınlatma koşulunu simüle ettik:
  • depo – Gerçekçi bir ışık dağılımı. Gölgeler ve yansımalar mümkündür.
  • Stüdyo – Cismin her tarafına homojen bir ışık konur. Bu gerçekçi değil ama gölge veya yansıma yok.
• Nesnenin gerçek zamanlı olarak nasıl görüntülendiğine dair gerçekçi bir konum kullanın – Gerçek hayatta, flanş ve yatak kapağı gibi bazı nesneler genellikle bir yüzeye yerleştirilir ve model, nesneleri üst ve alt yönlere göre algılar. Bu nedenle, kenar konumu olarak da adlandırılan parçaların ince kenarlarını gösteren eğitim görüntülerini kaldırdık ve düz konumdaki nesnelerin görüntülerini artırdık.
• Tek bir görüntüye birden çok nesne ekleyin – Gerçek hayat senaryolarında, birden fazla dişli parçasının tümü tek bir görünümde görünebilir, bu nedenle birden çok dişli parçası içeren görüntüler hazırladık.

3Dexperience platformunda, görüntülere farklı arka planlar uygulayabiliriz, bu da görüntü çeşitliliğini daha da artırmaya yardımcı olabilir. Zaman sınırlaması nedeniyle, bunu bu prototipte uygulamadık.

Sentetik eğitim veri kümesini içe aktarın

ML'de etiketlenmiş veriler, eğitim verilerinin, ML modelinizin tahmin etmesini istediğiniz yanıt olan hedefi göstermek için açıklama eklendiği anlamına gelir. Rekognition Özel Etiketleri tarafından tüketilebilen etiketli veriler, Temel Gerçek bildirim dosyası gereksinimlerine uygun olmalıdır. Bir bildirim dosyası, bir veya daha fazla JSON satırından oluşur; her satır tek bir görüntü için bilgi içerir. Sentetik eğitim verileri için, etiketleme bilgileri, daha önce bahsettiğimiz CAD dosyası ve görüntü dönüştürme konfigürasyonlarına dayalı olarak programlı olarak oluşturulabilir, bu da etiketleme çalışmasında önemli ölçüde manuel çabadan tasarruf sağlar. Dosya formatlarını etiketleme gereksinimleri hakkında daha fazla bilgi için, bkz. Bir bildirim dosyası oluşturun ve Bildirim dosyalarında nesne yerelleştirme. Aşağıda bir resim etiketleme örneği verilmiştir:

{ "source-ref": "s3://<bucket>/<prefix>/multiple_objects.png", "bounding-box": { "image_size": [ { "width": 1024, "height": 1024, "depth": 3 } ], "annotations": [ { "class_id": 1, "top": 703, "left": 606, "width": 179, "height": 157 }, { "class_id": 4, "top": 233, "left": 533, "width": 118, "height": 139 }, { "class_id": 0, "top": 592, "left": 154, "width": 231, "height": 332 }, { "class_id": 3, "top": 143, "left": 129, "width": 268, "height": 250 } ] }, "bounding-box-metadata": { "objects": [ { "confidence": 1 }, { "confidence": 1 }, { "confidence": 1 }, { "confidence": 1 } ], "class-map": { "0": "Gear_Housing", "1": "Gear_Ratio", "3": "Flange", "4": "Worm_Gear" }, "type": "groundtruth/object-detection", "human-annotated": "yes", "creation-date": "2021-06-18T11:56:01", "job-name": "3DEXCITE" }
}

Manifest dosyası hazırlandıktan sonra bir S3 kovasına yükleriz ve ardından seçeneği işaretleyerek Rekognition Custom Labels içinde bir eğitim veri seti oluştururuz. Amazon SageMaker Ground Truth tarafından etiketlenmiş görüntüleri içe aktarın.

Manifest dosyası içe aktarıldıktan sonra etiketleme bilgilerini görsel olarak Amazon Rekognition konsolunda görüntüleyebiliriz. Bu, bildirim dosyasının oluşturulduğunu ve içe aktarıldığını doğrulamamıza yardımcı olur. Daha spesifik olarak, sınırlayıcı kutular, resimlerdeki nesnelerle aynı hizada olmalı ve nesnelerin sınıf kimlikleri doğru şekilde atanmalıdır.

Test veri kümesini oluşturun

Test görüntüleri gerçek hayatta bir telefon veya kamera ile farklı açılardan ve ışık koşullarından alınmıştır, çünkü sentetik verilerle eğittiğimiz model doğruluğunu gerçek hayat senaryolarına karşı doğrulamak istiyoruz. Bu test görüntülerini bir S3 klasörüne yükleyebilir ve ardından bunları Rekognition Özel Etiketlerinde veri kümeleri olarak içe aktarabilirsiniz. Veya bunları doğrudan yerel makinenizden veri kümelerine yükleyebilirsiniz.

Tanıma Özel Etiketleri, Temel Gerçeğe benzer bir deneyime sahip yerleşik görüntü açıklama özelliği sağlar. Test verileri içe aktarıldığında etiketleme çalışmasına başlayabilirsiniz. Bir nesne algılama kullanım durumu için, modelin hedef nesnelere ait bölgeleri ve pikselleri tam olarak öğrenmesine yardımcı olan, ilgili nesnelerin etrafında sıkı bir şekilde sınırlayıcı kutular oluşturulmalıdır. Ek olarak, kısmen görüş dışında olan veya diğer nesneler tarafından kapatılanlar da dahil olmak üzere tüm görüntülerdeki hedef nesnelerin her örneğini etiketlemelisiniz, aksi takdirde model daha fazla yanlış negatif tahmin eder.

Etki alanları arası nesne algılama modelini oluşturun

Tanıma Özel Etiketleri, tümüyle yönetilen bir hizmettir; tren ve test veri kümelerini sağlamanız yeterlidir. Bir dizi modeli eğitir ve sağlanan verilere göre en iyi performansı gösteren modeli seçer. Bu prototipte, daha önce bahsettiğimiz görüntü büyütme yöntemlerinin farklı kombinasyonlarını deneyerek yinelemeli olarak sentetik eğitim veri setlerini hazırlıyoruz. Tanıma Özel Etiketlerindeki her eğitim veri kümesi için bir model oluşturulur ve bu, özellikle bu kullanım durumu için en uygun eğitim veri kümesini karşılaştırmamıza ve bulmamıza olanak tanır. Her model minimum sayıda eğitim görüntüsüne sahiptir, iyi görüntü çeşitliliği içerir ve en iyi model doğruluğunu sağlar. 15 yinelemeden sonra, nesne başına ortalama 1 görüntü olan yaklaşık 98 sentetik eğitim görüntüsünü kullanarak %10,000 model doğruluğu olan bir F2,000 puanı elde ettik.

Model çıkarımının sonuçları

Aşağıdaki görüntü, gerçek zamanlı bir çıkarım uygulamasında kullanılan Amazon Rekognition modelini göstermektedir. Tüm bileşenler yüksek güvenle doğru bir şekilde algılanır.

Sonuç

Bu gönderide, tamamen sentetik görüntüler üzerinde bir bilgisayarlı görü modelinin nasıl eğitileceğini ve modelin gerçek dünyadaki nesneleri nasıl güvenilir bir şekilde tanıyabileceğini gösterdik. Bu, eğitim verilerini toplamak ve etiketlemek için manuel çabadan önemli ölçüde tasarruf sağlar. Dassault Systèmes, bu keşifle tasarımcılar ve mühendisler tarafından oluşturulan 3B ürün modellerinin iş değerini genişletiyor, çünkü artık fiziksel dünyadaki görüntüler için tanıma sistemlerinde CAD, CAE ve PLM verilerini kullanabilirsiniz.

Tanıma Özel Etiketlerin temel özellikleri ve kullanım örnekleri hakkında daha fazla bilgi için bkz. Amazon Rekognition Özel Etiketleri. Resimleriniz bu proje için geçerli olan Temel Gerçek ile yerel olarak etiketlenmemişse, bkz. Manifest dosyası oluşturma etiketleme verilerinizi Rekognition Özel Etiketlerinin tüketebileceği biçime dönüştürmek için.

Yazarlar Hakkında

odunsu borraccino şu anda AWS'de Kıdemli Makine Öğrenimi Uzmanı Çözüm Mimarıdır. İtalya'nın Milano kentinde bulunan Woody, Bilgisayarla Görme ve Uzamsal Bilgi İşlem (AR/VR/XR) teknolojilerine tutkuyla bağlı olduğu 2015 yılında AWS'ye katılmadan önce yazılım geliştirme üzerinde çalıştı. Tutkusu artık metaverse yeniliğine odaklanmıştır. onu takip et Linkedin.

Ying Hou, PhD, AWS'de Makine Öğrenimi Prototipleme Mimarıdır. Başlıca ilgi alanları Derin Öğrenme, Bilgisayarla Görme, NLP ve zaman serisi veri tahminidir. Boş zamanlarında roman okumaktan ve İngiltere'deki milli parklarda yürüyüş yapmaktan hoşlanıyor.

bernard paques şu anda Storm Reply'nin CTO'su, AWS'de dağıtılan endüstriyel çözümlere odaklanıyor. Fransa, Paris'te bulunan Bernard, daha önce AWS'de Baş Çözüm Mimarı ve Baş Danışman olarak çalıştı. Kurumsal modernizasyona katkıları, Endüstriyel için AWS'yi, AWS CDK'yi kapsar ve bunlar artık Yeşil BT ve ses tabanlı sistemlerde ortaya çıkar. onu takip et Twitter.

karl herkt şu anda Dassault Systèmes 3DExcite'de Kıdemli Stratejist. Almanya'nın Münih kentinde yerleşik, somut sonuçlar veren yenilikçi bilgisayar vizyonu uygulamaları yaratıyor. onu takip et LinkedIn.

• Akıllı para. Avrupa'nın En İyi Bitcoin ve Kripto Borsası.
• Plato blok zinciri. Web3 Metaverse Zekası. Bilgi Güçlendirildi. SERBEST ERİŞİM.
• KriptoHawk. Altcoin Radarı. Ücretsiz deneme.
• Kaynak: https://aws.amazon.com/blogs/machine-learning/computer-vision-using-synthetic-datasets-with-amazon-rekognition-custom-labels-and-dassault-systemes-3dexite/