Visione artificiale utilizzando set di dati sintetici con etichette personalizzate Amazon Rekognition e Dassault Systèmes 3DEXCITE

Ripubblicato da Platone

Seguaci: 0

Questo è un post scritto insieme a Bernard Paques, CTO di Storm Reply, e Karl Herkt, Senior Strategist di Dassault Systèmes 3DExcite.

Sebbene la visione artificiale possa essere fondamentale per la manutenzione industriale, la produzione, la logistica e le applicazioni di consumo, la sua adozione è limitata dalla creazione manuale di set di dati di formazione. La creazione di immagini etichettate in un contesto industriale viene eseguita principalmente manualmente, il che crea capacità di riconoscimento limitate, non scala e comporta costi di manodopera e ritardi nella realizzazione del valore aziendale. Ciò va contro l'agilità aziendale fornita dalle iterazioni rapide nella progettazione del prodotto, nella progettazione del prodotto e nella configurazione del prodotto. Questo processo non si adatta a prodotti complessi come automobili, aeroplani o edifici moderni, perché in questi scenari ogni progetto di etichettatura è unico (relativo a prodotti unici). Di conseguenza, la tecnologia di visione artificiale non può essere facilmente applicata a progetti unici su larga scala senza un grande sforzo nella preparazione dei dati, che a volte limita la consegna dei casi d'uso.

In questo post, presentiamo un nuovo approccio in cui vengono creati sistemi di visione artificiale altamente specializzati da file di progettazione e CAD. Iniziamo con la creazione di gemelli digitali visivamente corretti e la generazione di immagini sintetiche etichettate. Quindi spingiamo queste immagini a Etichette personalizzate Amazon Rekognition per addestrare un modello di rilevamento oggetti personalizzato. Utilizzando la proprietà intellettuale esistente con il software, stiamo rendendo la visione artificiale accessibile e pertinente a una varietà di contesti industriali.

La personalizzazione dei sistemi di riconoscimento aiuta a guidare i risultati aziendali

I sistemi specializzati di visione artificiale prodotti da gemelli digitali hanno pregi specifici, che possono essere illustrati nei seguenti casi d'uso:

Tracciabilità per prodotti unici – Airbus, Boeing e altri produttori di aeromobili assegnano un'assegnazione unica Numeri di serie del produttore (MSN) a ogni aeromobile che producono. Questo è gestito durante l'intero processo produttivo, al fine di generare documentazione di aeronavigabilità e ottenere i permessi per volare. UN gemello digitale (un modello 3D virtuale che rappresenta un prodotto fisico) può essere derivato dalla configurazione di ciascun MSN e genera un sistema di visione artificiale distribuito che tiene traccia dei progressi di questo MSN negli impianti industriali. Il riconoscimento personalizzato automatizza la trasparenza data alle compagnie aeree e sostituisce la maggior parte dei checkpoint eseguiti manualmente dalle compagnie aeree. La garanzia di qualità automatizzata su prodotti unici può essere applicata ad aerei, automobili, edifici e persino produzioni artigianali.
Realtà aumentata contestualizzata – I sistemi di visione artificiale di livello professionale possono coprire paesaggi limitati, ma con capacità di discriminazione più elevate. Ad esempio, nella manutenzione industriale, trovare un cacciavite in una foto è inutile; è necessario identificare il modello del cacciavite o anche il suo numero di serie. In tali contesti limitati, i sistemi di riconoscimento personalizzati superano i sistemi di riconoscimento generici perché sono più rilevanti nei loro risultati. I sistemi di riconoscimento personalizzati consentono precisi cicli di feedback tramite realtà aumentata dedicata fornito in HMI o in dispositivi mobili.
Controllo qualità end-to-end - Con Ingegneria dei sistemi, puoi creare gemelli digitali di costrutti parziali e generare sistemi di visione artificiale che si adattano alle varie fasi dei processi di produzione e produzione. I controlli visivi possono essere intrecciati con le workstation di produzione, consentendo l'ispezione end-to-end e il rilevamento precoce dei difetti. Riconoscimento personalizzato per l'ispezione end-to-end previene efficacemente la cascata di difetti alle linee di assemblaggio. Ridurre il tasso di scarto e massimizzare la produzione è l'obiettivo finale.
Ispezione di qualità flessibile – Il moderno controllo della qualità deve adattarsi alle variazioni di progettazione e alla produzione flessibile. Le variazioni nel design derivano da cicli di feedback sull'utilizzo del prodotto e sulla manutenzione del prodotto. Produzione flessibile è una capacità chiave per una strategia make-to-order e si allinea con il principio della produzione snella di ottimizzazione dei costi. Integrando le variazioni di progettazione e le opzioni di configurazione nei gemelli digitali, il riconoscimento personalizzato consente l'adattamento dinamico dei sistemi di visione artificiale ai piani di produzione e alle variazioni di progettazione.

Migliora la visione artificiale con Dassault Systèmes 3DEXCITE powered by Amazon Rekognition

All'interno di Dassault Systèmes, un'azienda con una profonda esperienza nei digital twin che è anche il secondo più grande editore di software europeo, il team 3DEXCITE sta esplorando un percorso diverso. Come spiegato da Karl Herkt, "E se un modello neurale addestrato da immagini sintetiche potesse riconoscere un prodotto fisico?" 3DEXCITE ha risolto questo problema combinando la propria tecnologia con l'infrastruttura AWS, dimostrando la fattibilità di questo peculiare approccio. È anche conosciuto come rilevamento di oggetti tra domini, in cui il modello di rilevamento apprende dalle immagini etichettate dal dominio di origine (immagini sintetiche) e fa previsioni sul dominio di destinazione senza etichetta (componenti fisici).

Dassault Systèmes 3DEXCITE e il team di prototipazione di AWS hanno unito le forze per creare un sistema dimostrativo in grado di riconoscere le parti di un cambio industriale. Questo prototipo è stato costruito in 3 settimane e il modello addestrato ha ottenuto un punteggio F98 del 1%. Il modello di riconoscimento è stato addestrato interamente da una pipeline software, che non presenta immagini di una parte reale. Dalla progettazione e dai file CAD di un cambio industriale, 3DEXCITE ha creato gemelli digitali visivamente corretti. Hanno anche generato migliaia di immagini sintetiche etichettate dai gemelli digitali. Quindi hanno utilizzato Rekognition Custom Labels per addestrare un modello neurale altamente specializzato da queste immagini e hanno fornito un'API di riconoscimento correlata. Hanno creato un sito Web per consentire il riconoscimento da qualsiasi webcam di una parte fisica del cambio.

Rekognition di Amazon è un servizio di intelligenza artificiale che utilizza la tecnologia di deep learning per consentire di estrarre metadati significativi da immagini e video, inclusa l'identificazione di oggetti, persone, testo, scene, attività e contenuti potenzialmente inappropriati, senza la necessità di competenze di machine learning (ML). Amazon Rekognition fornisce anche funzionalità di analisi facciale e ricerca facciale estremamente accurate che puoi utilizzare per rilevare, analizzare e confrontare i volti per un'ampia varietà di casi d'uso di verifica utente, conteggio delle persone e sicurezza. Infine, con Rekognition Custom Labels, puoi utilizzare i tuoi dati per creare modelli di rilevamento degli oggetti e classificazione delle immagini.

La combinazione della tecnologia Dassault Systèmes per la generazione di immagini sintetiche etichettate con Rekognition Custom Labels per la visione artificiale fornisce un flusso di lavoro scalabile per i sistemi di riconoscimento. La facilità d'uso è un fattore positivo significativo in questo caso perché l'aggiunta di etichette personalizzate Rekognition alla pipeline software complessiva non è difficile: è semplice come integrare un'API in un flusso di lavoro. Non c'è bisogno di essere uno scienziato ML; invia semplicemente i frame acquisiti ad AWS e ricevi un risultato che puoi inserire in un database o visualizzare in un browser web.

Ciò sottolinea ulteriormente il notevole miglioramento rispetto alla creazione manuale dei set di dati di addestramento. Puoi ottenere risultati migliori più velocemente e con maggiore precisione, senza la necessità di ore di lavoro costose e inutili. Con così tanti potenziali casi d'uso, la combinazione di Dassault Systèmes e Rekognition Custom Labels ha il potenziale per fornire alle aziende di oggi un ROI significativo e immediato.

Panoramica della soluzione

Il primo passaggio di questa soluzione è eseguire il rendering delle immagini che creano il set di dati di addestramento. Questo viene fatto dalla piattaforma 3DEXCITE. Possiamo generare i dati di etichettatura a livello di codice utilizzando gli script. Amazon SageMaker verità fondamentale fornisce uno strumento di annotazione per etichettare facilmente immagini e video per attività di classificazione e rilevamento di oggetti. Per addestrare un modello in Amazon Rekognition, il file di etichettatura deve essere conforme al formato Ground Truth. Queste etichette sono in JSON, incluse informazioni come la dimensione dell'immagine, le coordinate del riquadro di delimitazione e gli ID classe.

Quindi carica le immagini sintetiche e il manifest su Servizio di archiviazione semplice Amazon (Amazon S3), dove Rekognition Custom Labels può importarli come componenti del set di dati di addestramento.

Per consentire a Rekognition Custom Labels di testare i modelli rispetto a una serie di immagini di componenti reali, forniamo una serie di immagini delle parti del motore reali scattate con una fotocamera e le carichiamo su Amazon S3 per utilizzarle come set di dati di test.

Infine, Rekognition Custom Labels addestra il miglior modello di rilevamento degli oggetti utilizzando il set di dati di addestramento sintetico e il set di dati di test composto da immagini di oggetti reali e crea l'endpoint con il modello che possiamo utilizzare per eseguire il riconoscimento degli oggetti nella nostra applicazione.

Il diagramma seguente illustra il flusso di lavoro della nostra soluzione:

Crea immagini sintetiche

Le immagini sintetiche sono generate dalla piattaforma 3Dexperience, che è un prodotto di Dassault Systèmes. Questa piattaforma consente di creare e renderizzare immagini fotorealistiche basate sul file CAD (computer-aided design) dell'oggetto. Possiamo generare migliaia di varianti in poche ore modificando le configurazioni di trasformazione delle immagini sulla piattaforma.

In questo prototipo, abbiamo selezionato le seguenti cinque parti del cambio visivamente distinte per il rilevamento degli oggetti. Includono una scatola ingranaggi, rapporto di trasmissione, coperchio del cuscinetto, flangia e ingranaggio a vite senza fine.

Abbiamo utilizzato i seguenti metodi di aumento dei dati per aumentare la diversità dell'immagine e rendere i dati sintetici più fotorealistici. Aiuta a ridurre l'errore di generalizzazione del modello.

Zoom in / out – Questo metodo ingrandisce o rimpicciolisce casualmente l'oggetto nelle immagini.
Rotazione – Questo metodo ruota l'oggetto nelle immagini e sembra che una fotocamera virtuale acquisisca immagini casuali dell'oggetto da angoli di 360 gradi.
Migliora l'aspetto e la sensazione al tatto del materiale – Abbiamo identificato che per alcune parti dell'ingranaggio l'aspetto del materiale è meno realistico nel rendering iniziale. Abbiamo aggiunto un effetto metallico per migliorare le immagini sintetiche.
Usa diverse impostazioni di illuminazione – In questo prototipo abbiamo simulato due condizioni di illuminazione:
- Magazzino – Una distribuzione della luce realistica. Ombre e riflessi sono possibili.
- Studio – Una luce omogenea viene posizionata tutt'intorno all'oggetto. Questo non è realistico ma non ci sono ombre o riflessi.
Usa una posizione realistica di come l'oggetto viene visualizzato in tempo reale – Nella vita reale, alcuni oggetti, come una flangia e una copertura del cuscinetto, sono generalmente posizionati su una superficie e il modello rileva gli oggetti in base alle faccette superiore e inferiore. Pertanto, abbiamo rimosso le immagini di allenamento che mostrano il bordo sottile delle parti, chiamato anche posizione del bordo, e aumentato le immagini degli oggetti in una posizione piatta.
Aggiungi più oggetti in un'immagine – In scenari di vita reale, più parti di ingranaggi potrebbero apparire tutte in un'unica vista, quindi abbiamo preparato immagini che contengono più parti di ingranaggi.

Sulla piattaforma 3Dexperience, possiamo applicare sfondi diversi alle immagini, che possono aiutare ad aumentare ulteriormente la diversità delle immagini. A causa dei limiti di tempo, non l'abbiamo implementato in questo prototipo.

Importa il set di dati di addestramento sintetico

In ML, i dati etichettati significano che i dati di addestramento sono annotati per mostrare l'obiettivo, che è la risposta che vuoi che il tuo modello ML preveda. I dati etichettati che possono essere utilizzati da Rekognition Custom Labels devono essere conformi ai requisiti del file manifest Ground Truth. Un file manifest è composto da una o più righe JSON; ogni riga contiene le informazioni per una singola immagine. Per i dati di addestramento sintetici, le informazioni sull'etichettatura possono essere generate a livello di codice in base al file CAD e alle configurazioni di trasformazione dell'immagine menzionate in precedenza, risparmiando un notevole sforzo manuale per il lavoro di etichettatura. Per ulteriori informazioni sui requisiti per l'etichettatura dei formati di file, fare riferimento a Crea un file manifest ed Localizzazione degli oggetti nei file manifest. Quello che segue è un esempio di etichettatura delle immagini:

{ "source-ref": "s3://<bucket>/<prefix>/multiple_objects.png", "bounding-box": { "image_size": [ { "width": 1024, "height": 1024, "depth": 3 } ], "annotations": [ { "class_id": 1, "top": 703, "left": 606, "width": 179, "height": 157 }, { "class_id": 4, "top": 233, "left": 533, "width": 118, "height": 139 }, { "class_id": 0, "top": 592, "left": 154, "width": 231, "height": 332 }, { "class_id": 3, "top": 143, "left": 129, "width": 268, "height": 250 } ] }, "bounding-box-metadata": { "objects": [ { "confidence": 1 }, { "confidence": 1 }, { "confidence": 1 }, { "confidence": 1 } ], "class-map": { "0": "Gear_Housing", "1": "Gear_Ratio", "3": "Flange", "4": "Worm_Gear" }, "type": "groundtruth/object-detection", "human-annotated": "yes", "creation-date": "2021-06-18T11:56:01", "job-name": "3DEXCITE" }
}

Dopo aver preparato il file manifest, lo carichiamo in un bucket S3, quindi creiamo un set di dati di addestramento in Rekognition Custom Labels selezionando l'opzione Importa immagini etichettate da Amazon SageMaker Ground Truth.

Dopo aver importato il file manifest, possiamo visualizzare le informazioni sull'etichettatura visivamente sulla console Amazon Rekognition. Questo ci aiuta a confermare che il file manifest è stato generato e importato. Più specificamente, i riquadri di delimitazione dovrebbero essere allineati con gli oggetti nelle immagini e gli ID di classe degli oggetti dovrebbero essere assegnati correttamente.

Crea il set di dati di test

Le immagini di prova vengono acquisite nella vita reale con un telefono o una fotocamera da diverse angolazioni e condizioni di illuminazione, perché vogliamo convalidare l'accuratezza del modello, che abbiamo addestrato utilizzando dati sintetici, rispetto agli scenari della vita reale. Puoi caricare queste immagini di prova in un bucket S3 e quindi importarle come set di dati in Rekognition Custom Labels. Oppure puoi caricarli direttamente sui set di dati dal tuo computer locale.

Rekognition Custom Labels fornisce funzionalità di annotazione delle immagini integrate, che ha un'esperienza simile a Ground Truth. È possibile avviare il lavoro di etichettatura quando vengono importati i dati di prova. Per un caso d'uso di rilevamento di oggetti, i riquadri di delimitazione dovrebbero essere creati strettamente attorno agli oggetti di interesse, il che aiuta il modello ad apprendere con precisione le regioni e i pixel che appartengono agli oggetti di destinazione. Inoltre, dovresti etichettare ogni istanza degli oggetti target in tutte le immagini, anche quelle che sono parzialmente fuori vista o occluse da altri oggetti, altrimenti il modello prevede più falsi negativi.

Creare il modello di rilevamento degli oggetti tra domini

Recognition Custom Labels è un servizio completamente gestito; devi solo fornire i set di dati del treno e del test. Forma una serie di modelli e sceglie quello più performante in base ai dati forniti. In questo prototipo, prepariamo i set di dati di addestramento sintetico in modo iterativo sperimentando diverse combinazioni dei metodi di aumento delle immagini che abbiamo menzionato in precedenza. Viene creato un modello per ogni set di dati di addestramento in Rekognition Custom Labels, che ci consente di confrontare e trovare il set di dati di addestramento ottimale per questo caso d'uso in particolare. Ogni modello ha il numero minimo di immagini di addestramento, contiene una buona diversità di immagini e fornisce la migliore precisione del modello. Dopo 15 iterazioni, abbiamo ottenuto un punteggio F1 del 98% di precisione del modello utilizzando circa 10,000 immagini di addestramento sintetiche, ovvero in media 2,000 immagini per oggetto.

Risultati dell'inferenza del modello

L'immagine seguente mostra il modello Amazon Rekognition utilizzato in un'applicazione di inferenza in tempo reale. Tutti i componenti vengono rilevati correttamente con elevata confidenza.

Visione artificiale che utilizza set di dati sintetici con Amazon Rekognition Custom Labels e Dassault Systèmes 3DEXCITE PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.

Conclusione

In questo post, abbiamo dimostrato come addestrare un modello di visione artificiale su immagini puramente sintetiche e come il modello può ancora riconoscere in modo affidabile oggetti del mondo reale. Ciò consente di risparmiare uno sforzo manuale significativo nella raccolta e nell'etichettatura dei dati di addestramento. Con questa esplorazione, Dassault Systèmes sta ampliando il valore aziendale dei modelli di prodotto 3D creati da designer e ingegneri, perché ora è possibile utilizzare i dati CAD, CAE e PLM nei sistemi di riconoscimento delle immagini nel mondo fisico.

Per ulteriori informazioni sulle funzionalità chiave e sui casi d'uso di Rekognition Custom Labels, vedere Etichette personalizzate Amazon Rekognition. Se le tue immagini non sono etichettate in modo nativo con Ground Truth, come nel caso di questo progetto, vedi Creazione di un file manifest per convertire i dati di etichettatura nel formato utilizzabile da Rekognition Custom Labels.

Informazioni sugli autori

Boscoso Borraccino è attualmente un Senior Machine Learning Specialist Solution Architect presso AWS. Con sede a Milano, in Italia, Woody ha lavorato allo sviluppo di software prima di entrare in AWS nel 2015, dove la sua crescita è stata la passione per le tecnologie di Computer Vision e Spatial Computing (AR/VR/XR). La sua passione è ora focalizzata sull'innovazione del metaverso. Seguilo LinkedIn.

Ying Ho, PhD, è un architetto di prototipi di apprendimento automatico presso AWS. Le sue principali aree di interesse sono Deep Learning, Computer Vision, NLP e previsione dei dati di serie temporali. Nel tempo libero le piace leggere romanzi e fare escursioni nei parchi nazionali del Regno Unito.

Bernard Paques è attualmente CTO di Storm Reply focalizzato su soluzioni industriali distribuite su AWS. Con sede a Parigi, Francia, Bernard ha lavorato in precedenza come Principal Solution Architect e come Principal Consultant presso AWS. I suoi contributi alla modernizzazione dell'impresa riguardano AWS for Industrial, AWS CDK e questi ora derivano dall'IT verde e dai sistemi basati sulla voce. Seguilo Twitter.

Carlo Herkt è attualmente Senior Strategist presso Dassault Systèmes 3DExcite. Con sede a Monaco di Baviera, in Germania, crea implementazioni innovative della visione artificiale che forniscono risultati tangibili. Seguilo LinkedIn.