Računalniški vid z uporabo sintetičnih naborov podatkov z Amazon Rekognition Custom Labels in Dassault Systèmes 3DEXCITE

To objavo smo napisali skupaj z Bernardom Paquesom, tehničnim direktorjem podjetja Storm Reply, in Karlom Herktom, višjim strategom pri Dassault Systèmes 3DExcite.

Čeprav je računalniški vid lahko ključnega pomena za industrijsko vzdrževanje, proizvodnjo, logistiko in potrošniške aplikacije, je njegova uporaba omejena z ročnim ustvarjanjem naborov podatkov za usposabljanje. Ustvarjanje označenih slik v industrijskem kontekstu se v glavnem izvaja ročno, kar ustvarja omejene zmožnosti prepoznavanja, ni skaliranja in povzroča stroške dela ter zamude pri realizaciji poslovne vrednosti. To je v nasprotju s poslovno agilnostjo, ki jo zagotavljajo hitre iteracije v oblikovanju izdelka, inženiringu izdelka in konfiguraciji izdelka. Ta postopek ni prilagojen za kompleksne izdelke, kot so avtomobili, letala ali sodobne zgradbe, ker je v teh scenarijih vsak projekt označevanja edinstven (povezan z edinstvenimi izdelki). Posledično tehnologije računalniškega vida ni mogoče zlahka uporabiti za obsežne edinstvene projekte brez velikega truda pri pripravi podatkov, kar včasih omejuje dostavo primerov uporabe.

V tem prispevku predstavljamo nov pristop, pri katerem so visoko specializirani sistemi računalniškega vida ustvarjeni iz načrtov in datotek CAD. Začnemo z ustvarjanjem vizualno pravilnih digitalnih dvojčkov in ustvarjanjem sintetičnih označenih slik. Nato potisnemo te slike Oznake po meri za ponovno odstranjevanje Amazon za usposabljanje modela za odkrivanje objektov po meri. Z uporabo obstoječe intelektualne lastnine s programsko opremo naredimo računalniški vid cenovno dostopen in primeren za različne industrijske kontekste.

Prilagajanje sistemov za prepoznavanje po meri pomaga pri poslovnih rezultatih

Specializirani sistemi računalniškega vida, ki so izdelani iz digitalnih dvojčkov, imajo posebne prednosti, ki jih je mogoče ponazoriti v naslednjih primerih uporabe:

• Sledljivost za unikatne izdelke – Airbus, Boeing in drugi proizvajalci letal dodelijo edinstveno Serijske številke proizvajalca (MSN) za vsako letalo, ki ga proizvedejo. To se upravlja skozi celoten proizvodni proces, da bi ustvarili dokumentacijo o plovnosti in pridobiti dovoljenja za letenje. A digitalni dvojček (virtualni 3D model, ki predstavlja fizični izdelek) je mogoče izpeljati iz konfiguracije vsakega MSN in generira porazdeljeni sistem računalniškega vida, ki sledi napredku tega MSN v industrijskih obratih. Prepoznavanje po meri avtomatizira preglednost, ki je dana letalskim družbam, in nadomešča večino kontrolnih točk, ki jih letalske družbe izvajajo ročno. Avtomatizirano zagotavljanje kakovosti edinstvenih izdelkov se lahko uporablja za letala, avtomobile, zgradbe in celo obrtniško proizvodnjo.
• Kontekstualizirana razširjena resničnost – Profesionalni sistemi računalniškega vida lahko zajemajo omejene krajine, vendar z večjo sposobnostjo razlikovanja. Na primer, pri industrijskem vzdrževanju je iskanje izvijača na sliki neuporabno; identificirati morate model izvijača ali celo njegovo serijsko številko. V tako omejenih kontekstih so sistemi za prepoznavanje po meri boljši od generičnih sistemov za prepoznavanje, ker so bolj relevantni v svojih ugotovitvah. Sistemi za prepoznavanje po meri omogočajo natančne povratne zanke prek namensko razširjeno resničnost dostavljeno v HMI ali v mobilnih napravah.
• Kontrola kakovosti od konca do konca - Z sistemski inženiring, lahko ustvarite digitalne dvojčke delnih konstruktov in ustvarite sisteme računalniškega vida, ki se prilagajajo različnim fazam izdelave in proizvodnih procesov. Vizualne kontrole se lahko prepletajo s proizvodnimi delovnimi postajami, kar omogoča pregled od konca do konca in zgodnje odkrivanje napak. Prepoznavanje po meri za inšpekcijo od konca do konca učinkovito preprečuje kaskadni prenos napak na montažne linije. Končni cilj je zmanjšanje stopnje zavrnitve in maksimiranje proizvodnje.
• Prilagodljiv pregled kakovosti – Sodobna kontrola kakovosti se mora prilagajati variacijam dizajna in fleksibilni proizvodnji. Različice v oblikovanju izhajajo iz povratnih informacij o uporabi in vzdrževanju izdelka. Fleksibilna izdelava je ključna zmogljivost za strategijo izdelave po naročilu in je usklajena z načelom vitke proizvodnje optimizacije stroškov. Z integracijo različic oblikovanja in konfiguracijskih možnosti v digitalnih dvojčkih omogoča prepoznavanje po meri dinamično prilagajanje sistemov računalniškega vida proizvodnim načrtom in različicam oblikovanja.

Izboljšajte računalniški vid z Dassault Systèmes 3DEXCITE, ki ga poganja Amazon Rekognition

Znotraj podjetja Dassault Systèmes, podjetja z globokim strokovnim znanjem o digitalnih dvojčkih, ki je tudi drugi največji evropski urejevalnik programske opreme, ekipa 3DEXCITE raziskuje drugačno pot. Kot je razložil Karl Herkt, "Kaj, če bi nevronski model, usposobljen iz sintetičnih slik, prepoznal fizični izdelek?" 3DEXCITE je to težavo rešil z združitvijo svoje tehnologije z infrastrukturo AWS, kar dokazuje izvedljivost tega posebnega pristopa. Znan je tudi kot meddomeno odkrivanje objektov, kjer se model zaznavanja uči iz označenih slik iz izvorne domene (sintetične slike) in naredi napovedi za neoznačeno ciljno domeno (fizične komponente).

Dassault Systèmes 3DEXCITE in ekipa AWS Prototyping sta združila moči pri izdelavi demonstracijskega sistema, ki prepozna dele industrijskega menjalnika. Ta prototip je bil izdelan v 3 tednih, usposobljeni model pa je dosegel 98 % rezultat F1. Model za prepoznavanje je bil v celoti usposobljen iz cevovoda programske opreme, ki ne vsebuje nobenih slik pravega dela. Iz zasnove in datotek CAD industrijskega menjalnika je 3DEXCITE ustvaril vizualno pravilna digitalna dvojčka. Ustvarili so tudi na tisoče sintetičnih označenih slik iz digitalnih dvojčkov. Nato so uporabili Rekognition Custom Labels za usposabljanje visoko specializiranega nevronskega modela iz teh slik in zagotovili povezan API za prepoznavanje. Izdelali so spletno stran, ki omogoča prepoznavanje enega fizičnega dela menjalnika s katere koli spletne kamere.

Amazonsko ponovno vžiganje je storitev umetne inteligence, ki uporablja tehnologijo globokega učenja, da vam omogoči ekstrahiranje pomembnih metapodatkov iz slik in videoposnetkov – vključno z identifikacijo predmetov, ljudi, besedila, prizorov, dejavnosti in potencialno neprimerne vsebine – brez potrebe po strokovnem znanju strojnega učenja (ML). Amazon Rekognition ponuja tudi zelo natančno analizo obraza in zmožnosti iskanja obraza, ki ju lahko uporabite za odkrivanje, analizo in primerjavo obrazov za najrazličnejše primere preverjanja uporabnikov, štetja ljudi in varnostne uporabe. Nazadnje, z oznakami po meri Rekognition lahko uporabite lastne podatke za izdelavo modelov za zaznavanje predmetov in klasifikacijo slik.

Kombinacija tehnologije Dassault Systèmes za ustvarjanje sintetičnih označenih slik z oznakami po meri Rekognition za računalniški vid zagotavlja razširljiv potek dela za sisteme za prepoznavanje. Enostavnost uporabe je tukaj pomemben pozitiven dejavnik, saj dodajanje oznak po meri Rekognition v celoten cevovod programske opreme ni težko – preprosto je kot integracija API-ja v potek dela. Ni vam treba biti znanstvenik ML; preprosto pošljite zajete okvirje v AWS in prejmite rezultat, ki ga lahko vnesete v bazo podatkov ali prikažete v spletnem brskalniku.

To dodatno poudarja dramatično izboljšanje v primerjavi z ročnim ustvarjanjem naborov podatkov za usposabljanje. Boljše rezultate lahko dosežete hitreje in z večjo natančnostjo, brez potrebe po dragih in nepotrebnih delovnih urah. S tako številnimi potencialnimi primeri uporabe ima kombinacija Dassault Systèmes in Rekognition Custom Labels potencial, da današnjim podjetjem zagotovi pomembno in takojšnjo donosnost naložbe.

Pregled rešitev

Prvi korak v tej rešitvi je upodabljanje slik, ki ustvarjajo nabor podatkov za usposabljanje. To izvaja platforma 3DEXCITE. Podatke za označevanje lahko ustvarimo programsko z uporabo skript. Amazon SageMaker Ground Truth ponuja orodje za opombe za enostavno označevanje slik in videoposnetkov za naloge klasifikacije in odkrivanja objektov. Za usposabljanje modela v Amazon Rekognition mora biti datoteka z označevanjem skladna s formatom Ground Truth. Te oznake so v JSON, vključno z informacijami, kot so velikost slike, koordinate omejevalnega polja in ID-ji razredov.

Nato naložite sintetične slike in manifest v Preprosta storitev shranjevanja Amazon (Amazon S3), kjer jih Rekognition Custom Labels lahko uvozi kot komponente nabora podatkov o usposabljanju.

Da omogočimo Rekognition Custom Labels testiranje modelov v primerjavi z naborom slik resničnih komponent, nudimo nabor slik resničnih delov motorja, posnetih s kamero, in jih naložimo v Amazon S3 za uporabo kot nabor podatkov za testiranje.

Nazadnje, Rekognition Custom Labels usposablja najboljši model zaznavanja objektov z uporabo sintetičnega nabora podatkov za usposabljanje in nabora podatkov za testiranje, sestavljenega iz slik resničnih predmetov, in ustvari končno točko z modelom, ki ga lahko uporabimo za zagon prepoznavanja objektov v naši aplikaciji.

Naslednji diagram prikazuje potek dela naše rešitve:

Ustvari sintetične slike

Sintetične slike so ustvarjene iz platforme 3Dexperience, ki je produkt podjetja Dassault Systèmes. Ta platforma vam omogoča ustvarjanje in upodabljanje fotorealističnih slik na podlagi datoteke CAD (računalniško podprto načrtovanje) predmeta. V nekaj urah lahko ustvarimo na tisoče različic s spreminjanjem konfiguracij preoblikovanja slik na platformi.

V tem prototipu smo za zaznavanje predmetov izbrali naslednjih pet vizualno ločenih delov menjalnika. Vključujejo ohišje gonila, prestavno razmerje, pokrov ležaja, prirobnico in polžasto gonilo.

Uporabili smo naslednje metode povečanja podatkov, da bi povečali raznolikost slike in naredili sintetične podatke bolj fotorealistične. Pomaga zmanjšati napako generalizacije modela.

• Zoom in / out – Ta metoda naključno poveča ali pomanjša predmet na slikah.
• Vrtenje – Ta metoda vrti predmet na slikah in videti je, kot da virtualna kamera posname naključne slike predmeta iz 360-stopinjskih kotov.
• Izboljšajte videz in občutek materiala – Ugotovili smo, da je pri nekaterih delih orodja videz materiala manj realističen pri začetnem upodabljanju. Dodali smo kovinski učinek za izboljšanje sintetičnih slik.
• Uporabite različne nastavitve osvetlitve – V tem prototipu smo simulirali dva svetlobna pogoja:
  • Skladišče – Realistična porazdelitev svetlobe. Možne so sence in odsevi.
  • študija – Homogena svetloba je postavljena okoli predmeta. To ni realistično, vendar ni senc ali odsevov.
• Uporabite realističen položaj, kako je predmet opazovan v realnem času – V resničnem življenju so nekateri predmeti, kot sta prirobnica in pokrov ležaja, običajno postavljeni na površino, model pa zaznava predmete na podlagi zgornje in spodnje strani. Zato smo odstranili vadbene slike, ki prikazujejo tanek rob delov, imenovan tudi položaj roba, in povečali slike predmetov v ravnem položaju.
• Dodajte več predmetov na eno sliko – V scenarijih iz resničnega življenja se lahko v enem pogledu prikaže več delov zobnikov, zato smo pripravili slike, ki vsebujejo več delov zobnikov.

Na platformi 3Dexperience lahko slikam dodamo različna ozadja, s čimer lahko dodatno povečamo slikovno raznolikost. Zaradi časovne omejitve tega nismo implementirali v ta prototip.

Uvozite nabor podatkov o sintetičnem usposabljanju

V ML označeni podatki pomenijo, da so podatki o vadbi označeni, da prikažejo cilj, ki je odgovor, za katerega želite, da predvidi vaš model ML. Označeni podatki, ki jih lahko porabijo oznake po meri Rekognition, morajo biti skladni z zahtevami datoteke manifesta Ground Truth. Datoteka manifesta je sestavljena iz ene ali več vrstic JSON; vsaka vrstica vsebuje podatke za eno sliko. Za sintetične podatke o usposabljanju je mogoče informacije o označevanju ustvariti programsko na podlagi datoteke CAD in konfiguracij preoblikovanja slike, ki smo jih omenili prej, kar prihrani precejšen ročni napor pri označevanju. Za več informacij o zahtevah za označevanje formatov datotek glejte Ustvari datoteko manifesta in Lokalizacija predmeta v datotekah manifesta. Sledi primer označevanja slike:

{ "source-ref": "s3://<bucket>/<prefix>/multiple_objects.png", "bounding-box": { "image_size": [ { "width": 1024, "height": 1024, "depth": 3 } ], "annotations": [ { "class_id": 1, "top": 703, "left": 606, "width": 179, "height": 157 }, { "class_id": 4, "top": 233, "left": 533, "width": 118, "height": 139 }, { "class_id": 0, "top": 592, "left": 154, "width": 231, "height": 332 }, { "class_id": 3, "top": 143, "left": 129, "width": 268, "height": 250 } ] }, "bounding-box-metadata": { "objects": [ { "confidence": 1 }, { "confidence": 1 }, { "confidence": 1 }, { "confidence": 1 } ], "class-map": { "0": "Gear_Housing", "1": "Gear_Ratio", "3": "Flange", "4": "Worm_Gear" }, "type": "groundtruth/object-detection", "human-annotated": "yes", "creation-date": "2021-06-18T11:56:01", "job-name": "3DEXCITE" }
}

Ko je datoteka manifesta pripravljena, jo naložimo v vedro S3 in nato ustvarimo nabor podatkov za usposabljanje v Rekognition Custom Labels, tako da izberemo možnost Uvozite slike z oznako Amazon SageMaker Ground Truth.

Ko je datoteka manifesta uvožena, si lahko informacije o označevanju ogledamo vizualno na konzoli Amazon Rekognition. To nam pomaga potrditi, da je datoteka manifesta ustvarjena in uvožena. Natančneje, omejevalni okvirji morajo biti poravnani s predmeti na slikah, ID-ji razredov predmetov pa morajo biti pravilno dodeljeni.

Ustvarite testni nabor podatkov

Preizkusne slike so posnete v resničnem življenju s telefonom ali kamero iz različnih zornih kotov in svetlobnih pogojev, ker želimo potrditi natančnost modela, ki smo ga usposobili s pomočjo sintetičnih podatkov, glede na scenarije iz resničnega življenja. Te preskusne slike lahko naložite v vedro S3 in jih nato uvozite kot nabore podatkov v Rekognition Custom Labels. Lahko pa jih naložite neposredno v nabore podatkov iz lokalnega računalnika.

Rekognition Custom Labels ponuja vgrajeno zmožnost označevanja slik, ki ima podobno izkušnjo kot Ground Truth. Delo označevanja lahko začnete, ko so uvoženi testni podatki. Za primer uporabe zaznavanja objektov je treba omejevalne okvire ustvariti tesno okoli zanimivih predmetov, kar pomaga modelu, da se natančno nauči območij in slikovnih pik, ki pripadajo ciljnim objektom. Poleg tega bi morali označiti vsak primerek ciljnih predmetov na vseh slikah, tudi tistih, ki so delno izven pogleda ali jih zakrivajo drugi predmeti, sicer model predvideva več lažno negativnih rezultatov.

Ustvarite model zaznavanja predmetov med domenami

Rekognition Custom Labels je popolnoma upravljana storitev; zagotoviti morate samo nabore podatkov o usposabljanju in testiranju. Usposablja nabor modelov in na podlagi posredovanih podatkov izbere najuspešnejšega. V tem prototipu pripravljamo sintetične nabore podatkov za usposabljanje iterativno s preizkušanjem različnih kombinacij metod povečanja slike, ki smo jih omenili prej. En model je ustvarjen za vsak nabor podatkov o usposabljanju v Rekognition Custom Labels, kar nam omogoča primerjavo in iskanje optimalnega nabora podatkov o usposabljanju posebej za ta primer uporabe. Vsak model ima minimalno število slik za usposabljanje, vsebuje dobro raznolikost slik in zagotavlja najboljšo natančnost modela. Po 15 iteracijah smo dosegli rezultat F1 98-odstotne natančnosti modela z uporabo približno 10,000 sintetičnih učnih slik, kar je v povprečju 2,000 slik na predmet.

Rezultati modelnega sklepanja

Naslednja slika prikazuje model Amazon Rekognition, ki se uporablja v aplikaciji za sklepanje v realnem času. Vse komponente so zaznane pravilno z visoko zanesljivostjo.

zaključek

V tem prispevku smo pokazali, kako usposobiti model računalniškega vida na povsem sintetičnih slikah in kako lahko model še vedno zanesljivo prepozna predmete iz resničnega sveta. To prihrani precejšen ročni napor pri zbiranju in označevanju podatkov o usposabljanju. S tem raziskovanjem Dassault Systèmes širi poslovno vrednost 3D modelov izdelkov, ki so jih ustvarili oblikovalci in inženirji, saj lahko zdaj uporabljate podatke CAD, CAE in PLM v sistemih za prepoznavanje slik v fizičnem svetu.

Za več informacij o ključnih funkcijah in primerih uporabe Rekognition Custom Labels glejte Oznake po meri za ponovno odstranjevanje Amazon. Če vaše slike niso izvorno označene z Ground Truth, kar je veljalo za ta projekt, glejte Ustvarjanje datoteke manifesta za pretvorbo vaših podatkov o označevanju v obliko, ki jo lahko uporabljajo Rekognition Custom Labels.

O avtorjih

Woody Borraccino je trenutno višji strokovnjak za strojno učenje, arhitekt rešitev pri AWS. Woody s sedežem v Milanu v Italiji je delal na razvoju programske opreme, preden se je leta 2015 pridružil AWS, kjer je njegova rast posledica strasti do tehnologij računalniškega vida in prostorskega računalništva (AR/VR/XR). Njegova strast je zdaj osredotočena na inovacije metaverse. Sledite mu naprej linkedIn.

Ying Hou, PhD, je arhitekt strojnega učenja prototipov pri AWS. Njena glavna področja zanimanja so globoko učenje, računalniški vid, NLP in napovedovanje časovnih vrst podatkov. V prostem času uživa v branju romanov in pohodništvu po nacionalnih parkih v Veliki Britaniji.

Bernard Paques je trenutno tehnični direktor podjetja Storm Reply, ki se osredotoča na industrijske rešitve, nameščene na AWS. Bernard s sedežem v Parizu v Franciji je prej delal kot glavni arhitekt rešitev in kot glavni svetovalec pri AWS. Njegovi prispevki k modernizaciji podjetja zajemajo AWS for Industrial, AWS CDK, ti pa zdaj izvirajo iz Green IT in glasovnih sistemov. Sledite mu naprej Twitter.

Karl Herkt je trenutno višji strateg pri Dassault Systèmes 3DExcite. S sedežem v Münchnu v Nemčiji ustvarja inovativne izvedbe računalniškega vida, ki prinašajo oprijemljive rezultate. Sledite mu naprej LinkedIn.

• Coinsmart. Najboljša evropska borza bitcoinov in kriptovalut.
• Platoblockchain. Web3 Metaverse Intelligence. Razširjeno znanje. PROST DOSTOP.
• CryptoHawk. Altcoin radar. Brezplačen preizkus.
• Vir: https://aws.amazon.com/blogs/machine-learning/computer-vision-using-synthetic-datasets-with-amazon-rekognition-custom-labels-and-dassault-systemes-3dexcite/