Arvutinägemine, kasutades sünteetilisi andmekogumeid koos Amazon Rekognitioni kohandatud siltidega ja Dassault Systèmes 3DEXCITE

See postitus on kirjutatud koos Bernard Paquesi, Storm Reply tehnoloogiadirektori ja Karl Herktiga, Dassault Systèmes 3DExcite'i vanemstrateegiga.

Kuigi arvutinägemine võib olla tööstusliku hoolduse, tootmise, logistika ja tarbijarakenduste jaoks ülioluline, piirab selle kasutuselevõttu koolitusandmekogumite käsitsi loomine. Märgistatud piltide loomine tööstuslikus kontekstis toimub peamiselt käsitsi, mis loob piiratud tuvastamisvõimalused, ei skaleerita ning toob kaasa tööjõukulusid ja viivitusi äriväärtuse realiseerimisel. See on vastuolus äritegevuse paindlikkusega, mida pakuvad kiired iteratsioonid tootekujunduses, tootekujunduses ja toote konfiguratsioonis. See protsess ei laiene keerukatele toodetele, nagu autod, lennukid või kaasaegsed hooned, kuna nende stsenaariumide korral on iga märgistamisprojekt unikaalne (seotud ainulaadsete toodetega). Seetõttu ei saa arvutinägemise tehnoloogiat hõlpsasti rakendada suuremahulistes ainulaadsetes projektides ilma andmete ettevalmistamisel suuri jõupingutusi tegemata, mis mõnikord piirab kasutusjuhtude edastamist.

Selles postituses tutvustame uudset lähenemist, kus disaini- ja CAD-failidest luuakse kõrgelt spetsialiseerunud arvutinägemissüsteeme. Alustame visuaalselt korrektsete digikaksikute loomisest ja sünteetiliste märgistatud piltide genereerimisest. Seejärel lükkame need pildid edasi Amazon Rekognitioni kohandatud sildid kohandatud objektituvastusmudeli koolitamiseks. Kasutades olemasolevat intellektuaalomandit koos tarkvaraga, muudame arvutinägemise taskukohaseks ja asjakohaseks mitmesugustes tööstuslikes kontekstides.

Tunnustussüsteemide kohandamine aitab kaasa äritegevusele

Spetsiaalsetel digitaalsetest kaksikutest toodetud arvutinägemissüsteemidel on erilised eelised, mida saab illustreerida järgmistel kasutusjuhtudel:

• Unikaalsete toodete jälgitavus – Airbus, Boeing ja teised lennukitootjad määravad unikaalsed Tootja seerianumbrid (MSN-id) igale nende toodetud lennukile. Seda hallatakse kogu tootmisprotsessi vältel, et luua lennukõlblikkusdokumente ja saada lennuload. A digitaalne kaksik (füüsilist toodet esindav virtuaalne 3D-mudel) saab tuletada iga MSN-i konfiguratsioonist ja loob hajutatud arvutinägemissüsteemi, mis jälgib selle MSN-i edenemist tööstusrajatiste lõikes. Kohandatud tuvastamine automatiseerib lennufirmadele antava läbipaistvuse ja asendab enamiku lennufirmade käsitsi teostatud kontrollpunkte. Unikaalsete toodete automaatne kvaliteedi tagamine võib kehtida lennukite, autode, hoonete ja isegi käsitöötoodete puhul.
• Kontekstualiseeritud liitreaalsus – Professionaalsed arvutinägemissüsteemid suudavad hõlmata piiratud maastikke, kuid suurema diskrimineerimisvõimega. Näiteks tööstushoolduses on pildilt kruvikeeraja leidmine kasutu; peate tuvastama kruvikeeraja mudeli või isegi selle seerianumbri. Sellistes piiratud kontekstides on kohandatud tuvastussüsteemid paremad kui üldised tuvastussüsteemid, kuna need on oma tulemustes asjakohasemad. Kohandatud tuvastussüsteemid võimaldavad täpset tagasisidet spetsiaalne liitreaalsus tarnitakse HMI-s või mobiilseadmetes.
• Täielik kvaliteedikontroll - Koos süsteemitehnika, saate luua osalistest konstruktsioonidest digitaalseid kaksikuid ja luua arvutinägemissüsteeme, mis kohanduvad tootmis- ja tootmisprotsesside erinevate faasidega. Visuaalseid juhtelemente saab põimida tootmistööjaamadega, võimaldades täielikku kontrolli ja defektide varajast tuvastamist. Kohandatud äratundmine otsast lõpuni kontrollimiseks väldib tõhusalt defektide kaskaadi sattumist koosteliinidele. Lõppeesmärk on tagasilükkamise määra vähendamine ja toodangu maksimeerimine.
• Paindlik kvaliteedikontroll – Kaasaegne kvaliteedikontroll peab kohanema disaini variatsioonide ja paindliku tootmisega. Disaini variatsioonid tulenevad toote kasutamise ja hoolduse tagasisidest. Paindlik tootmine on tellimusel valmistamise strateegia võtmefunktsioon ja ühtib kulude optimeerimise säästliku tootmise põhimõttega. Disainivariatsioonide ja konfiguratsioonivalikute integreerimine digitaalsetesse kaksikutesse võimaldab kohandatud tuvastamine arvutinägemissüsteemide dünaamilist kohandamist tootmisplaanide ja disainivariatsioonidega.

Täiustage arvutinägemist rakendusega Dassault Systèmes 3DEXCITE, mida toetab Amazon Rekognition

Dassault Systèmesis, mis on digitaalsete kaksikute alal sügavate teadmistega ettevõte, mis on ka suuruselt teine ​​​​tarkvararedaktor Euroopas, uurib 3DEXCITE meeskond teistsugust teed. Nagu selgitas Karl Herkt: "Mis siis, kui sünteetiliste kujutiste põhjal treenitud närvimudel tunneks ära füüsilise toote?" 3DEXCITE on selle probleemi lahendanud, ühendades oma tehnoloogia AWS-i infrastruktuuriga, mis tõestab selle omapärase lähenemisviisi teostatavust. Seda tuntakse ka kui domeenideülese objekti tuvastamine, kus tuvastusmudel õpib lähtedomeeni märgistatud piltidest (sünteetilised kujutised) ja teeb prognoose märgistamata sihtdomeenile (füüsilised komponendid).

Dassault Systèmes 3DEXCITE ja AWS-i prototüüpimise meeskond on ühendanud jõud, et luua näidissüsteem, mis tunneb ära tööstusliku käigukasti osi. See prototüüp ehitati 3 nädalaga ja treenitud mudel saavutas 98% F1 skoori. Tuvastamismudel on täielikult välja õpetatud tarkvaratorustikust, millel ei ole ühtegi pilti pärisosast. Tööstusliku käigukasti disaini- ja CAD-failidest on 3DEXCITE loonud visuaalselt korrektsed digitaalsed kaksikud. Samuti genereerisid nad digitaalsetest kaksikutest tuhandeid sünteetilisi märgistatud pilte. Seejärel kasutasid nad Rekognitioni kohandatud silte, et koolitada nendest piltidest väga spetsiifilist närvimudelit, ja pakkusid sellega seotud tuvastamise API-d. Nad ehitasid veebisaidi, mis võimaldab mis tahes veebikaamera abil tuvastada käigukasti ühe füüsilise osa.

Amazon Rekognitsioon on tehisintellekti teenus, mis kasutab süvaõppetehnoloogiat, et võimaldada teil eraldada piltidest ja videotest sisukaid metaandmeid, sealhulgas tuvastada objekte, inimesi, teksti, stseene, tegevusi ja potentsiaalselt sobimatut sisu, ilma et oleks vaja masinõppe (ML) teadmisi. Amazon Rekognition pakub ka ülitäpset näoanalüüsi ja näootsingu võimalusi, mida saate kasutada nägude tuvastamiseks, analüüsimiseks ja võrdlemiseks mitmesuguste kasutajate kontrollimise, inimeste loendamise ja ohutuse kasutamise juhtumite jaoks. Lõpuks saate Rekognitioni kohandatud siltide abil kasutada oma andmeid objektide tuvastamise ja kujutiste klassifitseerimismudelite koostamiseks.

Dassault Systèmesi tehnoloogia kombinatsioon sünteetiliste märgistatud kujutiste genereerimiseks arvutinägemise jaoks mõeldud Rekognitioni kohandatud siltidega tagab tuvastussüsteemide jaoks skaleeritava töövoo. Kasutuslihtsus on siin oluline positiivne tegur, sest Rekognitioni kohandatud siltide lisamine üldisesse tarkvarakonveierisse pole keeruline – see on sama lihtne kui API integreerimine töövoogu. Pole vaja olla ML teadlane; lihtsalt saatke jäädvustatud kaadrid AWS-i ja saate tulemuse, mille saate sisestada andmebaasi või kuvada veebibrauseris.

See rõhutab veelgi dramaatilist paranemist võrreldes treeningandmete kogumite käsitsi loomisega. Saate saavutada paremaid tulemusi kiiremini ja suurema täpsusega, ilma et oleks vaja kulukaid, tarbetuid töötunde. Paljude potentsiaalsete kasutusjuhtude korral võib Dassault Systèmesi ja Rekognitioni kohandatud siltide kombinatsioon pakkuda tänapäeva ettevõtetele märkimisväärset ja kohest ROI-d.

Lahenduse ülevaade

Selle lahenduse esimene samm on treenimisandmestiku loovate piltide renderdamine. Seda teeb 3DEXCITE platvorm. Märgistusandmeid saame genereerida programmiliselt, kasutades skripte. Amazon SageMaker Ground Truth pakub annotatsioonitööriista piltidele ja videotele klassifitseerimise ja objektide tuvastamise ülesannete hõlpsaks märgistamiseks. Mudeli koolitamiseks rakenduses Amazon Rekognition peab märgistusfail vastama Ground Truthi vormingule. Need sildid on JSON-is, sealhulgas teave, nagu pildi suurus, piirdekasti koordinaadid ja klassi ID-d.

Seejärel laadige sünteetilised pildid ja manifest üles Amazoni lihtne salvestusteenus (Amazon S3), kuhu Rekognitioni kohandatud sildid saavad importida neid treeningandmete komplekti komponentidena.

Et võimaldada Rekognitioni kohandatud etikettidel mudeleid testida võrreldes tõeliste komponentide kujutiste komplektiga, pakume kaameraga tehtud piltide komplekti mootori tegelikest osadest ja laadime need üles Amazon S3-sse, et kasutada neid testimisandmestikuna.

Lõpuks koolitab Rekognition Custom Labels parima objektituvastusmudeli, kasutades sünteetilist koolitusandmestikku ja testimisandmekomplekti, mis koosneb reaalsete objektide piltidest, ning loob lõpp-punkti mudeliga, mida saame kasutada objektituvastuse käivitamiseks meie rakenduses.

Järgmine diagramm illustreerib meie lahenduse töövoogu:

Loo sünteetilisi pilte

Sünteetilised kujutised genereeritakse platvormilt 3Dexperience, mis on Dassault Systèmesi toode. See platvorm võimaldab luua ja renderdada fotorealistlikke pilte, mis põhinevad objekti CAD (arvutipõhise disaini) failil. Saame mõne tunniga genereerida tuhandeid variante, muutes platvormil pildi teisendamise konfiguratsioone.

Selles prototüübis valisime objekti tuvastamiseks järgmised viis visuaalselt erinevat käigukasti osa. Nende hulka kuuluvad käigukasti korpus, ülekandearv, laagrikate, äärik ja tiguülekanne.

Piltide mitmekesisuse suurendamiseks ja sünteetiliste andmete fotorealistlikumaks muutmiseks kasutasime järgmisi andmete suurendamise meetodeid. See aitab vähendada mudeli üldistusviga.

• Zoom in / out – See meetod suumib objekti piltidel juhuslikult sisse või välja.
• Pöörlemine - See meetod pöörab objekti piltidel ja tundub, et virtuaalne kaamera teeb objektist juhuslikke pilte 360-kraadise nurga alt.
• Parandage materjali välimust ja tunnetust – Tuvastasime, et mõne käiguosa puhul on materjali välimus esialgsel renderdamisel vähem realistlik. Sünteetiliste kujutiste täiustamiseks lisasime metallilise efekti.
• Kasutage erinevaid valgustusseadeid - Selles prototüübis simuleerisime kahte valgustustingimust:
  • Ladu – Realistlik valgusjaotus. Võimalikud on varjud ja peegeldused.
  • stuudio – Kogu objekti ümber asetatakse homogeenne valgus. See pole realistlik, kuid puuduvad varjud ega peegeldused.
• Kasutage realistlikku positsiooni selle kohta, kuidas objekti reaalajas vaadatakse – Reaalses elus asetatakse mõned objektid, nagu äärik ja laagrikate, üldiselt pinnale ning mudel tuvastab objektid ülemise ja alumise tahu alusel. Seetõttu eemaldasime koolituspildid, mis näitavad osade õhukest serva, mida nimetatakse ka servaasendiks, ja suurendasime tasapinnaliste esemete kujutisi.
• Lisage ühele pildile mitu objekti – Tegeliku elu stsenaariumide korral võivad ühes vaates kuvada mitu käiguosa, seega valmistasime ette pildid, mis sisaldavad mitut käiguosa.

3Dexperience platvormil saame piltidele rakendada erinevaid taustu, mis aitab piltide mitmekesisust veelgi suurendada. Ajapiirangu tõttu me seda selles prototüübis ei rakendanud.

Importige sünteetilise treeningu andmestik

ML-is tähendavad märgistatud andmed, et treeningandmetele on lisatud märkused, mis näitavad sihtmärki, mis on vastus, mida soovite oma ML-mudelil ennustada. Märgistatud andmed, mida Rekognitioni kohandatud sildid saavad kasutada, peavad vastama Ground Truthi manifestifaili nõuetele. Manifestifail koosneb ühest või mitmest JSON-reast; iga rida sisaldab teavet ühe pildi kohta. Sünteetiliste treeningandmete jaoks saab märgistamisteavet genereerida programmiliselt, tuginedes varem mainitud CAD-faili ja kujutise teisendamise konfiguratsioonidele, mis säästab märkimisväärset käsitsi märgistamistööd. Lisateavet failivormingute märgistamise nõuete kohta leiate jaotisest Loo manifesti fail ja Objekti lokaliseerimine manifestifailides. Järgmine on piltide märgistamise näide:

{ "source-ref": "s3://<bucket>/<prefix>/multiple_objects.png", "bounding-box": { "image_size": [ { "width": 1024, "height": 1024, "depth": 3 } ], "annotations": [ { "class_id": 1, "top": 703, "left": 606, "width": 179, "height": 157 }, { "class_id": 4, "top": 233, "left": 533, "width": 118, "height": 139 }, { "class_id": 0, "top": 592, "left": 154, "width": 231, "height": 332 }, { "class_id": 3, "top": 143, "left": 129, "width": 268, "height": 250 } ] }, "bounding-box-metadata": { "objects": [ { "confidence": 1 }, { "confidence": 1 }, { "confidence": 1 }, { "confidence": 1 } ], "class-map": { "0": "Gear_Housing", "1": "Gear_Ratio", "3": "Flange", "4": "Worm_Gear" }, "type": "groundtruth/object-detection", "human-annotated": "yes", "creation-date": "2021-06-18T11:56:01", "job-name": "3DEXCITE" }
}

Pärast manifestifaili ettevalmistamist laadime selle üles S3 ämbrisse ja loome seejärel Rekognitioni kohandatud siltides treeningandmestiku, valides suvandi Importige Amazon SageMaker Ground Truthi märgistatud pildid.

Pärast manifestifaili importimist saame vaadata sildistamisteavet visuaalselt Amazon Rekognitioni konsoolis. See aitab meil kinnitada, et manifesti fail on loodud ja imporditud. Täpsemalt peaksid piirdekastid olema piltidel olevate objektidega joondatud ja objektide klassi ID-d peaksid olema õigesti määratud.

Looge testimise andmestik

Testpildid on jäädvustatud päriselus telefoni või kaameraga erinevate nurkade ja valgustingimuste alt, sest me tahame sünteetiliste andmete abil treenitud mudeli täpsust reaalse elu stsenaariumide suhtes valideerida. Saate need testpildid üles laadida S3 ämbrisse ja seejärel importida need Rekognitioni kohandatud siltide andmekogudena. Või saate need otse oma kohalikust masinast andmekogumitesse üles laadida.

Rekognition Custom Labels pakub sisseehitatud pildimärkuste tegemise võimalust, millel on Ground Truthiga sarnane kogemus. Märgistustööd saate alustada siis, kui testiandmed on imporditud. Objekti tuvastamise kasutusjuhtumi korral tuleks piiravad kastid luua tihedalt huvipakkuvate objektide ümber, mis aitab mudelil täpselt õppida sihtobjektidele kuuluvaid piirkondi ja piksleid. Lisaks peaksite märgistama kõikidel piltidel sihtobjektide kõik eksemplarid, isegi need, mis on osaliselt vaateväljast väljas või muude objektide poolt varjatud, vastasel juhul ennustab mudel rohkem valenegatiive.

Looge domeenideülene objektide tuvastamise mudel

Rekognition Custom Labels on täielikult hallatav teenus; peate lihtsalt esitama rongi- ja katseandmed. See koolitab välja mudelite komplekti ja valib esitatud andmete põhjal kõige paremini toimiva mudeli. Selles prototüübis valmistame sünteetilisi koolitusandmekogumeid ette iteratiivselt, katsetades varem mainitud pildi suurendamise meetodite erinevaid kombinatsioone. Rekognition Custom Labelsis luuakse iga treeninguandmestiku jaoks üks mudel, mis võimaldab meil võrrelda ja leida konkreetselt selle kasutusjuhu jaoks optimaalset treeningandmestikku. Igal mudelil on minimaalne arv treeningpilte, see sisaldab head kujutiste mitmekesisust ja tagab parima mudeli täpsuse. Pärast 15 iteratsiooni saavutasime F1 skoori 98% mudeli täpsusega, kasutades umbes 10,000 2,000 sünteetilist treeningpilti, mis on keskmiselt XNUMX pilti objekti kohta.

Mudeli järelduse tulemused

Järgmine pilt näitab Amazon Rekognitioni mudelit, mida kasutatakse reaalajas järeldusrakenduses. Kõik komponendid tuvastatakse õigesti ja suure usaldusväärsusega.

Järeldus

Selles postituses demonstreerisime, kuidas õpetada arvutinägemise mudelit puhtalt sünteetiliste piltide põhjal ja kuidas mudel suudab endiselt usaldusväärselt tuvastada reaalseid objekte. See säästab märkimisväärset käsitsi pingutust treeningandmete kogumisel ja märgistamisel. Selle uurimisega laiendab Dassault Systèmes disainerite ja inseneride loodud 3D-tootemudelite äriväärtust, sest nüüd saate kasutada CAD-, CAE- ja PLM-andmeid füüsilise maailma piltide tuvastamise süsteemides.

Lisateavet Rekognitioni kohandatud siltide põhifunktsioonide ja kasutusjuhtude kohta leiate artiklist Amazon Rekognitioni kohandatud sildid. Kui teie piltidel pole natiivset silti Ground Truth, nagu see oli selle projekti puhul, vaadake Manifestifaili loomine et teisendada oma märgistusandmed vormingusse, mida Rekognitioni kohandatud sildid saavad kasutada.

Autoritest

Woody Borraccino on praegu AWS-i masinõppe spetsialisti lahendusarhitekt. Itaalias Milanos asuv Woody töötas enne 2015. aastal AWS-iga liitumist tarkvaraarendusega, kus ta on kirglik arvutinägemise ja ruumilise andmetöötluse (AR/VR/XR) tehnoloogiate vastu. Tema kirg on nüüd keskendunud metaversaalsele innovatsioonile. Jälgi teda LinkedIn.

Ying Hou, PhD, on AWS-i masinõppe prototüüpimise arhitekt. Tema peamised huvivaldkonnad on süvaõpe, arvutinägemine, NLP ja aegridade andmete ennustamine. Vabal ajal meeldib talle romaane lugeda ja Ühendkuningriigi rahvusparkides matkata.

Bernard Paques on praegu ettevõtte Storm Reply CTO, kes keskendub AWS-is juurutatud tööstuslikele lahendustele. Prantsusmaal Pariisis asuv Bernard töötas varem pealahenduse arhitektina ja peakonsultandina AWS-is. Tema panus ettevõtte moderniseerimisse hõlmab AWS for Industrialit, AWS CDK-d ning nüüd on need rohelised IT- ja häälepõhised süsteemid. Jälgi teda puperdama.

Karl Herkt on praegu Dassault Systèmes 3DExcite'i vanemstrateeg. Saksamaal Münchenis asuv ta loob uuenduslikke arvutinägemise rakendusi, mis annavad käegakatsutavaid tulemusi. Jälgi teda LinkedIn.

• Münditark. Euroopa parim Bitcoini ja krüptobörs.
• Platoblockchain. Web3 metaversiooni intelligentsus. Täiustatud teadmised. TASUTA PÄÄS.
• CryptoHawk. Altcoini radar. Tasuta prooviversioon.
• Allikas: https://aws.amazon.com/blogs/machine-learning/computer-vision-using-synthetic-datasets-with-amazon-rekognition-custom-labels-and-dassault-systemes-3dexcite/