Tietokonenäkö synteettisten tietojoukkojen avulla, joissa on Amazon Rekognition Custom Labels ja Dassault Systèmes 3DEXCITE

Tämä viesti on kirjoitettu yhdessä Bernard Paquesin, Storm Replyn teknologiajohtajan ja Karl Herktin, Dassault Systèmes 3DExciten vanhemman strategin kanssa.

Vaikka tietokonenäkö voi olla ratkaisevan tärkeää teollisuuden kunnossapidossa, valmistuksessa, logistiikassa ja kuluttajasovelluksissa, sen käyttöönottoa rajoittaa koulutustietoaineistojen luominen manuaalisesti. Merkittyjen kuvien luominen teollisessa kontekstissa tapahtuu pääasiassa manuaalisesti, mikä luo rajallisia tunnistuskykyjä, ei skaalaudu ja aiheuttaa työvoimakustannuksia ja viivästyksiä liiketoiminnan arvon toteutumisessa. Tämä on vastoin liiketoiminnan ketteryyttä, jonka tarjoaa nopeat iteraatiot tuotesuunnittelussa, tuotesuunnittelussa ja tuotekonfiguraatiossa. Tämä prosessi ei skaalaudu monimutkaisiin tuotteisiin, kuten autoihin, lentokoneisiin tai nykyaikaisiin rakennuksiin, koska näissä skenaarioissa jokainen merkintäprojekti on ainutlaatuinen (liittyy ainutlaatuisiin tuotteisiin). Tämän seurauksena tietokonenäkötekniikkaa ei voida helposti soveltaa suuriin ainutlaatuisiin projekteihin ilman suuria vaivaa tietojen valmistelussa, mikä joskus rajoittaa käyttötapausten toimittamista.

Tässä postauksessa esittelemme uudenlaisen lähestymistavan, jossa suunnittelu- ja CAD-tiedostoista luodaan pitkälle erikoistuneita tietokonenäköjärjestelmiä. Aloitamme visuaalisesti oikeiden digitaalisten kaksosten luomisesta ja synteettisten leimattujen kuvien luomisesta. Sitten työnnämme nämä kuvat Amazon Rekognition mukautetut etiketit kouluttaa mukautetun objektintunnistusmallin. Käyttämällä olemassa olevaa immateriaalioikeuksia ohjelmistojen kanssa teemme tietokonenäön edulliseksi ja osuvaksi erilaisiin teollisiin yhteyksiin.

Tunnistusjärjestelmien räätälöinti auttaa edistämään liiketoiminnan tuloksia

Digitaalisista kaksosista valmistetuilla erityisillä tietokonenäköjärjestelmillä on erityisiä etuja, jotka voidaan havainnollistaa seuraavissa käyttötapauksissa:

• Ainutlaatuisten tuotteiden jäljitettävyys – Airbusin, Boeingin ja muiden lentokoneiden valmistajat määrittävät ainutlaatuisia Valmistajan sarjanumerot (MSN) jokaiseen valmistamaansa lentokoneeseen. Tätä hallitaan koko tuotantoprosessin ajan, jotta voidaan tuottaa lentokelpoisuusasiakirjat ja saada lentoluvat. A digitaalinen kaksoset (fyysistä tuotetta edustava virtuaalinen 3D-malli) voidaan johtaa kunkin MSN:n kokoonpanosta, ja se luo hajautetun tietokonenäköjärjestelmän, joka seuraa tämän MSN:n etenemistä eri teollisuuslaitoksissa. Mukautettu tunnistus automatisoi lentoyhtiöille annettavan läpinäkyvyyden ja korvaa useimmat lentoyhtiöiden manuaalisesti suorittamat tarkastuspisteet. Ainutlaatuisten tuotteiden automaattinen laadunvarmistus voi koskea lentokoneita, autoja, rakennuksia ja jopa käsityötuotantoja.
• Kontekstualisoitu lisätty todellisuus – Ammattitason tietokonenäköjärjestelmät voivat kattaa rajalliset maisemat, mutta paremmalla erottelukyvyllä. Esimerkiksi teollisuuden kunnossapidossa ruuvimeisselin löytäminen kuvasta on hyödytöntä; sinun on tunnistettava ruuvimeisselin malli tai jopa sen sarjanumero. Tällaisissa rajoitetuissa yhteyksissä mukautetut tunnistusjärjestelmät ovat tehokkaampia kuin yleiset tunnistusjärjestelmät, koska ne ovat osuvampia löydöissään. Mukautetut tunnistusjärjestelmät mahdollistavat tarkat takaisinkytkentäsilmukat kautta omistettu lisätty todellisuus toimitetaan käyttöliittymässä tai mobiililaitteissa.
• Laadunvalvonta päästä päähän - Kanssa järjestelmäsuunnittelu, voit luoda osittaisista rakenteista digitaalisia kaksosia ja luoda tietokonenäköjärjestelmiä, jotka mukautuvat valmistus- ja tuotantoprosessien eri vaiheisiin. Visuaaliset ohjaukset voidaan yhdistää valmistustyöasemiin, mikä mahdollistaa tarkastuksen päästä päähän ja vikojen varhaisen havaitsemisen. Mukautettu tunnistus päästä päähän -tarkastus estää tehokkaasti vikojen kaskadioitumisen kokoonpanolinjoille. Hylkäämisasteen vähentäminen ja tuotannon maksimointi on perimmäinen tavoite.
• Joustava laaduntarkastus – Nykyaikaisen laaduntarkastuksen on mukauduttava suunnitteluvaihteluihin ja joustavaan valmistukseen. Suunnittelun vaihtelut tulevat palautesilmukoista tuotteen käytöstä ja tuotteen ylläpidosta. Joustava valmistus on tilaustyöstrategian keskeinen ominaisuus, ja se on sopusoinnussa kustannusoptimoinnin kevyen tuotannon periaatteen kanssa. Integroimalla suunnittelumuunnelmia ja konfigurointivaihtoehtoja digitaalisiin kaksosiin, mukautettu tunnistus mahdollistaa tietokonenäköjärjestelmien dynaamisen mukauttamisen tuotantosuunnitelmiin ja suunnittelumuunnelmiin.

Paranna tietokonenäköä Dassault Systèmes 3DEXCITE -ohjelmistolla, jonka tehonlähteenä on Amazon Rekognition

Dassault Systèmesissä, yrityksessä, jolla on syvällinen asiantuntemus digitaalisista kaksosista ja joka on myös Euroopan toiseksi suurin ohjelmistoeditori, 3DEXCITE-tiimi tutkii eri polkua. Kuten Karl Herkt selitti: "Entä jos synteettisistä kuvista koulutettu hermomalli tunnistaisi fyysisen tuotteen?" 3DEXCITE on ratkaissut tämän ongelman yhdistämällä teknologiansa AWS-infrastruktuuriin, mikä todistaa tämän erikoisen lähestymistavan toteutettavuuden. Se tunnetaan myös nimellä verkkotunnusten välisen objektin tunnistus, jossa havaitsemismalli oppii lähdealueen leimatuista kuvista (synteettiset kuvat) ja tekee ennusteita merkitsemättömälle kohdealueelle (fyysiset komponentit).

Dassault Systèmes 3DEXCITE ja AWS Prototyping -tiimi ovat yhdistäneet voimansa rakentaakseen demonstraatiojärjestelmän, joka tunnistaa teollisuusvaihteiston osia. Tämä prototyyppi rakennettiin 3 viikossa, ja koulutettu malli saavutti 98 % F1-pisteet. Tunnistusmalli on opetettu kokonaan ohjelmistoputkistosta, jossa ei ole kuvia todellisesta osasta. Teollisuusvaihteiston suunnittelusta ja CAD-tiedostoista 3DEXCITE on luonut visuaalisesti oikeat digitaaliset kaksoset. He loivat myös tuhansia synteettisesti merkittyjä kuvia digitaalisista kaksosista. Sitten he käyttivät Rekognition Custom Labels -sovellusta erittäin erikoistuneen hermomallin kouluttamiseen näistä kuvista ja tarjosivat siihen liittyvän tunnistussovellusliittymän. He rakensivat verkkosivuston, joka mahdollistaa vaihteiston yhden fyysisen osan tunnistamisen mistä tahansa web-kamerasta.

Amazonin tunnistus on tekoälypalvelu, joka käyttää syväoppimistekniikkaa, jonka avulla voit poimia kuvista ja videoista mielekästä metatietoa – mukaan lukien kohteiden, ihmisten, tekstin, kohtausten, toimintojen ja mahdollisesti sopimattoman sisällön tunnistaminen – ilman koneoppimisen (ML) asiantuntemusta. Amazon Rekognition tarjoaa myös erittäin tarkat kasvoanalyysit ja kasvojen hakuominaisuudet, joiden avulla voit havaita, analysoida ja vertailla kasvoja monenlaisiin käyttäjien todentamiseen, ihmisten laskemiseen ja turvakäyttötapauksiin. Lopuksi Rekognition Custom Labelsin avulla voit käyttää omia tietojasi objektien tunnistus- ja kuvien luokittelumallien rakentamiseen.

Dassault Systèmes -teknologian yhdistelmä synteettisten merkittyjen kuvien luomiseksi Rekognition Custom Labels -tunnisteiden kanssa tietokonenäköä varten tarjoaa skaalautuvan työnkulun tunnistusjärjestelmille. Helppokäyttöisyys on tässä merkittävä myönteinen tekijä, koska Rekognition Custom Labels -tunnisteiden lisääminen koko ohjelmistoon ei ole vaikeaa – se on yhtä helppoa kuin API:n integrointi työnkulkuun. Sinun ei tarvitse olla ML-tutkija; Lähetä vain kaapatut kehykset AWS:lle ja saat tuloksen, jonka voit syöttää tietokantaan tai näyttää verkkoselaimessa.

Tämä korostaa entisestään dramaattista parannusta harjoitustietojoukkojen manuaaliseen luomiseen verrattuna. Voit saavuttaa parempia tuloksia nopeammin ja tarkemmin ilman kalliita, tarpeettomia työtunteja. Dassault Systèmesin ja Rekognition Custom Labelsin yhdistelmällä on niin monia mahdollisia käyttötapauksia, jotka voivat tarjota nykypäivän yrityksille merkittävän ja välittömän ROI:n.

Ratkaisun yleiskatsaus

Ensimmäinen askel tässä ratkaisussa on renderöidä kuvat, jotka luovat harjoitustietojoukon. Tämän tekee 3DEXCITE-alusta. Voimme luoda merkintätiedot ohjelmallisesti skriptien avulla. Amazon SageMaker Ground Totuus tarjoaa merkintätyökalun kuvien ja videoiden merkitsemiseen helposti luokittelu- ja esineiden havaitsemistehtäviä varten. Jotta malli voidaan kouluttaa Amazon Rekognitionissa, merkintätiedoston on oltava Ground Truth -muodon mukainen. Nämä tarrat ovat JSON-muodossa, mukaan lukien tiedot, kuten kuvan koko, rajauslaatikon koordinaatit ja luokkatunnukset.

Lataa sitten synteettiset kuvat ja luettelo osoitteeseen Amazonin yksinkertainen tallennuspalvelu (Amazon S3), johon Rekognition Custom Labels voi tuoda ne koulutustietojoukon komponentteina.

Jotta Rekognition Custom Labels voi testata malleja verrattuna oikeiden komponenttikuvien joukkoon, tarjoamme kameralla otettuja kuvia todellisista moottorin osista ja lataa ne Amazon S3:een käytettäväksi testaustietojoukona.

Lopuksi Rekognition Custom Labels kouluttaa parhaan objektintunnistusmallin käyttämällä synteettistä koulutustietojoukkoa ja testaustietojoukkoa, joka koostuu todellisten objektien kuvista, ja luo päätepisteen mallilla, jota voimme käyttää kohteen tunnistuksen suorittamiseen sovelluksessamme.

Seuraava kaavio havainnollistaa ratkaisumme työnkulkua:

Luo synteettisiä kuvia

Synteettiset kuvat luodaan 3Dexperience-alustalta, joka on Dassault Systèmesin tuote. Tämän alustan avulla voit luoda ja renderöidä fotorealistisia kuvia kohteen CAD-tiedoston (tietokoneavusteisen suunnittelun) perusteella. Voimme luoda tuhansia muunnelmia muutamassa tunnissa muuttamalla kuvan muunnosmäärityksiä alustalla.

Tässä prototyypissä valitsimme seuraavat viisi visuaalisesti erottuvaa vaihdelaatikon osaa esineiden havaitsemiseen. Ne sisältävät vaihdekotelon, välityssuhteen, laakerin kannen, laipan ja kierukkavaihteen.

Käytimme seuraavia datan lisäysmenetelmiä lisätäksemme kuvan monimuotoisuutta ja tehdäksemme synteettisestä tiedosta fotorealistisempaa. Se auttaa vähentämään mallin yleistysvirhettä.

• Suurenna / – Tämä menetelmä lähentää tai loitontaa kuvissa olevaa kohdetta satunnaisesti.
• Kierto – Tämä menetelmä pyörittää objektia kuvissa, ja näyttää siltä, ​​että virtuaalikamera ottaa satunnaisia ​​kuvia kohteesta 360 asteen kulmista.
• Paranna materiaalin ulkonäköä ja tuntumaa – Huomasimme, että joidenkin vaihteistoosien materiaalin ulkonäkö on epärealistinen alkuperäisessä renderöinnissa. Lisäsimme metallivaikutelman synteettisten kuvien parantamiseksi.
• Käytä erilaisia ​​valaistusasetuksia – Tässä prototyypissä simuloimme kahta valaistustilaa:
  • Varasto – Realistinen valonjako. Varjot ja heijastukset ovat mahdollisia.
  • studio – Kohteen ympärille laitetaan homogeeninen valo. Tämä ei ole realistista, mutta siinä ei ole varjoja tai heijastuksia.
• Käytä realistista sijaintia siitä, miten kohde nähdään reaaliajassa – Tosielämässä jotkin esineet, kuten laippa ja laakerin kansi, sijoitetaan yleensä pinnalle, ja malli havaitsee esineet ylä- ja alapinnan perusteella. Siksi poistimme harjoituskuvat, joissa näkyy osien ohut reuna, jota kutsutaan myös reuna-asetukseksi, ja lisäsimme kuvia tasaisessa asennossa olevista kohteista.
• Lisää useita kohteita yhteen kuvaan – Tosielämän skenaarioissa useat vaihteiston osat voivat näkyä samassa näkymässä, joten teimme kuvia, jotka sisältävät useita vaihdeosia.

3Dexperience-alustalla voimme soveltaa kuviin erilaisia ​​taustoja, mikä voi auttaa lisäämään kuvien monimuotoisuutta entisestään. Aikarajoituksen vuoksi emme toteuttaneet tätä tässä prototyypissä.

Tuo synteettinen harjoitustietojoukko

ML:ssä merkityt tiedot tarkoittavat, että harjoitustiedot on merkitty osoittamaan tavoite, joka on vastaus, jonka haluat ML-mallisi ennustavan. Tunnistettujen tietojen, joita Rekognition Custom Labels -tunnisteet voivat käyttää, tulee noudattaa Ground Truth -luettelotiedostovaatimuksia. Luettelotiedosto koostuu yhdestä tai useammasta JSON-rivistä; jokainen rivi sisältää yhden kuvan tiedot. Synteettiselle harjoitusdatalle merkintätiedot voidaan luoda ohjelmallisesti aiemmin mainitsemiemme CAD-tiedosto- ja kuvanmuunnoskonfiguraatioiden perusteella, mikä säästää merkittävää manuaalista merkintätyötä. Lisätietoja tiedostomuotojen merkitsemisen vaatimuksista on kohdassa Luo luettelotiedosto ja Objektien lokalisointi luettelotiedostoissa. Seuraavassa on esimerkki kuvamerkinnöistä:

{ "source-ref": "s3://<bucket>/<prefix>/multiple_objects.png", "bounding-box": { "image_size": [ { "width": 1024, "height": 1024, "depth": 3 } ], "annotations": [ { "class_id": 1, "top": 703, "left": 606, "width": 179, "height": 157 }, { "class_id": 4, "top": 233, "left": 533, "width": 118, "height": 139 }, { "class_id": 0, "top": 592, "left": 154, "width": 231, "height": 332 }, { "class_id": 3, "top": 143, "left": 129, "width": 268, "height": 250 } ] }, "bounding-box-metadata": { "objects": [ { "confidence": 1 }, { "confidence": 1 }, { "confidence": 1 }, { "confidence": 1 } ], "class-map": { "0": "Gear_Housing", "1": "Gear_Ratio", "3": "Flange", "4": "Worm_Gear" }, "type": "groundtruth/object-detection", "human-annotated": "yes", "creation-date": "2021-06-18T11:56:01", "job-name": "3DEXCITE" }
}

Kun luettelotiedosto on valmisteltu, lataamme sen S3-säihöön ja luomme sitten harjoitustietojoukon Rekognition Custom Labels -sovelluksessa valitsemalla vaihtoehdon Tuo Amazon SageMaker Ground Truth -tunnistetut kuvat.

Kun luettelotiedosto on tuotu, voimme tarkastella merkintätietoja visuaalisesti Amazon Rekognition -konsolissa. Tämä auttaa meitä varmistamaan, että luettelotiedosto on luotu ja tuotu. Tarkemmin sanottuna rajoitusruutujen tulee olla kohdakkain kuvien objektien kanssa ja objektien luokkatunnukset tulee määrittää oikein.

Luo testaustietojoukko

Testikuvat on otettu tosielämässä puhelimella tai kameralla eri kulmista ja valaistusolosuhteista, koska haluamme validoida synteettisellä datalla harjoittelemamme mallin tarkkuuden tosielämän skenaarioihin. Voit ladata nämä testikuvat S3-säilöyn ja tuoda ne sitten tietojoukkoina Rekognition Custom Labels -sovellukseen. Tai voit ladata ne suoraan tietojoukkoon paikalliselta koneeltasi.

Rekognition Custom Labels tarjoaa sisäänrakennetun kuvan huomautusominaisuuden, jolla on samanlainen kokemus kuin Ground Truth. Voit aloittaa merkintätyön, kun testitiedot on tuotu. Kohteen tunnistuksen käyttötapauksessa rajoituslaatikot tulee luoda tiiviisti kiinnostavien kohteiden ympärille, mikä auttaa mallia oppimaan tarkasti kohdeobjekteihin kuuluvat alueet ja pikselit. Lisäksi sinun tulee merkitä kaikki kohdeobjektien esiintymät kaikissa kuvissa, myös niissä, jotka ovat osittain poissa näkyvistä tai muiden objektien peittämät, muuten malli ennustaa enemmän vääriä negatiivisia.

Luo verkkotunnusten välinen objektien tunnistusmalli

Rekognition Custom Labels on täysin hallittu palvelu; sinun tarvitsee vain toimittaa juna- ja testitietojoukot. Se kouluttaa joukon malleja ja valitsee toimitettujen tietojen perusteella parhaiten suoriutuneen. Tässä prototyypissä valmistelemme synteettiset harjoitustietojoukot iteratiivisesti kokeilemalla aiemmin mainitsemiemme kuvan lisäysmenetelmien erilaisia ​​yhdistelmiä. Rekognition Custom Labelsissa jokaiselle harjoitustietojoukolle luodaan yksi malli, jonka avulla voimme verrata ja löytää optimaalisen harjoitustietojoukon erityisesti tähän käyttötapaukseen. Jokaisella mallilla on vähimmäismäärä harjoituskuvia, se sisältää hyvän kuvan monimuotoisuuden ja tarjoaa parhaan mallin tarkkuuden. 15 iteroinnin jälkeen saavutimme F1-pisteen 98 % mallin tarkkuudella käyttämällä noin 10,000 2,000 synteettistä harjoituskuvaa, mikä on keskimäärin XNUMX XNUMX kuvaa kohdetta kohden.

Mallin päättelyn tulokset

Seuraava kuva esittää Amazon Rekognition -mallia, jota käytetään reaaliaikaisessa päättelysovelluksessa. Kaikki komponentit tunnistetaan oikein suurella varmuudella.

Yhteenveto

Tässä postauksessa osoitimme, kuinka tietokonenäkömallia harjoitellaan puhtaasti synteettisten kuvien pohjalta ja kuinka malli voi silti tunnistaa luotettavasti todellisen maailman esineitä. Tämä säästää huomattavasti manuaalista työtä harjoitustietojen keräämisessä ja merkitsemisessä. Tällä selvityksellä Dassault Systèmes laajentaa suunnittelijoiden ja insinöörien luomien 3D-tuotemallien liiketoiminta-arvoa, koska voit nyt käyttää CAD-, CAE- ja PLM-tietoja kuvien tunnistusjärjestelmissä fyysisessä maailmassa.

Lisätietoja Rekognition Custom Labelsin tärkeimmistä ominaisuuksista ja käyttötapauksista on kohdassa Amazon Rekognition mukautetut etiketit. Jos kuvissasi ei ole alkuperäistä Ground Truth -merkintää, kuten tässä projektissa, katso Luettelotiedoston luominen muuntaa merkintätietosi muotoon, jota Rekognition Custom Labels voi käyttää.

Tietoja Tekijät

Woody Borraccino on tällä hetkellä Senior Machine Learning Specialist Solution Architect AWS:ssä. Milanossa Italiassa sijaitseva Woody työskenteli ohjelmistokehityksen parissa ennen kuin hän liittyi AWS:ään vuonna 2015, missä hän kasvaa intohimona Computer Vision- ja Spatial Computing (AR/VR/XR) -teknologioihin. Hänen intohimonsa keskittyy nyt metaversumiinnovaatioihin. Seuraa häntä Linkedin.

Ying Hou, PhD, on koneoppimisen prototyyppiarkkitehti AWS:ssä. Hänen tärkeimpiä kiinnostuksen kohteitaan ovat Deep Learning, Computer Vision, NLP ja aikasarjatietojen ennustaminen. Vapaa-ajallaan hän lukee romaaneja ja vaeltelee Ison-Britannian kansallispuistoissa.

Bernard Paques on tällä hetkellä Storm Replyn teknologiajohtaja, joka keskittyy AWS:ssä käyttöön otettuihin teollisiin ratkaisuihin. Pariisissa, Ranskassa sijaitseva Bernard työskenteli aiemmin pääratkaisuarkkitehtina ja pääkonsulttina AWS:ssä. Hänen panoksensa yritysten modernisoinnissa kattaa AWS for Industrialin, AWS CDK:n, ja ne perustuvat nyt Green IT- ja äänipohjaisiin järjestelmiin. Seuraa häntä Twitter.

Karl Herkt on tällä hetkellä Dassault Systèmes 3DExciten vanhempi strategi. Hän työskentelee Münchenissä, Saksassa, ja hän luo innovatiivisia tietokonenäön toteutuksia, jotka tuottavat konkreettisia tuloksia. Seuraa häntä LinkedIn.

• Coinsmart. Euroopan paras Bitcoin- ja kryptopörssi.
• Platoblockchain. Web3 Metaverse Intelligence. Tietoa laajennettu. VAPAA PÄÄSY.
• CryptoHawk. Altcoinin tutka. Ilmainen kokeilu.
• Lähde: https://aws.amazon.com/blogs/machine-learning/computer-vision-using-synthetic-datasets-with-amazon-rekognition-custom-labels-and-dassault-systemes-3dexcite/