Számítógépes látás szintetikus adatkészletekkel Amazon Rekognition Custom Labels és Dassault Systemes 3DEXCITE segítségével

Ez a bejegyzés Bernard Paques-szal, a Storm Reply műszaki igazgatójával és Karl Herkttel, a Dassault Systèmes 3DExcite vezető stratégájával közösen íródott.

Míg a számítógépes látás kulcsfontosságú lehet az ipari karbantartás, a gyártás, a logisztika és a fogyasztói alkalmazások számára, alkalmazását korlátozza a képzési adatkészletek manuális létrehozása. A címkézett képek ipari környezetben történő létrehozása főként manuálisan történik, ami korlátozott felismerési képességeket hoz létre, nem méreteződik, és munkaerőköltségeket és késéseket eredményez az üzleti érték realizálásában. Ez szembemegy a terméktervezés, a terméktervezés és a termékkonfiguráció gyors iterációi által biztosított üzleti agilitással. Ez a folyamat nem skálázható összetett termékekre, például autókra, repülőgépekre vagy modern épületekre, mivel ezekben a forgatókönyvekben minden címkézési projekt egyedi (egyedi termékekhez kapcsolódik). Ennek eredményeként a számítógépes látástechnológiát nem lehet könnyen alkalmazni nagyszabású egyedi projektekben anélkül, hogy nagy erőfeszítéseket kellene tenni az adatok előkészítésében, ami néha korlátozza a használati esetek átadását.

Ebben a bejegyzésben egy olyan újszerű megközelítést mutatunk be, ahol a tervezési és CAD fájlokból speciális számítógépes látásrendszereket hoznak létre. Kezdjük a vizuálisan helyes digitális ikrek létrehozásával és a szintetikus feliratozású képek generálásával. Aztán továbbítjuk ezeket a képeket Amazon Rekognition egyéni címkék egyéni objektumészlelési modell betanítására. A meglévő szellemi tulajdon szoftverekkel való felhasználásával megfizethetővé és számos ipari környezetben relevánssá tesszük a számítógépes látást.

A felismerő rendszerek testreszabása elősegíti az üzleti eredmények elérését

A digitális ikrekből előállított speciális számítógépes látásrendszereknek sajátos előnyei vannak, amelyek a következő felhasználási esetekben szemléltethetők:

• Nyomon követhetőség egyedi termékek esetében – Az Airbus, a Boeing és más repülőgépgyártók egyedileg rendelnek hozzá Gyártói sorozatszámok (MSN) minden általuk gyártott repülőgéphez. Ezt a teljes gyártási folyamat során kezelik a generálás érdekében légialkalmassági dokumentáció és kapjon repülési engedélyt. A digitális iker (egy virtuális 3D-s modell, amely egy fizikai terméket reprezentál) származtatható az egyes MSN-ek konfigurációjából, és létrehoz egy elosztott számítógépes képrendszert, amely nyomon követi ennek az MSN-nek az előrehaladását az ipari létesítményekben. Az egyéni felismerés automatizálja a légitársaságok számára biztosított átláthatóságot, és helyettesíti a légitársaságok által manuálisan végrehajtott legtöbb ellenőrzőpontot. Az egyedi termékek automatizált minőségbiztosítása alkalmazható repülőgépekre, autókra, épületekre és akár kézműves termékekre is.
• Kontextualizált kiterjesztett valóság – A professzionális minőségű számítógépes látásrendszerek korlátozott tájakra is képesek, de nagyobb diszkriminációs képességekkel. Például az ipari karbantartásban hiába talál egy csavarhúzót a képen; meg kell határoznia a csavarhúzó modelljét vagy akár a sorozatszámát. Ilyen korlátozott összefüggésekben az egyéni felismerő rendszerek felülmúlják az általános felismerési rendszereket, mert relevánsabbak az eredményekben. Az egyedi felismerő rendszerek pontos visszacsatolást tesznek lehetővé dedikált kiterjesztett valóság HMI-ben vagy mobileszközökben szállítjuk.
• Teljes körű minőségellenőrzés - Val vel rendszer mérnök, részkonstrukciókból digitális ikerpárokat hozhat létre, és számítógépes látásrendszereket állíthat elő, amelyek alkalmazkodnak a gyártási és gyártási folyamatok különböző fázisaihoz. A vizuális ellenőrzések összefonhatók a gyártási munkaállomásokkal, lehetővé téve a végpontok közötti ellenőrzést és a hibák korai felismerését. Egyedi felismerés A végpontok közötti ellenőrzés hatékonyan megakadályozza a hibák egymásra torlódását az összeszerelő sorokra. A végső cél az elutasítási arány csökkentése és a termelés maximalizálása.
• Rugalmas minőségellenőrzés – A modern minőségellenőrzésnek alkalmazkodnia kell a tervezési eltérésekhez és a rugalmas gyártáshoz. A tervezési eltérések a termékhasználattal és a termék karbantartásával kapcsolatos visszacsatolási hurkokból származnak. Rugalmas gyártás kulcsfontosságú képesség a rendelésre gyártási stratégiához, és összhangban van a költségoptimalizálás lean gyártási elvével. A tervezési variációk és a konfigurációs lehetőségek digitális ikrekben való integrálásával az egyedi felismerés lehetővé teszi a számítógépes látásrendszerek dinamikus alkalmazkodását a gyártási tervekhez és a tervezési változatokhoz.

Javítsa a számítógépes látást az Amazon Rekognition által üzemeltetett Dassault Systèmes 3DEXCITE segítségével

A Dassault Systèmes-en belül, a digitális ikrek terén mély szakértelemmel rendelkező vállalaton belül, amely egyben a második legnagyobb európai szoftverszerkesztő is, a 3DEXCITE csapata más utat jár be. Ahogy Karl Herkt kifejtette: „Mi lenne, ha egy szintetikus képekből kiképzett idegi modell felismerne egy fizikai terméket?” A 3DEXCITE ezt a problémát úgy oldotta meg, hogy technológiáját az AWS infrastruktúrával kombinálta, bizonyítva ennek a sajátos megközelítésnek a megvalósíthatóságát. Úgy is ismert, mint tartományok közötti objektumok észlelése, ahol az észlelési modell a forrástartomány címkézett képeiből tanul (szintetikus képek), és előrejelzéseket készít a címkézetlen céltartományra (fizikai összetevők).

A Dassault Systèmes 3DEXCITE és az AWS Prototyping csapata egyesítette erőit, hogy megépítsen egy demonstrációs rendszert, amely felismeri az ipari sebességváltó alkatrészeit. Ez a prototípus 3 hét alatt készült el, és a betanított modell 98%-os F1-es eredményt ért el. A felismerési modell teljes egészében egy szoftveres csővezetékből lett kiképezve, amely nem tartalmaz képeket egy valós részről. Egy ipari sebességváltó tervezési és CAD-fájljaiból a 3DEXCITE vizuálisan korrekt digitális ikreket hozott létre. Több ezer szintetikus feliratú képet is generáltak a digitális ikrekből. Ezután a Rekognition Custom Labels segítségével speciális neurális modellt képeztek ki ezekből a képekből, és biztosítottak egy kapcsolódó felismerési API-t. Létrehoztak egy webhelyet, amely lehetővé teszi a sebességváltó egy fizikai részének bármely webkameráról történő felismerését.

Amazon felismerés egy mesterséges intelligencia szolgáltatás, amely mély tanulási technológiát használ, hogy lehetővé tegye a képekből és videókból értelmes metaadatok kinyerését – beleértve az objektumok, személyek, szövegek, jelenetek, tevékenységek és potenciálisan nem megfelelő tartalmak azonosítását – anélkül, hogy gépi tanulási (ML) szakértelemre lenne szükség. Az Amazon Rekognition emellett rendkívül pontos arcelemzést és arckeresési funkciókat is biztosít, amelyek segítségével észlelheti, elemezheti és összehasonlíthatja az arcokat a felhasználói ellenőrzés, az emberek számlálása és a biztonsági használati esetek széles skálája érdekében. Végül a Rekognition Custom Labels segítségével saját adatait is felhasználhatja objektumészlelési és képosztályozási modellek felépítéséhez.

A Dassault Systèmes technológiának a szintetikus címkézett képek generálására szolgáló Rekognition Custom Labels számítógépes látást biztosító címkéinek kombinációja méretezhető munkafolyamatot biztosít a felismerő rendszerek számára. A könnyű használhatóság jelentős pozitív tényező itt, mert a Rekognition egyéni címkék hozzáadása a teljes szoftverfolyamathoz nem nehéz – olyan egyszerű, mint egy API-t a munkafolyamatba integrálni. Nem kell ML tudósnak lenni; egyszerűen küldje el a rögzített képkockákat az AWS-nek, és megkapja az eredményt, amelyet bevihet egy adatbázisba, vagy megjeleníthet egy webböngészőben.

Ez tovább hangsúlyozza a drámai javulást a képzési adatkészletek manuális létrehozásához képest. Gyorsabban és nagyobb pontossággal érhet el jobb eredményeket anélkül, hogy költséges, felesleges munkaórákra lenne szüksége. A sok lehetséges felhasználási eset mellett a Dassault Systèmes és a Rekognition egyedi címkék kombinációja jelentős és azonnali megtérülést jelenthet a mai vállalkozások számára.

Megoldás áttekintése

Ennek a megoldásnak az első lépése a képzési adatkészletet létrehozó képek renderelése. Ezt a 3DEXCITE platform végzi. A címkézési adatokat programozottan, szkriptek segítségével állíthatjuk elő. Amazon SageMaker Ground Truth annotációs eszközt biztosít a képek és videók egyszerű címkézéséhez az osztályozási és objektumészlelési feladatokhoz. A modell Amazon Rekognition programban való betanításához a címkézési fájlnak meg kell felelnie a Ground Truth formátumnak. Ezek a címkék JSON-ban vannak, beleértve az olyan információkat, mint a képméret, a határolókeret koordinátái és az osztályazonosítók.

Ezután töltse fel a szintetikus képeket és a jegyzéket ide Amazon egyszerű tárolási szolgáltatás (Amazon S3), ahol a Rekognition Custom Labels importálhatja őket a képzési adatkészlet összetevőjeként.

Annak érdekében, hogy a Rekognition Custom Labels tesztelje a modelleket a valós komponensképekkel szemben, biztosítunk egy kamerával készített képeket a valódi motorrészekről, és feltöltjük őket az Amazon S3-ra, hogy tesztelési adatkészletként használhassák.

Végül a Rekognition Custom Labels megtanítja a legjobb objektumészlelési modellt a valós objektumok képeiből álló szintetikus betanító adatkészlet és tesztelési adatkészlet segítségével, és létrehozza a végpontot azzal a modellel, amellyel az objektumfelismerést az alkalmazásunkban futtathatjuk.

Az alábbi ábra szemlélteti a megoldási munkafolyamatot:

Készítsen szintetikus képeket

A szintetikus képeket a 3Dexperience platformról állítják elő, amely a Dassault Systèmes terméke. Ez a platform lehetővé teszi fotorealisztikus képek létrehozását és renderelését az objektum CAD (számítógépes tervezés) fájlja alapján. Néhány óra alatt több ezer változatot generálhatunk, ha megváltoztatjuk a platform képátalakítási konfigurációit.

Ebben a prototípusban a következő öt vizuálisan megkülönböztethető hajtóműrészt választottuk ki az objektumészleléshez. Tartalmazzák a fogaskerékházat, az áttételi arányt, a csapágyfedelet, a karimát és a csigakereket.

A képdiverzitás növelésére, illetve a szintetikus adatok fotorealisztikusabbá tételére az alábbi adatkiegészítési módszereket alkalmaztuk. Segít csökkenteni a modell általánosítási hibáját.

• Zoom in / out – Ez a módszer véletlenszerűen nagyítja vagy kicsinyíti az objektumot a képeken.
• Forgás – Ez a módszer elforgatja az objektumot képekben, és úgy tűnik, hogy egy virtuális kamera véletlenszerű képeket készít az objektumról 360 fokos szögből.
• Javítsa az anyag megjelenését és tapintását – Megállapítottuk, hogy egyes fogaskerék-alkatrészek esetében az anyag megjelenése kevésbé reális a kezdeti megjelenítésben. Fémes hatást adtunk a szintetikus képek javítására.
• Használjon különböző világítási beállításokat – Ebben a prototípusban két fényviszonyokat szimuláltunk:
  • Raktár – Valósághű fényeloszlás. Lehetségesek az árnyékok és a tükröződések.
  • tanulmány – A tárgy körül homogén fény kerül. Ez nem reális, de nincsenek árnyékok vagy tükröződések.
• Használjon reális pozíciót az objektum valós idejű nézetéhez – A való életben bizonyos tárgyak, például a karima és a csapágyfedelek általában egy felületre kerülnek, és a modell a felső és alsó oldalak alapján észleli a tárgyakat. Ezért eltávolítottuk az alkatrészek vékony szélét, más néven élhelyzetet mutató tréningképeket, és megnöveltük a sík helyzetben lévő tárgyak képét.
• Több objektum hozzáadása egy képhez – Valós forgatókönyvekben több hajtómű alkatrész is megjelenhet egy nézetben, ezért olyan képeket készítettünk, amelyek több hajtóműrészt tartalmaznak.

A 3Dexperience platformon különböző háttereket alkalmazhatunk a képeken, ami tovább növelheti a képdiverzitást. Az időkorlát miatt ezt ebben a prototípusban nem valósítottuk meg.

Importálja a szintetikus edzési adatkészletet

ML-ben a címkézett adatok azt jelentik, hogy a képzési adatok megjegyzésekkel vannak ellátva, hogy mutassák a célt, amely az a válasz, amelyet az ML-modell előre jelezni szeretne. A Rekognition Custom Labels által felhasználható címkézett adatoknak meg kell felelniük a Ground Truth jegyzékfájl követelményeinek. A jegyzékfájl egy vagy több JSON-sorból áll; minden sor egyetlen kép információit tartalmazza. A szintetikus betanítási adatokhoz a címkézési információk programozottan előállíthatók a korábban említett CAD-fájl és képátalakítási konfigurációk alapján, ami jelentős manuális címkézési erőfeszítést takarít meg. A fájlformátumok címkézésének követelményeivel kapcsolatos további információkért lásd: Hozzon létre egy manifest fájlt és a Objektumhonosítás a jegyzékfájlokban. A következő példa a képcímkézésre:

{ "source-ref": "s3://<bucket>/<prefix>/multiple_objects.png", "bounding-box": { "image_size": [ { "width": 1024, "height": 1024, "depth": 3 } ], "annotations": [ { "class_id": 1, "top": 703, "left": 606, "width": 179, "height": 157 }, { "class_id": 4, "top": 233, "left": 533, "width": 118, "height": 139 }, { "class_id": 0, "top": 592, "left": 154, "width": 231, "height": 332 }, { "class_id": 3, "top": 143, "left": 129, "width": 268, "height": 250 } ] }, "bounding-box-metadata": { "objects": [ { "confidence": 1 }, { "confidence": 1 }, { "confidence": 1 }, { "confidence": 1 } ], "class-map": { "0": "Gear_Housing", "1": "Gear_Ratio", "3": "Flange", "4": "Worm_Gear" }, "type": "groundtruth/object-detection", "human-annotated": "yes", "creation-date": "2021-06-18T11:56:01", "job-name": "3DEXCITE" }
}

A jegyzékfájl elkészítése után feltöltjük egy S3 tárolóba, majd az opció kiválasztásával létrehozunk egy képzési adatkészletet a Rekognition Custom Labelsben. Importáljon képeket az Amazon SageMaker Ground Truth címkéjével.

A jegyzékfájl importálása után vizuálisan megtekinthetjük a címkézési információkat az Amazon Rekognition konzolon. Ez segít megbizonyosodni arról, hogy a jegyzékfájlt létrehozták és importálták. Pontosabban, a határoló dobozoknak igazodniuk kell a képeken lévő objektumokhoz, és az objektumok osztályazonosítóit megfelelően kell hozzárendelni.

Hozd létre a tesztelési adatkészletet

A tesztképek a valóságban, telefonnal vagy kamerával készülnek, különböző szögekből és fényviszonyokból, mert a modell pontosságát, amit szintetikus adatok felhasználásával betanítottunk, a valós forgatókönyvekhez szeretnénk igazolni. Ezeket a tesztképeket feltöltheti egy S3 tárolóba, majd importálhatja őket adatkészletként a Rekognition egyéni címkékbe. Vagy közvetlenül feltöltheti őket az adatkészletekbe a helyi gépről.

A Rekognition Custom Labels beépített képannotációs képességet biztosít, amely hasonló élményt nyújt, mint a Ground Truth. A címkézési munkát a tesztadatok importálásakor kezdheti meg. Objektumfelismerés esetén a határolókereteket szorosan a kívánt objektumok körül kell létrehozni, ami segít a modellnek pontosan megtanulni a célobjektumokhoz tartozó régiókat és pixeleket. Ezenkívül meg kell jelölnie a célobjektumok minden példányát az összes képen, még azokat is, amelyek részlegesen kívül esnek, vagy más objektumok eltakarják, különben a modell több hamis negatívot jelez előre.

Hozzon létre egy tartományok közötti objektumészlelési modellt

A Rekognition Custom Labels egy teljesen felügyelt szolgáltatás; csak meg kell adnia a vonat- és tesztadatkészleteket. Egy sor modellt betanít, és a megadott adatok alapján kiválasztja a legjobban teljesítőt. Ebben a prototípusban a szintetikus képzési adatkészleteket iteratív módon készítjük elő, kísérletezve a korábban említett képkiegészítési módszerek különböző kombinációival. Minden egyes képzési adatkészlethez egy modell készül a Rekognition Custom Labels szolgáltatásban, amely lehetővé teszi számunkra, hogy összehasonlítsuk és megtaláljuk az optimális képzési adatkészletet erre a felhasználási esetre. Mindegyik modell rendelkezik a minimális számú képzési képpel, jó képdiverzitást tartalmaz, és a legjobb modellpontosságot biztosítja. 15 iteráció után 1%-os F98-es modellpontosságot értünk el körülbelül 10,000 2,000 szintetikus képzési kép felhasználásával, ami átlagosan XNUMX kép tárgyonként.

A modellkövetkeztetés eredményei

A következő kép az Amazon Rekognition modellt mutatja, amelyet egy valós idejű következtetési alkalmazásban használnak. A rendszer minden komponenst megfelelően, nagy biztonsággal észlel.

Következtetés

Ebben a bejegyzésben bemutattuk, hogyan taníthatunk számítógépes látásmodellt tisztán szintetikus képeken, és hogyan képes a modell még mindig megbízhatóan felismerni a valós tárgyakat. Ez jelentős manuális erőfeszítést takarít meg az edzési adatok gyűjtése és címkézése során. Ezzel a feltárással a Dassault Systèmes bővíti a tervezők és mérnökök által létrehozott 3D-s termékmodellek üzleti értékét, mivel mostantól a CAD, CAE és PLM adatokat is használhatja a fizikai világ képfelismerő rendszereiben.

A Rekognition Custom Labels kulcsfontosságú funkcióiról és használati eseteiről további információért lásd: Amazon Rekognition egyéni címkék. Ha képei nincsenek natívan Ground Truth címkével ellátva, mint ebben a projektben, lásd Manifest fájl létrehozása címkézési adatait a Rekognition Custom Labels által felhasználható formátumba konvertálhatja.

A szerzőkről

Woody Borraccino jelenleg Senior Machine Learning Specialist Solution Architect az AWS-nél. Az olaszországi milánói székhelyű Woody szoftverfejlesztéssel foglalkozott, mielőtt 2015-ben csatlakozott az AWS-hez, ahol a növekedés a Computer Vision és a Spatial Computing (AR/VR/XR) technológiák iránti szenvedélye. Szenvedélye most a metaverzum innovációra összpontosul. Kövesd őt Linkedin.

Ying Hou, PhD, az AWS gépi tanulási prototípus-készítő építésze. Fő érdeklődési területe a Deep Learning, a Computer Vision, az NLP és az idősoros adatok előrejelzése. Szabadidejében szívesen olvas regényeket és túrázik az Egyesült Királyság nemzeti parkjaiban.

Bernard Paques jelenleg a Storm Reply műszaki igazgatója, aki az AWS-en alkalmazott ipari megoldásokra összpontosít. Bernard Párizsban (Franciaország) élt korábban az AWS-nél vezető megoldási építészként és vezető tanácsadóként. A vállalati modernizációhoz való hozzájárulása kiterjed az AWS for Industrial-ra, az AWS CDK-ra, és ezek ma már a zöld IT- és hangalapú rendszerekbe nyúlnak vissza. Kövesd őt Twitter.

Karl Herkt jelenleg a Dassault Systèmes 3DExcite vezető stratégája. Münchenben (Németország) található, és innovatív számítógépes látásmódosításokat hoz létre, amelyek kézzelfogható eredményeket hoznak. Kövesd őt LinkedIn.

• Coinsmart. Európa legjobb Bitcoin- és kriptográfiai tőzsdéje.
• Platoblockchain. Web3 metaverzum intelligencia. Felerősített tudás. SZABAD HOZZÁFÉRÉS.
• CryptoHawk. Altcoin radar. Ingyenes próbaverzió.
• Forrás: https://aws.amazon.com/blogs/machine-learning/computer-vision-using-synthetic-datasets-with-amazon-rekognition-custom-labels-and-dassault-systemes-3dexcite/