Wizja komputerowa przy użyciu syntetycznych zestawów danych z etykietami niestandardowymi Amazon Rekognition i Dassault Systèmes 3DEXCITE

Jest to post napisany wspólnie z Bernardem Paques, CTO of Storm Answer i Karlem Herktem, starszym strategiem w Dassault Systèmes 3DExcite.

Chociaż wizja komputerowa może mieć kluczowe znaczenie w konserwacji przemysłowej, produkcji, logistyce i zastosowaniach konsumenckich, jej przyjęcie jest ograniczone przez ręczne tworzenie zestawów danych szkoleniowych. Tworzenie oznaczonych zdjęć w kontekście przemysłowym odbywa się głównie ręcznie, co stwarza ograniczone możliwości rozpoznawania, nie skaluje się i skutkuje kosztami pracy oraz opóźnieniami w realizacji wartości biznesowej. Jest to sprzeczne ze sprawnością biznesową zapewnianą przez szybkie iteracje w projektowaniu produktu, inżynierii produktu i konfiguracji produktu. Proces ten nie jest skalowany w przypadku złożonych produktów, takich jak samochody, samoloty czy nowoczesne budynki, ponieważ w tych scenariuszach każdy projekt etykietowania jest unikalny (związany z unikalnymi produktami). W rezultacie, technologii wizji komputerowej nie można łatwo zastosować w unikalnych projektach na dużą skalę bez dużego wysiłku w przygotowaniu danych, co czasami ogranicza dostarczanie przypadków użycia.

W tym poście przedstawiamy nowatorskie podejście polegające na tworzeniu wysoce wyspecjalizowanych komputerowych systemów wizyjnych z projektów i plików CAD. Zaczynamy od stworzenia wizualnie poprawnych cyfrowych bliźniaków i wygenerowania syntetycznych obrazów z etykietami. Następnie przekazujemy te obrazy do Etykiety niestandardowe Amazon Rekognition trenować niestandardowy model wykrywania obiektów. Wykorzystując istniejącą własność intelektualną wraz z oprogramowaniem, sprawiamy, że wizja komputerowa jest przystępna cenowo i odpowiednia w różnych kontekstach przemysłowych.

Dostosowanie systemów rozpoznawania pomaga osiągać wyniki biznesowe

Wyspecjalizowane komputerowe systemy wizyjne, które są produkowane z cyfrowych bliźniaków, mają określone zalety, które można zilustrować w następujących przypadkach użycia:

• Identyfikowalność unikalnych produktów – Airbus, Boeing i inni producenci samolotów przypisują unikalne Numery seryjne producenta (MSN) do każdego produkowanego samolotu. Jest to zarządzane przez cały proces produkcyjny, aby generować dokumentacja zdatności do lotu i zdobądź pozwolenia na lot. A cyfrowy bliźniak (wirtualny model 3D reprezentujący fizyczny produkt) można wyprowadzić z konfiguracji każdego MSN i generuje rozproszony komputerowy system wizyjny, który śledzi postęp tego MSN w obiektach przemysłowych. Niestandardowe rozpoznawanie automatyzuje przejrzystość zapewnianą liniom lotniczym i zastępuje większość punktów kontrolnych wykonywanych ręcznie przez linie lotnicze. Zautomatyzowana kontrola jakości unikalnych produktów może dotyczyć samolotów, samochodów, budynków, a nawet produkcji rzemieślniczej.
• Kontekstualizowana rzeczywistość rozszerzona – Profesjonalne komputerowe systemy wizyjne mogą obejmować ograniczone krajobrazy, ale z większymi możliwościami dyskryminacji. Na przykład w konserwacji przemysłowej znalezienie śrubokręta na zdjęciu jest bezużyteczne; musisz zidentyfikować model śrubokręta, a nawet jego numer seryjny. W takich ograniczonych kontekstach niestandardowe systemy rozpoznawania przewyższają ogólne systemy rozpoznawania, ponieważ są bardziej trafne w swoich odkryciach. Niestandardowe systemy rozpoznawania umożliwiają precyzyjne pętle sprzężenia zwrotnego za pośrednictwem dedykowana rzeczywistość rozszerzona dostarczane w HMI lub na urządzeniach mobilnych.
• Kompleksowa kontrola jakości - Z inżynieria systemowa, można tworzyć cyfrowe bliźniaki częściowych konstrukcji i generować komputerowe systemy wizyjne, które dostosowują się do różnych faz procesów produkcyjnych i produkcyjnych. Kontrola wizualna może być połączona ze stanowiskami produkcyjnymi, umożliwiając kompleksową inspekcję i wczesne wykrywanie defektów. Rozpoznawanie niestandardowe do kompleksowej kontroli skutecznie zapobiega kaskadowaniu defektów na linie montażowe. Ostatecznym celem jest zmniejszenie wskaźnika odrzuceń i maksymalizacja wydajności produkcji.
• Elastyczna kontrola jakości – Nowoczesna kontrola jakości musi dostosowywać się do zmian konstrukcyjnych i elastycznej produkcji. Różnice w projekcie wynikają z pętli informacji zwrotnych dotyczących użytkowania i konserwacji produktu. Elastyczna produkcja jest kluczową umiejętnością strategii produkcji na zamówienie i jest zgodna z zasadą optymalizacji kosztów produkcji szczupłej. Dzięki zintegrowaniu wariantów projektowych i opcji konfiguracji w cyfrowych bliźniakach rozpoznawanie niestandardowe umożliwia dynamiczną adaptację komputerowych systemów wizyjnych do planów produkcyjnych i wariantów projektowych.

Popraw widzenie komputerowe dzięki Dassault Systèmes 3DEXCITE obsługiwanemu przez Amazon Rekognition

W Dassault Systèmes, firmie posiadającej głęboką wiedzę na temat cyfrowych bliźniaków, która jest również drugim co do wielkości europejskim edytorem oprogramowania, zespół 3DEXCITE bada inną ścieżkę. Jak wyjaśnił Karl Herkt: „Co by było, gdyby model neuronowy wytrenowany z obrazów syntetycznych mógł rozpoznać produkt fizyczny?” 3DEXCITE rozwiązało ten problem, łącząc swoją technologię z infrastrukturą AWS, udowadniając wykonalność tego szczególnego podejścia. Jest również znany jako wykrywanie obiektów w wielu domenach, gdzie model wykrywania uczy się na podstawie oznaczonych obrazów z domeny źródłowej (obrazy syntetyczne) i dokonuje prognoz dla nieoznaczonej domeny docelowej (składniki fizyczne).

Dassault Systèmes 3DEXCITE i zespół AWS Prototyping połączyły siły, aby zbudować system demonstracyjny, który rozpoznaje części przemysłowej skrzyni biegów. Ten prototyp zbudowano w 3 tygodnie, a wyszkolony model osiągnął wynik 98% F1. Model rozpoznawania został wyszkolony w całości z potoku oprogramowania, który nie zawiera żadnych obrazów rzeczywistej części. Na podstawie projektu i plików CAD przemysłowej skrzyni biegów firma 3DEXCITE stworzyła wizualnie poprawne cyfrowe bliźniaki. Wygenerowali także tysiące syntetycznych, oznaczonych obrazów cyfrowych bliźniaków. Następnie użyli etykiet niestandardowych Rekognition, aby wytrenować wysoce wyspecjalizowany model neuronowy na podstawie tych obrazów i udostępnili powiązany interfejs API rozpoznawania. Zbudowali stronę internetową umożliwiającą rozpoznanie z dowolnej kamery internetowej jednej fizycznej części skrzyni biegów.

Amazon Rekognition to usługa sztucznej inteligencji, która wykorzystuje technologię głębokiego uczenia się, aby umożliwić wyodrębnianie znaczących metadanych z obrazów i filmów — w tym identyfikowanie obiektów, osób, tekstu, scen, czynności i potencjalnie nieodpowiednich treści — bez konieczności posiadania wiedzy na temat uczenia maszynowego (ML). Amazon Rekognition zapewnia również bardzo dokładną analizę twarzy i funkcje przeszukiwania twarzy, których można używać do wykrywania, analizowania i porównywania twarzy w celu szerokiej gamy weryfikacji użytkowników, liczenia osób i bezpieczeństwa. Wreszcie, dzięki etykietom Rekognition Custom Labels, możesz wykorzystać własne dane do tworzenia modeli wykrywania obiektów i klasyfikacji obrazów.

Połączenie technologii Dassault Systèmes do generowania obrazów z etykietami syntetycznymi z etykietami Rekognition Custom Labels dla wizji komputerowej zapewnia skalowalny przepływ pracy dla systemów rozpoznawania. Łatwość użycia jest tutaj znaczącym pozytywnym czynnikiem, ponieważ dodanie niestandardowych etykiet rozpoznawania do ogólnego potoku oprogramowania nie jest trudne — jest to tak proste, jak integracja interfejsu API z przepływem pracy. Nie musisz być naukowcem ML; po prostu wyślij przechwycone ramki do AWS i otrzymaj wynik, który możesz wprowadzić do bazy danych lub wyświetlić w przeglądarce internetowej.

To jeszcze bardziej podkreśla radykalną poprawę w porównaniu z ręcznym tworzeniem zestawów danych treningowych. Możesz osiągnąć lepsze wyniki szybciej i z większą dokładnością, bez konieczności kosztownych, niepotrzebnych godzin pracy. Przy tak wielu potencjalnych przypadkach użycia połączenie Dassault Systèmes i Rekognition Custom Labels może zapewnić dzisiejszym firmom znaczący i natychmiastowy zwrot z inwestycji.

Omówienie rozwiązania

Pierwszym krokiem w tym rozwiązaniu jest renderowanie obrazów, które tworzą treningowy zestaw danych. Odbywa się to za pomocą platformy 3DEXCITE. Dane etykietowania możemy wygenerować programowo za pomocą skryptów. Amazon SageMaker Ground Prawda udostępnia narzędzie do adnotacji do łatwego oznaczania obrazów i filmów w celu klasyfikacji i wykrywania obiektów. Aby trenować model w Amazon Rekognition, plik etykietowania musi być zgodny z formatem Ground Truth. Te etykiety są w formacie JSON i zawierają informacje takie jak rozmiar obrazu, współrzędne obwiedni i identyfikatory klas.

Następnie prześlij obrazy syntetyczne i manifest do Usługa Amazon Simple Storage (Amazon S3), gdzie niestandardowe etykiety rozpoznawania mogą importować je jako składniki zestawu danych treningowych.

Aby umożliwić Rekognition Custom Labels przetestowanie modeli w porównaniu z zestawem rzeczywistych obrazów komponentów, dostarczamy zestaw zdjęć rzeczywistych części silnika wykonanych aparatem i przesyłamy je do Amazon S3, aby wykorzystać je jako zestaw danych testowych.

Wreszcie, Rekognition Custom Labels szkoli najlepszy model wykrywania obiektów przy użyciu syntetycznego zestawu danych szkoleniowych i testowego zestawu danych składających się ze zdjęć rzeczywistych obiektów i tworzy punkt końcowy z modelem, którego możemy użyć do uruchomienia rozpoznawania obiektów w naszej aplikacji.

Poniższy diagram ilustruje przepływ pracy naszego rozwiązania:

Twórz obrazy syntetyczne

Syntetyczne obrazy są generowane z platformy 3Dexperience, która jest produktem firmy Dassault Systèmes. Platforma ta umożliwia tworzenie i renderowanie fotorealistycznych obrazów na podstawie pliku CAD obiektu (projektowanie wspomagane komputerowo). Możemy wygenerować tysiące wariantów w ciągu kilku godzin, zmieniając konfiguracje transformacji obrazu na platformie.

W tym prototypie wybraliśmy następujące pięć wizualnie odrębnych części skrzyni biegów do wykrywania obiektów. Obejmują obudowę przekładni, przełożenie, pokrywę łożyska, kołnierz i przekładnię ślimakową.

Wykorzystaliśmy następujące metody wzbogacania danych, aby zwiększyć różnorodność obrazu i uczynić dane syntetyczne bardziej fotorealistycznymi. Pomaga zmniejszyć błąd uogólnienia modelu.

• Zoom in / out – Ta metoda losowo powiększa lub pomniejsza obiekt na obrazach.
• Rotacja – Ta metoda obraca obiekt na obrazach i wygląda na to, że wirtualna kamera robi losowe zdjęcia obiektu pod kątem 360 stopni.
• Popraw wygląd i dotyk materiału – Zidentyfikowaliśmy, że w przypadku niektórych części wyposażenia wygląd materiału jest mniej realistyczny w początkowym renderowaniu. Dodaliśmy efekt metaliczny, aby poprawić obrazy syntetyczne.
• Użyj różnych ustawień oświetlenia – W tym prototypie symulowaliśmy dwa warunki oświetleniowe:
  • Magazyn – Realistyczny rozkład światła. Możliwe są cienie i odbicia.
  • Studio – Wokół obiektu rozsyłane jest jednorodne światło. To nie jest realistyczne, ale nie ma cieni ani odbić.
• Użyj realistycznej pozycji, w której obiekt jest oglądany w czasie rzeczywistym – W rzeczywistości niektóre obiekty, takie jak kołnierz i pokrywa łożyska, są zazwyczaj umieszczane na powierzchni, a model wykrywa obiekty na podstawie ścianek górnych i dolnych. Dlatego usunęliśmy obrazy treningowe, które pokazują cienką krawędź części, zwaną również pozycją krawędzi, i zwiększyliśmy obrazy obiektów w pozycji płaskiej.
• Dodaj wiele obiektów na jednym obrazie – W rzeczywistych scenariuszach wiele części sprzętu może pojawić się w jednym widoku, więc przygotowaliśmy obrazy zawierające wiele części sprzętu.

Na platformie 3Dexperience możemy zastosować różne tła do obrazów, co może pomóc w dalszym zwiększeniu różnorodności obrazu. Ze względu na ograniczenia czasowe nie zaimplementowaliśmy tego w tym prototypie.

Zaimportuj syntetyczny zestaw danych treningowych

W ML dane oznaczone etykietą oznaczają, że dane szkoleniowe są opatrzone adnotacjami, aby pokazać cel, który jest odpowiedzią, którą ma przewidywać model ML. Oznakowane dane, które mogą być wykorzystywane przez niestandardowe etykiety rozpoznawania, powinny być zgodne z wymaganiami pliku manifestu Ground Truth. Plik manifestu składa się z co najmniej jednego wiersza JSON; każdy wiersz zawiera informacje dotyczące pojedynczego obrazu. W przypadku syntetycznych danych szkoleniowych informacje dotyczące etykietowania można generować programowo na podstawie plików CAD i konfiguracji transformacji obrazu, o których wspominaliśmy wcześniej, co pozwala zaoszczędzić znaczną ilość ręcznej pracy związanej z etykietowaniem. Aby uzyskać więcej informacji na temat wymagań dotyczących formatów plików etykiet, zobacz Utwórz plik manifestu i Lokalizacja obiektu w plikach manifestu. Poniżej znajduje się przykład etykietowania obrazu:

{ "source-ref": "s3://<bucket>/<prefix>/multiple_objects.png", "bounding-box": { "image_size": [ { "width": 1024, "height": 1024, "depth": 3 } ], "annotations": [ { "class_id": 1, "top": 703, "left": 606, "width": 179, "height": 157 }, { "class_id": 4, "top": 233, "left": 533, "width": 118, "height": 139 }, { "class_id": 0, "top": 592, "left": 154, "width": 231, "height": 332 }, { "class_id": 3, "top": 143, "left": 129, "width": 268, "height": 250 } ] }, "bounding-box-metadata": { "objects": [ { "confidence": 1 }, { "confidence": 1 }, { "confidence": 1 }, { "confidence": 1 } ], "class-map": { "0": "Gear_Housing", "1": "Gear_Ratio", "3": "Flange", "4": "Worm_Gear" }, "type": "groundtruth/object-detection", "human-annotated": "yes", "creation-date": "2021-06-18T11:56:01", "job-name": "3DEXCITE" }
}

Po przygotowaniu pliku manifestu wgrywamy go do zasobnika S3, a następnie tworzymy treningowy zbiór danych w Rekognition Custom Labels, wybierając opcję Importuj obrazy oznaczone przez Amazon SageMaker Ground Truth.

Po zaimportowaniu pliku manifestu możemy wyświetlić informacje dotyczące etykietowania wizualnie w konsoli Amazon Rekognition. Pomoże nam to potwierdzić, że plik manifestu został wygenerowany i zaimportowany. Dokładniej, obwiednie powinny być wyrównane z obiektami na obrazach, a identyfikatory klas obiektów powinny być prawidłowo przypisane.

Utwórz testowy zbiór danych

Obrazy testowe są rejestrowane w prawdziwym życiu za pomocą telefonu lub aparatu fotograficznego pod różnymi kątami i w różnych warunkach oświetleniowych, ponieważ chcemy zweryfikować dokładność modelu, który wytrenowaliśmy przy użyciu danych syntetycznych, z rzeczywistymi scenariuszami. Możesz przesłać te obrazy testowe do zasobnika S3, a następnie zaimportować je jako zbiory danych w etykietach niestandardowych rozpoznawania. Możesz też przesłać je bezpośrednio do zestawów danych z komputera lokalnego.

Rekognition Custom Labels zapewnia wbudowaną funkcję adnotacji obrazu, która ma podobne wrażenia jak Ground Truth. Po zaimportowaniu danych testowych można rozpocząć pracę nad etykietowaniem. W przypadku użycia wykrywania obiektów obwiednie powinny być ściśle utworzone wokół interesujących obiektów, co pomaga modelowi dokładnie poznać regiony i piksele należące do obiektów docelowych. Ponadto należy oznaczyć każde wystąpienie obiektów docelowych na wszystkich obrazach, nawet tych, które są częściowo niewidoczne lub zasłonięte przez inne obiekty, w przeciwnym razie model przewiduje więcej wyników fałszywie ujemnych.

Utwórz międzydomenowy model wykrywania obiektów

Rekognition Custom Labels to usługa w pełni zarządzana; wystarczy podać zestawy danych o pociągach i testach. Szkoli zestaw modeli i wybiera ten, który ma najlepsze wyniki, na podstawie dostarczonych danych. W tym prototypie przygotowujemy syntetyczne zestawy danych treningowych iteracyjnie, eksperymentując z różnymi kombinacjami metod powiększania obrazu, o których wspominaliśmy wcześniej. Dla każdego uczącego zestawu danych tworzony jest jeden model w Rekognition Custom Labels, co pozwala nam porównać i znaleźć optymalny zestaw danych uczących specjalnie dla tego przypadku użycia. Każdy model ma minimalną liczbę obrazów szkoleniowych, zawiera dobrą różnorodność obrazów i zapewnia najlepszą dokładność modelu. Po 15 iteracjach osiągnęliśmy wynik F1 wynoszący 98% dokładności modelu przy użyciu około 10,000 2,000 syntetycznych obrazów treningowych, co daje średnio XNUMX obrazów na obiekt.

Wyniki wnioskowania modelu

Poniższy obraz przedstawia model Amazon Rekognition używany w aplikacji wnioskowania w czasie rzeczywistym. Wszystkie składniki są wykrywane prawidłowo z dużą pewnością.

Wnioski

W tym poście pokazaliśmy, jak trenować model widzenia komputerowego na czysto syntetycznych obrazach i jak model może nadal niezawodnie rozpoznawać obiekty w świecie rzeczywistym. Oszczędza to znacznego nakładu pracy ręcznej podczas zbierania i oznaczania danych treningowych. Dzięki tej eksploracji Dassault Systèmes rozszerza wartość biznesową modeli produktów 3D tworzonych przez projektantów i inżynierów, ponieważ można teraz używać danych CAD, CAE i PLM w systemach rozpoznawania obrazów w świecie fizycznym.

Aby uzyskać więcej informacji o kluczowych funkcjach i przypadkach użycia Rekognition Custom Labels, zobacz Etykiety niestandardowe Amazon Rekognition. Jeśli twoje obrazy nie są natywnie oznakowane Ground Truth, co miało miejsce w przypadku tego projektu, zobacz Tworzenie pliku manifestu aby przekonwertować dane etykietowania na format, który mogą być używane przez niestandardowe etykiety rozpoznawania.

O autorach

Woody'ego Borraccino jest obecnie starszym architektem rozwiązań uczenia maszynowego w AWS. Mieszkając w Mediolanie we Włoszech, Woody pracował nad rozwojem oprogramowania, zanim dołączył do AWS w 2015 roku, gdzie jego rozwój to pasja do technologii komputerowych i przetwarzania przestrzennego (AR/VR/XR). Jego pasja skupia się teraz na innowacjach metaverse. Podążaj za nim dalej LinkedIn.

Ying HouDr , jest architektem prototypowania uczenia maszynowego w AWS. Jej główne obszary zainteresowań to Deep Learning, Computer Vision, NLP i przewidywanie szeregów czasowych. W wolnym czasie lubi czytać powieści i wędrować po parkach narodowych w Wielkiej Brytanii.

Bernarda Paquesa jest obecnie dyrektorem ds. technologii w Storm Reply, skupiającym się na rozwiązaniach przemysłowych wdrażanych na AWS. Bernard z siedzibą w Paryżu we Francji pracował wcześniej jako główny architekt rozwiązań i główny konsultant w AWS. Jego wkład w modernizację przedsiębiorstwa obejmuje AWS for Industrial, AWS CDK, a teraz obejmują one Green IT i systemy głosowe. Podążaj za nim dalej Twitter.

Karol Herkt jest obecnie starszym strategiem w Dassault Systèmes 3DExcite. Z siedzibą w Monachium w Niemczech tworzy innowacyjne wdrożenia wizji komputerowej, które przynoszą wymierne rezultaty. Podążaj za nim dalej LinkedIn.

• Coinsmart. Najlepsza w Europie giełda bitcoinów i kryptowalut.
• Platoblockchain. Web3 Inteligencja Metaverse. Wzmocniona wiedza. DARMOWY DOSTĘP.
• CryptoJastrząb. Radar Altcoin. Bezpłatna wersja próbna.
• Źródło: https://aws.amazon.com/blogs/machine-learning/computer-vision-using-synthetic-datasets-with-amazon-rekognition-custom-labels-and-dassault-systemes-3dexcite/