Σωλήνας αύξησης εικόνας για το Amazon Lookout for Vision

Amazon Lookout for Vision παρέχει μια υπηρεσία ανίχνευσης ανωμαλιών που βασίζεται στη μηχανική μάθηση (ML) για τον εντοπισμό κανονικών εικόνων (δηλ. εικόνες αντικειμένων χωρίς ελαττώματα) έναντι ανώμαλων εικόνων (δηλαδή, εικόνες αντικειμένων με ελαττώματα), είδη ανωμαλιών (π.χ. λείπει κομμάτι) και τη θέση αυτών των ανωμαλιών. Επομένως, το Lookout for Vision είναι δημοφιλές μεταξύ των πελατών που αναζητούν αυτοματοποιημένες λύσεις για βιομηχανική επιθεώρηση ποιότητας (π.χ. ανίχνευση μη φυσιολογικών προϊόντων). Ωστόσο, τα σύνολα δεδομένων των πελατών αντιμετωπίζουν συνήθως δύο προβλήματα:

1. Ο αριθμός των εικόνων με ανωμαλίες μπορεί να είναι πολύ χαμηλός και ενδέχεται να μην φθάσει τις ανωμαλίες/τύπου ελαττώματος που επιβάλλονται από το Lookout for Vision (~20).
2. Οι κανονικές εικόνες μπορεί να μην έχουν αρκετή ποικιλομορφία και μπορεί να έχουν ως αποτέλεσμα την αποτυχία του μοντέλου όταν οι περιβαλλοντικές συνθήκες όπως ο φωτισμός αλλάζουν στην παραγωγή

Για να ξεπεραστούν αυτά τα προβλήματα, αυτή η ανάρτηση εισάγει έναν αγωγό αύξησης εικόνας που στοχεύει και τα δύο προβλήματα: Παρέχει έναν τρόπο δημιουργίας συνθετικών ανώμαλων εικόνων αφαιρώντας αντικείμενα στις εικόνες και δημιουργεί πρόσθετες κανονικές εικόνες εισάγοντας ελεγχόμενη αύξηση, όπως θόρυβο Gaussian, απόχρωση, κορεσμός, pixel κλιμάκωση αξίας κλπ. Χρησιμοποιούμε το imgaug βιβλιοθήκη για την εισαγωγή της αύξησης για τη δημιουργία πρόσθετων ανώμαλων και κανονικών εικόνων για το δεύτερο πρόβλημα. Χρησιμοποιούμε Amazon Sagemaker Ground Truth για τη δημιουργία μάσκες αφαίρεσης αντικειμένων και το Ιερέας του βούδα αλγόριθμος για την αφαίρεση αντικειμένων για το πρώτο πρόβλημα χρησιμοποιώντας τεχνικές ζωγραφικής εικόνων (αφαίρεση αντικειμένων).

Η υπόλοιπη ανάρτηση οργανώνεται ως εξής. Στην Ενότητα 3, παρουσιάζουμε τον αγωγό αύξησης εικόνας για κανονικές εικόνες. Στην Ενότητα 4, παρουσιάζουμε τη διοχέτευση αύξησης εικόνας για μη φυσιολογικές εικόνες (γνωστή και ως δημιουργία συνθετικών ελαττωμάτων). Η ενότητα 5 απεικονίζει τα αποτελέσματα εκπαίδευσης Lookout for Vision χρησιμοποιώντας το επαυξημένο σύνολο δεδομένων. Η ενότητα 6 δείχνει πώς λειτουργεί το μοντέλο Lookout for Vision που έχει εκπαιδευτεί σε συνθετικά δεδομένα έναντι πραγματικών ελαττωμάτων. Στην Ενότητα 7, μιλάμε για εκτίμηση κόστους για αυτήν τη λύση. Είναι δυνατή η πρόσβαση σε όλο τον κώδικα που χρησιμοποιήσαμε για αυτήν την ανάρτηση εδώ.

1. Επισκόπηση λύσης

Διάγραμμα ML

Ακολουθεί το διάγραμμα της προτεινόμενης διοχέτευσης αύξησης εικόνας για την εκπαίδευση του μοντέλου εντοπισμού ανωμαλιών του Lookout for Vision:

Το παραπάνω διάγραμμα ξεκινά με τη συλλογή μιας σειράς εικόνων (βήμα 1). Αυξάνουμε το σύνολο δεδομένων αυξάνοντας τις κανονικές εικόνες (βήμα 3) και χρησιμοποιώντας αλγόριθμους αφαίρεσης αντικειμένων (βήματα 2, 5-6). Στη συνέχεια συσκευάζουμε τα δεδομένα σε μορφή που μπορεί να καταναλωθεί από το Amazon Lookout for Vision (βήματα 7-8). Τέλος, στο βήμα 9, χρησιμοποιούμε τα συσκευασμένα δεδομένα για να εκπαιδεύσουμε ένα μοντέλο τοπικής προσαρμογής Lookout for Vision.

Αυτός ο αγωγός αύξησης εικόνας δίνει στους πελάτες ευελιξία για τη δημιουργία συνθετικών ελαττωμάτων στο περιορισμένο σύνολο δεδομένων δείγματος, καθώς και για την προσθήκη μεγαλύτερης ποσότητας και ποικιλίας σε κανονικές εικόνες. Θα ενίσχυε την απόδοση της υπηρεσίας Lookout for Vision, επιλύοντας το πρόβλημα έλλειψης δεδομένων πελατών και καθιστώντας τη διαδικασία αυτοματοποιημένου ποιοτικού ελέγχου πιο ομαλή.

2. Προετοιμασία δεδομένων

Από εδώ μέχρι το τέλος της ανάρτησης, χρησιμοποιούμε το κοινό FICS-PCB: Ένα σύνολο δεδομένων εικόνας πολλαπλών τρόπων για αυτοματοποιημένη οπτική επιθεώρηση πλακέτας τυπωμένου κυκλώματος σύνολο δεδομένων με άδεια βάσει α Άδεια Creative Commons Attribution 4.0 International (CC BY 4.0). για να απεικονίσει τον αγωγό αύξησης εικόνας και τη συνακόλουθη εκπαίδευση και δοκιμή του Lookout for Vision. Αυτό το σύνολο δεδομένων έχει σχεδιαστεί για να υποστηρίζει την αξιολόγηση αυτοματοποιημένων συστημάτων οπτικής επιθεώρησης PCB. Συλλέχτηκε στο εργαστήριο SeCurity and AssuraNce (SCAN) στο Πανεπιστήμιο της Φλόριντα. Είναι δυνατή η πρόσβαση εδώ.

Ξεκινάμε με την υπόθεση ότι ο πελάτης παρέχει μόνο μια κανονική εικόνα μιας πλακέτας PCB (ένα δείγμα PCB s10) ως σύνολο δεδομένων. Μπορεί να φανεί ως εξής:

3. Αύξηση εικόνας για κανονικές εικόνες

Η υπηρεσία Lookout for Vision απαιτεί τουλάχιστον 20 κανονικές εικόνες και 20 ανωμαλίες ανά τύπο ελαττώματος. Εφόσον υπάρχει μόνο μία κανονική εικόνα από τα δείγματα δεδομένων, πρέπει να δημιουργήσουμε πιο κανονικές εικόνες χρησιμοποιώντας τεχνικές αύξησης εικόνας. Από την άποψη της ML, η τροφοδοσία πολλαπλών μετασχηματισμών εικόνας χρησιμοποιώντας διαφορετικές τεχνικές αύξησης μπορεί να βελτιώσει την ακρίβεια και την ευρωστία του μοντέλου.

Θα χρησιμοποιήσουμε imgaug για αύξηση εικόνας κανονικών εικόνων. Το Imgaug είναι ένα πακέτο python ανοιχτού κώδικα που σας επιτρέπει να αυξήσετε τις εικόνες σε πειράματα ML.

Αρχικά, θα εγκαταστήσουμε το imgaug βιβλιοθήκη σε μια Amazon Sage Maker σημειωματάριο.

pip install imgaug

Στη συνέχεια, μπορούμε να εγκαταστήσουμε το πακέτο python με το όνομα 'IPyPlot'.

pip install ipyplot

Στη συνέχεια, πραγματοποιούμε αύξηση εικόνας της αρχικής εικόνας χρησιμοποιώντας μετασχηματισμούς συμπεριλαμβανομένων GammaContrast, SigmoidContrast, να LinearContrast, και προσθέτοντας Gaussian θόρυβο στην εικόνα.

import imageio
import imgaug as ia
import imgaug.augmenters as iaa
import ipyplot
input_img = imageio.imread('s10.png')
noise=iaa.AdditiveGaussianNoise(10,40)
input_noise=noise.augment_image(input_img)
contrast=iaa.GammaContrast((0.5, 2.0))
contrast_sig = iaa.SigmoidContrast(gain=(5, 10), cutoff=(0.4, 0.6))
contrast_lin = iaa.LinearContrast((0.6, 0.4))
input_contrast = contrast.augment_image(input_img)
sigmoid_contrast = contrast_sig.augment_image(input_img)
linear_contrast = contrast_lin.augment_image(input_img)
images_list=[input_img, input_contrast,sigmoid_contrast,linear_contrast,input_noise]
labels = ['Original', 'Gamma Contrast','SigmoidContrast','LinearContrast','Gaussian Noise Image']
ipyplot.plot_images(images_list,labels=labels,img_width=180)

Δεδομένου ότι χρειαζόμαστε τουλάχιστον 20 κανονικές εικόνες και όσο περισσότερες τόσο το καλύτερο, δημιουργήσαμε 10 επαυξημένες εικόνες για κάθε έναν από τους 4 μετασχηματισμούς που εμφανίζονται παραπάνω ως το κανονικό σύνολο δεδομένων εικόνων. Στο μέλλον, σχεδιάζουμε επίσης να μεταμορφώσουμε τις εικόνες που θα τοποθετηθούν σε διαφορετικές τοποθεσίες και διαφορετικούς αγγέλους, έτσι ώστε το εκπαιδευμένο μοντέλο να μπορεί να είναι λιγότερο ευαίσθητο στην τοποθέτηση του αντικειμένου σε σχέση με τη σταθερή κάμερα.

4. Δημιουργία συνθετικών ελαττωμάτων για αύξηση μη φυσιολογικών εικόνων

Σε αυτήν την ενότητα, παρουσιάζουμε έναν αγωγό δημιουργίας συνθετικών ελαττωμάτων για να αυξήσουμε τον αριθμό των εικόνων με ανωμαλίες στο σύνολο δεδομένων. Σημειώστε ότι, σε αντίθεση με την προηγούμενη ενότητα όπου δημιουργούμε νέα κανονικά δείγματα από υπάρχοντα κανονικά δείγματα, εδώ, δημιουργούμε νέες εικόνες ανωμαλιών από κανονικά δείγματα. Αυτό είναι ένα ελκυστικό χαρακτηριστικό για πελάτες που στερούνται εντελώς αυτού του είδους εικόνων στα σύνολα δεδομένων τους, π.χ. αφαίρεση ενός στοιχείου της κανονικής πλακέτας PCB. Αυτός ο αγωγός δημιουργίας συνθετικών ελαττωμάτων έχει τρία βήματα: πρώτον, δημιουργούμε συνθετικές μάσκες από προέλευση (κανονικές) εικόνες χρησιμοποιώντας το Amazon SageMaker Ground Truth. Σε αυτήν την ανάρτηση, στοχεύουμε σε έναν συγκεκριμένο τύπο ελαττώματος: στοιχείο που λείπει. Αυτή η δημιουργία μάσκας παρέχει μια εικόνα μάσκας και ένα αρχείο δήλωσης. Δεύτερον, το αρχείο δήλωσης πρέπει να τροποποιηθεί και να μετατραπεί σε αρχείο εισόδου για ένα τελικό σημείο SageMaker. Και τρίτον, το αρχείο εισόδου εισάγεται σε ένα τελικό σημείο αφαίρεσης αντικειμένου SageMaker υπεύθυνο για την αφαίρεση των τμημάτων της κανονικής εικόνας που υποδεικνύονται από τη μάσκα. Αυτό το τελικό σημείο παρέχει την προκύπτουσα μη φυσιολογική εικόνα.

4.1 Δημιουργήστε μάσκες συνθετικών ελαττωμάτων χρησιμοποιώντας το Amazon SageMaker Ground Truth

Amazon Sagemaker Ground Truth για την επισήμανση δεδομένων

Το Amazon SageMaker Ground Truth είναι μια υπηρεσία επισήμανσης δεδομένων που διευκολύνει την επισήμανση δεδομένων και σας δίνει την επιλογή να χρησιμοποιήσετε ανθρώπινους σχολιαστές μέσω Αμαζόν Μηχανολόγος Τούρκος, τρίτους προμηθευτές ή το δικό σας ιδιωτικό εργατικό δυναμικό. Μπορείτε να ακολουθήσετε αυτό το σεμινάριο για να δημιουργήσετε μια εργασία επισήμανσης.

Σε αυτήν την ενότητα, θα δείξουμε πώς χρησιμοποιούμε Amazon SageMaker Ground Αλήθεια για να επισημάνετε συγκεκριμένα "εξαρτήματα" σε κανονικές εικόνες που θα αφαιρεθούν στο επόμενο βήμα. Σημειώστε ότι μια βασική συνεισφορά αυτής της ανάρτησης είναι ότι δεν χρησιμοποιούμε το Amazon SageMaker Ground Truth με τον παραδοσιακό του τρόπο (δηλαδή για την επισήμανση εικόνων εκπαίδευσης). Εδώ, το χρησιμοποιούμε για να δημιουργήσουμε μια μάσκα για μελλοντική αφαίρεση σε κανονικές εικόνες. Αυτές οι αφαιρέσεις σε κανονικές εικόνες θα δημιουργήσουν τα συνθετικά ελαττώματα.

Για τους σκοπούς αυτής της ανάρτησης, στην εργασία επισήμανσης θα αφαιρέσουμε τεχνητά έως και τρία εξαρτήματα από την πλακέτα PCB: IC, αντίσταση1 και αντίσταση2. Αφού εισαγάγετε την εργασία επισήμανσης ως ετικέτα, μπορείτε να επιλέξετε το όνομα της ετικέτας και να σχεδιάσετε μια μάσκα οποιουδήποτε σχήματος γύρω από το στοιχείο που θέλετε να αφαιρέσετε από την εικόνα ως συνθετικό ελάττωμα. Λάβετε υπόψη ότι δεν μπορείτε να συμπεριλάβετε το '_' στο όνομα της ετικέτας για αυτό το πείραμα, καθώς χρησιμοποιούμε το '_' για να διαχωρίσουμε διαφορετικά μεταδεδομένα στο όνομα ελαττώματος αργότερα στον κώδικα.

Στην παρακάτω εικόνα, σχεδιάζουμε μια πράσινη μάσκα γύρω από το IC (Integrated Circuit), μια μπλε μάσκα γύρω από την αντίσταση 1 και μια πορτοκαλί μάσκα γύρω από την αντίσταση 2.

Αφού επιλέξουμε το υποβάλουν κουμπί, το Amazon SageMaker Ground Truth θα δημιουργήσει μια μάσκα εξόδου με λευκό φόντο και ένα αρχείο δήλωσης ως εξής:

{"source-ref":"s3://pcbtest22/label/s10.png","s10-label-ref":"s3://pcbtest22/label/s10-label/annotations/consolidated-annotation/output/0_2022-09-08T18:01:51.334016.png","s10-label-ref-metadata":{"internal-color-map":{"0":{"class-name":"BACKGROUND","hex-color":"#ffffff","confidence":0},"1":{"class-name":"IC","hex-color":"#2ca02c","confidence":0},"2":{"class-name":"resistor_1","hex-color":"#1f77b4","confidence":0},"3":{"class-name":"resistor_2","hex-color":"#ff7f0e","confidence":0}},"type":"groundtruth/semantic-segmentation","human-annotated":"yes","creation-date":"2022-09-08T18:01:51.498525","job-name":"labeling-job/s10-label"}}

Σημειώστε ότι μέχρι στιγμής δεν έχουμε δημιουργήσει μη φυσιολογικές εικόνες. Μόλις σημειώσαμε τα τρία στοιχεία που θα αφαιρεθούν τεχνητά και των οποίων η αφαίρεση θα δημιουργήσει μη φυσιολογικές εικόνες. Αργότερα, θα χρησιμοποιήσουμε και (1) την παραπάνω εικόνα μάσκας και (2) τις πληροφορίες από το αρχείο δήλωσης ως εισόδους για τη διοχέτευση δημιουργίας μη κανονικής εικόνας. Η επόμενη ενότητα δείχνει πώς να προετοιμάσετε την είσοδο για το τελικό σημείο του SageMaker.

4.2 Προετοιμασία εισόδου για το τελικό σημείο του SageMaker

Μετατρέψτε τη δήλωση Amazon SageMaker Ground Truth ως αρχείο εισόδου τελικού σημείου SageMaker

Αρχικά, δημιουργήσαμε ένα Υπηρεσία απλής αποθήκευσης Amazon (Amazon S3) κάδος για την αποθήκευση όλων των εισόδων και εξόδων για τη σωλήνωση αύξησης εικόνας. Στην ανάρτηση, χρησιμοποιούμε έναν κάδο S3 με το όνομα qualityinspection. Στη συνέχεια, δημιουργούμε όλες τις επαυξημένες κανονικές εικόνες και τις ανεβάζουμε σε αυτόν τον κάδο S3.

from PIL import Image 
import os 
import shutil 
import boto3

s3=boto3.client('s3')

# make the image directory
dir_im="images"
if not os.path.isdir(dir_im):
    os.makedirs(dir_im)
# create augmented images from original image
input_img = imageio.imread('s10.png')

for i in range(10):
    noise=iaa.AdditiveGaussianNoise(scale=0.2*255)
    contrast=iaa.GammaContrast((0.5,2))
    contrast_sig = iaa.SigmoidContrast(gain=(5,20), cutoff=(0.25, 0.75))
    contrast_lin = iaa.LinearContrast((0.4,1.6))
      
    input_noise=noise.augment_image(input_img)
    input_contrast = contrast.augment_image(input_img)
    sigmoid_contrast = contrast_sig.augment_image(input_img)
    linear_contrast = contrast_lin.augment_image(input_img)
      
    im_noise = Image.fromarray(input_noise)
    im_noise.save(f'{dir_im}/input_noise_{i}.png')

    im_input_contrast = Image.fromarray(input_contrast)
    im_input_contrast.save(f'{dir_im}/contrast_sig_{i}.png')

    im_sigmoid_contrast = Image.fromarray(sigmoid_contrast)
    im_sigmoid_contrast.save(f'{dir_im}/sigmoid_contrast_{i}.png')

    im_linear_contrast = Image.fromarray(linear_contrast)
    im_linear_contrast.save(f'{dir_im}/linear_contrast_{i}.png')
    
# move original image to image augmentation folder
shutil.move('s10.png','images/s10.png')
# list all the images in the image directory
imlist =  [file for file in os.listdir(dir_im) if file.endswith('.png')]

# upload augmented images to an s3 bucket
s3_bucket='qualityinspection'
for i in range(len(imlist)):
    with open('images/'+imlist[i], 'rb') as data:
        s3.upload_fileobj(data, s3_bucket, 'images/'+imlist[i])

# get the image s3 locations
im_s3_list=[]
for i in range(len(imlist)):
    image_s3='s3://qualityinspection/images/'+imlist[i]
    im_s3_list.append(image_s3)

Στη συνέχεια, κατεβάζουμε τη μάσκα από το Amazon SageMaker Ground Truth και την ανεβάζουμε σε έναν φάκελο με το όνομα 'mask' σε αυτόν τον κάδο S3.

# download Ground Truth annotation mask image to local from the Ground Truth s3 folder
s3.download_file('pcbtest22', 'label/S10-label3/annotations/consolidated-annotation/output/0_2022-09-09T17:25:31.918770.png', 'mask.png')
# upload mask to mask folder
s3.upload_file('mask.png', 'qualityinspection', 'mask/mask.png')

Μετά από αυτό, κατεβάζουμε το αρχείο δήλωσης από την εργασία επισήμανσης του Amazon SageMaker Ground Truth και το διαβάζουμε ως γραμμές json.

import json
#download output manifest to local
s3.download_file('pcbtest22', 'label/S10-label3/manifests/output/output.manifest', 'output.manifest')
# read the manifest file
with open('output.manifest','rt') as the_new_file:
    lines=the_new_file.readlines()
    for line in lines:
        json_line = json.loads(line)

Τέλος, δημιουργούμε ένα λεξικό εισόδου το οποίο καταγράφει τη θέση S3 της εικόνας εισόδου, τη θέση μάσκας, τις πληροφορίες μάσκας κ.λπ., την αποθηκεύει ως αρχείο txt και, στη συνέχεια, την ανεβάζει στον φάκελο «εισαγωγή» του κάδου προορισμού S3.

# create input dictionary
input_dat=dict()
input_dat['input-image-location']=im_s3_list
input_dat['mask-location']='s3://qualityinspection/mask/mask.png'
input_dat['mask-info']=json_line['S10-label3-ref-metadata']['internal-color-map']
input_dat['output-bucket']='qualityinspection'
input_dat['output-project']='synthetic_defect'

# Write the input as a txt file and upload it to s3 location
input_name='input.txt'
with open(input_name, 'w') as the_new_file:
    the_new_file.write(json.dumps(input_dat))
s3.upload_file('input.txt', 'qualityinspection', 'input/input.txt')

Το παρακάτω είναι ένα δείγμα αρχείου εισαγωγής:

{"input-image-location": ["s3://qualityinspection/images/s10.png", ... "s3://qualityinspection/images/contrast_sig_1.png"], "mask-location": "s3://qualityinspection/mask/mask.png", "mask-info": {"0": {"class-name": "BACKGROUND", "hex-color": "#ffffff", "confidence": 0}, "1": {"class-name": "IC", "hex-color": "#2ca02c", "confidence": 0}, "2": {"class-name": "resistor1", "hex-color": "#1f77b4", "confidence": 0}, "3": {"class-name": "resistor2", "hex-color": "#ff7f0e", "confidence": 0}}, "output-bucket": "qualityinspection", "output-project": "synthetic_defect"}

4.3 Δημιουργήστε Asynchronous SageMaker endpoint για να δημιουργήσετε συνθετικά ελαττώματα με στοιχεία που λείπουν

4.3.1 Μοντέλο LaMa

Για να αφαιρέσουμε στοιχεία από την αρχική εικόνα, χρησιμοποιούμε ένα μοντέλο PyTorch ανοιχτού κώδικα που ονομάζεται LaMa from LaMa: Μεγάλες μάσκες ανθεκτικές στην ανάλυση που βάφονται με συνελίξεις Fourier. Είναι ένα μοντέλο ζωγραφικής μεγάλης μάσκας με στιβαρή ανάλυση με περιελίξεις Fourier που αναπτύχθηκε από τη Samsung AI. Οι είσοδοι για το μοντέλο είναι μια εικόνα και μια ασπρόμαυρη μάσκα και η έξοδος είναι μια εικόνα με αφαιρεμένα τα αντικείμενα μέσα στη μάσκα. Χρησιμοποιούμε το Amazon SageMaker Ground Truth για να δημιουργήσουμε την αρχική μάσκα και στη συνέχεια να τη μετατρέψουμε σε ασπρόμαυρη μάσκα όπως απαιτείται. Η εφαρμογή μοντέλου LaMa παρουσιάζεται ως εξής:

4.3.2 Παρουσίαση του Amazon SageMaker Asynchronous Inference 

Amazon SageMaker Asynchronous Inference είναι μια νέα επιλογή συμπερασμάτων σε Amazon Sage Maker που θέτει σε ουρά τα εισερχόμενα αιτήματα και τα επεξεργάζεται ασύγχρονα. Το ασύγχρονο συμπέρασμα δίνει τη δυνατότητα στους χρήστες να εξοικονομήσουν κόστος με την αυτόματη κλιμάκωση του αριθμού παρουσιών στο μηδέν όταν δεν υπάρχουν αιτήματα για επεξεργασία. Αυτό σημαίνει ότι πληρώνετε μόνο όταν το τελικό σημείο σας επεξεργάζεται αιτήματα. Η νέα επιλογή ασύγχρονης εξαγωγής συμπερασμάτων είναι ιδανική για φόρτους εργασίας όπου τα μεγέθη αιτημάτων είναι μεγάλα (έως 1 GB) και οι χρόνοι επεξεργασίας συμπερασμάτων είναι της τάξης των λεπτών. Ο κώδικας για την ανάπτυξη και την κλήση του τελικού σημείου είναι εδώ.

4.3.3 Ανάπτυξη τελικού σημείου

Για να αναπτύξουμε το ασύγχρονο τελικό σημείο, πρέπει πρώτα να λάβουμε το IAM ρόλο και ρυθμίστε ορισμένες μεταβλητές περιβάλλοντος.

from sagemaker import get_execution_role
from sagemaker.pytorch import PyTorchModel
import boto3

role = get_execution_role()
env = dict()
env['TS_MAX_REQUEST_SIZE'] = '1000000000'
env['TS_MAX_RESPONSE_SIZE'] = '1000000000'
env['TS_DEFAULT_RESPONSE_TIMEOUT'] = '1000000'
env['DEFAULT_WORKERS_PER_MODEL'] = '1'

Όπως αναφέραμε προηγουμένως, χρησιμοποιούμε το μοντέλο PyTorch ανοιχτού κώδικα LaMa: Μεγάλες μάσκες ανθεκτικές στην ανάλυση που βάφονται με συνελίξεις Fourier και το προεκπαιδευμένο μοντέλο έχει ανέβει στο s3://qualityinspection/model/big-lama.tar.gz. ο image_uri δείχνει σε ένα κοντέινερ docker με το απαιτούμενο πλαίσιο και εκδόσεις python.

model = PyTorchModel(
    entry_point="./inference_defect_gen.py",
    role=role,
    source_dir = './',
    model_data='s3://qualityinspection/model/big-lama.tar.gz',
    image_uri = '763104351884.dkr.ecr.us-west-2.amazonaws.com/pytorch-inference:1.11.0-gpu-py38-cu113-ubuntu20.04-sagemaker',
    framework_version="1.7.1",
    py_version="py3",
    env = env,
    model_server_workers=1
)

Στη συνέχεια, πρέπει να καθορίσουμε πρόσθετες παραμέτρους διαμόρφωσης ασύγχρονων συμπερασμάτων κατά τη δημιουργία της διαμόρφωσης τελικού σημείου.

from sagemaker.async_inference.async_inference_config import AsyncInferenceConfig
bucket = 'qualityinspection'
prefix = 'async-endpoint'
async_config = AsyncInferenceConfig(output_path=f"s3://{bucket}/{prefix}/output",max_concurrent_invocations_per_instance=10)

Στη συνέχεια, αναπτύσσουμε το τελικό σημείο σε μια παρουσία ml.g4dn.xlarge εκτελώντας τον ακόλουθο κώδικα:

predictor = model.deploy(
    initial_instance_count=1,
    instance_type='ml.g4dn.xlarge',
    model_server_workers=1,
    async_inference_config=async_config
)

Μετά από περίπου 6-8 λεπτά, το τελικό σημείο δημιουργείται με επιτυχία και θα εμφανιστεί στην κονσόλα SageMaker.

4.3.4 Επίκληση του τελικού σημείου

Στη συνέχεια, χρησιμοποιούμε το αρχείο εισόδου txt που δημιουργήσαμε νωρίτερα ως είσοδο του τελικού σημείου και καλούμε το τελικό σημείο χρησιμοποιώντας τον ακόλουθο κώδικα:

import boto3
runtime= boto3.client('runtime.sagemaker')
response = runtime.invoke_endpoint_async(EndpointName='pytorch-inference-2022-09-16-02-04-37-888',
                                   InputLocation='s3://qualityinspection/input/input.txt')

Η παραπάνω εντολή θα ολοκληρώσει την εκτέλεση αμέσως. Ωστόσο, το συμπέρασμα θα συνεχιστεί για αρκετά λεπτά μέχρι να ολοκληρώσει όλες τις εργασίες και να επιστρέψει όλες τις εξόδους στον κάδο S3.

4.3.5 Ελέγξτε το αποτέλεσμα συμπερασμάτων του τελικού σημείου 

Αφού επιλέξετε το τελικό σημείο, θα δείτε την περίοδο λειτουργίας παρακολούθησης. Επιλέξτε «Προβολή αρχείων καταγραφής» για να ελέγξετε τα αποτελέσματα συμπερασμάτων στην κονσόλα.

Δύο εγγραφές καταγραφής θα εμφανιστούν στις ροές καταγραφής. Αυτός που ονομάζεται data-log θα εμφανίσει το τελικό αποτέλεσμα συμπερασμάτων, ενώ η άλλη εγγραφή καταγραφής θα εμφανίσει τις λεπτομέρειες του συμπεράσματος, το οποίο συνήθως χρησιμοποιείται για σκοπούς εντοπισμού σφαλμάτων.

Εάν το αίτημα συμπερασμάτων πετύχει, τότε θα δείτε το μήνυμα: Inference request succeeded.στο αρχείο καταγραφής δεδομένων και λάβετε επίσης πληροφορίες για τη συνολική καθυστέρηση του μοντέλου, τον συνολικό χρόνο διεργασίας κ.λπ. στο μήνυμα. Εάν το συμπέρασμα αποτύχει, ελέγξτε το άλλο αρχείο καταγραφής για εντοπισμό σφαλμάτων. Μπορείτε επίσης να ελέγξετε το αποτέλεσμα ψηφίζοντας την κατάσταση του αιτήματος συμπερασμάτων. Μάθετε περισσότερα για το συμπέρασμα Asynchronous του Amazon SageMaker εδώ.

4.3.6 Δημιουργία συνθετικών ελαττωμάτων με εξαρτήματα που λείπουν χρησιμοποιώντας το τελικό σημείο

Θα ολοκληρώσουμε τέσσερις εργασίες στο τελικό σημείο:

1. Η υπηρεσία εντοπισμού ανωμαλιών Lookout for Vision απαιτεί ένα ελάττωμα ανά εικόνα στο σύνολο δεδομένων εκπαίδευσης για τη βελτιστοποίηση της απόδοσης του μοντέλου. Επομένως, πρέπει να διαχωρίσουμε τις μάσκες για διαφορετικά ελαττώματα στο τελικό σημείο με φιλτράρισμα χρώματος.
   
2. Διαχωρίστε το σύνολο δεδομένων αμαξοστοιχίας/δοκιμών για να ικανοποιήσετε την ακόλουθη απαίτηση:
   • τουλάχιστον 10 κανονικές εικόνες και 10 ανωμαλίες για το σύνολο δεδομένων τρένου
   • ένα ελάττωμα/εικόνα στο σύνολο δεδομένων τρένου
   • τουλάχιστον 10 κανονικές εικόνες και 10 ανωμαλίες για το σύνολο δεδομένων δοκιμής
   • Επιτρέπονται πολλαπλά ελαττώματα ανά εικόνα για το σύνολο δεδομένων δοκιμής
3. Δημιουργήστε συνθετικά ελαττώματα και μεταφορτώστε τα στις τοποθεσίες-στόχους S3.

Δημιουργούμε ένα ελάττωμα ανά εικόνα και περισσότερα από 20 ελαττώματα ανά κατηγορία για το σύνολο δεδομένων τρένου, καθώς και 1-3 ελαττώματα ανά εικόνα και περισσότερα από 20 ελαττώματα ανά κατηγορία για το σύνολο δεδομένων δοκιμής.

Το παρακάτω είναι ένα παράδειγμα της εικόνας πηγής και των συνθετικών ελαττωμάτων της με τρία στοιχεία: λείπει το IC, η αντίσταση1 και η αντίσταση 2.

αρχική εικόνα

40_im_mask_IC_resistor1_resistor2.jpg (το όνομα του ελαττώματος υποδεικνύει τα στοιχεία που λείπουν)

4.  Δημιουργήστε αρχεία δήλωσης για σύνολο δεδομένων τρένου/δοκιμών που καταγράφουν όλες τις παραπάνω πληροφορίες.

Τέλος, θα δημιουργήσουμε δηλωτικά τρένου/δοκιμών για να καταγράψουμε πληροφορίες, όπως θέση συνθετικού ελαττώματος S3, θέση μάσκας S3, κατηγορία ελαττώματος, χρώμα μάσκας κ.λπ.

Ακολουθούν δείγματα γραμμών json για μια ανωμαλία και μια κανονική εικόνα στο μανιφέστο.

Για ανωμαλία:

{"source-ref": "s3://qualityinspection/synthetic_defect/anomaly/train/6_im_mask_IC.jpg", "auto-label": 11, "auto-label-metadata": {"class-name": "anomaly", "type": "groundtruth/image-classification"}, "anomaly-mask-ref": "s3://qualityinspection/synthetic_defect/mask/MixMask/mask_IC.png", "anomaly-mask-ref-metadata": {"internal-color-map": {"0": {"class-name": "IC", "hex-color": "#2ca02c", "confidence": 0}}, "type": "groundtruth/semantic-segmentation"}}

Για κανονική εικόνα:

{"source-ref": "s3://qualityinspection/synthetic_defect/normal/train/25_im.jpg", "auto-label": 12, "auto-label-metadata": {"class-name": "normal", "type": "groundtruth/image-classification"}}

4.3.7 Δομή φακέλου Amazon S3

Η είσοδος και η έξοδος του τελικού σημείου αποθηκεύονται στον κάδο στόχο S3 με την ακόλουθη δομή:

5 Lookout for Vision εκπαίδευση και αποτέλεσμα

5.1 Ρυθμίστε ένα έργο, ανεβάστε δεδομένα και ξεκινήστε την εκπαίδευση μοντέλων. 

1. Αρχικά, μπορείτε να μεταβείτε στο Lookout for Vision από το Κονσόλα AWS και δημιουργήστε ένα έργο.
   
2. Στη συνέχεια, μπορείτε να δημιουργήσετε ένα σύνολο δεδομένων εκπαίδευσης επιλέγοντας Εισαγάγετε εικόνες με ετικέτα SageMaker Ground Truth και δώστε τη θέση Amazon S3 της δήλωσης δεδομένων τρένου που δημιουργήθηκε από το τελικό σημείο του SageMaker.
   
3. Στη συνέχεια, μπορείτε να δημιουργήσετε ένα δοκιμαστικό σύνολο δεδομένων επιλέγοντας Εισαγάγετε εικόνες με ετικέτα SageMaker Ground Truth ξανά και δώστε τη θέση Amazon S3 του δοκιμαστικού μανιφέστου δεδομένων που δημιουργήθηκε από το τελικό σημείο του SageMaker.
   
   .......
   ....
4. Μετά την επιτυχή μεταφόρτωση των συνόλων δεδομένων αμαξοστοιχίας και δοκιμής, μπορείτε να επιλέξετε το Μοντέλο αμαξοστοιχίας κουμπί στην επάνω δεξιά γωνία για να ενεργοποιήσετε την εκπαίδευση του μοντέλου εντοπισμού ανωμαλιών.
   ......
5. Στο πείραμά μας, το μοντέλο χρειάστηκε λίγο περισσότερο από μία ώρα για να ολοκληρώσει την εκπαίδευση. Όταν η κατάσταση δείχνει την εκπαίδευση ολοκληρωμένη, μπορείτε να επιλέξετε τον σύνδεσμο μοντέλου για να ελέγξετε το αποτέλεσμα.
   ....
   

5.2 Μοντέλο αποτέλεσμα εκπαίδευσης

5.2.1 Μετρήσεις απόδοσης μοντέλου 

Αφού επιλέξετε στο Μοντέλο 1 όπως φαίνεται παραπάνω, μπορούμε να δούμε από τη βαθμολογία 100% Precision, 100% Recall και 100% F1 ότι η απόδοση του μοντέλου είναι αρκετά καλή. Μπορούμε επίσης να ελέγξουμε την απόδοση ανά ετικέτα (στοιχείο που λείπει) και θα χαρούμε να διαπιστώσουμε ότι οι βαθμολογίες F1 και των τριών ετικετών είναι πάνω από 93% και οι Μέσες IoU είναι πάνω από 85%. Αυτό το αποτέλεσμα είναι ικανοποιητικό για αυτό το μικρό σύνολο δεδομένων που δείξαμε στην ανάρτηση.

5.2.2 Οπτικοποίηση ανίχνευσης συνθετικών ελαττωμάτων στο σύνολο δεδομένων δοκιμής. 

Όπως δείχνει η ακόλουθη εικόνα, κάθε εικόνα θα παραμορφωθεί ως ένα normal or anomaly ετικέτα με βαθμολογία εμπιστοσύνης. Εάν πρόκειται για ανωμαλία, τότε θα εμφανίσει μια μάσκα πάνω από την ανώμαλη περιοχή της εικόνας με διαφορετικό χρώμα για κάθε τύπο ελαττώματος.

Το παρακάτω είναι ένα παράδειγμα συνδυασμένων στοιχείων που λείπουν (τρία ελαττώματα σε αυτήν την περίπτωση) στο σύνολο δεδομένων δοκιμής:

Στη συνέχεια, μπορείτε να μεταγλωττίσετε και να συσκευάσετε το μοντέλο ως AWS IoT Greengrass συστατικό ακολουθώντας τις οδηγίες σε αυτήν την ανάρτηση, Προσδιορίστε τη θέση των ανωμαλιών χρησιμοποιώντας το Amazon Lookout for Vision στην άκρη χωρίς τη χρήση GPUκαι εκτελέστε συμπεράσματα για το μοντέλο.

6. Δοκιμάστε το μοντέλο Lookout for Vision που έχει εκπαιδευτεί σε συνθετικά δεδομένα έναντι πραγματικών ελαττωμάτων

Για να ελέγξουμε εάν το μοντέλο που έχει εκπαιδευτεί στο συνθετικό ελάττωμα μπορεί να αποδώσει καλά έναντι πραγματικών ελαττωμάτων, επιλέξαμε ένα σύνολο δεδομένων (aliens-dataset) από εδώ για να εκτελέσετε ένα πείραμα.

Αρχικά, συγκρίνουμε το παραγόμενο συνθετικό ελάττωμα και το πραγματικό ελάττωμα. Η αριστερή εικόνα είναι ένα πραγματικό ελάττωμα με μια κεφαλή που λείπει και η δεξιά εικόνα είναι ένα ελάττωμα που δημιουργήθηκε με την κεφαλή να αφαιρείται χρησιμοποιώντας ένα μοντέλο ML.

Πραγματικό ελάττωμα

Συνθετικό ελάττωμα

Δεύτερον, χρησιμοποιούμε τις δοκιμαστικές ανιχνεύσεις στο Lookout for Vision για να ελέγξουμε το μοντέλο έναντι του πραγματικού ελαττώματος. Μπορείτε είτε να αποθηκεύσετε τις δοκιμαστικές εικόνες στον κάδο S3 και να τις εισαγάγετε από το Amazon S3 είτε να ανεβάσετε εικόνες από τον υπολογιστή σας. Στη συνέχεια, επιλέξτε Εντοπίστε ανωμαλίες για να εκτελέσετε την ανίχνευση.

Τέλος, μπορείτε να δείτε το αποτέλεσμα πρόβλεψης του πραγματικού ελαττώματος. Το μοντέλο που έχει εκπαιδευτεί σε συνθετικά ελαττώματα μπορεί να ελαττώσει το πραγματικό ελάττωμα με ακρίβεια σε αυτό το πείραμα.

Το μοντέλο που εκπαιδεύεται σε συνθετικά ελαττώματα μπορεί να μην έχει πάντα καλή απόδοση σε πραγματικά ελαττώματα, ειδικά σε πλακέτες κυκλωμάτων που είναι πολύ πιο περίπλοκα από αυτό το δείγμα δεδομένων. Εάν θέλετε να επανεκπαιδεύσετε το μοντέλο με πραγματικά ελαττώματα, τότε μπορείτε να επιλέξετε το πορτοκαλί κουμπί με την ετικέτα Επαληθεύστε τις προβλέψεις του μηχανήματος στην επάνω δεξιά γωνία του αποτελέσματος πρόβλεψης και, στη συνέχεια, ελέγξτε το ως Σωστός or Ανακριβής.

Στη συνέχεια, μπορείτε να προσθέσετε την επαληθευμένη εικόνα και την ετικέτα στο σύνολο δεδομένων εκπαίδευσης επιλέγοντας το πορτοκαλί κουμπί στην επάνω δεξιά γωνία για να βελτιώσετε την απόδοση του μοντέλου.

7. Εκτίμηση κόστους 

Αυτός ο αγωγός αύξησης εικόνας για το Lookout for Vision είναι πολύ οικονομικός. Στο παράδειγμα που φαίνεται παραπάνω, το Amazon SageMaker Ground Truth Labeling, το σημειωματάριο Amazon SageMaker και η ασύγχρονη ανάπτυξη και εξαγωγή συμπερασμάτων τελικού σημείου SageMaker κοστίζουν μόνο λίγα δολάρια. Για την υπηρεσία Lookout for Vision, πληρώνετε μόνο για ό,τι χρησιμοποιείτε. Υπάρχουν τρία στοιχεία που καθορίζουν τον λογαριασμό σας: χρεώσεις για την εκπαίδευση του μοντέλου (ώρες εκπαίδευσης), χρεώσεις για τον εντοπισμό ανωμαλιών στο cloud (ώρες συμπερασμάτων cloud) και/ή χρεώσεις για τον εντοπισμό ανωμαλιών στην άκρη (μονάδες συμπερασμάτων άκρων). Στο πείραμά μας, το μοντέλο Lookout for Vision χρειάστηκε λίγο περισσότερο από μία ώρα για να ολοκληρωθεί η εκπαίδευση και κόστισε 2.00 $ ανά ώρα εκπαίδευσης. Επιπλέον, μπορείτε να χρησιμοποιήσετε το εκπαιδευμένο μοντέλο για συμπέρασμα στο cloud ή στην άκρη με την τιμή που αναγράφεται εδώ.

8. Καθαρίστε

Για να αποφύγετε την επιβολή περιττών χρεώσεων, χρησιμοποιήστε την Κονσόλα για να διαγράψετε τα τελικά σημεία και τους πόρους που δημιουργήσατε κατά την εκτέλεση των ασκήσεων στην ανάρτηση.

1. Ανοίξτε την κονσόλα SageMaker και διαγράψτε τους ακόλουθους πόρους:
   • Το τελικό σημείο. Η διαγραφή του τελικού σημείου διαγράφει επίσης το παράδειγμα υπολογισμού ML ή τις παρουσίες που το υποστηρίζουν.
     1. Κάτω από Συμπέρασμα, επιλέξτε Τελικά σημεία.
     2. Επιλέξτε το τελικό σημείο που δημιουργήσατε στο παράδειγμα, επιλέξτε Δράσεις, και στη συνέχεια επιλέξτε Διαγραφή.
   • Η διαμόρφωση του τελικού σημείου.
     1. Κάτω από Συμπέρασμα, επιλέξτε Διαμορφώσεις τελικού σημείου.
     2. Επιλέξτε τη διαμόρφωση τελικού σημείου που δημιουργήσατε στο παράδειγμα, επιλέξτε Δράσεις, και στη συνέχεια επιλέξτε Διαγραφή.
   • Το μοντέλο.
     1. Κάτω από Συμπέρασμα, επιλέξτε Μοντέλα.
     2. Επιλέξτε το μοντέλο που δημιουργήσατε στο παράδειγμα, επιλέξτε Δράσεις, και στη συνέχεια επιλέξτε Διαγραφή.
   • Το παράδειγμα του σημειωματάριου. Πριν διαγράψετε την παρουσία του σημειωματάριου, σταματήστε την.
     1. Κάτω από σημειωματάριο, επιλέξτε Υποδείγματα σημειωματάριου.
     2. Επιλέξτε την παρουσία του σημειωματάριου που δημιουργήσατε στο παράδειγμα, επιλέξτε Δράσεις, και στη συνέχεια επιλέξτε στάση. Η εμφάνιση του σημειωματάριου διαρκεί αρκετά λεπτά για να σταματήσει. Οταν ο Κατάσταση αλλαγές σε Διακόπηκε, προχωρήστε στο επόμενο βήμα.
     3. Επιλέξτε Δράσεις, και στη συνέχεια επιλέξτε Διαγραφή.
2. Ανοίξτε το Κονσόλα Amazon S3και, στη συνέχεια, διαγράψτε τον κάδο που δημιουργήσατε για την αποθήκευση τεχνουργημάτων μοντέλων και του συνόλου δεδομένων εκπαίδευσης.
3. Ανοίξτε το Κονσόλα Amazon CloudWatchκαι, στη συνέχεια, διαγράψτε όλες τις ομάδες καταγραφής που έχουν ονόματα που ξεκινούν από /aws/sagemaker/.

Μπορείτε επίσης να διαγράψετε το τελικό σημείο από το σημειωματάριο SageMaker εκτελώντας τον ακόλουθο κώδικα:

import boto3
sm_boto3 = boto3.client("sagemaker")
sm_boto3.delete_endpoint(EndpointName='endpoint name')

9. Σύναψη

Σε αυτήν την ανάρτηση, δείξαμε πώς να σχολιάζουμε συνθετικές μάσκες ελαττωμάτων χρησιμοποιώντας το Amazon SageMaker Ground Truth, πώς να χρησιμοποιείτε διαφορετικές τεχνικές αύξησης εικόνας για να μετατρέψετε μια κανονική εικόνα στον επιθυμητό αριθμό κανονικών εικόνων, να δημιουργήσετε ένα ασύγχρονο τελικό σημείο SageMaker και να προετοιμάσετε το αρχείο εισόδου για το τελικό σημείο, καθώς και να καλέσετε το τελικό σημείο. Επιτέλους, δείξαμε πώς να χρησιμοποιήσετε το μανιφέστο τρένου/δοκιμής για να εκπαιδεύσετε ένα μοντέλο εντοπισμού ανωμαλίας του Lookout for Vision. Αυτή η προτεινόμενη διοχέτευση μπορεί να επεκταθεί σε άλλα μοντέλα ML για να δημιουργήσει συνθετικά ελαττώματα και το μόνο που χρειάζεται να κάνετε είναι να προσαρμόσετε το μοντέλο και τον κώδικα συμπερασμάτων στο τελικό σημείο του SageMaker.

Ξεκινήστε εξερευνώντας το Lookout for Vision για αυτοματοποιημένο έλεγχο ποιότητας εδώ.

---

Σχετικά με τους Συγγραφείς

Κάρα Γιανγκ είναι Επιστήμονας Δεδομένων στην AWS Professional Services. Είναι παθιασμένη να βοηθά τους πελάτες να επιτύχουν τους επιχειρηματικούς τους στόχους με τις υπηρεσίες cloud AWS και έχει βοηθήσει οργανισμούς να δημιουργήσουν ολοκληρωμένες λύσεις AI/ML σε πολλούς κλάδους, όπως η κατασκευή, η αυτοκινητοβιομηχανία, η περιβαλλοντική βιωσιμότητα και η αεροδιαστημική.

Octavi Obiols-Sales είναι ένας επιστήμονας υπολογιστών που ειδικεύεται στη βαθιά μάθηση (DL) και στη μηχανική μάθηση, πιστοποιημένος ως συνεργάτης αρχιτέκτονας λύσεων. Με εκτεταμένη γνώση τόσο στο cloud όσο και στο edge, βοηθά στην επιτάχυνση των επιχειρηματικών αποτελεσμάτων μέσω της δημιουργίας λύσεων τεχνητής νοημοσύνης από άκρο σε άκρο. Ο Octavi κέρδισε το διδακτορικό του στην υπολογιστική επιστήμη στο Πανεπιστήμιο της Καλιφόρνια, στο Irvine, όπου ώθησε την τελευταία λέξη της τεχνολογίας στους αλγόριθμους DL+HPC.

Fabian Benitez-Quiroz είναι IoT Edge Data Scientist στις AWS Professional Services. Είναι κάτοχος διδακτορικού διπλώματος στο Computer Vision and Pattern Recognition από το The Ohio State University. Ο Fabian συμμετέχει στο να βοηθά τους πελάτες να εκτελούν τα μοντέλα Machine Learning τους με χαμηλό λανθάνοντα χρόνο σε συσκευές IoT και στο cloud.

Manish Talreja είναι κύριος διευθυντής προϊόντων για λύσεις IoT στην AWS. Είναι παθιασμένος με το να βοηθά τους πελάτες να δημιουργήσουν καινοτόμες λύσεις χρησιμοποιώντας υπηρεσίες AWS IoT και ML στο cloud και στο edge.

Γιουξίν Γιανγκ είναι αρχιτέκτονας AI/ML στο AWS, πιστοποιημένος στην Ειδικότητα Μηχανικής Μάθησης AWS. Επιτρέπει στους πελάτες να επιταχύνουν τα αποτελέσματά τους μέσω της δημιουργίας λύσεων AI/ML από άκρο σε άκρο, συμπεριλαμβανομένης της προγνωστικής συντήρησης, της όρασης υπολογιστή και της ενισχυτικής μάθησης. Η Yuxin απέκτησε το μεταπτυχιακό της από το Πανεπιστήμιο του Στάνφορντ, όπου επικεντρώθηκε στη βαθιά μάθηση και στην ανάλυση μεγάλων δεδομένων.

Yingmao Timothy Li είναι Επιστήμονας Δεδομένων με AWS. Έχει ενταχθεί στην AWS πριν από 11 μήνες και εργάζεται με ένα ευρύ φάσμα υπηρεσιών και τεχνολογιών μηχανικής εκμάθησης για να δημιουργήσει λύσεις για ένα ευρύ φάσμα πελατών. Είναι Διδάκτωρ Ηλεκτρολόγου Μηχανικού. Στον ελεύθερο χρόνο του, του αρέσουν τα υπαίθρια παιχνίδια, οι αγώνες αυτοκινήτων, η κολύμβηση και το να πετάει με έναν αυλητή για να διασχίσει τη χώρα και να εξερευνήσει τον ουρανό.