Το Google DeepMind εκπαιδεύει τον «Τεχνητό Καταιγισμό ιδεών» στο Chess AI | Περιοδικό Quanta

Όταν ο Covid-19 έστειλε ανθρώπους στο σπίτι στις αρχές του 2020, ο επιστήμονας υπολογιστών Τομ Ζάχαβι ανακάλυψε ξανά το σκάκι. Είχε παίξει ως παιδί και πρόσφατα είχε διαβάσει το έργο του Garry Kasparov Βαθιά σκέψη, απομνημονεύματα των αγώνων του grandmaster το 1997 ενάντια στον υπολογιστή σκακιού της IBM, Deep Blue. Παρακολούθησε σκακιστικά βίντεο στο YouTube και Το βασίλειο της Βασίλισσας στο Netflix.

Παρά το ανανεωμένο ενδιαφέρον του, ο Zahavy δεν έψαχνε τρόπους να βελτιώσει το παιχνίδι του. «Δεν είμαι σπουδαίος παίκτης», είπε. «Είμαι καλύτερος στα σκακιστικά παζλ» — συνθέσεις κομματιών, συχνά επινοημένες και απίθανο να προκύψουν κατά τη διάρκεια ενός πραγματικού παιχνιδιού, που προκαλούν έναν παίκτη να βρει δημιουργικούς τρόπους για να κερδίσει το πλεονέκτημα.

Τα παζλ μπορούν να βοηθήσουν τους παίκτες να ακονίσουν τις δεξιότητές τους, αλλά πιο πρόσφατα βοήθησαν να αποκαλυφθούν οι κρυφοί περιορισμοί των προγραμμάτων σκακιού. Ένα από τα πιο διαβόητα παζλ, που επινοήθηκε από τον μαθηματικό Sir Roger Penrose το 2017, βάζει πιο δυνατά μαύρα κομμάτια (όπως η βασίλισσα και οι πύργοι) στο ταμπλό, αλλά σε άβολες θέσεις. Ένας έμπειρος άνθρωπος παίκτης, που έπαιζε λευκό, μπορούσε εύκολα να οδηγήσει το παιχνίδι σε ισοπαλία, αλλά ισχυρά προγράμματα σκακιού υπολογιστή θα έλεγαν ότι το μαύρο είχε ένα σαφές πλεονέκτημα. Αυτή η διαφορά, είπε ο Zahavy, υποδηλώνει ότι παρόλο που οι υπολογιστές μπορούσαν να νικήσουν τους καλύτερους ανθρώπινους παίκτες στον κόσμο, δεν μπορούσαν ακόμη να αναγνωρίσουν και να αντιμετωπίσουν κάθε είδους δύσκολο πρόβλημα. Από τότε, ο Penrose και άλλοι έχουν επινοήσει εκτεταμένες συλλογές παζλ που οι υπολογιστές δυσκολεύονται να λύσουν.

Το σκάκι αποτελεί εδώ και καιρό μια κρίσιμη λίθο για τη δοκιμή νέων ιδεών τεχνητή νοημοσύνη, και οι γρίφοι του Penrose κέντρισαν το ενδιαφέρον του Zahavy. «Προσπαθούσα να καταλάβω τι κάνει αυτές τις θέσεις τόσο δύσκολες για τους υπολογιστές, όταν τουλάχιστον μερικές από αυτές μπορούμε να τις λύσουμε ως άνθρωποι», είπε. «Ήμουν εντελώς γοητευμένος». Σύντομα εξελίχθηκε σε επαγγελματικό ενδιαφέρον: Ως ερευνητής στο Google DeepMind, ο Zahavy εξερευνά δημιουργικές προσεγγίσεις επίλυσης προβλημάτων. Ο στόχος είναι να επινοηθούν συστήματα AI με ένα φάσμα πιθανών συμπεριφορών πέρα ​​από την εκτέλεση μιας μεμονωμένης εργασίας.

Ένα παραδοσιακό πρόγραμμα σκακιού με τεχνητή νοημοσύνη, εκπαιδευμένο για να κερδίζει, μπορεί να μην έχει νόημα για ένα παζλ Penrose, αλλά ο Zahavy υποψιαζόταν ότι ένα πρόγραμμα που αποτελείται από πολλά διαφορετικά συστήματα, που συνεργάζονται ως ομάδα, θα μπορούσε να σημειώσει πρόοδο. Έτσι, αυτός και οι συνάδελφοί του ανέπτυξαν έναν τρόπο να συνδυάζουν πολλαπλά (έως 10) συστήματα AI λήψης αποφάσεων, το καθένα βελτιστοποιημένο και εκπαιδευμένο για διαφορετικές στρατηγικές, ξεκινώντας από το AlphaZero, το ισχυρό πρόγραμμα σκακιού της DeepMind. Το νέο σύστημα, αυτοί αναφέρθηκε τον Αύγουστο, έπαιξε καλύτερα από το AlphaZero μόνο και έδειξε περισσότερη ικανότητα — και περισσότερη δημιουργικότητα — στην αντιμετώπιση των παζλ του Penrose. Αυτές οι ικανότητες προήλθαν, κατά μία έννοια, από την αυτοσυνεργασία: Αν μια προσέγγιση χτυπούσε σε τοίχο, το πρόγραμμα απλώς στρεφόταν σε άλλη.

Αυτή η προσέγγιση έχει βασικά νόημα, είπε Άλισον Λιεμχετσάρατ, επιστήμονας υπολογιστών στο DoorDash που έχει εργαστεί με προσεγγίσεις πολλαπλών πρακτόρων για την επίλυση προβλημάτων στη ρομποτική. "Με έναν πληθυσμό πρακτόρων, υπάρχει μεγαλύτερη πιθανότητα τα παζλ να βρίσκονται στον τομέα στον οποίο έχει εκπαιδευτεί τουλάχιστον ένας από τους πράκτορες."

Η εργασία υποδηλώνει ότι ομάδες διαφορετικών συστημάτων τεχνητής νοημοσύνης θα μπορούσαν να αντιμετωπίσουν αποτελεσματικά δύσκολα προβλήματα πολύ πέρα ​​από το ταμπλό του παιχνιδιού. "Αυτό είναι ένα εξαιρετικό παράδειγμα ότι η αναζήτηση περισσότερων από ενός τρόπων για την επίλυση ενός προβλήματος - όπως η νίκη σε μια παρτίδα σκακιού - παρέχει πολλά οφέλη", είπε. Antoine Cully, ερευνητής τεχνητής νοημοσύνης στο Imperial College του Λονδίνου που δεν συμμετείχε στο έργο DeepMind. Το συνέκρινε με μια τεχνητή εκδοχή ανθρώπινων συνεδριών καταιγισμού ιδεών. «Αυτή η διαδικασία σκέψης οδηγεί σε δημιουργικές και αποτελεσματικές λύσεις που θα έλειπε κανείς χωρίς να κάνει αυτή την άσκηση».

Κυνηγώντας τις αποτυχίες

Πριν ενταχθεί στο DeepMind, ο Zahavy ενδιαφερόταν για τη βαθιά ενισχυτική μάθηση, έναν τομέα της τεχνητής νοημοσύνης στον οποίο ένα σύστημα χρησιμοποιεί νευρωνικά δίκτυα για να μάθει κάποια εργασία μέσω δοκιμής και λάθους. Είναι η βάση για τα πιο ισχυρά προγράμματα σκακιού (και χρησιμοποιείται σε άλλες εφαρμογές τεχνητής νοημοσύνης όπως τα αυτοοδηγούμενα αυτοκίνητα). Το σύστημα ξεκινά από το περιβάλλον του. Στο σκάκι, για παράδειγμα, το περιβάλλον περιλαμβάνει το ταμπλό του παιχνιδιού και πιθανές κινήσεις. Εάν το καθήκον είναι να οδηγείτε ένα αυτοκίνητο, το περιβάλλον περιλαμβάνει τα πάντα γύρω από το όχημα. Στη συνέχεια, το σύστημα παίρνει αποφάσεις, αναλαμβάνει ενέργειες και αξιολογεί πόσο κοντά έφτασε στον στόχο του. Καθώς πλησιάζει στον στόχο, συγκεντρώνει ανταμοιβές και καθώς το σύστημα συγκεντρώνει ανταμοιβές βελτιώνει την απόδοσή του. Το «βαθύ» μέρος αυτής της προσέγγισης περιγράφει τα νευρωνικά δίκτυα που χρησιμοποιούνται για την ανάλυση και την αξιολόγηση των συμπεριφορών.

Η ενισχυτική μάθηση είναι ο τρόπος με τον οποίο ο AlphaZero έμαθε να γίνεται μάστερ στο σκάκι. DeepMind αναφερθεί ότι κατά τις πρώτες εννέα ώρες προπόνησης του προγράμματος, τον Δεκέμβριο του 2017, έπαιξε 44 εκατομμύρια παιχνίδια εναντίον της. Στην αρχή, οι κινήσεις του προσδιορίζονταν τυχαία, αλλά με τον καιρό έμαθε να επιλέγει κινήσεις που ήταν πιο πιθανό να οδηγήσουν στο ματ. Μετά από λίγες ώρες προπόνησης, το AlphaZero ανέπτυξε την ικανότητα να νικήσει οποιονδήποτε άνθρωπο σκακιστή.

Αλλά όσο επιτυχημένη μπορεί να είναι η ενισχυτική μάθηση, δεν οδηγεί πάντα σε στρατηγικές που αντικατοπτρίζουν μια γενική κατανόηση του παιχνιδιού. Την τελευταία μισή δεκαετία περίπου, ο Zahavy και άλλοι παρατήρησαν μια άνοδο στις περίεργες δυσλειτουργίες που θα μπορούσαν να συμβούν σε συστήματα εκπαιδευμένα με δοκιμή και σφάλμα. Ένα σύστημα που παίζει βιντεοπαιχνίδια, για παράδειγμα, μπορεί να βρει ένα κενό και να βρει πώς να εξαπατήσει ή να παρακάμψει ένα επίπεδο ή θα μπορούσε εξίσου εύκολα να κολλήσει σε έναν επαναλαμβανόμενο βρόχο. Τα παζλ τύπου Penrose πρότειναν παρομοίως ένα είδος τυφλού σημείου ή σφάλματος στο AlphaZero - δεν μπορούσε να καταλάβει πώς να προσεγγίσει ένα πρόβλημα που δεν είχε ξαναδεί.

Αλλά ίσως δεν είναι όλες οι δυσλειτουργίες απλώς λάθη. Ο Zahavy υποψιαζόταν ότι τα τυφλά σημεία του AlphaZero μπορεί στην πραγματικότητα να είναι κάτι άλλο συγκαλυμμένο - αποφάσεις και συμπεριφορές που συνδέονται με τις εσωτερικές ανταμοιβές του συστήματος. Τα συστήματα μάθησης βαθιάς ενίσχυσης, είπε, δεν ξέρουν πώς να αποτυγχάνουν — ούτε καν πώς να αναγνωρίζουν την αποτυχία. Η ικανότητα αποτυχίας έχει συνδεθεί εδώ και καιρό με τη δημιουργική επίλυση προβλημάτων. «Η δημιουργικότητα έχει ανθρώπινη ιδιότητα», έγραψε ο Κασπάροφ Βαθιά σκέψη. «Αποδέχεται την έννοια της αποτυχίας».

Τα συστήματα AI συνήθως δεν το κάνουν. Και αν ένα σύστημα δεν αναγνωρίσει ότι απέτυχε να ολοκληρώσει την εργασία του, τότε μπορεί να μην δοκιμάσει κάτι άλλο. Αντίθετα, θα συνεχίσει να προσπαθεί να κάνει αυτό που έχει ήδη κάνει. Αυτό είναι πιθανότατα που οδήγησε σε αυτά τα αδιέξοδα στα βιντεοπαιχνίδια - ή στο να κολλήσουν σε ορισμένες προκλήσεις του Penrose, είπε ο Zahavy. Το σύστημα κυνηγούσε «περίεργα είδη εγγενών ανταμοιβών», είπε, που είχε αναπτύξει κατά τη διάρκεια της εκπαίδευσής του. Πράγματα που έμοιαζαν με λάθη από έξω ήταν πιθανότατα η συνέπεια της ανάπτυξης συγκεκριμένων αλλά τελικά ανεπιτυχών στρατηγικών.

Το σύστημα θεώρησε αυτές τις περίεργες ανταμοιβές ως βήματα προς τον μεγαλύτερο στόχο, τον οποίο στην πραγματικότητα δεν μπορούσε να πετύχει και δεν ήξερε να δοκιμάσει κάτι νέο. «Προσπαθούσα να τους καταλάβω», είπε ο Zahavy.

Ένα καλύτερο παιχνίδι

Μέρος του λόγου που αυτές οι δυσλειτουργίες μπορούν να αποδειχθούν τόσο επακόλουθες - και τόσο χρήσιμες - προέρχεται από αυτό που οι ερευνητές αναγνωρίζουν ως πρόβλημα γενίκευσης. Ενώ τα συστήματα ενισχυτικής μάθησης μπορούν να αναπτύξουν μια αποτελεσματική στρατηγική για τη σύνδεση μιας δεδομένης κατάστασης με μια συγκεκριμένη δράση - την οποία οι ερευνητές αποκαλούν «πολιτική» - δεν μπορούν να την εφαρμόσουν σε διαφορετικά προβλήματα. «Αυτό που συνήθως συμβαίνει με την ενισχυτική μάθηση, σχεδόν ανεξάρτητα από τη μέθοδο, είναι ότι παίρνετε την πολιτική που λύνει τη συγκεκριμένη περίπτωση του προβλήματος στο οποίο εκπαιδεύεστε, αλλά δεν γενικεύει», είπε. Τζούλιαν Τογκέλιους, επιστήμονας υπολογιστών στο Πανεπιστήμιο της Νέας Υόρκης και διευθυντής έρευνας στο modl.ai.

Ο Zahavy είδε ότι τα παζλ Penrose απαιτούσαν ακριβώς αυτό το είδος γενίκευσης. Ίσως το AlphaZero να μην μπορούσε να λύσει τους περισσότερους γρίφους επειδή ήταν τόσο επικεντρωμένος στη νίκη ολόκληρων παιχνιδιών, από την αρχή μέχρι το τέλος. Αλλά αυτή η προσέγγιση εισήγαγε τυφλά σημεία που εκτέθηκαν από τις απίθανες ρυθμίσεις των κομματιών στα παζλ Penrose. Ίσως, σκέφτηκε, το πρόγραμμα θα μπορούσε να μάθει να ξεπερνά το παζλ, εάν είχε αρκετό δημιουργικό χώρο για να σκεφτεί και να έχει πρόσβαση σε διαφορετικές μεθόδους εκπαίδευσης.

Έτσι, αυτός και οι συνάδελφοί του συγκέντρωσαν αρχικά ένα σετ από 53 παζλ Penrose και 15 επιπλέον παζλ πρόκλησης. Από μόνο του, το AlphaZero έλυσε λιγότερο από το 4% των γρίφων Penrose και λιγότερο από το 12% των υπολοίπων. Ο Zahavy δεν εξεπλάγη: Πολλοί από αυτούς τους γρίφους σχεδιάστηκαν από μάστερ του σκακιού για να μπερδέψουν σκόπιμα τους υπολογιστές.

Ως δοκιμή, οι ερευνητές προσπάθησαν να εκπαιδεύσουν το AlphaZero για να παίξει ενάντια στον εαυτό του χρησιμοποιώντας τη διάταξη του παζλ Penrose ως αρχική θέση, αντί για τον πλήρη πίνακα των τυπικών παιχνιδιών. Η απόδοσή του βελτιώθηκε δραματικά: Έλυσε το 96% των γρίφων Penrose και το 76% του σετ πρόκλησης. Γενικά, όταν το AlphaZero εκπαιδεύτηκε σε ένα συγκεκριμένο παζλ, μπορούσε να λύσει αυτό το παζλ, όπως θα μπορούσε να κερδίσει όταν προπονούνταν σε ένα πλήρες παιχνίδι. Ίσως, σκέφτηκε ο Zahavy, εάν ένα πρόγραμμα σκακιού μπορούσε με κάποιο τρόπο να έχει πρόσβαση σε όλες αυτές τις διαφορετικές εκδόσεις του AlphaZero, εκπαιδευμένο σε αυτές τις διαφορετικές θέσεις, τότε αυτή η διαφορετικότητα θα μπορούσε να πυροδοτήσει την ικανότητα να προσεγγίζει κανείς νέα προβλήματα παραγωγικά. Ίσως θα μπορούσε να γενικεύσει, με άλλα λόγια, την επίλυση όχι μόνο των γρίφων Penrose, αλλά και οποιουδήποτε ευρύτερου σκακιστικού προβλήματος.

Η ομάδα του αποφάσισε να το μάθει. Κατασκεύασαν τη νέα, διαφοροποιημένη έκδοση του AlphaZero, η οποία περιλαμβάνει πολλαπλά συστήματα τεχνητής νοημοσύνης που εκπαιδεύονται ανεξάρτητα και σε διάφορες καταστάσεις. Ο αλγόριθμος που διέπει το συνολικό σύστημα λειτουργεί ως ένα είδος εικονικού προξενητή, είπε ο Zahavy: ένας αλγόριθμος που έχει σχεδιαστεί για να προσδιορίζει ποιος πράκτορας έχει τις καλύτερες πιθανότητες να πετύχει όταν έρθει η ώρα να κάνει μια κίνηση. Αυτός και οι συνάδελφοί του κωδικοποίησαν επίσης ένα "μπόνους διαφορετικότητας" - μια ανταμοιβή για το σύστημα κάθε φορά που έβγαζε στρατηγικές από μια μεγάλη ποικιλία επιλογών.

Όταν το νέο σύστημα λύθηκε για να παίξει τα δικά του παιχνίδια, η ομάδα παρατήρησε μεγάλη ποικιλία. Ο διαφοροποιημένος παίκτης τεχνητής νοημοσύνης πειραματίστηκε με νέα, αποτελεσματικά ανοίγματα και καινοτόμες —αλλά υγιείς— αποφάσεις σχετικά με συγκεκριμένες στρατηγικές, όπως το πότε και πού να κάστρο. Στους περισσότερους αγώνες νίκησε το αρχικό AlphaZero. Η ομάδα διαπίστωσε επίσης ότι η διαφοροποιημένη έκδοση μπορούσε να λύσει διπλάσιο αριθμό γρίφων πρόκλησης από την αρχική και μπορούσε να λύσει περισσότερο από το ήμισυ του συνολικού καταλόγου των παζλ Penrose.

«Η ιδέα είναι ότι αντί να βρεθεί μια λύση ή μια ενιαία πολιτική, που θα κέρδιζε οποιονδήποτε παίκτη, εδώ [χρησιμοποιεί] την ιδέα της δημιουργικής διαφορετικότητας», είπε ο Cully.

Με πρόσβαση σε περισσότερα και διαφορετικά παιχνίδια που παίζονται, είπε ο Zahavy, το διαφοροποιημένο AlphaZero είχε περισσότερες επιλογές για κολλώδεις καταστάσεις όταν εμφανίζονταν. «Αν μπορείτε να ελέγξετε το είδος των παιχνιδιών που βλέπει, βασικά ελέγχετε πώς θα γενικευτεί», είπε. Αυτές οι παράξενες εγγενείς ανταμοιβές (και οι σχετικές κινήσεις τους) θα μπορούσαν να γίνουν δυνατά σημεία για διαφορετικές συμπεριφορές. Στη συνέχεια, το σύστημα θα μπορούσε να μάθει να αξιολογεί και να εκτιμά τις διαφορετικές προσεγγίσεις και να δει πότε ήταν πιο επιτυχημένες. «Διαπιστώσαμε ότι αυτή η ομάδα πρακτόρων μπορεί πραγματικά να καταλήξει σε συμφωνία για αυτές τις θέσεις».

Και, πολύ σημαντικό, οι επιπτώσεις εκτείνονται πέρα ​​από το σκάκι.

Δημιουργικότητα Πραγματικής Ζωής

Ο Cully είπε ότι μια διαφοροποιημένη προσέγγιση μπορεί να βοηθήσει οποιοδήποτε σύστημα AI, όχι μόνο αυτά που βασίζονται στην ενισχυτική μάθηση. Χρησιμοποίησε εδώ και καιρό τη διαφορετικότητα για να εκπαιδεύσει φυσικά συστήματα, συμπεριλαμβανομένου του α ρομπότ με έξι πόδια που του επέτρεψαν να εξερευνήσει διάφορα είδη κίνησης, προτού το «τραυματίσει» σκόπιμα, επιτρέποντάς του να συνεχίσει να κινείται χρησιμοποιώντας κάποιες από τις τεχνικές που είχε αναπτύξει πριν. «Απλώς προσπαθούσαμε να βρούμε λύσεις που ήταν διαφορετικές από όλες τις προηγούμενες λύσεις που βρήκαμε μέχρι τώρα». Πρόσφατα, συνεργάζεται επίσης με ερευνητές για να χρησιμοποιήσει την ποικιλομορφία για να εντοπίσει πολλά υποσχόμενα νέα υποψήφια φάρμακα και να αναπτύξει αποτελεσματικές στρατηγικές διαπραγμάτευσης μετοχών.

«Ο στόχος είναι να δημιουργήσουμε μια μεγάλη συλλογή δυνητικά χιλιάδων διαφορετικών λύσεων, όπου κάθε λύση είναι πολύ διαφορετική από την επόμενη», είπε ο Cully. Έτσι — ακριβώς όπως έμαθε να κάνει ο διαφοροποιημένος σκακιστής — για κάθε τύπο προβλήματος, το συνολικό σύστημα μπορούσε να επιλέξει την καλύτερη δυνατή λύση. Το σύστημα τεχνητής νοημοσύνης του Zahavy, είπε, δείχνει ξεκάθαρα πώς «η αναζήτηση διαφορετικών στρατηγικών βοηθά να σκεφτόμαστε έξω από το κουτί και να βρίσκουμε λύσεις».

Ο Zahavy υποπτεύεται ότι για να μπορούν τα συστήματα AI να σκέφτονται δημιουργικά, οι ερευνητές πρέπει απλώς να τους κάνουν να εξετάσουν περισσότερες επιλογές. Αυτή η υπόθεση υποδηλώνει μια περίεργη σύνδεση μεταξύ ανθρώπων και μηχανών: Ίσως η νοημοσύνη να είναι απλώς θέμα υπολογιστικής ισχύος. Για ένα σύστημα τεχνητής νοημοσύνης, ίσως η δημιουργικότητα συνοψίζεται στην ικανότητα εξέτασης και επιλογής από έναν αρκετά μεγάλο μπουφέ επιλογών. Καθώς το σύστημα κερδίζει ανταμοιβές για την επιλογή μιας ποικιλίας βέλτιστων στρατηγικών, αυτό το είδος δημιουργικής επίλυσης προβλημάτων ενισχύεται και ενισχύεται. Τελικά, θεωρητικά, θα μπορούσε να μιμηθεί κάθε είδους στρατηγική επίλυσης προβλημάτων που αναγνωρίζεται ως δημιουργική στους ανθρώπους. Η δημιουργικότητα θα γινόταν υπολογιστικό πρόβλημα.

Ο Liemhetcharat σημείωσε ότι ένα διαφοροποιημένο σύστημα τεχνητής νοημοσύνης είναι απίθανο να επιλύσει πλήρως το ευρύτερο πρόβλημα γενίκευσης στη μηχανική μάθηση. Αλλά είναι ένα βήμα προς τη σωστή κατεύθυνση. «Μετριάζει μια από τις ελλείψεις», είπε.

Πιο πρακτικά, τα αποτελέσματα του Zahavy έχουν απήχηση με πρόσφατες προσπάθειες που δείχνουν πώς η συνεργασία μπορεί να οδηγήσει σε καλύτερες επιδόσεις σε σκληρές εργασίες μεταξύ των ανθρώπων. Οι περισσότερες επιτυχίες στη λίστα Billboard 100 γράφτηκαν από ομάδες τραγουδοποιών, για παράδειγμα, όχι από άτομα. Και υπάρχει ακόμα περιθώριο βελτίωσης. Η ποικιλόμορφη προσέγγιση είναι επί του παρόντος υπολογιστικά δαπανηρή, δεδομένου ότι πρέπει να εξετάσει τόσες περισσότερες δυνατότητες από ένα τυπικό σύστημα. Ο Zahavy δεν είναι επίσης πεπεισμένος ότι ακόμη και το διαφοροποιημένο AlphaZero συλλαμβάνει ολόκληρο το φάσμα των δυνατοτήτων.

«Εξακολουθώ να [νομίζω] ότι υπάρχει περιθώριο να βρεθούν διαφορετικές λύσεις», είπε. «Δεν είναι ξεκάθαρο για μένα ότι δεδομένων όλων των δεδομένων στον κόσμο, υπάρχει [μόνο] μία απάντηση σε κάθε ερώτηση».

Quanta διεξάγει μια σειρά από έρευνες για την καλύτερη εξυπηρέτηση του κοινού μας. Πάρτε το δικό μας έρευνα αναγνωστών επιστήμης υπολογιστών και θα μπείτε για να κερδίσετε δωρεάν Quanta εμπορεύματα.