Οι υπολογισμοί, τα δεδομένα και η αλγοριθμική πρόοδος είναι οι τρεις θεμελιώδεις παράγοντες που καθοδηγούν την πρόοδο της σύγχρονης Μηχανικής Μάθησης (ML). Οι ερευνητές μελέτησαν τις τάσεις στον πιο εύκολα ποσοτικοποιημένο παράγοντα - τον υπολογισμό.
Δείχνουν :
πριν από το 2010, ο υπολογισμός της εκπαίδευσης αυξήθηκε σύμφωνα με το νόμο του Moore, διπλασιαζόμενος περίπου κάθε 20 μήνες.
Το Deep Learning ξεκίνησε στις αρχές της δεκαετίας του 2010 και η κλιμάκωση του υπολογισμού της εκπαίδευσης έχει επιταχυνθεί, διπλασιάζοντας περίπου κάθε 6 μήνες.
Στα τέλη του 2015, εμφανίστηκε μια νέα τάση καθώς οι εταιρείες ανέπτυξαν μοντέλα ML μεγάλης κλίμακας με 10 έως 100 φορές μεγαλύτερες απαιτήσεις στον υπολογισμό της εκπαίδευσης.
Με βάση αυτές τις παρατηρήσεις, χώρισαν την ιστορία των υπολογιστών στην ML σε τρεις εποχές: την εποχή προ της βαθιάς μάθησης, την εποχή της βαθιάς μάθησης και την εποχή της μεγάλης κλίμακας. Συνολικά, η εργασία υπογραμμίζει τις ταχέως αναπτυσσόμενες υπολογιστικές απαιτήσεις για την εκπαίδευση προηγμένων συστημάτων ML.
Έχουν λεπτομερή έρευνα για την υπολογιστική ζήτηση των μοντέλων ML ορόσημο με την πάροδο του χρόνου. Κάνουν τις ακόλουθες συνεισφορές:
1. Επιμελούνται ένα σύνολο δεδομένων 123 συστημάτων Μηχανικής Μάθησης ορόσημων, με σχολιασμό με τον υπολογισμό που χρειάστηκε για την εκπαίδευσή τους.
2. Πλαισιώνουν δοκιμαστικά τις τάσεις στους υπολογιστές με όρους τριών διακριτών εποχών: την εποχή προ της βαθιάς μάθησης, την εποχή της βαθιάς μάθησης και την εποχή της μεγάλης κλίμακας. Προσφέρουν εκτιμήσεις για τους χρόνους διπλασιασμού κατά τη διάρκεια καθεμιάς από αυτές τις εποχές.
3. Ελέγχουν εκτενώς τα αποτελέσματά τους σε μια σειρά από παραρτήματα, συζητώντας εναλλακτικές ερμηνείες των δεδομένων και διαφορές με προηγούμενες εργασίες
Μελέτησαν τις τάσεις στους υπολογιστές επιμελώντας ένα σύνολο δεδομένων υπολογιστών εκπαίδευσης με περισσότερα από 100 συστήματα ML ορόσημο και χρησιμοποίησαν αυτά τα δεδομένα για να αναλύσουν πώς η τάση έχει αυξηθεί με την πάροδο του χρόνου.
Τα ευρήματα φαίνονται συνεπή με την προηγούμενη εργασία, αν και υποδεικνύουν μια πιο μέτρια κλιμάκωση του υπολογισμού της εκπαίδευσης.
Συγκεκριμένα, προσδιορίζουν έναν χρόνο διπλασιασμού 18 μηνών μεταξύ 1952 και 2010, έναν χρόνο διπλασιασμού 6 μηνών μεταξύ 2010 και 2022 και μια νέα τάση μοντέλων μεγάλης κλίμακας μεταξύ τέλους 2015 και 2022, η οποία ξεκίνησε από 2 έως 3 τάξεις μεγέθους. σε σχέση με την προηγούμενη τάση και εμφανίζει χρόνο διπλασιασμού 10 μηνών.
Μια πτυχή που δεν έχουν καλύψει σε αυτό το άρθρο είναι ένας άλλος βασικός μετρήσιμος πόρος που χρησιμοποιείται για την εκπαίδευση μοντέλων Machine Learning — δεδομένα. Θα εξετάσουν τις τάσεις στο μέγεθος δεδομένων και τη σχέση τους με τις τάσεις στον υπολογισμό σε μελλοντική εργασία.
Ο Μπράιαν Γουάνγκ είναι φουτουριστικός ηγέτης σκέψης και δημοφιλής blogger Science με 1 εκατομμύριο αναγνώστες το μήνα. Το ιστολόγιό του Nextbigfuture.com κατατάσσεται στο #1 Ιστολόγιο Ειδήσεων Επιστημών. Καλύπτει πολλές ανατρεπτικές τεχνολογίες και τάσεις, όπως το διάστημα, η ρομποτική, η τεχνητή νοημοσύνη, η ιατρική, η αντιγηραντική βιοτεχνολογία και η νανοτεχνολογία.
Γνωστός για τον εντοπισμό τεχνολογιών αιχμής, είναι σήμερα Συνιδρυτής μιας νεοσύστατης εταιρείας και έρανος για εταιρείες υψηλού δυναμικού πρώιμου σταδίου. Είναι επικεφαλής της Έρευνας για Κατανομές για επενδύσεις βαθιάς τεχνολογίας και Angel Investor στο Space Angels.
Συχνός ομιλητής σε εταιρείες, υπήρξε ομιλητής TEDx, ομιλητής του Πανεπιστημίου Singularity και καλεσμένος σε πολλές συνεντεύξεις για ραδιόφωνο και podcast. Είναι ανοιχτός σε δημόσιες ομιλίες και συμβουλές.
