Πλοήγηση στο υψηλό κόστος του AI Compute

Η παραγωγική έκρηξη AI είναι υπολογιστική. Έχει τη μοναδική ιδιότητα ότι η προσθήκη περισσότερων υπολογισμών οδηγεί άμεσα σε καλύτερο προϊόν. Συνήθως, η επένδυση Ε&Α συνδέεται πιο άμεσα με το πόσο πολύτιμο ήταν ένα προϊόν και αυτή η σχέση είναι σημαντικά υπογραμμική. Αλλά αυτό δεν συμβαίνει επί του παρόντος με την τεχνητή νοημοσύνη και, ως εκ τούτου, ένας κυρίαρχος παράγοντας που οδηγεί τη βιομηχανία σήμερα είναι απλώς το κόστος της εκπαίδευσης και των συμπερασμάτων. 

Αν και δεν γνωρίζουμε τους αληθινούς αριθμούς, έχουμε ακούσει από αξιόπιστες πηγές ότι η προσφορά υπολογιστών είναι τόσο περιορισμένη, που η ζήτηση την υπερβαίνει κατά 10(!) Επομένως, πιστεύουμε ότι είναι δίκαιο να πούμε ότι, αυτή τη στιγμή, η πρόσβαση σε υπολογιστικούς πόρους —με το χαμηλότερο συνολικό κόστος— έχει γίνει καθοριστικός παράγοντας για την επιτυχία των εταιρειών τεχνητής νοημοσύνης.

Στην πραγματικότητα, έχουμε δει πολλές εταιρείες να ξοδεύουν περισσότερο από το 80% του συνολικού κεφαλαίου τους που συγκεντρώνεται σε υπολογιστικούς πόρους!

Σε αυτήν την ανάρτηση, προσπαθούμε να αναλύσουμε τους παράγοντες κόστους για μια εταιρεία τεχνητής νοημοσύνης. Οι απόλυτοι αριθμοί θα αλλάξουν φυσικά με την πάροδο του χρόνου, αλλά δεν βλέπουμε άμεση ανακούφιση από τις εταιρείες τεχνητής νοημοσύνης που δεσμεύονται από την πρόσβασή τους σε υπολογιστικούς πόρους. Έτσι, ελπίζουμε, αυτό είναι ένα χρήσιμο πλαίσιο για να σκεφτούμε μέσα από το τοπίο. 

Γιατί τα μοντέλα AI είναι τόσο ακριβά υπολογιστικά;

Υπάρχει μια μεγάλη ποικιλία μοντέλων τεχνητής νοημοσύνης που δημιουργούνται και το κόστος συμπερασμάτων και εκπαίδευσης εξαρτάται από το μέγεθος και τον τύπο του μοντέλου. Ευτυχώς, τα πιο δημοφιλή μοντέλα σήμερα είναι κυρίως αρχιτεκτονικές που βασίζονται σε μετασχηματιστές, οι οποίες περιλαμβάνουν δημοφιλή μοντέλα μεγάλων γλωσσών (LLM) όπως τα GPT-3, GPT-J ή BERT. Ενώ ο ακριβής αριθμός πράξεων για εξαγωγή συμπερασμάτων και εκμάθησης μετασχηματιστών είναι συγκεκριμένος για το μοντέλο (βλ αυτό το χαρτί), υπάρχει ένας αρκετά ακριβής εμπειρικός κανόνας που εξαρτάται μόνο από τον αριθμό των παραμέτρων (δηλαδή, τα βάρη των νευρωνικών δικτύων) του μοντέλου και τον αριθμό των διακριτικών εισόδου και εξόδου. 

Τα διακριτικά είναι ουσιαστικά σύντομες ακολουθίες λίγων χαρακτήρων. Αντιστοιχούν σε λέξεις ή μέρη λέξεων. Ο καλύτερος τρόπος για να αποκτήσετε μια διαίσθηση για τα διακριτικά είναι να δοκιμάσετε το tokenization με δημόσια διαθέσιμα online tokenizers (π.χ. OpenAI). Για το GPT-3, το μέσο μήκος ενός διακριτικού είναι 4 χαρακτήρες. 

Ο εμπειρικός κανόνας για τους μετασχηματιστές είναι ότι ένα πρόσθιο πέρασμα (δηλ. συμπέρασμα) για ένα μοντέλο με p παραμέτρους για μια ακολουθία μήκους εισόδου και εξόδου n μάρκες κάθε, διαρκεί περίπου 2*n*p πράξεις κινητής υποδιαστολής (FLOPS)¹. Η εκπαίδευση για το ίδιο μοντέλο διαρκεί περίπου 6*σελ FLOPS ανά διακριτικό (δηλαδή, το πρόσθετο πέρασμα προς τα πίσω απαιτεί τέσσερις ακόμη λειτουργίες²). Μπορείτε να υπολογίσετε κατά προσέγγιση το συνολικό κόστος εκπαίδευσης πολλαπλασιάζοντας το με την ποσότητα των κουπονιών στα δεδομένα εκπαίδευσης.

Οι απαιτήσεις μνήμης για μετασχηματιστές εξαρτώνται επίσης από το μέγεθος του μοντέλου. Για συμπέρασμα, χρειαζόμαστε το p παραμέτρους μοντέλου για να χωρέσει στη μνήμη. Για εκμάθηση (δηλαδή, back-propagation), πρέπει να αποθηκεύσουμε πρόσθετες ενδιάμεσες τιμές ανά παράμετρο μεταξύ του περάσματος προς τα εμπρός και προς τα πίσω. Υποθέτοντας ότι χρησιμοποιούμε αριθμούς κινητής υποδιαστολής 32 bit, αυτό είναι επιπλέον 8 byte ανά παράμετρο. Για την εκπαίδευση ενός μοντέλου 175 δισεκατομμυρίων παραμέτρων, θα χρειαστεί να διατηρήσουμε πάνω από ένα terabyte δεδομένων στη μνήμη - αυτό υπερβαίνει κάθε GPU που υπάρχει σήμερα και απαιτεί να χωρίσουμε το μοντέλο σε κάρτες. Οι απαιτήσεις μνήμης για συμπεράσματα και εκπαίδευση μπορούν να βελτιστοποιηθούν χρησιμοποιώντας τιμές κινητής υποδιαστολής μικρότερου μήκους, με τα 16 bit να γίνονται κοινά και τα 8 bit να αναμένονται στο εγγύς μέλλον.

Ο παραπάνω πίνακας έχει μεγέθη και υπολογισμό κόστους για πολλά δημοφιλή μοντέλα. Το GPT-3 έχει περίπου 175 δισεκατομμύρια παραμέτρους, οι οποίες για είσοδο και έξοδο 1,024 tokens, έχουν ως αποτέλεσμα υπολογιστικό κόστος περίπου 350 τρισεκατομμυρίων πράξεων κινητής υποδιαστολής (δηλαδή Teraflops ή TFLOPS). Η εκπαίδευση ενός μοντέλου όπως το GPT-3 απαιτεί περίπου 3.14*10^23 λειτουργίες κινητής υποδιαστολής. Άλλα μοντέλα όπως το LLaMA της Meta έχουν ακόμα ψηλότερα υπολογισμός απαιτήσεων. Η εκπαίδευση ενός τέτοιου μοντέλου είναι ένα από τα πιο απαιτητικά υπολογιστικά καθήκοντα που έχει αναλάβει μέχρι τώρα η ανθρωπότητα. 

Συνοψίζοντας: Η υποδομή τεχνητής νοημοσύνης είναι ακριβή επειδή τα υποκείμενα αλγοριθμικά προβλήματα είναι εξαιρετικά δύσκολα υπολογιστικά. Η αλγοριθμική πολυπλοκότητα της ταξινόμησης ενός πίνακα βάσης δεδομένων με ένα εκατομμύριο καταχωρήσεις είναι ασήμαντη σε σύγκριση με την πολυπλοκότητα της δημιουργίας μιας λέξης με το GPT-3. Αυτό σημαίνει ότι θέλετε να επιλέξετε το μικρότερο μοντέλο που λύνει την περίπτωση χρήσης σας. 

Τα καλά νέα είναι ότι, για τους μετασχηματιστές, μπορούμε εύκολα να υπολογίσουμε πόσο υπολογισμό και μνήμη θα καταναλώσει ένα μοντέλο συγκεκριμένου μεγέθους. Και, έτσι, η επιλογή του σωστού υλικού γίνεται το επόμενο ζήτημα. 

Το επιχείρημα χρόνου και κόστους για τις GPU

Πώς μεταφράζεται η υπολογιστική πολυπλοκότητα στο χρόνο; Ένας πυρήνας επεξεργαστή μπορεί συνήθως να εκτελέσει 1-2 εντολές ανά κύκλο και οι ρυθμοί ρολογιού του επεξεργαστή ήταν σταθεροί γύρω στα 3 GHz τα τελευταία 15 χρόνια λόγω του τέλους του Κλίμακα Dennard. Η εκτέλεση μιας μεμονωμένης λειτουργίας συμπερασμάτων GPT-3 χωρίς εκμετάλλευση οποιασδήποτε παράλληλης αρχιτεκτονικής θα χρειαζόταν της τάξης των 350 TFLOPS/(3 GHz*1 FLOP) ή 116,000 δευτερόλεπτα ή 32 ώρες. Αυτό είναι εντελώς ανέφικτο. Αντίθετα χρειαζόμαστε εξειδικευμένα τσιπ που επιταχύνουν αυτήν την εργασία.

Στην πράξη, όλα τα μοντέλα AI σήμερα τρέχουν σε κάρτες που χρησιμοποιούν πολύ μεγάλο αριθμό εξειδικευμένων πυρήνων. Για παράδειγμα, μια GPU NVIDIA A100 έχει 512 «πυρήνες τανυστήρα» που μπορούν να εκτελέσουν πολλαπλασιασμό μήτρας 4×4 (που ισοδυναμεί με 64 πολλαπλασιασμούς και προσθήκες ή 128 FLOPS) σε έναν μόνο κύκλο. Οι κάρτες επιτάχυνσης AI αναφέρονται συχνά ως GPU (μονάδες επεξεργασίας γραφικών), καθώς η αρχιτεκτονική αναπτύχθηκε αρχικά για επιτραπέζια παιχνίδια. Στο μέλλον αναμένουμε ότι η τεχνητή νοημοσύνη θα γίνει όλο και περισσότερο μια ξεχωριστή οικογένεια προϊόντων. 

Το A100 έχει ονομαστική απόδοση του 312 TFLOPS που θεωρητικά θα μείωνε το συμπέρασμα για το GPT-3 σε περίπου 1 δευτερόλεπτο. Ωστόσο, αυτός είναι ένας υπεραπλουστευμένος υπολογισμός για διάφορους λόγους. Πρώτον, για τις περισσότερες περιπτώσεις χρήσης, το σημείο συμφόρησης δεν είναι η υπολογιστική ισχύς της GPU, αλλά η δυνατότητα λήψης δεδομένων από την εξειδικευμένη μνήμη γραφικών στους πυρήνες τανυστή. Δεύτερον, τα 175 δισεκατομμύρια βάρη θα καταλαμβάνουν 700 GB και δεν θα χωρούν στη μνήμη γραφικών οποιασδήποτε GPU. Πρέπει να χρησιμοποιηθούν τεχνικές όπως η κατάτμηση και η ροή βάρους. Και, τρίτον, υπάρχει ένας αριθμός βελτιστοποιήσεων (π.χ., χρησιμοποιώντας μικρότερες αναπαραστάσεις κινητής υποδιαστολής, όπως FP16, FP8 ή αραιούς πίνακες) που χρησιμοποιούνται για την επιτάχυνση του υπολογισμού. Όμως, συνολικά, τα παραπάνω μαθηματικά μας δίνουν μια διαίσθηση του συνολικού υπολογιστικού κόστους των σημερινών LLM.

Η εκπαίδευση ενός μοντέλου μετασχηματιστή διαρκεί περίπου τρεις φορές περισσότερο ανά κουπόνι από την πραγματοποίηση συμπερασμάτων. Ωστόσο, δεδομένου ότι το σύνολο δεδομένων εκπαίδευσης είναι περίπου 300 εκατομμύρια φορές μεγαλύτερο από μια προτροπή συμπεράσματος, η εκπαίδευση διαρκεί περισσότερο κατά 1 δισεκατομμύριο. Σε μία μόνο GPU, η εκπαίδευση θα χρειαζόταν δεκαετίες. Στην πράξη αυτό γίνεται σε μεγάλα συμπλέγματα υπολογιστών σε ειδικά κέντρα δεδομένων ή, πιο πιθανό, στο cloud. Η εκπαίδευση είναι επίσης πιο δύσκολο να παραλληλιστεί από το συμπέρασμα, καθώς τα ενημερωμένα βάρη πρέπει να ανταλλάσσονται μεταξύ των κόμβων. Η μνήμη και το εύρος ζώνης μεταξύ των GPU γίνονται συχνά ένας πολύ πιο σημαντικός παράγοντας, με τις διασυνδέσεις υψηλής ταχύτητας και τα ειδικά υφάσματα να είναι κοινά. Για την εκπαίδευση πολύ μεγάλων μοντέλων, η δημιουργία μιας κατάλληλης εγκατάστασης δικτύου μπορεί να είναι η κύρια πρόκληση. Κοιτάζοντας στο μέλλον, οι επιταχυντές τεχνητής νοημοσύνης θα έχουν δυνατότητες δικτύωσης στην κάρτα ή ακόμα και στο τσιπ. 

Πώς μεταφράζεται αυτή η υπολογιστική πολυπλοκότητα σε κόστος; Ένα συμπέρασμα GPT-3, το οποίο, όπως είδαμε παραπάνω, διαρκεί περίπου 1 δευτερόλεπτο σε ένα A100, θα είχε ένα ακατέργαστο κόστος υπολογισμού μεταξύ 0.0002 $ και 0.0014 $ για 1,000 μάρκες (αυτό συγκρίνεται με την τιμολόγηση του OpenAI των $0.002/1000 tokens). Ένας χρήστης που δημιουργεί 100 αιτήματα συμπερασμάτων την ημέρα θα κόστιζε της τάξης των δολαρίων ανά έτος. Αυτό είναι ένα πολύ χαμηλό σημείο τιμής και καθιστά τις περισσότερες περιπτώσεις χρήσης τεχνητής νοημοσύνης που βασίζεται σε κείμενο από ανθρώπους οικονομικά βιώσιμες.

Εκπαίδευση Το GPT-3, από την άλλη πλευρά, είναι πολύ πιο ακριβό. Και πάλι, ο υπολογισμός μόνο του κόστους υπολογισμού για 3.14*10^23 FLOPS στις παραπάνω τιμές, μας δίνει μια εκτίμηση 560,000 $ σε κάρτες A100 για ένα μονή διαδρομή προπόνησης. Στην πράξη, για εκπαίδευση δεν θα έχουμε σχεδόν 100% απόδοση στη GPU. Ωστόσο, μπορούμε επίσης να χρησιμοποιήσουμε βελτιστοποιήσεις για να μειώσουμε τον χρόνο εκπαίδευσης. Άλλες εκτιμήσεις για το κόστος εκπαίδευσης GPT-3 κυμαίνονται από $500,000 προς την $ 4.6 εκατομμύρια, ανάλογα με τις υποθέσεις υλικού. Σημειώστε ότι αυτό είναι το κόστος μιας μόνο εκτέλεσης και όχι το συνολικό κόστος. Πιθανώς θα απαιτηθούν πολλαπλές εκτελέσεις και οι πάροχοι cloud θα θέλουν μακροπρόθεσμες δεσμεύσεις (περισσότερα για αυτό παρακάτω). Η εκπαίδευση κορυφαίων μοντέλων παραμένει δαπανηρή, αλλά σε κοντινή απόσταση από μια καλά χρηματοδοτούμενη start-up.

Συνοψίζοντας, η γενετική τεχνητή νοημοσύνη απαιτεί τεράστιες επενδύσεις στην υποδομή τεχνητής νοημοσύνης σήμερα. Δεν υπάρχει λόγος να πιστεύουμε ότι αυτό θα αλλάξει στο εγγύς μέλλον. Η εκπαίδευση ενός μοντέλου όπως το GPT-3 είναι μια από τις πιο εντατικές υπολογιστικές εργασίες που έχει αναλάβει ποτέ η ανθρωπότητα. Και ενώ οι GPU γίνονται πιο γρήγορες και βρίσκουμε τρόπους βελτιστοποίησης της εκπαίδευσης, η ταχεία επέκταση της τεχνητής νοημοσύνης αναιρεί και τα δύο αυτά αποτελέσματα.

Σκέψεις για την υποδομή AI

Σε αυτό το σημείο, προσπαθήσαμε να σας δώσουμε κάποια διαίσθηση για την κλίμακα που απαιτείται για την εκπαίδευση και την εξαγωγή συμπερασμάτων μοντέλων τεχνητής νοημοσύνης και ποιες υποκείμενες παραμέτρους τα οδηγούν. Με αυτό το πλαίσιο, τώρα θέλουμε να παρέχουμε κάποιες πρακτικές οδηγίες για το πώς να αποφασίσετε ποια υποδομή τεχνητής νοημοσύνης θα χρησιμοποιήσετε.

Εξωτερική έναντι εσωτερικής υποδομής

Ας το παραδεχτούμε: οι GPU είναι καλές. Πολλοί μηχανικοί και ιδρυτές με γνώμονα τη μηχανική έχουν μια προκατάληψη ως προς την παροχή του δικού τους υλικού τεχνητής νοημοσύνης, όχι μόνο επειδή παρέχει λεπτομερή έλεγχο στην εκπαίδευση μοντέλων, αλλά επειδή υπάρχει απλώς κάτι διασκεδαστικό στην εκμετάλλευση μεγάλων ποσοτήτων υπολογιστικής ισχύος (Έκθεμα Α).

Η πραγματικότητα όμως είναι αυτή πολλές νεοφυείς επιχειρήσεις - ειδικά εταιρείες εφαρμογών - δεν χρειάζεται να δημιουργήσουν τη δική τους υποδομή τεχνητής νοημοσύνης την Ημέρα 1. Αντίθετα, οι φιλοξενούμενες υπηρεσίες μοντέλων όπως το OpenAI ή το Hugging Face (για γλώσσα) και το Replicate (για τη δημιουργία εικόνων) επιτρέπουν στους ιδρυτές να αναζητούν γρήγορα την προσαρμογή του προϊόντος στην αγορά χωρίς να χρειάζεται να διαχειρίζονται την υποκείμενη υποδομή ή μοντέλα.

Αυτές οι υπηρεσίες έχουν γίνει τόσο καλές που πολλές εταιρείες δεν αποφοιτούν ποτέ από αυτές. Οι προγραμματιστές μπορούν να επιτύχουν ουσιαστικό έλεγχο της απόδοσης του μοντέλου μέσω άμεσης μηχανικής και αφαιρέσεων λεπτομέρειας υψηλότερης τάξης (δηλαδή, μικροσυντονισμός μέσω κλήσεων API). Η τιμολόγηση για αυτές τις υπηρεσίες βασίζεται στην κατανάλωση, επομένως είναι επίσης συχνά φθηνότερη από τη λειτουργία χωριστής υποδομής. Έχουμε δει εταιρείες εφαρμογών να παράγουν περισσότερα από 50 εκατομμύρια δολάρια ARR και αξίας άνω του 1 δισεκατομμυρίου δολαρίων, οι οποίες εκτελούν υπηρεσίες φιλοξενούμενων μοντέλων κάτω από την κουκούλα.

Από την άλλη πλευρά, ορισμένες νεοσύστατες επιχειρήσεις — ειδικά όσοι εκπαιδεύουν νέα μοντέλα θεμελίωσης ή κατασκευάζουν κάθετα ολοκληρωμένες εφαρμογές τεχνητής νοημοσύνης — δεν μπορούν να αποφύγουν να τρέξουν απευθείας τα δικά τους μοντέλα σε GPU. Είτε επειδή το μοντέλο είναι ουσιαστικά το προϊόν και η ομάδα αναζητά "ταιριασμό μοντέλου στην αγορά", είτε επειδή απαιτείται λεπτός έλεγχος στην εκπαίδευση ή/και συμπέρασμα για την επίτευξη συγκεκριμένων δυνατοτήτων ή τη μείωση του οριακού κόστους σε μεγάλη κλίμακα. Είτε έτσι είτε αλλιώς, η διαχείριση της υποδομής μπορεί να γίνει πηγή ανταγωνιστικού πλεονεκτήματος.

Αναπτύχθηκε το cloud εναντίον του κέντρου δεδομένων

Στις περισσότερες περιπτώσεις, το cloud είναι το σωστό μέρος για την υποδομή AI σας. Το λιγότερο αρχικό κόστος, η δυνατότητα κλιμάκωσης προς τα πάνω και προς τα κάτω, η περιφερειακή διαθεσιμότητα και η λιγότερη απόσπαση της προσοχής από τη δημιουργία του δικού σας κέντρου δεδομένων είναι συναρπαστικά για τις περισσότερες νεοσύστατες επιχειρήσεις και τις μεγαλύτερες εταιρείες.

Υπάρχουν όμως μερικές εξαιρέσεις σε αυτόν τον κανόνα:

• Εάν εργάζεστε σε πολύ μεγάλη κλίμακα, μπορεί να είναι πιο οικονομικό να λειτουργήσετε το δικό σας κέντρο δεδομένων. Η ακριβής τιμή ποικίλλει ανάλογα με τη γεωγραφική τοποθεσία και τη ρύθμιση, αλλά συνήθως απαιτεί δαπάνες υποδομής άνω των 50 εκατομμυρίων $ ετησίως.
• Χρειάζεστε πολύ συγκεκριμένο υλικό που δεν μπορείτε να αποκτήσετε από έναν πάροχο cloud. Για παράδειγμα, τύποι GPU που δεν είναι ευρέως διαθέσιμοι, καθώς και ασυνήθιστες απαιτήσεις μνήμης, αποθήκευσης ή δικτύωσης.
• Δεν μπορείτε να βρείτε ένα σύννεφο που να είναι αποδεκτό για γεωπολιτικούς λόγους.

Εάν θέλετε να δημιουργήσετε το δικό σας κέντρο δεδομένων, έχει γίνει ολοκληρωμένη ανάλυση τιμής/απόδοσης των GPU για τη δική σας εγκατάσταση (π.χ. Η ανάλυση του Tim Dettmer). Εκτός από το κόστος και την απόδοση της ίδιας της κάρτας, η επιλογή υλικού εξαρτάται επίσης από την ισχύ, τον χώρο και την ψύξη. Για παράδειγμα, δύο κάρτες RTX 3080 Ti μαζί έχουν παρόμοια χωρητικότητα πρωτογενούς υπολογισμού με μια A100, αλλά η αντίστοιχη κατανάλωση ενέργειας είναι 700W έναντι 300W. Η διαφορά ισχύος 3,500 kWh σε τιμές αγοράς 0.10 $/kWh για έναν κύκλο ζωής τριών ετών αυξάνει το κόστος του RTX3080 Ti κατά σχεδόν 2 φορές (περίπου 1,000 $).

Με όλα αυτά, αναμένουμε ότι η συντριπτική πλειονότητα των νεοφυών επιχειρήσεων θα χρησιμοποιήσει το cloud computing. 

Σύγκριση των παρόχων υπηρεσιών cloud 

Το Amazon Web Services (AWS), το Microsoft Azure και η Google Cloud Platform (GCP) προσφέρουν όλες παρουσίες GPU, αλλά οι νέοι πάροχοι φαίνεται επίσης να επικεντρώνονται σε φόρτους εργασίας AI ειδικά. Ακολουθεί ένα πλαίσιο που έχουμε δει πολλούς ιδρυτές να χρησιμοποιούν για να επιλέξουν έναν πάροχο cloud:

Τιμή: Ο παρακάτω πίνακας δείχνει τις τιμές για έναν αριθμό μεγάλων και μικρότερων ειδικών cloud από τις 7 Απριλίου 2023. Αυτά τα δεδομένα είναι μόνο ενδεικτικά, καθώς οι περιπτώσεις ποικίλλουν σημαντικά ως προς το εύρος ζώνης δικτύου, το κόστος εξόδου δεδομένων, το πρόσθετο κόστος από την CPU και το δίκτυο, διαθέσιμα εκπτώσεις και άλλοι παράγοντες.

Η υπολογιστική χωρητικότητα σε συγκεκριμένο υλικό είναι ένα εμπόρευμα. Αφελώς, θα περιμέναμε αρκετά ομοιόμορφες τιμές, αλλά αυτό δεν ισχύει. Και ενώ υπάρχουν σημαντικές διαφορές χαρακτηριστικών μεταξύ των cloud, δεν επαρκούν για να εξηγήσουν ότι η τιμολόγηση για ένα NVIDIA A100 κατ' απαίτηση ποικίλλει κατά σχεδόν 4 φορές μεταξύ των παρόχων.

Στην κορυφή της κλίμακας τιμών, τα μεγάλα δημόσια σύννεφα χρεώνουν ένα premium με βάση τη φήμη της επωνυμίας, την αποδεδειγμένη αξιοπιστία και την ανάγκη διαχείρισης ενός ευρέος φάσματος φόρτου εργασίας. Οι μικρότεροι εξειδικευμένοι πάροχοι τεχνητής νοημοσύνης προσφέρουν χαμηλότερες τιμές, είτε εκτελώντας ειδικά κατασκευασμένα κέντρα δεδομένων (π.χ. Coreweave) είτε διαχειρίζοντας άλλα σύννεφα (π.χ. Lambda Labs).

Πρακτικά μιλώντας, οι περισσότεροι μεγαλύτεροι αγοραστές διαπραγματεύονται τις τιμές απευθείας με τους παρόχους cloud, συχνά δεσμεύονται σε κάποια ελάχιστη απαίτηση δαπανών καθώς και σε δεσμεύσεις ελάχιστου χρόνου (έχουμε δει 1-3 χρόνια). Οι διαφορές τιμών μεταξύ των cloud μειώνονται κάπως μετά τη διαπραγμάτευση, αλλά έχουμε δει την κατάταξη στον παραπάνω πίνακα να παραμένει σχετικά σταθερή. Είναι επίσης σημαντικό να σημειωθεί ότι οι μικρότερες εταιρείες μπορούν να λάβουν επιθετικές τιμές από εξειδικευμένα cloud χωρίς μεγάλες δεσμεύσεις δαπανών.

Διαθεσιμότητα: Οι πιο ισχυρές GPU (π.χ. Nvidia A100) ήταν συνεχώς σε έλλειψη τους τελευταίους 12 και πλέον μήνες. 

Θα ήταν λογικό να πιστεύουμε ότι οι τρεις κορυφαίοι πάροχοι cloud έχουν την καλύτερη διαθεσιμότητα, δεδομένης της μεγάλης αγοραστικής τους δύναμης και της δεξαμενής πόρων τους. Αλλά, παραδόξως, πολλές νεοφυείς επιχειρήσεις δεν έχουν διαπιστώσει ότι αυτό είναι αλήθεια. Τα μεγάλα σύννεφα έχουν πολύ υλικό, αλλά έχουν επίσης μεγάλες ανάγκες πελατών για να ικανοποιήσουν — π.χ., το Azure είναι ο κύριος κεντρικός υπολογιστής για το ChatGPT — και συνεχώς προσθέτουν/εκμισθώνουν χωρητικότητα για να καλύψουν τη ζήτηση. Εν τω μεταξύ, η Nvidia έχει δεσμευτεί να κάνει το υλικό διαθέσιμο ευρέως σε ολόκληρο τον κλάδο, συμπεριλαμβανομένων των κατανομών για νέους παρόχους εξειδικευμένων υπηρεσιών. (Το κάνουν αυτό τόσο για να είναι δίκαιοι όσο και για να μειώσουν την εξάρτησή τους από μερικούς μεγάλους πελάτες που επίσης ανταγωνίζονται μαζί τους.)

Ως αποτέλεσμα, πολλές νεοφυείς επιχειρήσεις βρίσκουν περισσότερα διαθέσιμα τσιπ, συμπεριλαμβανομένου του προηγμένου Nvidia H100s, σε μικρότερους παρόχους cloud. Εάν είστε πρόθυμοι να συνεργαστείτε με μια νεότερη εταιρεία υποδομής, μπορεί να είστε σε θέση να μειώσετε τους χρόνους αναμονής για το υλικό και πιθανώς να εξοικονομήσετε χρήματα στη διαδικασία.

Υπολογίστε το μοντέλο παράδοσης: Τα μεγάλα σύννεφα σήμερα προσφέρουν μόνο περιπτώσεις με αποκλειστικές GPU, ο λόγος είναι ότι η εικονικοποίηση GPU εξακολουθεί να είναι ένα άλυτο πρόβλημα. Τα εξειδικευμένα σύννεφα τεχνητής νοημοσύνης προσφέρουν άλλα μοντέλα, όπως κοντέινερ ή εργασίες παρτίδας, που μπορούν να χειριστούν μεμονωμένες εργασίες χωρίς να επιβαρυνθούν με το κόστος εκκίνησης και αποκοπής μιας παρουσίας. Εάν αισθάνεστε άνετα με αυτό το μοντέλο, μπορεί να μειώσει σημαντικά το κόστος.

Διασυνδέσεις δικτύου: Για την εκπαίδευση, συγκεκριμένα, το εύρος ζώνης δικτύου είναι ένας σημαντικός παράγοντας στην επιλογή παρόχου. Συστάδες με ειδικά υφάσματα μεταξύ κόμβων, όπως το NVLink, χρειάζονται για την εκπαίδευση ορισμένων μεγάλων μοντέλων. Για τη δημιουργία εικόνων, τα τέλη κυκλοφορίας εξόδου μπορούν επίσης να αποτελέσουν σημαντικό παράγοντα κόστους.

Υποστήριξη πελατών: Οι μεγάλοι πάροχοι cloud εξυπηρετούν μια τεράστια ομάδα πελατών σε χιλιάδες SKU προϊόντων. Μπορεί να είναι δύσκολο να τραβήξετε την προσοχή της υποστήριξης πελατών ή να επιλύσετε ένα πρόβλημα, εκτός εάν είστε μεγάλος πελάτης. Πολλά εξειδικευμένα σύννεφα τεχνητής νοημοσύνης, από την άλλη πλευρά, προσφέρουν γρήγορη και γρήγορη υποστήριξη ακόμα και για μικρούς πελάτες. Αυτό οφείλεται εν μέρει στο ότι λειτουργούν σε μικρότερη κλίμακα, αλλά και στο ότι ο φόρτος εργασίας τους είναι πιο ομοιογενής — επομένως έχουν περισσότερα κίνητρα να επικεντρωθούν σε χαρακτηριστικά και σφάλματα που σχετίζονται με την τεχνητή νοημοσύνη.

Σύγκριση GPU 

Αν όλα τα άλλα είναι ίσα, οι κορυφαίες GPU θα έχουν την καλύτερη απόδοση σχεδόν σε όλους τους φόρτους εργασίας. Ωστόσο, όπως μπορείτε να δείτε στον παρακάτω πίνακα, το καλύτερο υλικό είναι επίσης σημαντικά πιο ακριβό. Η επιλογή του σωστού τύπου GPU για τη συγκεκριμένη εφαρμογή σας μπορεί να μειώσει σημαντικά το κόστος και μπορεί να κάνει τη διαφορά μεταξύ ενός βιώσιμου και μη βιώσιμου επιχειρηματικού μοντέλου.

Το να αποφασίσετε πόσο μακριά θα φτάσετε στη λίστα — δηλαδή, ο καθορισμός των πιο οικονομικών επιλογών GPU για την εφαρμογή σας — είναι σε μεγάλο βαθμό μια τεχνική απόφαση που ξεφεύγει από το πεδίο εφαρμογής αυτού του άρθρου. Αλλά θα μοιραστούμε παρακάτω μερικά από τα κριτήρια επιλογής που έχουμε δει ότι είναι πιο σημαντικά:

Εκπαίδευση έναντι συμπερασμάτων: Όπως είδαμε στην πρώτη ενότητα παραπάνω, η εκπαίδευση ενός μοντέλου Transformer απαιτεί από εμάς να αποθηκεύσουμε 8 byte δεδομένων για εκπαίδευση εκτός από τα βάρη του μοντέλου. Αυτό σημαίνει ότι μια τυπική GPU καταναλωτών υψηλών προδιαγραφών με μνήμη 12 GB μετά βίας θα μπορούσε να χρησιμοποιηθεί για την εκπαίδευση ενός μοντέλου 4 δισεκατομμυρίων παραμέτρων. Στην πράξη, η εκπαίδευση μεγάλων μοντέλων γίνεται σε συμπλέγματα μηχανημάτων με κατά προτίμηση πολλές GPU ανά διακομιστή, πολλές VRAM και συνδέσεις υψηλού εύρους ζώνης μεταξύ των διακομιστών (δηλαδή, συμπλέγματα κατασκευασμένα με χρήση GPU κέντρων δεδομένων κορυφαίας ποιότητας).

Συγκεκριμένα, πολλά μοντέλα θα είναι πιο οικονομικά αποδοτικά στο NVIDIA H100, αλλά από σήμερα είναι δύσκολο να το βρεις και συνήθως απαιτεί μακροπρόθεσμη δέσμευση άνω του ενός έτους. Το NVIDIA A100 εκτελεί τις περισσότερες εκπαιδεύσεις μοντέλων σήμερα. είναι ευκολότερο να το βρεις, αλλά, για μεγάλα clusters, μπορεί επίσης να απαιτεί μακροπρόθεσμη δέσμευση.

Απαιτήσεις μνήμης: Τα μεγάλα LLM έχουν πλήθος παραμέτρων που είναι πολύ υψηλές για να χωρέσουν σε οποιαδήποτε κάρτα. Πρέπει να χωριστούν σε πολλές κάρτες και απαιτούν ρύθμιση παρόμοια με την εκπαίδευση. Με άλλα λόγια, πιθανότατα χρειάζεστε H100 ή A100 ακόμη και για συμπέρασμα LLM. Αλλά τα μικρότερα μοντέλα (π.χ. Stable Diffusion) απαιτούν πολύ λιγότερη VRAM. Ενώ το A100 είναι ακόμα δημοφιλές, έχουμε δει startups να χρησιμοποιούν τις κάρτες A10, A40, A4000, A5000 και A6000 ή ακόμα και κάρτες RTX. 

Υποστήριξη υλικού: Ενώ η συντριπτική πλειονότητα των φόρτων εργασίας σε εταιρείες με τις οποίες έχουμε μιλήσει εκτελείται σε NVIDIA, λίγοι έχουν αρχίσει να πειραματίζονται με άλλους προμηθευτές. Το πιο συνηθισμένο είναι το Google TPU, αλλά το Gaudi 2 της Intel φαίνεται να έχει επίσης κάποια έλξη. Η πρόκληση με αυτούς τους προμηθευτές είναι ότι η απόδοση του μοντέλου σας συχνά εξαρτάται σε μεγάλο βαθμό από τη διαθεσιμότητα βελτιστοποιήσεων λογισμικού για αυτά τα τσιπ. Πιθανότατα θα πρέπει να κάνετε ένα PoC για να κατανοήσετε την απόδοση.

Απαιτήσεις καθυστέρησης: Γενικά, οι λιγότερο ευαίσθητοι σε καθυστέρηση φόρτους εργασίας (π.χ. ομαδική επεξεργασία δεδομένων ή εφαρμογές που δεν απαιτούν διαδραστικές αποκρίσεις διεπαφής χρήστη) μπορούν να χρησιμοποιούν λιγότερο ισχυρές GPU. Αυτό μπορεί να μειώσει το κόστος υπολογισμού έως και 3-4 φορές (π.χ., συγκρίνοντας τα A100 με τα A10 στο AWS). Οι εφαρμογές που απευθύνονται στον χρήστη, από την άλλη πλευρά, χρειάζονται συχνά κάρτες κορυφαίας ποιότητας για να προσφέρουν μια συναρπαστική εμπειρία χρήστη σε πραγματικό χρόνο. Η βελτιστοποίηση μοντέλων είναι συχνά απαραίτητη για να φέρει το κόστος σε ένα διαχειρίσιμο εύρος.

Αιχμηρότητα: Οι εταιρείες παραγωγής τεχνητής νοημοσύνης συχνά βλέπουν δραματικές αυξήσεις στη ζήτηση, καθώς η τεχνολογία είναι τόσο νέα και συναρπαστική. Δεν είναι ασυνήθιστο να βλέπουμε τους όγκους των αιτημάτων να αυξάνονται κατά 10 φορές την ημέρα, βάσει μιας νέας κυκλοφορίας προϊόντος ή να αυξάνονται συνεχώς κατά 50% την εβδομάδα. Ο χειρισμός αυτών των αιχμών είναι συχνά ευκολότερος σε GPU κατώτερης τεχνολογίας, καθώς είναι πιθανό να διατίθενται περισσότεροι υπολογιστικοί κόμβοι κατόπιν ζήτησης. Συχνά είναι επίσης λογικό να εξυπηρετείται αυτό το είδος επισκεψιμότητας με πόρους χαμηλότερου κόστους — σε βάρος της απόδοσης — εάν προέρχεται από λιγότερο αφοσιωμένους ή λιγότερο συγκρατημένους χρήστες.

Βελτιστοποίηση και προγραμματισμός μοντέλων

Οι βελτιστοποιήσεις λογισμικού μπορούν να επηρεάσουν σε μεγάλο βαθμό τον χρόνο λειτουργίας των μοντέλων — και τα κέρδη 10 φορές δεν είναι ασυνήθιστα. Ωστόσο, θα πρέπει να καθορίσετε ποιες μέθοδοι θα είναι πιο αποτελεσματικές με το συγκεκριμένο μοντέλο και το σύστημά σας.

Ορισμένες τεχνικές λειτουργούν με ένα αρκετά ευρύ φάσμα μοντέλων. Χρησιμοποιώντας μικρότερες αναπαραστάσεις κινητής υποδιαστολής (δηλαδή FP16 ή FP8 έναντι του αρχικού FP32) ή κβαντισμού (INT8, INT4, INT2) επιτυγχάνετε μια επιτάχυνση που είναι συχνά γραμμική με τη μείωση των bit. Αυτό μερικές φορές απαιτεί τροποποίηση του μοντέλου, αλλά υπάρχουν, όλο και περισσότερες, διαθέσιμες τεχνολογίες που αυτοματοποιούν την εργασία με μικτή ή μικρότερη ακρίβεια. Το κλάδεμα των νευρωνικών δικτύων μειώνει τον αριθμό των βαρών αγνοώντας τα βάρη με χαμηλές τιμές. Μαζί με τον αποτελεσματικό πολλαπλασιασμό αραιής μήτρας, αυτό μπορεί να επιτύχει σημαντική επιτάχυνση στις σύγχρονες GPU. Ένα άλλο σύνολο τεχνικών βελτιστοποίησης αντιμετωπίζει τη συμφόρηση του εύρους ζώνης μνήμης (π.χ. με βάρη μοντέλων ροής).

Άλλες βελτιστοποιήσεις αφορούν ιδιαίτερα το μοντέλο. Για παράδειγμα, το Stable Diffusion έχει σημειώσει σημαντικές προόδους στην ποσότητα της VRAM που απαιτείται για την εξαγωγή συμπερασμάτων. Ακόμη μια άλλη κατηγορία βελτιστοποιήσεων είναι ειδικά για το υλικό. Το TensorML της NVIDIA περιλαμβάνει μια σειρά από βελτιστοποιήσεις, αλλά θα λειτουργεί μόνο σε υλικό NVIDIA. Τελευταίο, αλλά όχι λιγότερο σημαντικό, ο προγραμματισμός εργασιών τεχνητής νοημοσύνης μπορεί να δημιουργήσει τεράστια σημεία συμφόρησης ή βελτιώσεις στην απόδοση. Η κατανομή μοντέλων σε GPU με τρόπο που να ελαχιστοποιείται η εναλλαγή βαρών, η επιλογή της καλύτερης GPU για μια εργασία, εάν υπάρχουν πολλές διαθέσιμες, και η ελαχιστοποίηση του χρόνου διακοπής λειτουργίας με ομαδοποίηση του φόρτου εργασίας εκ των προτέρων είναι κοινές τεχνικές.

Τελικά, η βελτιστοποίηση μοντέλων εξακολουθεί να είναι λίγο μαύρη τέχνη και η πλειονότητα των νεοφυών επιχειρήσεων με τις οποίες μιλάμε συνεργάζονται με τρίτους για να βοηθήσουν σε ορισμένες από αυτές τις πτυχές λογισμικού. Συχνά, αυτοί δεν είναι παραδοσιακοί προμηθευτές Mlops, αλλά είναι εταιρείες που ειδικεύονται σε βελτιστοποιήσεις για συγκεκριμένα μοντέλα παραγωγής (π.χ. OctoML ή SegMind).

Πώς θα εξελιχθεί το κόστος της υποδομής AI;

Τα τελευταία χρόνια, έχουμε δει εκθετική αύξηση και των δύο παραμέτρους μοντέλου και Υπολογιστική ισχύς GPU. Δεν είναι σαφές εάν αυτή η τάση θα συνεχιστεί.

Σήμερα, είναι ευρέως αποδεκτό ότι υπάρχει μια σχέση μεταξύ του βέλτιστου αριθμού παραμέτρων και του μεγέθους του συνόλου δεδομένων εκπαίδευσης (βλ. Deepmind's Καλλίμαλο ζώο της Νότιας Αμερικής εργαστείτε για περισσότερα σχετικά με αυτό). Οι καλύτεροι LLM σήμερα εκπαιδεύονται στο Κοινή ανίχνευση (μια συλλογή 4.5 δισεκατομμυρίων ιστοσελίδων, ή περίπου το 10% όλων των ιστοσελίδων που υπάρχουν). Το εκπαιδευτικό σώμα περιλαμβάνει επίσης τη Wikipedia και μια συλλογή βιβλίων, αν και και τα δύο είναι πολύ μικρότερα (ο συνολικός αριθμός των βιβλίων που υπάρχουν υπολογίζεται ότι είναι μόνο περίπου 100 εκατομμύρια). Άλλες ιδέες, όπως η μεταγραφή περιεχομένου βίντεο ή ήχου, έχουν προταθεί, αλλά καμία από αυτές δεν πλησιάζει σε μέγεθος. Δεν είναι σαφές εάν θα μπορούσαμε να αποκτήσουμε ένα μη συνθετικό σύνολο δεδομένων εκπαίδευσης που να είναι 10 φορές μεγαλύτερο από αυτό που έχει ήδη χρησιμοποιηθεί.

Η απόδοση της GPU θα συνεχίσει να αυξάνεται, αλλά και με πιο αργό ρυθμό. Ο νόμος του Moore είναι ακόμα άθικτος επιτρέποντας περισσότερα τρανζίστορ και περισσότερους πυρήνες, αλλά η ισχύς και το I/O γίνονται περιοριστικοί παράγοντες. Επιπλέον, πολλά από τα χαμηλά φρούτα για βελτιστοποιήσεις έχουν μαζευτεί. 

Ωστόσο, τίποτα από αυτά δεν σημαίνει ότι δεν αναμένουμε αύξηση της ζήτησης για υπολογιστική ικανότητα. Ακόμα κι αν επιβραδυνθεί η ανάπτυξη μοντέλων και συνόλων εκπαίδευσης, η ανάπτυξη της βιομηχανίας τεχνητής νοημοσύνης και η αύξηση του αριθμού των προγραμματιστών τεχνητής νοημοσύνης θα τροφοδοτήσουν τη ζήτηση για περισσότερες και ταχύτερες GPU. Ένα μεγάλο κλάσμα της χωρητικότητας της GPU χρησιμοποιείται για δοκιμές από προγραμματιστές κατά τη φάση ανάπτυξης ενός μοντέλου και αυτή η ζήτηση κλιμακώνεται γραμμικά με τον αριθμό εργαζομένων. Δεν υπάρχει κανένα σημάδι ότι η έλλειψη GPU που έχουμε σήμερα θα υποχωρήσει στο εγγύς μέλλον.

Αυτό το συνεχιζόμενο υψηλό κόστος της υποδομής τεχνητής νοημοσύνης θα δημιουργήσει μια τάφρο που θα καθιστά αδύνατο για τους νεοεισερχόμενους να φτάσουν τη διαφορά με τους καλά χρηματοδοτούμενους κατεστημένους φορείς; Δεν γνωρίζουμε ακόμη την απάντηση σε αυτή την ερώτηση. Το κόστος εκπαίδευσης ενός LLM μπορεί να μοιάζει με τάφρο σήμερα, αλλά μοντέλα ανοιχτού κώδικα όπως το Alpaca ή το Stable Diffusion έχουν δείξει ότι αυτές οι αγορές είναι ακόμη νωρίς και μπορεί να αλλάξουν γρήγορα. Με την πάροδο του χρόνου, η δομή του κόστους της αναδυόμενης στοίβας λογισμικού AI (δείτε την προηγούμενη ανάρτησή μας) μπορεί να αρχίσει να μοιάζει περισσότερο με την παραδοσιακή βιομηχανία λογισμικού. 

Τελικά, αυτό θα ήταν καλό: η ιστορία έχει δείξει ότι αυτό οδηγεί σε ζωντανά οικοσυστήματα με ταχεία καινοτομία και πολλές ευκαιρίες για επιχειρηματίες.

Ευχαριστούμε τον Moin Nadeem και τον Shangda Xu για τη συμβολή και την καθοδήγησή τους κατά τη διαδικασία συγγραφής.

---

¹ Η διαίσθηση εδώ είναι ότι για οποιαδήποτε παράμετρο (π.χ. βάρος) σε ένα νευρωνικό δίκτυο, μια πράξη εξαγωγής συμπερασμάτων (π.χ. εμπρός πέρασμα) πρέπει να εκτελεί δύο πράξεις κινητής υποδιαστολής ανά παράμετρο. Αρχικά, πολλαπλασιάζει την τιμή του κόμβου εισόδου του νευρωνικού δικτύου με την παράμετρο. Δεύτερον, προσθέτει το αποτέλεσμα της άθροισης στον κόμβο εξόδου του νευρωνικού δικτύου. Οι παράμετροι στον κωδικοποιητή χρησιμοποιούνται μία φορά ανά διακριτικό εισόδου και οι παράμετροι στον αποκωδικοποιητή χρησιμοποιούνται μία φορά ανά διακριτικό εξόδου. Αν υποθέσουμε ότι ένα μοντέλο έχει p οι παράμετροι και η είσοδος και η έξοδος έχουν μήκος n μάρκες, συνολικές πράξεις κινητής υποδιαστολής είναι n * σελ. Υπάρχουν πολλές άλλες λειτουργίες (π.χ. κανονικοποίηση, κωδικοποίηση/αποκωδικοποίηση της ενσωμάτωσης) που συμβαίνουν σε ένα μοντέλο, αλλά ο χρόνος που χρειάζεται για την εκτέλεσή τους είναι μικρός σε σύγκριση. 

² Η εκμάθηση απαιτεί πρώτα ένα πέρασμα προς τα εμπρός μέσω του μετασχηματιστή όπως περιγράφεται παραπάνω, ακολουθούμενο από ένα πέρασμα προς τα πίσω που επιφέρει τέσσερις πρόσθετες λειτουργίες ανά παράμετρο για τον υπολογισμό της κλίσης και τη ρύθμιση του βάρους. Σημειώστε ότι ο υπολογισμός της διαβάθμισης απαιτεί τη διατήρηση των υπολογισμένων τιμών του κόμβου από το μπροστινό πέρασμα. Για GPT-3, Τα μοντέλα γλωσσών είναι λίγοι μαθητές συζητά το κόστος εκπαίδευσης.

* * *

Οι απόψεις που εκφράζονται εδώ είναι αυτές του μεμονωμένου προσωπικού της AH Capital Management, LLC (“a16z”) που αναφέρεται και δεν είναι απόψεις της a16z ή των θυγατρικών της. Ορισμένες πληροφορίες που περιέχονται εδώ έχουν ληφθεί από τρίτες πηγές, συμπεριλαμβανομένων των εταιρειών χαρτοφυλακίου κεφαλαίων που διαχειρίζεται η a16z. Αν και λαμβάνεται από πηγές που πιστεύεται ότι είναι αξιόπιστες, το a16z δεν έχει επαληθεύσει ανεξάρτητα τέτοιες πληροφορίες και δεν κάνει δηλώσεις σχετικά με τη διαρκή ακρίβεια των πληροφοριών ή την καταλληλότητά τους για μια δεδομένη κατάσταση. Επιπλέον, αυτό το περιεχόμενο μπορεί να περιλαμβάνει διαφημίσεις τρίτων. Η a16z δεν έχει ελέγξει τέτοιες διαφημίσεις και δεν υποστηρίζει κανένα διαφημιστικό περιεχόμενο που περιέχεται σε αυτές.

Αυτό το περιεχόμενο παρέχεται μόνο για ενημερωτικούς σκοπούς και δεν θα πρέπει να βασίζεται ως νομική, επιχειρηματική, επενδυτική ή φορολογική συμβουλή. Θα πρέπει να συμβουλευτείτε τους δικούς σας συμβούλους για αυτά τα θέματα. Οι αναφορές σε οποιουσδήποτε τίτλους ή ψηφιακά περιουσιακά στοιχεία είναι μόνο για ενδεικτικούς σκοπούς και δεν αποτελούν επενδυτική σύσταση ή προσφορά για παροχή επενδυτικών συμβουλευτικών υπηρεσιών. Επιπλέον, αυτό το περιεχόμενο δεν απευθύνεται ούτε προορίζεται για χρήση από επενδυτές ή υποψήφιους επενδυτές και δεν μπορεί σε καμία περίπτωση να γίνει επίκληση του κατά τη λήψη απόφασης για επένδυση σε οποιοδήποτε αμοιβαίο κεφάλαιο που διαχειρίζεται η a16z. (Μια προσφορά για επένδυση σε ένα αμοιβαίο κεφάλαιο a16z θα γίνει μόνο από το μνημόνιο ιδιωτικής τοποθέτησης, τη συμφωνία εγγραφής και άλλη σχετική τεκμηρίωση οποιουδήποτε τέτοιου κεφαλαίου και θα πρέπει να διαβαστεί στο σύνολό τους.) Τυχόν επενδύσεις ή εταιρείες χαρτοφυλακίου που αναφέρονται, αναφέρονται ή που περιγράφονται δεν είναι αντιπροσωπευτικές όλων των επενδύσεων σε οχήματα που διαχειρίζεται η a16z και δεν μπορεί να υπάρξει διαβεβαίωση ότι οι επενδύσεις θα είναι κερδοφόρες ή ότι άλλες επενδύσεις που θα πραγματοποιηθούν στο μέλλον θα έχουν παρόμοια χαρακτηριστικά ή αποτελέσματα. Μια λίστα με επενδύσεις που πραγματοποιήθηκαν από αμοιβαία κεφάλαια που διαχειρίζεται ο Andreessen Horowitz (εξαιρουμένων των επενδύσεων για τις οποίες ο εκδότης δεν έχει παράσχει άδεια για δημοσιοποίηση της a16z καθώς και των απροειδοποίητων επενδύσεων σε δημόσια διαπραγματεύσιμα ψηφιακά περιουσιακά στοιχεία) είναι διαθέσιμη στη διεύθυνση https://a16z.com/investments /.

Τα γραφήματα και τα γραφήματα που παρέχονται εντός προορίζονται αποκλειστικά για ενημερωτικούς σκοπούς και δεν θα πρέπει να βασίζονται σε αυτά όταν λαμβάνεται οποιαδήποτε επενδυτική απόφαση. Οι προηγούμενες αποδόσεις δεν είναι ενδεικτικές των μελλοντικών αποτελεσμάτων. Το περιεχόμενο μιλά μόνο από την ημερομηνία που υποδεικνύεται. Οποιεσδήποτε προβλέψεις, εκτιμήσεις, προβλέψεις, στόχοι, προοπτικές και/ή απόψεις που εκφράζονται σε αυτό το υλικό υπόκεινται σε αλλαγές χωρίς προειδοποίηση και μπορεί να διαφέρουν ή να είναι αντίθετες με τις απόψεις που εκφράζονται από άλλους. Ανατρέξτε στη διεύθυνση https://a16z.com/disclosures για πρόσθετες σημαντικές πληροφορίες.

• SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
• PlatoAiStream. Web3 Data Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
• Minting the Future με την Adryenn Ashley. Πρόσβαση εδώ.
• πηγή: https://a16z.com/2023/04/27/navigating-the-high-cost-of-ai-compute/