Το επόμενο Gambit AI του Meta; Το Llama 3 φημολογείται για τις αρχές του 2024 - Decrypt

Το επόμενο Gambit AI του Meta; Το Llama 3 φημολογείται για τις αρχές του 2024 - Decrypt

Χρονική σήμανση: 9 Νοεμβρίου 2023 9:39 μ.μ.

Η περιέργεια για την επόμενη μεγάλη κίνηση του Meta είναι να φτάσει σε έξαρση στον αγώνα για να κυριαρχήσει στο τοπίο της τεχνητής νοημοσύνης. Με το μοντέλο δημιουργίας κειμένου Llama 2 - που κυκλοφόρησε τον Ιούλιο - καλά καθιερωμένο στην αγορά, οι παρατηρητές τεχνητής νοημοσύνης αναζητούν διψασμένοι για σημάδια του Llama 3.

Αν γίνουν πιστευτές οι μουρμούρες της βιομηχανίας, η συνέχεια του τεχνολογικού τιτάνα στην επιτυχία του ανοιχτού κώδικα θα μπορούσε να φτάσει στις αρχές του 2024.

Η Meta δεν έχει επιβεβαιώσει επίσημα τις φήμες, αλλά ο Mark Zuckerberg έριξε πρόσφατα λίγο φως στο ποιο θα μπορούσε να είναι το μέλλον των LLM της Meta (μεγάλα γλωσσικά μοντέλα), ξεκινώντας με μια αναγνώριση ότι το Llama 3 είναι στα σκαριά. Ωστόσο, είπε, το νέο θεμελιώδες μοντέλο τεχνητής νοημοσύνης εξακολουθεί να βρίσκεται στο πίσω μέρος, ενώ η προτεραιότητα παραμένει η τελειοποίηση του Llama 2 για να γίνει πιο φιλικό προς τους καταναλωτές.

«Εννοώ, υπάρχει πάντα ένα άλλο μοντέλο που εκπαιδεύουμε», είπε σε μια συνέντευξη στο podcast που επικεντρώθηκε σε η τομή μεταξύ AI και μετασύμπαντος, «Εκπαιδεύσαμε το Llama 2 και το κυκλοφορήσαμε ως μοντέλο ανοιχτού κώδικα και αυτή τη στιγμή η προτεραιότητα είναι να το ενσωματώσουμε σε μια δέσμη καταναλωτικών προϊόντων…

«Αλλά ναι, εργαζόμαστε επίσης για τα μελλοντικά μοντέλα ιδρυμάτων και δεν έχω τίποτα νέο ή νέα για αυτό», συνέχισε. «Δεν ξέρω πότε ακριβώς θα είναι έτοιμο».

Ενώ η Meta δεν έχει επιβεβαιώσει επίσημα τις φήμες, τα μοτίβα στους κύκλους ανάπτυξης και οι τεράστιες επενδύσεις υλικού υποδηλώνουν μια επικείμενη κυκλοφορία. Το Llama 1 και το Llama 2 είδαν διαστήματα έξι μηνών στην προπόνηση, και αν ισχύει αυτός ο ρυθμός, το νέο Llama 3 -που εικάζεται ότι είναι στο ίδιο επίπεδο με το GPT-4 του OpenAI- θα μπορούσε να κυκλοφορήσει το πρώτο εξάμηνο του 2024.

Προσθέτοντας βάθος στην εικασία, χρήστης του Reddit λάμαΣιλ έχει παρουσιάσει μια ολοκληρωμένη ανάλυση των κύκλων ανάπτυξης ιστορικού μοντέλου της Meta.

Η εκπαίδευση του Llama 1 διήρκεσε από τον Ιούλιο του 2022 έως τον Ιανουάριο του 2023, με το Llama 2 να ακολουθεί μέχρι τον Ιούλιο του 2023, ο χρήστης πρότεινε, θέτοντας ένα εύλογο στάδιο για την εκπαίδευση του Llama 3 από τον Ιούλιο του 2023 έως τον Ιανουάριο του 2024. Αυτές οι πληροφορίες συνδυάζονται με την αφήγηση ενός Meta επιδιώκοντας ακατάπαυστα την αριστεία της τεχνητής νοημοσύνης, με ανυπομονησία να παρουσιάσει την επόμενη πρόοδό της που θα μπορούσε να σταθεί ώμο με ώμο με τις δυνατότητες του GPT-4.

Εν τω μεταξύ, φόρουμ τεχνολογίας και social media βουίζουν με συζητήσεις για το πώς αυτή η νέα επανάληψη θα μπορούσε να αποκαταστήσει το ανταγωνιστικό πλεονέκτημα της Meta. Η τεχνολογική κοινότητα έχει επίσης συγκεντρώσει ένα πιθανό χρονοδιάγραμμα από τα ψίχουλα των διαθέσιμων πληροφοριών.

Προσθέστε σε αυτό λίγη από το Twitter: μια συνομιλία που φέρεται να ακούστηκε σε ένα κοινωνικό δίκτυο "Meta GenAI", που αργότερα δημοσιεύτηκε στο Twitter από τον ερευνητή του OpenAI Jason Wei. "Έχουμε τον υπολογισμό για να εκπαιδεύσουμε το Llama 3 και 4", είπε μια άγνωστη πηγή, σύμφωνα με τον Wei - επιβεβαιώνοντας στη συνέχεια ότι θα είναι επίσης ανοιχτού κώδικα.

Εν τω μεταξύ, η συνεργασία της εταιρείας με την Dell —προσφέροντας το Llama 2 on-premises για εταιρικούς χρήστες— υπογραμμίζει τη δέσμευσή της στον έλεγχο και την ασφάλεια των προσωπικών δεδομένων, μια κίνηση που είναι στρατηγική και ενδεικτική της εποχής. Καθώς η Meta προετοιμάζεται για να αντιμετωπίσει τους γίγαντες όπως το OpenAI και η Google, αυτή η δέσμευση είναι κρίσιμη.

Η Meta εισάγει επίσης τεχνητή νοημοσύνη σε πολλά από τα προϊόντα της, επομένως είναι λογικό για την εταιρεία να αυξήσει τα μερίδιά της για να μην μείνει πίσω. Το Llama 2 εξουσιοδοτεί το Meta AI και άλλες υπηρεσίες όπως τα chatbots της Meta, οι υπηρεσίες παραγωγής Meta και τα γυαλιά AI της Meta, για να αναφέρουμε μερικές.

Μέσα σε αυτόν τον ανεμοστρόβιλο εικασιών, οι σκέψεις του Mark Zuckerberg για το ανοιχτού κώδικα Llama 3 έχουν χρησιμεύσει μόνο για να ιντριγκάρουν και να μπλοκάρουν. «Θα χρειαζόμασταν μια διαδικασία για να το ομαδοποιήσουμε και να το κάνουμε ασφαλές», δήλωσε ο Zuckerberg κατά τη διάρκεια ενός πρόσφατου podcast με τον επιστήμονα υπολογιστών Lex Fridman.

Το Llama 2 διαθέτει πολυεπίπεδη αρχιτεκτονική με εκδόσεις που προσφέρουν 7 δισεκατομμύρια, 13 δισεκατομμύρια και ισχυρές 70 δισεκατομμύρια παραμέτρους, καθεμία κατάλληλη για διαφορετικά επίπεδα πολυπλοκότητας και υπολογιστικής ισχύος. Οι παράμετροι στα LLM χρησιμεύουν ως νευρωνικά δομικά στοιχεία που καθορίζουν την ικανότητα του μοντέλου να κατανοεί και να δημιουργεί γλώσσα, με τον αριθμό των παραμέτρων να συσχετίζεται συχνά με την πολυπλοκότητα και την πιθανή ποιότητα εξόδου του μοντέλου.

Η δύναμη της τεχνητής νοημοσύνης έχει εκπαιδευτεί σε ένα εκτενές σύνολο 2 τρισεκατομμύρια μάρκες, υποστηρίζοντας την ικανότητά του να πλοηγείται και να δημιουργεί κείμενο που μοιάζει με άνθρωπο σε ένα ευρύ φάσμα θεμάτων και πλαισίων.

Η εικόνα είναι ευγενική προσφορά του Meta

Στο παρασκήνιο, μπαίνουν και οι βάσεις υλικού. Οπως και αναφερθεί by Αποκρυπτογράφηση, η Meta διαθέτει ένα κέντρο δεδομένων με Nvidia H100s, ένα από τα πιο ισχυρά κομμάτια υλικού για εκπαίδευση τεχνητής νοημοσύνης—ένα σαφές σημάδι ότι οι τροχοί κινούνται καλά.

Ωστόσο, παρ' όλο τον ενθουσιασμό και τις εικασίες, η αλήθεια παραμένει τυλιγμένη στο εταιρικό απόρρητο.

Οι προθέσεις της Meta να ανταγωνιστεί στον χώρο της τεχνητής νοημοσύνης διαμορφώνονται σε μεγάλο βαθμό από τους απαιτούμενους χρόνους εκπαίδευσης, τις επενδύσεις υλικού και το ερώτημα ανοιχτού κώδικα. Εν τω μεταξύ, η προσδοκία είναι τόσο απτή όσο είναι πιθανή η κυκλοφορία του Llama 2024 το 3.

Επιμέλεια: Ράιαν Οζάουα.

Μείνετε ενημερωμένοι για τα νέα κρυπτογράφησης, λάβετε καθημερινές ενημερώσεις στα εισερχόμενά σας.

Σφραγίδα ώρας:

Περισσότερα από Αποκρυπτογράφηση