Le prochain pari IA de Meta ? Llama 3 selon des rumeurs pour début 2024

Republié par Platon

Suiveurs: 0

La curiosité à propos du prochain grand mouvement de Meta atteint son paroxysme dans la course à la domination du paysage de l'intelligence artificielle. Avec son modèle de texte génératif Llama 2, sorti en juillet, bien établi sur le marché, les observateurs de l'IA recherchent avidement des signes de Llama 3.

Si l’on en croit les murmures de l’industrie, la suite du succès open source du titan de la technologie pourrait arriver début 2024.

Meta n'a pas officiellement confirmé les rumeurs, mais Mark Zuckerberg a récemment fait la lumière sur ce que pourrait être l'avenir des LLM (grands modèles de langage) de Meta, en commençant par reconnaître que Llama 3 est en préparation. Mais, a-t-il déclaré, le nouveau modèle fondamental d'IA est toujours en veilleuse tandis que la priorité reste de peaufiner Llama 2 pour le rendre plus convivial.

"Je veux dire, il y a toujours un autre modèle que nous formons", a-t-il déclaré dans une interview en podcast axée sur l'intersection entre l'IA et le métaverse, « Nous avons formé Llama 2 et nous l'avons publié en tant que modèle open source, et pour le moment, la priorité est de l'intégrer dans un ensemble de produits de consommation…

"Mais oui, nous travaillons également sur les futurs modèles de fondations, et je n'ai rien de nouveau ni de nouvelles à ce sujet", a-t-il poursuivi. "Je ne sais pas exactement quand ce sera prêt."

Bien que Meta n'ait pas officiellement confirmé les rumeurs, les tendances des cycles de développement et les investissements matériels importants laissent présager un lancement imminent. Llama 1 et Llama 2 ont connu des intervalles de formation de six mois, et si cette cadence se maintient, le nouveau Llama 3, censé être à égalité avec le GPT-4 d'OpenAI, pourrait être lancé au premier semestre 2024.

Ajoutant de la profondeur à la spéculation, utilisateur de Reddit lamaShill a présenté une analyse complète des cycles de développement des modèles historiques de Meta.

La formation de Llama 1 s'est déroulée de juillet 2022 à janvier 2023, avec Llama 2 emboîtant le pas jusqu'en juillet 2023, a proposé l'utilisateur, ouvrant une scène plausible pour la formation de Llama 3 de juillet 2023 à janvier 2024. Ces informations concordent avec le récit d'une méta qui est recherchant sans relâche l’excellence de l’IA, désireux de présenter sa prochaine avancée qui pourrait rivaliser avec les capacités de GPT-4.

Pendant ce temps, les forums techniques et réseaux sociaux sont en effervescence avec discussions sur la manière dont cette nouvelle itération pourrait rétablir l'avantage concurrentiel de Meta. La communauté technologique a également reconstitué une chronologie probable à partir des miettes d’informations disponibles.

Entendu lors d'un réseau social Meta GenAI :

"Nous avons des calculs pour entraîner Llama 3 et 4. Le plan est que Llama-3 soit aussi bon que GPT-4."

« Wow, si Llama-3 est aussi bon que GPT-4, allez-vous toujours l'ouvrir en source ? »

« Ouais, nous le ferons. Désolé les gens d’alignement.

-Jason (@agikoala) 25 août 2023

Ajoutez à cela un peu d’hérésie sur Twitter : une conversation qui aurait été entendue lors d’un réseau social « Meta GenAI », tweetée plus tard par le chercheur d’OpenAI Jason Wei. "Nous avons le calcul nécessaire pour entraîner Llama 3 et 4", a déclaré une source non identifiée, selon Wei, affirmant ensuite qu'il serait également open source.

Parallèlement, le partenariat de l'entreprise avec Dell, proposant Llama 2 sur site pour les utilisateurs professionnels, souligne son engagement en faveur du contrôle et de la sécurité des données personnelles, une démarche à la fois stratégique et révélatrice de son époque. Alors que Meta se prépare à affronter des géants comme OpenAI et Google, cet engagement est essentiel.

Meta intègre également l’IA dans nombre de ses produits, il est donc logique que l’entreprise augmente ses enjeux pour ne pas être laissée pour compte. Llama 2 alimente Meta AI et d'autres services tels que les chatbots de Meta, les services génératifs Meta et les lunettes AI de Meta, pour n'en nommer que quelques-uns.

Au milieu de ce tourbillon de spéculations, les réflexions de Mark Zuckerberg sur l'open source de Llama 3 n'ont servi qu'à intriguer et à mystifier. "Nous aurions besoin d'un processus pour regrouper cela et le rendre sûr", a partagé Zuckerberg lors d'un récent podcast avec l'informaticien Lex Fridman.

Llama 2 possède une architecture à plusieurs niveaux avec des versions offrant 7 milliards, 13 milliards et 70 milliards de paramètres robustes, chacun adapté à différents niveaux de complexité et de puissance de calcul. Les paramètres des LLM servent de blocs de construction neuronaux qui définissent la capacité du modèle à comprendre et à générer du langage, le nombre de paramètres étant souvent en corrélation avec la sophistication et la qualité potentielle du résultat du modèle.

La centrale d'IA a été formée sur un vaste corpus de 2 XNUMX milliards de jetons, renforçant sa capacité à naviguer et à générer du texte de type humain sur un large éventail de sujets et de contextes.

Paramètres IA de Llama 2 — Image reproduite avec l'aimable autorisation de Meta

En arrière-plan, les bases matérielles sont également posées. Comme rapporté by Décrypter, Meta stocke un centre de données avec des Nvidia H100, l'un des matériels les plus puissants pour la formation en IA, un signe clair que les roues sont bien en mouvement.

Pourtant, malgré toute l’excitation et les spéculations, la vérité reste entourée de secrets d’entreprise.

Les intentions de Meta d'être compétitif dans le domaine de l'IA sont largement déterminées par les temps de formation requis, les investissements matériels et la question de l'open source. En attendant, l’anticipation est aussi palpable qu’une sortie de Llama 2024 en 3 est probable.

Édité par Ryan Ozawa.