O próximo gambito de IA da Meta? Rumores de Llama 3 para o início de 2024 – Descriptografar

A curiosidade sobre o próximo grande movimento do Meta está atingindo um nível febril na corrida para dominar o cenário da inteligência artificial. Com seu modelo de texto generativo Llama 2 – lançado em julho – bem estabelecido no mercado, os observadores de IA estão procurando avidamente por sinais do Llama 3.

Se acreditarmos nos murmúrios da indústria, a sequência do titã da tecnologia ao seu sucesso de código aberto poderá chegar no início de 2024.

A Meta não confirmou oficialmente os rumores, mas Mark Zuckerberg recentemente lançou alguma luz sobre o que poderia ser o futuro dos LLMs (modelos de linguagem grande) da Meta, começando com um reconhecimento de que o Llama 3 está em obras. Mas, disse ele, o novo modelo fundamental de IA ainda está em segundo plano, enquanto a prioridade continua sendo o ajuste fino do Llama 2 para torná-lo mais amigável ao consumidor.

“Quero dizer, sempre há outro modelo que estamos treinando”, disse ele em uma entrevista em podcast focada em a interseção entre IA e o metaverso, “Treinamos o Llama 2 e o lançamos como um modelo de código aberto, e agora a prioridade é transformá-lo em um monte de produtos de consumo…

“Mas sim, também estamos trabalhando nos futuros modelos de fundação e não tenho nada de novo ou novidade sobre isso”, continuou ele. “Não sei exatamente quando estará pronto.”

Embora a Meta não tenha confirmado oficialmente os rumores, os padrões nos ciclos de desenvolvimento e os pesados ​​investimentos em hardware sugerem um lançamento iminente. Llama 1 e Llama 2 tiveram intervalos de treinamento de seis meses e, se essa cadência se mantiver, o novo Llama 3 – especulado para estar no mesmo nível do GPT-4 da OpenAI – poderá ser lançado no primeiro semestre de 2024.

Adicionando profundidade à especulação, usuário do Reddit lhamaShill apresentou uma análise abrangente dos ciclos históricos de desenvolvimento do modelo Meta.

O treinamento do Llama 1 durou de julho de 2022 a janeiro de 2023, com o Llama 2 seguindo o exemplo até julho de 2023, propôs o usuário, estabelecendo um estágio plausível para o treinamento do Llama 3 de julho de 2023 a janeiro de 2024. Esses insights se encaixam na narrativa de um Meta que é buscando incansavelmente a excelência em IA, ansioso para mostrar seu próximo avanço que possa estar lado a lado com as capacidades do GPT-4.

Enquanto isso, fóruns de tecnologia e meios de comunicação social estão cheios de discussões sobre como esta nova iteração poderia restabelecer a vantagem competitiva da Meta. A comunidade tecnológica também montou um cronograma provável a partir das migalhas de informações disponíveis.

Acrescente a isso um pouco de aqui dizer do Twitter: uma conversa supostamente ouvida em uma rede social “Meta GenAI”, posteriormente tuitada pelo pesquisador da OpenAI Jason Wei. “Temos a computação para treinar o Llama 3 e 4”, disse uma fonte não identificada, segundo Wei – afirmando que também seria de código aberto.

Entretanto, a parceria da empresa com a Dell – oferecendo o Llama 2 no local para utilizadores empresariais – sublinha o seu compromisso com o controlo e a segurança dos dados pessoais, um movimento que é ao mesmo tempo estratégico e indicativo dos tempos. À medida que a Meta se prepara para enfrentar gigantes como OpenAI e Google, esse compromisso é fundamental.

A Meta também está infundindo IA em muitos de seus produtos, por isso faz sentido que a empresa aumente suas apostas para não ficar para trás. O Llama 2 alimenta o Meta AI e outros serviços como chatbots do Meta, serviços generativos do Meta e óculos de IA do Meta, para citar alguns.

Em meio a esse turbilhão de especulações, as reflexões de Mark Zuckerberg sobre o código aberto do Llama 3 serviram apenas para intrigar e mistificar. “Precisaríamos de um processo para formar uma equipe vermelha e torná-lo seguro”, Zuckerberg compartilhou durante um podcast recente com o cientista da computação Lex Fridman.

O Llama 2 possui uma arquitetura multicamadas com versões que oferecem 7 bilhões, 13 bilhões e robustos 70 bilhões de parâmetros, cada um adequado para vários níveis de complexidade e poder computacional. Os parâmetros em LLMs servem como blocos de construção neurais que definem a capacidade do modelo de compreender e gerar linguagem, com o número de parâmetros muitas vezes correlacionando-se com a sofisticação e a qualidade potencial de saída do modelo.

A potência da IA ​​foi treinada em um extenso corpus de 2 trilhões de tokens, sustentando sua capacidade de navegar e gerar texto semelhante ao humano em uma ampla variedade de assuntos e contextos.

No fundo, as bases do hardware também estão sendo estabelecidas. Como relatado by Descifrar, Meta está abastecendo um data center com Nvidia H100s, uma das peças de hardware mais poderosas para treinamento de IA – um sinal claro de que as rodas estão em movimento.

No entanto, apesar de toda a excitação e especulação, a verdade permanece envolta em segredo corporativo.

As intenções da Meta de competir no espaço de IA são em grande parte moldadas pelos tempos de treinamento necessários, pelos investimentos em hardware e pela questão do código aberto. Enquanto isso, a antecipação é tão palpável quanto o lançamento do Llama 2024 em 3 é provável.

Editado por Ryan Ozawa.

• Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
• PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
• PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
• PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
• PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
• Fonte: https://decrypt.co/205436/llama-3-release-date-rumored-meta-ai-challenger