Llama 3 chegará em maio – a OpenAI deve se preocupar? – Descriptografar

Em um evento de IA de alto nível em Londres, os executivos da Meta forneceram na terça-feira a primeira confirmação oficial e detalhes sobre o lançamento iminente do Llama 3, a próxima iteração altamente antecipada do modelo de linguagem grande de código aberto da empresa.

“No próximo mês, na verdade menos, esperançosamente em um período muito curto de tempo, esperamos começar a lançar nosso novo conjunto de modelos básicos de próxima geração, Llama 3”, anunciou Nick Clegg, presidente de assuntos globais da Meta, na Meta Dia da IA ​​em Londres, relatado TechCrunch.

Clegg disse que o Llama 3 consiste em “uma série de modelos diferentes com capacidades e versatilidades diferentes” que começarão a ser lançados neste ano.

Assim que for lançado, o Llama 3 será esperado ser o modelo de código aberto mais avançado disponível, com a Meta investindo pesadamente em seu desenvolvimento. O modelo foi treinado com 140 bilhões de parâmetros, diz Meta, o dobro da capacidade do Llama 2. O CEO da Meta, Mark Zuckerburg, tinha provocado alguns dos detalhes técnicos em janeiro.

“Estamos construindo uma enorme infraestrutura de computação para apoiar nosso roteiro futuro, incluindo 350 mil H100s até o final deste ano - e no geral quase 600 mil H100s equivalentes de computação se você incluir outras GPUs”, disse Zuckerberg na época. Esta quantidade de poder de computação é significativamente maior do que a usada pela OpenAI para treinar o GPT-4, que foi estimado exigir cerca de 25,000 GPUs em 90 a 100 dias.

Zuckerberg também revelou que Meta AI, seu assistente de IA, será alimentado pelo Llama 3.

Chris Cox, diretor de produtos, disse que o Llama 3 será integrado ao Meta.

“Nosso plano será ter o Llama 3 alimentando vários produtos e experiências diferentes em nossa família de aplicativos”, disse ele.

A estratégia de código aberto

O impacto do lançamento do Llama 3 vai muito além do Meta, dado o compromisso filosófico da empresa em desenvolvê-lo como um modelo de código aberto, em claro contraste com a abordagem fechada e proprietária adotada por rivais como OpenAI com ChatGPT.

Ao abrir o código de seus modelos de linguagem, a Meta pretende nutrir um ecossistema de desenvolvimento aberto de IA e posicionar a família Llama como a base para uma gama diversificada de ferramentas e aplicativos criados por desenvolvedores e pesquisadores terceirizados.

“É muito importante perceber que as inovações sempre se baseiam em contribuições anteriores de outros, às vezes muito semelhantes”, tuitou Yann LeCun, chefe de pesquisa de IA da Meta, no mês passado. “É por isso que a pesquisa aberta é tão importante: ela faz o campo avançar mais rápido para todos.”

Esta espírito aberto já gerou uma comunidade vibrante em torno de Llama. Alguns dos modelos de linguagem de código aberto mais avançados da atualidade, como Mistral, falcão, e Beluga, são construídos através do ajuste fino do modelo de base anterior do Llama 2. Vários desses modelos de comunidade igualaram ou superaram o GPT-3.5 em determinados benchmarks.

O lançamento do Llama-3 como outro modelo fundamental de código aberto provavelmente abre caminho para uma nova geração de LLMs que elevará ainda mais o padrão em termos de qualidade e eficiência em IA.

Desafiando o domínio do OpenAI

A premissa de código aberto do Llama 3 representa um desafio formidável e de múltiplas camadas para o atual domínio de mercado da OpenAI e – por extensão – para outros modelos proprietários como Claude e Gemini.

A comunidade de código aberto em breve poderá desenvolver o Llama 3 e iterar rapidamente suas variações para potencialmente igualar ou exceder as capacidades do GPT-4– assim como fizeram contra o GPT-3.5. Com custos de formação mais baixos partilhados entre os contribuidores, o ecossistema aberto poderia ultrapassar o desenvolvimento de modelos proprietários da OpenAI, que requer imensos recursos e custos computacionais.

Se as ofertas de código aberto atingirem regularmente a paridade com as ofertas comerciais, as empresas poderão gravitar em direção aos ecossistemas mais acessíveis e rentáveis, como o Llama, em vez de confiar e pagar pela OpenAI. Atualmente, o GPT-4 é o modelo mais caro do mercado em termos de custo por token.

Além disso, a comunidade de código aberto fica mais forte à medida que mais pessoas se envolvem com ela. Meta se beneficia de ter uma enorme comunidade construída sobre o modelo, ajustando-o, desenvolvendo novas tecnologias e melhorando-o gratuitamente. Isso torna mais fácil para o Meta desenvolver versões melhores de seu modelo e, ao mesmo tempo, monetizá-lo por meio de esquemas alternativos como licenciá-lo para uso comercial por grandes indústrias.

Em outras palavras, a inércia contínua e os efeitos de rede podem dificultar a atração de usuários e clientes pelos modelos proprietários da OpenAI no futuro.

Com certeza, a OpenAI detém atualmente uma forte liderança em termos de rentabilidade. A Anthropic pode se orgulhar de ter o LLM de melhor desempenho no espaço de IA. Mas o Llama 3 representará outro ataque estratégico da Meta para derrubar o cenário generativo da IA.

É claro que muito depende do desempenho e da adoção no mundo real do Llama 3 no próximo ano. Mas a comunidade de IA de código aberto é bastante ativa – e já adora o Llama-2. As coisas ficarão muito interessantes nos próximos meses, especialmente com o GPT-5 da OpenAI ao virar da esquina.

Editado por Ryan Ozawa.

• Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
• PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
• PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
• PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
• PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
• Fonte: https://decrypt.co/225814/llama-3-is-coming-in-may-should-openai-be-worried