¿El próximo gambito de IA de Meta? Se rumorea que Llama 3 llegará a principios de 2024 - Decrypt

¿El próximo gambito de IA de Meta? Se rumorea que Llama 3 llegará a principios de 2024 – Decrypt

Marca de tiempo: 9 de noviembre de 2023 9:39 p.m.

La curiosidad sobre el próximo gran paso de Meta está alcanzando un punto álgido en la carrera por dominar el panorama de la inteligencia artificial. Con su modelo de texto generativo Llama 2, lanzado en julio, bien establecido en el mercado, los observadores de la IA buscan ávidamente señales de Llama 3.

Si hay que creer en los murmullos de la industria, la secuela del éxito del código abierto del titán tecnológico podría llegar a principios de 2024.

Meta no ha confirmado oficialmente los rumores, pero Mark Zuckerberg recientemente arrojó algo de luz sobre lo que podría ser el futuro de los LLM (grandes modelos de lenguaje) de Meta, comenzando con un reconocimiento de que Llama 3 está en proceso. Pero, dijo, el nuevo modelo fundamental de IA todavía está en un segundo plano, mientras que la prioridad sigue siendo ajustar Llama 2 para hacerlo más amigable para el consumidor.

"Quiero decir, siempre hay otro modelo que estamos entrenando", dijo en una entrevista de podcast que se centró en la intersección entre la IA y el metaverso, “Entrenamos Llama 2 y lo lanzamos como un modelo de código abierto, y en este momento la prioridad es incorporarlo a una serie de productos de consumo…

"Pero sí, también estamos trabajando en los futuros modelos de base, y no tengo nada nuevo ni noticias al respecto", continuó. "No sé exactamente cuándo estará listo".

Si bien Meta no ha confirmado oficialmente los rumores, los patrones en los ciclos de desarrollo y las fuertes inversiones en hardware apuntan a un lanzamiento inminente. Llama 1 y Llama 2 tuvieron intervalos de entrenamiento de seis meses y, si esta cadencia se mantiene, la nueva Llama 3, que se especula que está a la par con el GPT-4 de OpenAI, podría lanzarse en la primera mitad de 2024.

Añadiendo profundidad a la especulación, usuario de Reddit llamaShill ha presentado un análisis exhaustivo de los ciclos de desarrollo del modelo histórico de Meta.

El entrenamiento de Llama 1 se extendió desde julio de 2022 hasta enero de 2023, y Llama 2 hizo lo mismo hasta julio de 2023, propuso el usuario, estableciendo un escenario plausible para el entrenamiento de Llama 3 de julio de 2023 a enero de 2024. Estos conocimientos encajan con la narrativa de un Meta que es Buscando incansablemente la excelencia en IA, ansioso por mostrar su próximo avance que podría estar hombro con hombro con las capacidades de GPT-4.

Mientras tanto, foros tecnológicos y redes sociales están llenos de discusiones sobre cómo esta nueva iteración podría restablecer la ventaja competitiva de Meta. La comunidad tecnológica también ha elaborado una línea de tiempo probable a partir de la información disponible.

Agregue a eso un poco de herejía de Twitter: una conversación supuestamente escuchada en una red social "Meta GenAI", luego tuiteada por el investigador de OpenAI Jason Wei. "Tenemos el cómputo para entrenar a Llama 3 y 4", dijo una fuente no identificada, según Wei, y luego afirmó que también sería de código abierto.

Mientras tanto, la asociación de la compañía con Dell, que ofrece Llama 2 en las instalaciones para usuarios empresariales, subraya su compromiso con el control y la seguridad de los datos personales, una medida que es a la vez estratégica e indicativa de los tiempos que corren. A medida que Meta se prepara para enfrentarse cara a cara con gigantes como OpenAI y Google, este compromiso es fundamental.

Meta también está incorporando IA en muchos de sus productos, por lo que tiene sentido que la empresa aumente sus apuestas para no quedarse atrás. Llama 2 impulsa Meta AI y otros servicios como los chatbots de Meta, los servicios generativos de Meta y las gafas de IA de Meta, por nombrar algunos.

En medio de este torbellino de especulaciones, las reflexiones de Mark Zuckerberg sobre el código abierto Llama 3 sólo han servido para intrigar y desconcertar. "Necesitaríamos un proceso para agrupar esto y hacerlo seguro", compartió Zuckerberg durante un podcast reciente con el científico informático Lex Fridman.

Llama 2 cuenta con una arquitectura de varios niveles con versiones que ofrecen 7 mil millones, 13 mil millones y 70 mil millones de parámetros robustos, cada uno de ellos adecuado para diferentes niveles de complejidad y potencia computacional. Los parámetros en los LLM sirven como bloques de construcción neuronales que definen la capacidad del modelo para comprender y generar lenguaje, y la cantidad de parámetros a menudo se correlaciona con la sofisticación y la calidad de salida potencial del modelo.

La potencia de la IA ha sido entrenada en un extenso corpus de 2 billones de tokens, lo que respalda su capacidad para navegar y generar texto similar a un humano en una amplia gama de temas y contextos.

Imagen cortesía de Meta

Al fondo también se están sentando las bases del hardware. Como reportaron by Descifrar, Meta está abasteciendo un centro de datos con Nvidia H100, una de las piezas de hardware más poderosas para el entrenamiento de IA, una clara señal de que las ruedas están en movimiento.

Sin embargo, a pesar de todo el entusiasmo y la especulación, la verdad sigue envuelta en un velo de secreto corporativo.

Las intenciones de Meta de competir en el espacio de la IA están determinadas en gran medida por los tiempos de capacitación requeridos, las inversiones en hardware y la cuestión del código abierto. Mientras tanto, la anticipación es tan palpable como probable el lanzamiento de Llama 2024 en 3.

Editado por ryan ozawa.

Manténgase al tanto de las noticias criptográficas, obtenga actualizaciones diarias en su bandeja de entrada.

Sello de tiempo:

Mas de Descifrar