Meta's volgende AI-gambiet? Llama 3 geruchten begin 2024 - Decrypt

Meta's volgende AI-gambiet? Llama 3 geruchten begin 2024 – Decrypt

Tijdstempel: 9 november 2023 9:39 uur

De nieuwsgierigheid naar Meta's volgende grote stap bereikt een koortsachtig hoogtepunt in de race om het kunstmatige-intelligentielandschap te domineren. Nu het generatieve tekstmodel Llama 2 – uitgebracht in juli – goed ingeburgerd is op de markt, zijn AI-watchers hongerig op zoek naar tekenen van Llama 3.

Als we de geruchten uit de industrie mogen geloven, zou het vervolg van de tech-titan op zijn open source-succes begin 2024 kunnen komen.

Meta heeft de geruchten niet officieel bevestigd, maar Mark Zuckerberg wierp onlangs enig licht op wat de toekomst van Meta's LLM's (grote taalmodellen) zou kunnen zijn, te beginnen met de erkenning dat Llama 3 in de maak is. Maar, zei hij, het nieuwe fundamentele AI-model staat nog steeds op een laag pitje, terwijl de prioriteit blijft het verfijnen van Llama 2 om het consumentvriendelijker te maken.

"Ik bedoel, er is altijd een ander model dat we trainen", zei hij in een podcast-interview waar de focus op lag het kruispunt tussen AI en de metaverse, “We hebben Llama 2 getraind en we hebben het uitgebracht als een open-sourcemodel, en op dit moment is de prioriteit het inbouwen ervan in een aantal consumentenproducten …

"Maar ja, we werken ook aan de toekomstige funderingsmodellen, en daar heb ik niets nieuws of nieuws over", vervolgde hij. “Ik weet nog niet precies wanneer het klaar zal zijn.”

Hoewel Meta de geruchten niet officieel heeft bevestigd, duiden patronen in ontwikkelingscycli en forse hardware-investeringen op een aanstaande lancering. Llama 1 en Llama 2 kenden intervallen van zes maanden in training, en als dit ritme aanhoudt, zou de nieuwe Llama 3 – waarvan wordt aangenomen dat deze op één lijn ligt met OpenAI’s GPT-4 – in de eerste helft van 2024 gelanceerd kunnen worden.

Diepte toevoegen aan de speculatie, Reddit-gebruiker lamaShill heeft een uitgebreide analyse gemaakt van Meta's historische modelontwikkelingscycli.

De training van Llama 1 duurde van juli 2022 tot januari 2023, waarbij Llama 2 dit voorbeeld volgde tot juli 2023, stelde de gebruiker voor, wat een plausibele fase vormde voor de training van Llama 3 van juli 2023 tot januari 2024. Deze inzichten sluiten aan bij het verhaal van een meta die meedogenloos strevend naar AI-excellentie, enthousiast om de volgende vooruitgang te demonstreren die schouder aan schouder zou kunnen staan ​​met de mogelijkheden van GPT-4.

Ondertussen, technische forums en social media gonst ervan discussies over hoe deze nieuwe iteratie Meta's concurrentievoordeel zou kunnen herstellen. De technologiegemeenschap heeft ook een waarschijnlijke tijdlijn samengesteld uit de kruimels beschikbare informatie.

Voeg daar nog een beetje Twitter aan toe: een gesprek dat naar verluidt werd afgeluisterd op een sociale media-site van “Meta GenAI”, later getweet door OpenAI-onderzoeker Jason Wei. “We hebben de capaciteit om Llama 3 en 4 te trainen”, zei een onbekende bron volgens Wei, en bevestigde verder dat het ook open source zou zijn.

Ondertussen onderstreept de samenwerking van het bedrijf met Dell – het aanbieden van Llama 2 on-premises voor zakelijke gebruikers – zijn toewijding aan controle en beveiliging van persoonlijke gegevens, een stap die zowel strategisch is als indicatief voor deze tijd. Terwijl Meta zich opmaakt om de strijd aan te gaan met giganten als OpenAI en Google, is deze toewijding van cruciaal belang.

Meta integreert ook AI in veel van zijn producten, dus het is logisch dat het bedrijf zijn inzet verhoogt om niet achter te blijven. Llama 2 drijft Meta AI aan, en andere diensten zoals Meta's chatbots, Meta generatieve diensten en Meta's AI-bril, om er maar een paar te noemen.

Te midden van deze wervelwind van speculaties hebben de overpeinzingen van Mark Zuckerberg over open-sourcing Llama 3 alleen maar gediend om te intrigeren en te mystificeren. “We hebben een proces nodig om dit te red-teamen en veilig te maken”, vertelde Zuckerberg tijdens een recente podcast met computerwetenschapper Lex Fridman.

Llama 2 beschikt over een architectuur met meerdere niveaus, met versies die 7 miljard, 13 miljard en robuuste 70 miljard parameters bieden, elk geschikt voor verschillende niveaus van complexiteit en rekenkracht. Parameters in LLM's dienen als de neurale bouwstenen die het vermogen van het model definiëren om taal te begrijpen en te genereren, waarbij het aantal parameters vaak correleert met de verfijning en potentiële uitvoerkwaliteit van het model.

De AI-krachtpatser is getraind op een uitgebreid corpus van 2 biljoen tokens, wat het vermogen ondersteunt om te navigeren en mensachtige tekst te genereren over een breed scala aan onderwerpen en contexten.

Afbeelding met dank aan Meta

Op de achtergrond wordt ook de hardwarebasis gelegd. Als gerapporteerd by decoderenMeta heeft een datacenter uitgerust met Nvidia H100s, een van de krachtigste hardwareonderdelen voor AI-training – een duidelijk teken dat de wielen goed in beweging zijn.

Maar ondanks alle opwinding en speculatie blijft de waarheid gehuld in bedrijfsgeheim.

Meta's intenties om te concurreren op het gebied van AI worden grotendeels bepaald door de vereiste trainingstijd, hardware-investeringen en de open-sourcevraag. In de tussentijd is de verwachting net zo voelbaar als een release van Llama 2024 in 3 waarschijnlijk is.

Bewerkt door Ryan Ozawa.

Blijf op de hoogte van cryptonieuws, ontvang dagelijkse updates in je inbox.

Tijdstempel:

Meer van decoderen