Llama 3 erscheint im Mai – sollte sich OpenAI Sorgen machen? – Entschlüsseln

Bei einer hochkarätigen KI-Veranstaltung in London gaben Meta-Führungskräfte am Dienstag die erste offizielle Bestätigung und Details zur bevorstehenden Veröffentlichung von Llama 3 bekannt, der mit Spannung erwarteten nächsten Iteration des großen Open-Source-Sprachmodells des Unternehmens.

„Innerhalb des nächsten Monats, eigentlich weniger, hoffentlich in sehr kurzer Zeit, hoffen wir, mit der Einführung unserer neuen Suite von Foundation-Modellen der nächsten Generation, Llama 3, beginnen zu können“, kündigte Nick Clegg, Präsident für globale Angelegenheiten bei Meta, an AI Day London, berichtet TechCrunch.

Clegg sagte, Llama 3 bestehe aus „einer Reihe verschiedener Modelle mit unterschiedlichen Fähigkeiten und unterschiedlichen Vielseitigkeiten“, die im Laufe dieses Jahres auf den Markt kommen werden.

Sobald es startet, ist Llama 3 erwartet Es soll das fortschrittlichste verfügbare Open-Source-Modell sein, und Meta hat viel in seine Entwicklung investiert. Das Modell wurde mit 140 Milliarden Parametern trainiert, sagt Meta, doppelt so viel Kapazität wie Llama 2. Mark Zuckerburg, CEO von Meta, hatte diese Kapazität gehänselt einige technische Details im Januar.

„Wir bauen eine riesige Recheninfrastruktur auf, um unsere zukünftige Roadmap zu unterstützen, einschließlich 350 H100s bis Ende dieses Jahres – und insgesamt fast 600 H100s-Äquivalenten an Rechenleistung, wenn man andere GPUs mit einbezieht“, sagte Zuckerberg damals. Diese Menge an Rechenleistung ist deutlich größer als die, die OpenAI zum Trainieren von GPT-4 verwendet hat geschätzt in 25,000 bis 90 Tagen etwa 100 GPUs erfordern.

Zuckerberg auch enthüllt dass Meta AI, sein KI-Assistent, von Llama 3 angetrieben werden soll.

Chris Cox, Chief Product Officer, sagte, dass Llama 3 in Meta integriert werden wird.

„Unser Plan wird sein, dass Llama 3 mehrere verschiedene Produkte und Erlebnisse in unserer App-Familie unterstützt“, sagte er.

Die Open-Source-Strategie

Die Auswirkungen der Veröffentlichung von Llama 3 gehen weit über Meta hinaus, da das Unternehmen sich philosophisch dazu verpflichtet hat, es als Open-Source-Modell zu entwickeln, im klaren Gegensatz zum geschlossenen, proprietären Ansatz von Konkurrenten wie OpenAI mit ChatGPT.

Durch die Open-Source-Bereitstellung ihrer Sprachmodelle möchte Meta ein Ökosystem der offenen KI-Entwicklung fördern und die Llama-Familie als Grundlage für eine vielfältige Palette von Tools und Anwendungen positionieren, die von Drittentwicklern und Forschern erstellt wurden.

„Es ist sehr wichtig zu erkennen, dass Innovationen immer auf früheren Beiträgen anderer aufbauen, manchmal auf sehr ähnlichen“, twitterte Yann LeCun, Leiter der KI-Forschung bei Meta, letzten Monat. „Deshalb ist offene Forschung so wichtig: Sie beschleunigt den Fortschritt des Fachgebiets für alle.“

Dieser offenes Ethos hat bereits eine lebendige Community hervorgebracht, die sich rund um Lama versammelt. Einige der heute fortschrittlichsten Open-Source-Sprachmodelle, wie z Mistral, Falke, und Beluga werden durch eine Feinabstimmung des früheren Llama 2-Grundmodells gebaut. Mehrere dieser Community-Modelle haben GPT-3.5 bei bestimmten Benchmarks erreicht oder übertroffen.

Die Veröffentlichung von Llama-3 als weiteres Open-Source-Grundmodell ebnet wahrscheinlich den Weg für eine neue Generation von LLMs, die die Messlatte in Bezug auf Qualität und Effizienz in der KI noch höher legen wird.

Herausfordernde OpenAI-Dominanz

Die Open-Source-Prämisse von Llama 3 stellt eine gewaltige und vielschichtige Herausforderung für die aktuelle Marktdominanz von OpenAI und – im weiteren Sinne – für andere proprietäre Modelle wie Claude und Gemini dar.

Die Open-Source-Community wird bald in der Lage sein, auf Llama 3 aufzubauen und ihre Variationen möglicherweise schnell zu iterieren den Fähigkeiten von GPT-4 entsprechen oder diese übertreffen– genau wie sie es gegen GPT-3.5 getan haben. Mit geringeren Schulungskosten, die sich alle Mitwirkenden teilen, könnte das offene Ökosystem die proprietäre Modellentwicklung von OpenAI überholen, die immense Rechenressourcen und -kosten erfordert.

Sollten Open-Source-Angebote regelmäßig mit kommerziellen Angeboten gleichziehen, tendieren Unternehmen möglicherweise zu zugänglicheren und kostengünstigeren Ökosystemen wie Llama, anstatt sich auf OpenAI zu verlassen und dafür zu bezahlen. Derzeit ist GPT-4 gemessen an den Kosten pro Token das teuerste Modell auf dem Markt.

Darüber hinaus wird die Open-Source-Community stärker, je mehr Menschen sich daran beteiligen. Meta profitiert davon, dass eine riesige Community auf dem Modell aufbaut, es verfeinert, neue Technologien entwickelt und es kostenlos verbessert. Dies macht es für Meta einfacher, bessere Versionen seines Modells zu entwickeln und es gleichzeitig durch alternative Schemata wie zu monetarisieren Lizenzierung für die kommerzielle Nutzung durch große Industrien.

Mit anderen Worten: anhaltende Trägheit und Netzwerkeffekte könnten es für die proprietären Modelle von OpenAI in Zukunft schwieriger machen, Benutzer und Kunden anzuziehen.

Sicherlich hat OpenAI derzeit einen starken Vorsprung in Bezug auf die Rentabilität. Anthropic kann sich rühmen, das leistungsstärkste LLM im KI-Bereich zu haben. Aber Llama 3 wird einen weiteren strategischen Schlag von Meta darstellen, um die generative KI-Landschaft auf den Kopf zu stellen.

Natürlich hängt viel von der tatsächlichen Leistung und Akzeptanz von Llama 3 im kommenden Jahr ab. Aber die Open-Source-KI-Community ist ziemlich aktiv – und liebt Llama-2 bereits. In den nächsten Monaten wird es sehr interessant, insbesondere mit GPT-5 von OpenAI gleich um die Ecke.

Herausgegeben von Ryan Ozawa.

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
• PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
• PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
• PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
• Quelle: https://decrypt.co/225814/llama-3-is-coming-in-may-should-openai-be-worried