Grok-1 chatbot-kod släpps ut i naturen

Som utlovat har Elon Musk släppt modellen bakom xAI chatbot, Grok-1.

Släppt under Apache 2.0-licensen är basmodellens vikter och nätverksarkitektur nu tillgängliga. Modellen har 314 miljarder parametrar och behöver hårdvara med tillräckligt med GPU-minne för att köra den. Den är finjusterad för applikationer som dialog med naturligt språk och representerar kontrollpunkten för den råa basmodellen från förutbildningsfasen, som avslutades i oktober 2023.

Kritiker har pekat på relativt svag prestanda i benchmarks; medan Grok är en stor modell, går den dåligt från vad vissa ingenjörer har sett. ”Med tanke på hur dålig den är jämfört med andra modeller, betonar den verkligen hur viktig finjustering är. Modeller med MYCKET mindre parameterantal överträffar det i många mätvärden”, sa en Affisch på Hacker News-forumet i går kväll.

Du kanske upptäcker att desto mindre mistral presterar precis lika bra som Grok-1, till exempel.

För att lägga in dess storlek perspektiv, även vid 314 miljarder parametrar, har det fortfarande en del att göra med OpenAI:s GPT-4, som hade 1.76 biljoner parametrar vid den senaste räkningen.

Till skillnad från befintliga LLM:er, som tränas på data med en brytpunkt i tid, har Grok tillgång till realtidsdatakorpus av allas Xeets via X.com, vilket borde ge några intressanta experiment under de kommande dagarna, även om som ett annat kommentatorn noterade: "Twitter tweet-data i sig är både mycket idiosynkratisk och kort till sin design, vilket i sig inte bidrar till att träna en LLM."

grok kommer att vara bekanta för användare av Musks sociala medieplattform, X, och prenumeranter har kunnat ställa frågor till chatboten och få svar. Enligt xAI, var Grok modellerad efter Liftarens guide till galaxen. "Den är avsedd att svara på nästan vad som helst och, mycket svårare, till och med föreslå vilka frågor man ska ställa."

Om en användare bläddrar igenom en kopia av Radiomanus från Liftarens guide till Galaxy, finns följande definition på lur i Fit the Tenth: "Liftarens guide till galaxen är en oumbärlig följeslagare för alla dem som är angelägna om att förstå livet i ett oändligt komplext och förvirrande universum, för även om det inte kan hoppas att bli det användbar eller informativ i alla frågor, gör det det betryggande påståendet att där det är felaktigt, är det åtminstone slutgiltigt felaktig.

"I händelse av stora avvikelser är det alltid verkligheten som har fel."

Releasen kommer på ettårsdagen av lanseringen av OpenAI:s GPT-4-modell, och Musks juridiska spott med sina tidigare AI-kompisar finns kvar i bakgrunden. I början av denna månad, Musk stämde OpenAI, och hävdade att det var lite öppet om företaget, trots dess namn. OpenAI svarade genom att släppa en mängd e-postmeddelanden, hävdade att Musk var fullt medveten om sina planer och ville att den skulle vikas in i Tesla.

Patrik Backman, general partner på OpenOcean, sa om Grok-1 som släpptes: "För en gångs skull sätter Elon Musk sina principer i verket. Om du stämmer OpenAI för att ha omvandlats till en vinstdriven organisation måste du vara beredd att hålla fast vid samma ideal.”

Vad har inte släppts av xAI är också viktigt. Grok-1-vikterna finns där ute, men data som används för träning är inte tillgängliga under samma licens, vilket fick AI-experten Gary Marcus att spydighet: "PartlyOpenAI."

Generativa AI-verktyg med öppen källa har visat sig vara kontroversiella. Vissa utvecklare oroar sig för att det riskerar missbruk att göra tekniken tillgänglig och andra pekar på de inneboende fördelarna med transparens.

meta delas - ungefär – dess Llama 2-modeller förra året, och andra företag har följt efter. OpenAI, å andra sidan, har absolut inte gjort det.

Genom att öppna upp vikterna bakom Grok-1 försöker Musk att plantera en flagga i det motsatta lägret till den proprietära världen av OpenAI.

När det gäller dess ultimata prestanda, som allt Musk rör vid, kan det gå åt båda hållen. ®

• SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
• PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
• PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
• Platoesg. Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
• PlatoHealth. Biotech och kliniska prövningar Intelligence. Tillgång här.
• Källa: https://go.theregister.com/feed/www.theregister.com/2024/03/18/grok_chatbot_code_released/