Grok-1 chatbot-kode frigivet i naturen

Grok-1 chatbot-kode frigivet i naturen

Tidsstempel: 19. marts 2024 kl. 4:49
Grok-1 chatbot code released into the wild PlatoBlockchain Data Intelligence. Vertical Search. Ai.

Som lovet har Elon Musk udgivet modellen bag xAI chatbot, Grok-1.

Frigivet under Apache 2.0-licensen er basismodelvægtene og netværksarkitekturen nu tilgængelige. Modellen har 314 milliarder parametre og har brug for hardware med nok GPU-hukommelse til at køre den. Den er finjusteret til applikationer såsom dialog med naturligt sprog og repræsenterer det rå basismodelkontrolpunkt fra fortræningsfasen, som afsluttedes i oktober 2023.

Kritikere har peget på relativt svage resultater i benchmarks; mens Grok er en stor model, klarer den sig dårligt ud fra, hvad nogle ingeniører har set. ”I betragtning af hvor dårlig den er sammenlignet med andre modeller, understreger den virkelig, hvor vigtig finjustering er. Modeller med MEGET mindre parametertællinger klarer sig bedre end det i mange målinger,” sagde en plakat på Hacker News-foraene i går aftes.

Du vil måske opdage, at jo mindre Mistral fungerer lige så godt som Grok-1, for eksempel.

At sætte dens størrelse ind perspektiv, selv ved 314 milliarder parametre, har det stadig en vis indhentning af OpenAI's GPT-4, som havde 1.76 billioner parametre ved sidste optælling.

Især, i modsætning til eksisterende LLM'er, som er trænet på data med et afskæringstidspunkt, har Grok adgang til realtidsdatakorpus af alles Xeets via X.com, hvilket burde give nogle interessante eksperimenter i de kommende dage, selvom som et andet kommentator bemærkede: "Twitter tweet-data i sig selv er både meget idiosynkratiske og korte af design, hvilket alene ikke er befordrende for at træne en LLM."

grok vil være bekendt for brugere af Musks sociale medieplatform, X, og abonnenter har kunnet stille chatbot spørgsmål og modtage svar. Ifølge xAI, blev Grok modelleret efter The Hitchhiker's Guide to the Galaxy. "Det er beregnet til at besvare næsten alt og, langt sværere, endda foreslå, hvilke spørgsmål man skal stille."

Hvis en bruger bladrer gennem en hundeøret kopi af Radiomanuskripterne til blafferens guide til galaksen, kan man finde følgende definition på lur i Fit the Tenth: “The Hitchhiker's Guide to the Galaxy er en uundværlig følgesvend for alle dem, der er ivrige efter at give mening ud af livet i et uendeligt komplekst og forvirrende univers, for selvom det ikke kan håbe på at blive nyttigt eller informativt om alle forhold, gør det den betryggende påstand, at hvor den er unøjagtig, er den i det mindste endeligt forkert.

"I tilfælde af større uoverensstemmelse er det altid virkeligheden, der har taget fejl."

Udgivelsen kommer på et årsdagen for lanceringen af ​​OpenAI's GPT-4-model, og Musks juridiske spas med sine tidligere AI-venner forbliver i baggrunden. I begyndelsen af ​​denne måned, Musk sagsøgte OpenAI, med påstand om, at der var lidt åbenhed om virksomheden, på trods af dets navn. OpenAI svarede ved at frigive en masse e-mails og hævde, at Musk var fuldt ud klar over sine planer og ville have den foldet ind i Tesla.

Patrik Backman, general partner hos OpenOcean, sagde om Grok-1, der blev frigivet: "For en gangs skyld sætter Elon Musk sine principper ud i livet. Hvis du sagsøger OpenAI for at blive omdannet til en profit-drevet organisation, skal du være parat til at overholde de samme idealer.”

Hvad har ikke blevet udgivet af xAI er også værd at bemærke. Grok-1-vægtene er derude, men de data, der bruges til træning er ikke tilgængelige under samme licens, hvilket fik AI-ekspert Gary Marcus til at quip: "PartlyOpenAI."

Open sourcing generative AI-værktøjer har vist sig at være kontroversielle. Nogle udviklere bekymrer sig om, at det risikerer misbrug at gøre teknologien tilgængelig, og andre peger på de iboende fordele ved gennemsigtighed.

Meta delt - slags – dets Llama 2-modeller sidste år, og andre virksomheder har fulgt trop. Det har OpenAI på den anden side absolut ikke.

Ved at åbne vægtene bag Grok-1 forsøger Musk at plante et flag i den modsatte lejr til OpenAI's proprietære verden.

Hvad angår dens ultimative ydeevne, kan det gå begge veje, ligesom alt hvad Musk rører ved. ®

Tidsstempel:

Mere fra Registret