Meta lader Code Llama gøre optøjer under næsten åbne vilkår

Meta lader Code Llama gøre optøjer under næsten åbne vilkår

Tidsstempel: 25. august 2023 kl. 5
Meta lets Code Llama run riot under almost-open terms PlatoBlockchain Data Intelligence. Vertical Search. Ai.

Meta har udgivet endnu en slags åben maskinlæringsmodel, denne gang indstillet til generering af softwarekildekode.

Kode Lama er en familie af store sprogmodeller – deraf den lejlighedsvise store bogstaver “LLaMA” – baseret på Llama 2-modellen frigivet i juli. Det er blevet finjusteret og trænet til at dispensere og diskutere kildekode som svar på tekstprompter i stedet for prosa som dens stamfader.

Som med al banebrydende teknologi, kommer Code Llama med risici

"Code Llama har potentialet til at blive brugt som et produktivitets- og uddannelsesværktøj til at hjælpe programmører med at skrive mere robust, veldokumenteret software," hævdede Meta i en meddelelse Torsdag.

Hvis du beder Code Llama om at skrive en funktion, der producerer Fibonacci-sekvensen, vil modellen generere både kode og naturligt sprog, der forklarer kilden, siger Meta. Og AI-modellen kan gøre det i Python, C++, Java, PHP, Typescript (Javascript), C#, Bash og andre sprog.

Brugere henvises dog til at henvende sig til Code Llama på engelsk, da modellen ikke er blevet underkastet sikkerhedstest på andre sprog og måske bare siger noget forfærdeligt, hvis det bliver spurgt på en ude af sigte Sprog.

"Som med al banebrydende teknologi, kommer Code Llama med risici," forklarer Meta og bemærker, at Code Llama under sit eget røde team-test for at anmode om oprettelse af ondsindet kode reagerede med sikrere svar end ChatGPT (GPT3.5 Turbo).

Ifølge Meta klarer Code Llama sig bedre end open source, kodespecifikke LLM'er og sin egen moder-Llama 2 på to benchmarks – HumanEval og for det meste grundlæggende Python-programmering (MBPP) – og matcher ydelsen af ​​OpenAI's ChatGPT.

Code Llama kommer i tre størrelser - 7B, 13B og 34B parametre - og hver variant blev trænet med 500B tokens af kode og kode-relaterede data. Et token er cirka fire tegn på engelsk. Den største version af OpenAI's Codex, da den blev udgivet, havde 12B parametre.

De to mindste Code Llama-modeller, siger Meta, er blevet trænet til at udfylde manglende kilde, hvilket gør det muligt at bruge dem til kodefuldførelse uden yderligere finjustering. 34B-versionen siges at give de bedste resultater, men de mindre to reagerer hurtigere, hvilket gør dem bedre til opgaver som kodefuldførelse, hvor ventetiden er mærkbar.

Der er også to varianter: Code Llama – Python og Code Llama – Instruct. Førstnævnte kommer fra finjustering af Code Llama med en ekstra 100B tokens af Python-kode. Sidstnævnte er blevet finjusteret til at overholde input- og outputmønstre, hvilket gør den bedre egnet til kodegenerering.

Pålidelighed, nogen?

LLM'er giver ofte forkert svar til programmeringsprompter, selvom de ikke desto mindre bruges af mange udviklere til at genkalde rote-mønstre og API-parametre eller undgå søgeforespørgsler og dokumentationstjek.

Et af salgsargumenterne ved Code Llama er, at det kan håndtere input og output af kodesekvenser, der består af op til 100,000 tokens. Det vil sige, du kan bede modellen med mange linjer kode, og du kan muligvis få et detaljeret svar.

"Udover at være en forudsætning for at generere længere programmer, låser længere inputsekvenser op for spændende nye use cases for en kode LLM," forklarede Meta. “Brugere kan for eksempel give modellen mere kontekst fra deres kodebase for at gøre generationerne mere relevante. Det hjælper også med at fejlsøge scenarier i større kodebaser, hvor det kan være en udfordring for udviklere at holde sig på toppen af ​​al kode relateret til et konkret problem."

Brugere kan give modellen mere kontekst fra deres kodebase for at gøre generationerne mere relevante

Code Llama slutter sig til et voksende felt af kodekendende modeller, som oprindeligt blev seedet af OpenAI's Codex og GitHub's tilknyttede retssager behæftet Copilot (2021) programmeringsforslagstjeneste. Programmeringspositive modeller, der fulgte, inkluderer DeepMind's Alfakode (2022), OpenAI's GPT-4 (2023), Amazon Kodehvisker (2023) og Googles Bard (2023), tunet i april at generere kildekode.

Derudover har der været forskellige open source (eller en slags åbne) LLM'er som StarCoder , XGen, for at nævne to.

Meta har udgivet Code Llama under samme samfundslicens som Llama 2, og citerer mega-virksomhedens tro på "en åben tilgang til AI" som den bedste måde at udvikle værktøjer, der er innovative, sikre og ansvarlige.

Men som det var almindeligt bemærket med Llama 2, er fællesskabslicensen ikke en open source-licens. Metas "åbne tilgang" til AI er lukket for konkurrence - licensen forbyder udtrykkeligt brug af softwaren "til at forbedre enhver anden stor sprogmodel."

Og mens Metas fællesskabslicens tillader kommerciel brug af sine forskellige lamaer, trækker den grænsen ved tjenester med "større end 700 millioner månedlige aktive brugere."

Det snarere vælg gruppe af megatjenester - YouTube, WeChat, TikTok, LinkedIn, Telegram, Snapchat og Douyin, blandt sociale medieplatforme, der ikke allerede drives af Meta, og formodentlig virksomheder, der kører operativsystembaserede platforme som Apple, Google og Microsoft - "skal anmode om en licens fra Meta, som Meta kan give dig efter eget skøn...” ®

Tidsstempel:

Mere fra Registret