Meta consente a Code Llama di scatenarsi in termini quasi aperti

Meta consente a Code Llama di scatenarsi in termini quasi aperti

Timestamp: 25 agosto 2023 5:45
Meta consente a Code Llama di scatenarsi in termini quasi aperti PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.

Meta ha rilasciato un altro modello di machine learning aperto, questa volta ottimizzato per generare codice sorgente software.

Codice Lama è una famiglia di modelli linguistici di grandi dimensioni – da qui la maiuscola occasionale “LLaMA” – basati sul modello Llama 2 rilasciato nel mese di luglio. È stato messo a punto e addestrato per dispensare e discutere il codice sorgente in risposta a suggerimenti di testo, invece che in prosa come il suo progenitore.

Come tutte le tecnologie all'avanguardia, Code Llama presenta dei rischi

"Code Llama ha il potenziale per essere utilizzato come strumento educativo e di produttività per aiutare i programmatori a scrivere software più robusto e ben documentato", ha affermato Meta in un annuncio Giovedi.

Se chiedi a Code Llama di scrivere una funzione che produca la sequenza di Fibonacci, il modello genererà sia il codice che il linguaggio naturale che spiega la fonte, dice Meta. E il modello AI può farlo in Python, C++, Java, PHP, Typescript (Javascript), C#, Bash e altri linguaggi.

Gli utenti, tuttavia, sono invitati a rivolgersi a Code Llama in inglese poiché il modello non è stato sottoposto a test di sicurezza in altre lingue e potrebbe semplicemente dire qualcosa di terribile se interrogato in un fuori campo Lingua.

"Come tutte le tecnologie all'avanguardia, Code Llama comporta dei rischi", spiega Meta, sottolineando che durante i test del proprio team rosso per sollecitare la creazione di codice dannoso, Code Llama ha risposto con risposte più sicure rispetto a ChatGPT (GPT3.5 Turbo).

Secondo Meta, Code Llama supera gli LLM open source e specifici del codice e il suo stesso genitore Llama 2 su due benchmark: Valutazione umana e soprattutto programmazione Python di base (MBPP) – e corrisponde alle prestazioni di ChatGPT di OpenAI.

Code Llama è disponibile in tre dimensioni – parametri 7B, 13B e 34B – e ciascuna variante è stata addestrata con 500 miliardi di token di codice e dati relativi al codice. Un token corrisponde a circa quattro caratteri in inglese. La versione più grande del Codex di OpenAI, quando è stata rilasciata, aveva 12B parametri.

I due modelli più piccoli di Code Llama, dice Meta, sono stati addestrati per riempire la fonte mancante, il che consente loro di essere utilizzati per il completamento del codice senza ulteriori regolazioni. Si dice che la versione 34B fornisca i migliori risultati, ma le due più piccole rispondono più velocemente, rendendole migliori per attività come il completamento del codice in cui la latenza è evidente.

Esistono anche due varianti: Code Llama – Python e Code Llama – Instruct. Il primo deriva dalla messa a punto di Code Llama con 100 miliardi di token extra di codice Python. Quest'ultimo è stato ottimizzato per aderire ai modelli di input e output, rendendolo più adatto alla generazione di codice.

Affidabilità, qualcuno?

I LLM spesso forniscono scorretto risposte alle richieste di programmazione, sebbene siano comunque utilizzati da molti sviluppatori per richiamare schemi meccanici e parametri API o per evitare query di ricerca e controlli della documentazione.

Uno dei punti di forza di Code Llama è che può gestire l'input e l'output di sequenze di codice costituite da un massimo di 100,000 token. Vale a dire, puoi sollecitare il modello con molte righe di codice e potresti ottenere una risposta dettagliata.

"Oltre ad essere un prerequisito per generare programmi più lunghi, avere sequenze di input più lunghe sblocca nuovi interessanti casi d'uso per un codice LLM", ha spiegato Meta. “Ad esempio, gli utenti possono fornire al modello più contesto dalla loro base di codice per rendere le generazioni più rilevanti. Aiuta anche nel debug di scenari in basi di codice più grandi, dove rimanere aggiornati su tutto il codice relativo a un problema concreto può essere difficile per gli sviluppatori."

Gli utenti possono fornire al modello più contesto dalla loro base di codice per rendere le generazioni più rilevanti

Code Llama si unisce a un campo in crescita di modelli code-conversant inizialmente seminati dal Codex di OpenAI e dai modelli associati di GitHub gravato di contenzioso Servizio di suggerimento di programmazione Copilot (2021). I modelli positivi di programmazione che seguirono includono quello di DeepMind Codice Alfa (2022), GPT-4 di OpenAI (2023), Amazon Sussurratore di codice (2023) e Bard di Google (2023), sintonizzati ad aprile generare codice sorgente.

Inoltre, ci sono stati vari LLM open source (o una sorta di open source). StarCoder ed Xgen, per citarne due.

Meta ha rilasciato Code Llama con lo stesso nome licenza comunitaria come Llama 2, citando la convinzione della mega-azienda in "un approccio aperto all'intelligenza artificiale" come il modo migliore per sviluppare strumenti innovativi, sicuri e responsabili.

Ma come è stato ampiamente notato con Llama 2, la licenza comunitaria lo è non una licenza open source. L’“approccio aperto” di Meta all’intelligenza artificiale è chiuso alla concorrenza: la licenza vieta esplicitamente l’utilizzo del software “per migliorare qualsiasi altro modello linguistico di grandi dimensioni”.

E mentre la licenza comunitaria di Meta consente l'uso commerciale dei suoi vari lama, traccia il limite ai servizi con "più di 700 milioni di utenti attivi mensili".

Questo piuttosto seleziona gruppo di mega-servizi – YouTube, WeChat, TikTok, LinkedIn, Telegram, Snapchat e Douyin, tra le piattaforme di social media non ancora gestite da Meta, e presumibilmente le aziende che utilizzano piattaforme basate su sistemi operativi come Apple, Google e Microsoft – “devono richiedere una licenza da Meta, che Meta può concederti a sua esclusiva discrezione…” ®

Timestamp:

Di più da Il registro