Databricks afferma che il suo LLM open source supera in astuzia GPT-3.5

Databricks afferma che il suo LLM open source supera in astuzia GPT-3.5

Timestamp: 28 marzo 2024 4:32
Databricks afferma che il suo LLM open source supera in astuzia GPT-3.5 PlatoBlockchain Data Intelligence. Ricerca verticale. Ai.

La piattaforma di analisi Databricks ha lanciato un modello linguistico fondamentale e open source, sperando che le aziende scelgano di utilizzare i suoi strumenti per saltare sul carro LLM.

L’azienda, fondata attorno ad Apache Spark, ha pubblicato una serie di benchmark sostenendo che il suo LLM generico – soprannominato DBRX – batte i rivali open source in termini di comprensione del linguaggio, programmazione e matematica. Lo sviluppatore ha anche affermato di aver battuto il GPT-3.5 proprietario di OpenAI nelle stesse misure.

DBRX è stato sviluppato da Mosaic AI, che Databricks acquisiti per 1.3 miliardi di dollari e formato su Nvidia DGX Cloud. Databricks afferma di aver ottimizzato DBRX per l'efficienza con quella che chiama un'architettura mista di esperti (MoE), in cui più reti di esperti o studenti si dividono un problema.

Databricks ha spiegato che il modello possiede 132 miliardi di parametri, ma solo 36 miliardi sono attivi su ciascun input.

Ha detto Joel Minnick, vicepresidente marketing di Databricks Il registro: “Questo è uno dei motivi principali per cui il modello è in grado di funzionare con la stessa efficienza, ma anche incredibilmente veloce. In termini pratici, se usi uno qualsiasi dei principali chatbot disponibili oggi, probabilmente sei abituato ad aspettare e vedere la risposta generata. Con DBRX è quasi istantaneo.”

Ma le prestazioni del modello in sé non sono il punto per Databricks. Dopotutto, il business sta rendendo disponibile DBRX per gratuito su GitHub ed Abbracciare il viso.

Databricks spera che i clienti utilizzino il modello come base per i propri LLM. Se ciò accadesse, potrebbe migliorare i chatbot dei clienti o la risposta alle domande interne, mostrando anche come DBRX è stato creato utilizzando gli strumenti proprietari di Databricks.

Databricks ha messo insieme il set di dati da cui è stato sviluppato DBRX utilizzando Apache Spark e notebook Databricks per l'elaborazione dei dati, Unity Catalog per la gestione e la governance dei dati e MLflow per il monitoraggio degli esperimenti.

Minnick ha rivelato che gli investimenti delle imprese negli LLM sono stati ritardati dai timori sulla proprietà e sulla governance di terze parti. "Dover trasferire i dati a terzi, non avere la proprietà sui pesi del modello, non essere in grado di controllare completamente la governance dei dati end-to-end: queste sono cose che li rallentano", ha spiegato.

"Ciò che abbiamo deciso di costruire era un modello estremamente efficiente... che le aziende possono utilizzare per portare alle proprie applicazioni per i propri casi d'uso specifici."

Hyoun Park, CEO e capo analista di Amalgam Insights, ha osservato che l'importanza di DBRX è che Databricks può mostrare come è stato costruito il modello, passo dopo passo, come processo che altre imprese possono seguire e mettere a punto.

"Questa combinazione di derivazione, visibilità, ripetibilità e proprietà del modello nell'ottimizzazione, nei test e nell'operatività del modello end-to-end è importante."

Park ha notato di aver compreso che Databricks aveva già creato oltre 50,000 modelli personalizzati per i clienti. "È quella combinazione di esperienza nella creazione di modelli e la capacità di farlo su larga scala con un modello ad alte prestazioni alla pari dei migliori sforzi privati ​​e open source che rende questo annuncio importante per me dal punto di vista dell'IT aziendale."

Le notizie su DBRX si collocano in un contesto competitivo in evoluzione per Databricks. L'azienda ha una partnership strategica a lungo termine con Microsoft, che ha portato ad Azure Databricks, in cui agli utenti vengono promessi servizi dati integrati strettamente legati alla piattaforma cloud del gigante di Redmond.

Ma da quando l’offerta è stata lanciata nel 2017, Microsoft è entrata nel mercato Lakehouse di Databricks – dove agli utenti vengono offerti data warehousing e data lake in un unico ambiente – e promette agli utenti LLM di livello aziendale con sono 10 miliardi di dollari Partenariato OpenAI. Nel suo ambiente Fabric, Microsoft può anche offrire "mirroring" dai suoi sistemi di database transazionali Azure Cosmos DB e Azure SQL DB, offrendo accesso ai servizi di analisi senza spostare i dati.

Una questione aperta che incombe sulle strategie sia di Databricks che di Microsoft è quando arriverà il flusso di investimenti previsti nelle tecnologie LLM. A gennaio, Predisse Gartner la spesa aziendale per la tecnologia non arriverà quest'anno e avrebbe un impatto minimo sugli altri investimenti IT. ®

Timestamp:

Di più da Il registro