Oggi siamo entusiasti di annunciare che il Modello DBRX, un modello LLM (Large Language Model) aperto e di uso generale sviluppato da Databricks, è disponibile per i clienti attraverso JumpStart di Amazon SageMaker da distribuire con un clic per eseguire l'inferenza. DBRX LLM utilizza un'architettura a grana fine di miscela di esperti (MoE), pre-addestrata su 12 trilioni di token di dati attentamente curati e una lunghezza massima del contesto di 32,000 token.
Puoi provare questo modello con SageMaker JumpStart, un hub di machine learning (ML) che fornisce accesso ad algoritmi e modelli in modo da poter iniziare rapidamente con il ML. In questo post, spieghiamo come scoprire e distribuire il modello DBRX.
Qual è il modello DBRX
DBRX è un sofisticato LLM solo decoder costruito sull'architettura del trasformatore. Utilizza un'architettura MoE a grana fine, che incorpora 132 miliardi di parametri totali, di cui 36 miliardi attivi per ogni dato input.
Il modello è stato sottoposto a pre-addestramento utilizzando un set di dati composto da 12 trilioni di token di testo e codice. A differenza di altri modelli MoE aperti come Mixtral e Grok-1, DBRX presenta un approccio a grana fine, utilizzando una maggiore quantità di esperti più piccoli per prestazioni ottimizzate. Rispetto ad altri modelli del MoE, DBRX ha 16 esperti e ne sceglie 4.
Il modello è reso disponibile con la licenza Databricks Open Model, per l'uso senza restrizioni.
Cos'è SageMaker JumpStart
SageMaker JumpStart è una piattaforma completamente gestita che offre modelli di base all'avanguardia per vari casi d'uso come scrittura di contenuti, generazione di codice, risposta a domande, copywriting, riepilogo, classificazione e recupero di informazioni. Fornisce una raccolta di modelli preaddestrati che puoi distribuire rapidamente e con facilità, accelerando lo sviluppo e la distribuzione di applicazioni ML. Uno dei componenti chiave di SageMaker JumpStart è Model Hub, che offre un vasto catalogo di modelli preaddestrati, come DBRX, per una varietà di attività.
Ora puoi scoprire e distribuire modelli DBRX con pochi clic Amazon Sage Maker Studio o a livello di codice tramite SageMaker Python SDK, consentendoti di derivare le prestazioni del modello e i controlli MLOps Amazon Sage Maker caratteristiche come Pipeline di Amazon SageMaker, Debugger di Amazon SageMakero log del contenitore. Il modello viene distribuito in un ambiente sicuro AWS e sotto i controlli VPC, contribuendo a garantire la sicurezza dei dati.
Scopri i modelli in SageMaker JumpStart
Puoi accedere al modello DBRX tramite SageMaker JumpStart nell'interfaccia utente di SageMaker Studio e SageMaker Python SDK. In questa sezione, esamineremo come scoprire i modelli in SageMaker Studio.
SageMaker Studio è un ambiente di sviluppo integrato (IDE) che fornisce un'unica interfaccia visiva basata sul Web in cui è possibile accedere a strumenti specifici per eseguire tutte le fasi di sviluppo ML, dalla preparazione dei dati alla creazione, formazione e distribuzione dei modelli ML. Per ulteriori dettagli su come iniziare e configurare SageMaker Studio, fare riferimento a Amazon Sage Maker Studio.
In SageMaker Studio, puoi accedere a SageMaker JumpStart scegliendo inizio di salto nel pannello di navigazione.
Dalla pagina di destinazione JumpStart di SageMaker, puoi cercare "DBRX" nella casella di ricerca. Verranno elencati i risultati della ricerca Istruzione DBRX ed Base DBRX.
Puoi scegliere la scheda del modello per visualizzare i dettagli sul modello come licenza, dati utilizzati per l'addestramento e come utilizzare il modello. Troverai anche il Schierare pulsante per distribuire il modello e creare un endpoint.
Distribuire il modello in SageMaker JumpStart
La distribuzione inizia quando scegli il file Schierare pulsante. Al termine della distribuzione, vedrai che viene creato un endpoint. Puoi testare l'endpoint trasmettendo un payload di richiesta di inferenza di esempio o selezionando l'opzione di test utilizzando l'SDK. Quando selezioni l'opzione per utilizzare l'SDK, vedrai il codice di esempio che puoi utilizzare nell'editor di notebook di tua scelta in SageMaker Studio.
Base DBRX
Per eseguire la distribuzione utilizzando l'SDK, iniziamo selezionando il modello Base DBRX, specificato dal file model_id
con valore abbracciandoface-llm-dbrx-base. Puoi distribuire uno qualsiasi dei modelli selezionati su SageMaker con il seguente codice. Allo stesso modo, puoi distribuire DBRX Instruct utilizzando il proprio ID modello.
Questo distribuisce il modello su SageMaker con configurazioni predefinite, inclusi il tipo di istanza predefinito e le configurazioni VPC predefinite. È possibile modificare queste configurazioni specificando valori non predefiniti in Modello JumpStart. Il valore Eula deve essere definito esplicitamente come True per poter accettare il contratto di licenza con l'utente finale (EULA). Assicurati inoltre di avere il limite di servizio a livello di account per l'utilizzo di ml.p4d.24xlarge o ml.pde.24xlarge per l'utilizzo dell'endpoint come una o più istanze. Puoi seguire le istruzioni qui per richiedere un aumento della quota del servizio.
Dopo la distribuzione, puoi eseguire l'inferenza sull'endpoint distribuito tramite il predittore SageMaker:
Esempi di prompt
È possibile interagire con il modello Base DBRX come qualsiasi modello standard di generazione di testo, in cui il modello elabora una sequenza di input e restituisce le parole successive previste nella sequenza. In questa sezione vengono forniti alcuni prompt di esempio e output di esempio.
Generazione del codice
Utilizzando l'esempio precedente, possiamo utilizzare i prompt di generazione del codice come segue:
Quello che segue è l'output:
Analisi del sentimento
Puoi eseguire l'analisi del sentiment utilizzando un prompt come il seguente con DBRX:
Quello che segue è l'output:
Risposta alla domanda
È possibile utilizzare una richiesta di risposta alla domanda come la seguente con DBRX:
Quello che segue è l'output:
Istruzione DBRX
La versione ottimizzata per le istruzioni di DBRX accetta istruzioni formattate in cui i ruoli di conversazione devono iniziare con un prompt dell'utente e alternarsi tra le istruzioni dell'utente e l'assistente (istruzione DBRX). Il formato delle istruzioni deve essere rigorosamente rispettato, altrimenti il modello genererà output non ottimali. Il modello per creare un prompt per il modello Instruct è definito come segue:
<|im_start|>
ed <|im_end|>
sono token speciali per l'inizio della stringa (BOS) e la fine della stringa (EOS). Il modello può contenere più turni di conversazione tra sistema, utente e assistente, consentendo l'incorporazione di esempi di poche riprese per migliorare le risposte del modello.
Il codice seguente mostra come formattare il prompt nel formato istruzione:
Recupero della conoscenza
È possibile utilizzare la seguente richiesta per il recupero della conoscenza:
Quello che segue è l'output:
Generazione del codice
I modelli DBRX dimostrano i punti di forza confrontati per le attività di codifica. Ad esempio, vedere il codice seguente:
Quello che segue è l'output:
Matematica e ragionamento
I modelli DBRX riportano anche punti di forza nell’accuratezza matematica. Ad esempio, vedere il codice seguente:
DBRX può fornire la comprensione come mostrato nel seguente output con la logica matematica:
ripulire
Dopo aver terminato l'esecuzione del notebook, assicurati di eliminare tutte le risorse create nel processo in modo che la fatturazione venga interrotta. Utilizza il seguente codice:
Conclusione
In questo post ti abbiamo mostrato come iniziare con DBRX in SageMaker Studio e distribuire il modello per l'inferenza. Poiché i modelli di base sono pre-addestrati, possono contribuire a ridurre i costi di formazione e infrastruttura e consentire la personalizzazione per il tuo caso d'uso. Visita subito SageMaker JumpStart in SageMaker Studio per iniziare.
Risorse
Informazioni sugli autori
Shikhar Kwatra è un AI/ML Specialist Solutions Architect presso Amazon Web Services, e collabora con un importante integratore di sistemi globale. Si è guadagnato il titolo di uno dei più giovani maestri inventori indiani con oltre 400 brevetti nei settori AI/ML e IoT. Ha oltre 8 anni di esperienza nel settore, dalle startup alle grandi imprese, da IoT Research Engineer, Data Scientist, a Data & AI Architect. Shikhar aiuta a progettare, costruire e mantenere ambienti cloud scalabili e convenienti per le organizzazioni e supporta i partner GSI nella creazione di un settore strategico
Niithiyn Vijeaswaran è un Solutions Architect presso AWS. La sua area di interesse è l'intelligenza artificiale generativa e gli acceleratori di intelligenza artificiale AWS. Ha conseguito una laurea in Informatica e Bioinformatica. Niithiyn lavora a stretto contatto con il team Generative AI GTM per supportare i clienti AWS su più fronti e accelerare la loro adozione dell'intelligenza artificiale generativa. È un fan sfegatato dei Dallas Mavericks e gli piace collezionare scarpe da ginnastica.
Sebastiano Bustillo è un Solutions Architect presso AWS. Si concentra sulle tecnologie AI/ML con una profonda passione per l'intelligenza artificiale generativa e gli acceleratori di calcolo. In AWS, aiuta i clienti a sbloccare il valore aziendale attraverso l'intelligenza artificiale generativa. Quando non è al lavoro, gli piace preparare una perfetta tazza di caffè speciale ed esplorare il mondo con sua moglie.
Armando diaz è un Solutions Architect presso AWS. Si concentra su intelligenza artificiale generativa, intelligenza artificiale/ML e analisi dei dati. In AWS, Armando aiuta i clienti a integrare funzionalità di intelligenza artificiale generativa all'avanguardia nei loro sistemi, promuovendo l'innovazione e il vantaggio competitivo. Quando non è al lavoro, gli piace passare il tempo con la moglie e la famiglia, fare escursioni e viaggiare per il mondo.
- Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
- PlatoData.Network Generativo verticale Ai. Potenzia te stesso. Accedi qui.
- PlatoAiStream. Intelligenza Web3. Conoscenza amplificata. Accedi qui.
- PlatoneESG. Carbonio, Tecnologia pulita, Energia, Ambiente, Solare, Gestione dei rifiuti. Accedi qui.
- Platone Salute. Intelligence sulle biotecnologie e sulle sperimentazioni cliniche. Accedi qui.
- Fonte: https://aws.amazon.com/blogs/machine-learning/databricks-dbrx-is-now-available-in-amazon-sagemaker-jumpstart/
- :ha
- :È
- :non
- :Dove
- $ SU
- 000
- 1
- 10
- 100
- 11
- 12
- 15%
- 16
- 19
- 1M
- 20
- 22
- 225
- 25
- 250
- 27
- 30
- 32
- 36
- 400
- 50
- 7
- 700
- 8
- a
- capace
- Chi siamo
- sopra
- assolutamente
- accelerare
- accelerando
- acceleratori
- Accetta
- accetta
- accesso
- Secondo
- di conseguenza
- Il mio account
- precisione
- il raggiungimento
- attivo
- attività
- aggiungere
- regolare
- Adozione
- Vantaggio
- consigli
- Dopo shavasana, sedersi in silenzio; saluti;
- contro
- Accordo
- AI
- AI / ML
- aiuto
- AIDS
- Algoritmi
- Tutti
- permesso
- Consentire
- anche
- am
- Amazon
- Amazon Sage Maker
- JumpStart di Amazon SageMaker
- Amazon Web Services
- an
- .
- analitica
- ed
- e infrastruttura
- Annunciare
- Un altro
- rispondere
- rispondere
- in qualsiasi
- Apple
- applicazioni
- approccio
- architettura
- SONO
- RISERVATA
- in giro
- AS
- Assistant
- At
- disponibile
- AWS
- Banana
- base
- basato
- basic
- BE
- perché
- Manzo
- prima
- Inizio
- essendo
- confrontato
- fra
- fatturazione
- Miliardo
- perno
- entrambi
- Scatola
- Rompere
- pelle
- costruire
- Costruzione
- costruito
- affari
- by
- calcolare
- calcolo
- Materiale
- funzionalità
- auto
- carta
- attentamente
- Custodie
- casi
- catalogo
- il cambiamento
- oneri
- scegliere
- scelte
- Scegli
- sceglie
- la scelta
- classificazione
- clicca
- Chiudi
- strettamente
- chiusura
- Cloud
- codice
- codifica
- Caffè
- Raccolta
- collezione
- Colonna
- colonne
- azienda
- rispetto
- competitivo
- componenti
- Calcolare
- computer
- Informatica
- concetti
- Consistente
- consultare
- contenere
- Contenitore
- contenuto
- Scrittura di contenuti
- contesto
- contrasto
- controlli
- Conversazione
- copy professionale
- correttamente
- Costo
- Costi
- potuto
- creare
- creato
- Creazione
- cruciale
- la cultura della
- culture
- Coppa
- a cura
- Corrente
- Clienti
- personalizzazione
- bordo tagliente
- alle lezioni
- Dallas
- Dallas Mavericks
- dati
- Dati Analytics
- scienziato di dati
- la sicurezza dei dati
- Data
- giorno
- Giorni
- Predefinito
- definito
- Laurea
- dimostrare
- schierare
- schierato
- distribuzione
- deployment
- Distribuisce
- derivare
- dettagli
- sviluppato
- Mercato
- DITT
- DID
- Dieta
- diverso
- scopri
- Dsiplay
- documenti
- effettua
- domini
- fatto
- giù
- spinto
- guida
- guadagnato
- alleviare
- facilmente
- editore
- effetto
- in modo efficiente
- Uova
- o
- altro
- impiega
- enable
- consentendo
- fine
- endpoint
- energia
- ingegnere
- accrescere
- abbastanza
- aziende
- Ambiente
- ambienti
- EOS
- EVER
- tutti
- esempio
- Esempi
- exchange
- eccitato
- Esercitare
- esperienza
- esperto
- esperti
- spiegazioni
- espressamente
- Esplorare
- facilitato
- famiglia
- fan
- Caratteristiche
- pochi
- Compila il
- File
- finale
- Infine
- Trovare
- Nome
- fitness
- fisso
- Focus
- si concentra
- seguire
- i seguenti
- segue
- cibo
- alimenti
- Nel
- formato
- promozione
- Fondazione
- da
- completamente
- function
- scopo generale
- generare
- ELETTRICA
- generativo
- AI generativa
- ottenere
- dato
- Dare
- globali
- commercio globale
- Go
- scopo
- Obiettivi
- buono
- merce
- grande
- maggiore
- greco
- Crescita
- ha avuto
- contento
- Avere
- he
- Salute e benessere
- assistenza sanitaria
- Aiuto
- aiutare
- aiuta
- qui
- Alta
- superiore
- il suo
- storia
- detiene
- Come
- Tutorial
- HTML
- HTTPS
- Hub
- i
- ID
- idea
- idee
- if
- Impact
- impattato
- impatti
- importare
- importante
- in
- inclusi
- Compreso
- incorporando
- Aumento
- crescente
- indiano
- industria
- informazioni
- Infrastruttura
- Innovazione
- ingresso
- Ingressi
- intuizioni
- esempio
- istruzioni
- integrato
- Integrazione
- interagire
- interattivo
- Interfaccia
- ai miglioramenti
- Inventori
- comporta
- IoT
- IT
- SUO
- jpg
- ad appena
- Le
- Genere
- conoscenze
- atterraggio
- Lingua
- Le Lingue
- grandi
- larga scala
- principale
- appoggiarsi
- apprendimento
- Guidato
- Lunghezza
- lasciare
- Biblioteca
- Licenza
- stile di vita
- piace
- LIMITE
- Lista
- ll
- LLM
- caricare
- carichi
- logica
- logico
- Guarda
- una
- amore
- inferiore
- macchina
- machine learning
- fatto
- Mantenere
- make
- gestito
- Manipolazione
- Massa
- Mastercard
- matematica
- matematico
- matematica
- matplotlib
- massimo
- Maggio..
- me
- miglio
- misto
- ML
- MLOp
- modello
- modelli
- Scopri di più
- maggior parte
- cambiano
- film
- multiplo
- muscolo
- devono obbligatoriamente:
- my
- Detto
- nomi
- Navigazione
- Bisogno
- esigenze
- negativo.
- Neutres
- New
- GENERAZIONE
- Nessuna
- Nota
- taccuino
- adesso
- numero
- nutrizionale
- of
- Offerte
- on
- ONE
- aprire
- ottimizzati
- Opzione
- or
- minimo
- organizzazioni
- Altro
- altrimenti
- su
- contorno
- produzione
- uscite
- ancora
- complessivo
- proprio
- pagina
- panda
- vetro
- parametri
- particolarmente
- partner
- Ricambi
- Di passaggio
- passione
- Brevetti
- sentiero
- Persone
- per
- perfetta
- Eseguire
- performance
- Personalizzata
- piano
- piani
- piattaforma
- Platone
- Platone Data Intelligence
- PlatoneDati
- Abbondanza
- trama
- più
- Popolare
- porzione
- positivo
- possibile
- Post
- potente
- pratiche
- precedente
- previsto
- Predictor
- preferenze
- preparazione
- presentata
- prezzo
- Prezzi
- Problema
- problem-solving
- processi
- i processi
- professionale
- profonda
- Programma
- Programmazione
- linguaggi di programmazione
- istruzioni
- Proteine
- fornire
- purché
- fornisce
- Python
- quantità
- domanda
- rapidamente
- aumentare
- tasso
- Leggi
- raccomandare
- recupero
- riferimento
- registrato
- Basic
- relazionato
- ricorda
- sostituire
- rapporto
- rappresentare
- richiesta
- Requisiti
- riparazioni
- Risorse
- rispettati
- Rispondere
- risposta
- risposte
- al Deck ristorante
- restrizioni
- Risultati
- richiamo
- ritorno
- Riso
- Ruolo
- ruoli
- Correre
- running
- s
- sagemaker
- campione
- sega
- scalabile
- Scienze
- Scienziato
- scoop
- copione
- sdk
- Cerca
- Sezione
- sicuro
- problemi di
- vedere
- select
- selezionato
- Selezione
- sentimento
- Sequenza
- servizio
- Servizi
- set
- dovrebbero
- mostrare attraverso le sue creazioni
- ha mostrato
- mostrato
- Spettacoli
- significativa
- Allo stesso modo
- Un'espansione
- singolo
- Taglia
- Dimensioni
- sonno
- inferiore
- Sneakers
- So
- Software
- lo sviluppo del software
- Soluzioni
- alcuni
- sofisticato
- fonti
- la nostra speciale
- specialista
- Specialità
- specifico
- specificato
- specificando
- Spendere
- Sports
- Standard
- inizia a
- iniziato
- Di partenza
- inizio
- Startup
- state-of-the-art
- statico
- soggiorno
- Passi
- azione
- fermato
- Strategico
- forza
- punti di forza
- Corda
- strutture
- studio
- subottimale
- tale
- sufficiente
- supporto
- supporti
- sicuro
- sistema
- SISTEMI DI TRATTAMENTO
- presa
- task
- team
- tecniche
- Tecnologie
- modello
- terribile
- test
- Testing
- testo
- di
- che
- I
- il mondo
- loro
- poi
- Strumenti Bowman per analizzare le seguenti finiture:
- di
- questo
- Attraverso
- per tutto
- tempo
- Titolo
- a
- oggi
- Tokens
- strumenti
- Totale
- commercio
- traffico
- Treni
- Training
- trasformatore
- trasporti
- viaggiare
- Di viaggio
- Trilione
- vero
- prova
- cerca
- TURNO
- si
- Tweet
- Digitare
- ui
- per
- sottoposti
- sbloccare
- Impiego
- uso
- caso d'uso
- utilizzato
- Utente
- usa
- utilizzando
- APPREZZIAMO
- Valori
- variabile
- varietà
- vario
- Fisso
- Ve
- Verdure
- versione
- Visualizza
- Visita
- visivo
- camminare
- volere
- Prima
- Water
- Modo..
- modi
- we
- Tempo
- sito web
- servizi web
- Web-basata
- sono stati
- Che
- quando
- quale
- tutto
- perché
- moglie
- volere
- con
- senza
- parole
- Lavora
- lavoro
- lavori
- mondo
- sarebbe
- scrivere
- scrittura
- anni
- Tu
- Minore
- Trasferimento da aeroporto a Sharm
- zefiro