Aujourd'hui, nous sommes ravis d'annoncer que le Modèle DBRX, un grand modèle de langage (LLM) ouvert et à usage général développé par Databricks, est disponible pour les clients via Amazon SageMaker JumpStart à déployer en un clic pour exécuter l'inférence. Le DBRX LLM utilise une architecture de mélange d'experts (MoE) à granularité fine, pré-entraînée sur 12 32,000 milliards de jetons de données soigneusement organisées et une longueur de contexte maximale de XNUMX XNUMX jetons.
Vous pouvez essayer ce modèle avec SageMaker JumpStart, un hub d'apprentissage automatique (ML) qui donne accès à des algorithmes et des modèles afin que vous puissiez rapidement démarrer avec le ML. Dans cet article, nous expliquons comment découvrir et déployer le modèle DBRX.
Quel est le modèle DBRX
DBRX est un LLM sophistiqué uniquement pour décodeur, construit sur une architecture de transformateur. Il utilise une architecture MoE à granularité fine, incorporant 132 milliards de paramètres au total, dont 36 milliards sont actifs pour une entrée donnée.
Le modèle a subi une pré-formation à l'aide d'un ensemble de données composé de 12 1 milliards de jetons de texte et de code. Contrairement à d'autres modèles MoE ouverts comme Mixtral et Grok-16, DBRX propose une approche plus fine, utilisant un plus grand nombre de petits experts pour des performances optimisées. Par rapport aux autres modèles du MoE, DBRX compte 4 experts et en choisit XNUMX.
Le modèle est mis à disposition sous la licence Databricks Open Model, pour une utilisation sans restrictions.
Qu'est-ce que SageMaker JumpStart
SageMaker JumpStart est une plate-forme entièrement gérée qui propose des modèles de base de pointe pour divers cas d'utilisation tels que la rédaction de contenu, la génération de code, la réponse aux questions, la rédaction, le résumé, la classification et la récupération d'informations. Il fournit une collection de modèles pré-entraînés que vous pouvez déployer rapidement et facilement, accélérant ainsi le développement et le déploiement d'applications ML. L'un des composants clés de SageMaker JumpStart est le Model Hub, qui propose un vaste catalogue de modèles pré-entraînés, tels que DBRX, pour une variété de tâches.
Vous pouvez désormais découvrir et déployer des modèles DBRX en quelques clics Amazon SageMakerStudio ou par programme via le SDK SageMaker Python, vous permettant de dériver les performances du modèle et les contrôles MLOps avec Amazon Sage Maker des fonctionnalités telles que Pipelines Amazon SageMaker, Débogueur Amazon SageMakerou les journaux de conteneur. Le modèle est déployé dans un environnement sécurisé AWS et sous les contrôles de votre VPC, contribuant ainsi à assurer la sécurité des données.
Découvrez des modèles dans SageMaker JumpStart
Vous pouvez accéder au modèle DBRX via SageMaker JumpStart dans l'interface utilisateur de SageMaker Studio et le SDK SageMaker Python. Dans cette section, nous expliquons comment découvrir les modèles dans SageMaker Studio.
SageMaker Studio est un environnement de développement intégré (IDE) qui fournit une interface visuelle Web unique où vous pouvez accéder à des outils spécialement conçus pour effectuer toutes les étapes de développement ML, de la préparation des données à la création, la formation et le déploiement de vos modèles ML. Pour plus de détails sur la façon de démarrer et de configurer SageMaker Studio, reportez-vous à Amazon SageMakerStudio.
Dans SageMaker Studio, vous pouvez accéder à SageMaker JumpStart en choisissant Début de saut dans le volet de navigation.
À partir de la page de destination de SageMaker JumpStart, vous pouvez rechercher « DBRX » dans la zone de recherche. Les résultats de la recherche listeront Instruction DBRX ainsi que les Base DBRX.
Vous pouvez choisir la fiche de modèle pour afficher les détails du modèle, tels que la licence, les données utilisées pour l'entraînement et la manière d'utiliser le modèle. Vous trouverez également le Déployer pour déployer le modèle et créer un point de terminaison.
Déployer le modèle dans SageMaker JumpStart
Le déploiement commence lorsque vous choisissez le Déployer bouton. Une fois le déploiement terminé, vous verrez qu'un point de terminaison est créé. Vous pouvez tester le point de terminaison en transmettant un exemple de charge utile de demande d'inférence ou en sélectionnant l'option de test à l'aide du SDK. Lorsque vous sélectionnez l'option d'utilisation du SDK, vous verrez un exemple de code que vous pouvez utiliser dans l'éditeur de bloc-notes de votre choix dans SageMaker Studio.
Base DBRX
Pour déployer à l'aide du SDK, nous commençons par sélectionner le modèle DBRX Base, spécifié par le model_id
avec la valeur huggingface-llm-dbrx-base. Vous pouvez déployer n'importe lequel des modèles sélectionnés sur SageMaker avec le code suivant. De même, vous pouvez déployer DBRX Instruct en utilisant son propre ID de modèle.
Cela déploie le modèle sur SageMaker avec les configurations par défaut, y compris le type d'instance par défaut et les configurations VPC par défaut. Vous pouvez modifier ces configurations en spécifiant des valeurs autres que celles par défaut dans Modèle JumpStart. La valeur Eula doit être explicitement définie sur True afin d'accepter le contrat de licence d'utilisateur final (CLUF). Assurez-vous également que vous disposez de la limite de service au niveau du compte pour utiliser ml.p4d.24xlarge ou ml.pde.24xlarge pour une utilisation de point de terminaison en tant qu'une ou plusieurs instances. Vous pouvez suivre les instructions ici afin de demander une augmentation du quota de service.
Une fois déployé, vous pouvez exécuter une inférence sur le point de terminaison déployé via le prédicteur SageMaker :
Exemples d'invites
Vous pouvez interagir avec le modèle de base DBRX comme n'importe quel modèle de génération de texte standard, dans lequel le modèle traite une séquence d'entrée et génère les mots suivants prédits dans la séquence. Dans cette section, nous fournissons quelques exemples d’invites et de résultats.
Génération de code
En utilisant l'exemple précédent, nous pouvons utiliser les invites de génération de code comme suit :
Voici le résultat :
Analyse des sentiments
Vous pouvez effectuer une analyse des sentiments à l'aide d'une invite comme celle-ci avec DBRX :
Voici le résultat :
Question répondant
Vous pouvez utiliser une invite de réponse aux questions comme celle-ci avec DBRX :
Voici le résultat :
Instruction DBRX
La version optimisée pour les instructions de DBRX accepte les instructions formatées dans lesquelles les rôles de conversation doivent commencer par une invite de l'utilisateur et alterner entre les instructions de l'utilisateur et l'assistant (DBRX-instruct). Le format des instructions doit être strictement respecté, sinon le modèle générera des sorties sous-optimales. Le modèle permettant de créer une invite pour le modèle Instruct est défini comme suit :
<|im_start|>
ainsi que les <|im_end|>
sont des jetons spéciaux pour le début de chaîne (BOS) et la fin de chaîne (EOS). Le modèle peut contenir plusieurs tours de conversation entre le système, l'utilisateur et l'assistant, permettant l'incorporation de quelques exemples pour améliorer les réponses du modèle.
Le code suivant montre comment formater l'invite au format instruction :
Récupération de connaissances
Vous pouvez utiliser l'invite suivante pour la récupération des connaissances :
Voici le résultat :
Génération de code
Les modèles DBRX démontrent des atouts éprouvés pour les tâches de codage. Par exemple, consultez le code suivant :
Voici le résultat :
Mathématiques et raisonnement
Les modèles DBRX font également état de points forts en matière de précision mathématique. Par exemple, consultez le code suivant :
DBRX peut fournir une compréhension comme indiqué dans le résultat suivant avec la logique mathématique :
Nettoyer
Une fois que vous avez terminé d'exécuter le bloc-notes, assurez-vous de supprimer toutes les ressources que vous avez créées au cours du processus afin que votre facturation soit arrêtée. Utilisez le code suivant :
Conclusion
Dans cet article, nous vous avons montré comment démarrer avec DBRX dans SageMaker Studio et déployer le modèle pour l'inférence. Étant donné que les modèles de base sont pré-entraînés, ils peuvent contribuer à réduire les coûts de formation et d’infrastructure et permettre une personnalisation adaptée à votre cas d’utilisation. Visitez SageMaker JumpStart dans SageMaker Studio dès maintenant pour commencer.
Resources
À propos des auteurs
Shikhar Kwatra est un architecte de solutions spécialisé en IA/ML chez Amazon Web Services, travaillant avec un intégrateur de systèmes mondial de premier plan. Il a obtenu le titre de l'un des plus jeunes maîtres inventeurs indiens avec plus de 400 brevets dans les domaines de l'IA/ML et de l'IoT. Il a plus de 8 ans d'expérience dans l'industrie, des startups aux grandes entreprises, d'ingénieur de recherche IoT, Data Scientist, à Data & AI Architect. Shikhar aide à concevoir, construire et maintenir des environnements cloud rentables et évolutifs pour les organisations et soutient les partenaires GSI dans la construction d'une industrie stratégique.
Niithiyn Vijeaswaran est architecte de solutions chez AWS. Son domaine d'intervention est l'IA générative et les accélérateurs AWS AI. Il est titulaire d'un baccalauréat en informatique et bioinformatique. Niithiyn travaille en étroite collaboration avec l'équipe Generative AI GTM pour aider les clients AWS sur plusieurs fronts et accélérer leur adoption de l'IA générative. Il est un grand fan des Dallas Mavericks et aime collectionner des baskets.
Sébastien Bustillo est architecte de solutions chez AWS. Il se concentre sur les technologies IA/ML avec une profonde passion pour l’IA générative et les accélérateurs de calcul. Chez AWS, il aide les clients à libérer de la valeur commerciale grâce à l'IA générative. Lorsqu'il n'est pas au travail, il aime préparer une parfaite tasse de café de spécialité et explorer le monde avec sa femme.
Armando Diaz est architecte de solutions chez AWS. Il se concentre sur l'IA générative, l'IA/ML et l'analyse de données. Chez AWS, Armando aide les clients à intégrer des capacités d'IA générative de pointe dans leurs systèmes, favorisant ainsi l'innovation et l'avantage concurrentiel. Lorsqu'il n'est pas au travail, il aime passer du temps avec sa femme et sa famille, faire de la randonnée et parcourir le monde.
- Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
- PlatoData.Network Ai générative verticale. Autonomisez-vous. Accéder ici.
- PlatoAiStream. Intelligence Web3. Connaissance Amplifiée. Accéder ici.
- PlatonESG. Carbone, Technologie propre, Énergie, Environnement, Solaire, La gestion des déchets. Accéder ici.
- PlatoHealth. Veille biotechnologique et essais cliniques. Accéder ici.
- La source: https://aws.amazon.com/blogs/machine-learning/databricks-dbrx-is-now-available-in-amazon-sagemaker-jumpstart/
- :possède
- :est
- :ne pas
- :où
- $UP
- 000
- 1
- 10
- 100
- 11
- 12
- 15%
- 16
- 19
- 1M
- 20
- 22
- 225
- 25
- 250
- 27
- 30
- 32
- 36
- 400
- 50
- 7
- 700
- 8
- a
- Capable
- Qui sommes-nous
- au dessus de
- absolument
- accélérer
- accélérer
- accélérateurs
- Accepter
- Accepte
- accès
- Selon
- en conséquence
- Compte
- précision
- la réalisation de
- infection
- activités
- ajouter
- régler
- Adoption
- Avantage
- conseils
- Après
- à opposer à
- contrat
- AI
- AI / ML
- Aide
- SIDA
- algorithmes
- Tous
- permis
- Permettre
- aussi
- am
- Amazon
- Amazon Sage Maker
- Amazon SageMaker JumpStart
- Amazon Web Services
- an
- selon une analyse de l’Université de Princeton
- analytique
- ainsi que les
- et infrastructure
- Annoncer
- Une autre
- répondre
- répondre
- tous
- Apple
- applications
- une approche
- architecture
- SONT
- Réservé
- autour
- AS
- Assistante gérante
- At
- disponibles
- AWS
- Banane
- base
- basé
- Essentiel
- BE
- car
- de bœuf
- before
- Début
- va
- référencé
- jusqu'à XNUMX fois
- facturation
- Milliards
- goupille
- tous les deux
- Box
- Pause
- marron
- construire
- Développement
- construit
- la performance des entreprises
- by
- calculer
- calcul
- CAN
- capacités
- fournisseur
- carte
- prudemment
- maisons
- cas
- catalogue
- Change
- des charges
- le choix
- choix
- Selectionnez
- choisit
- choose
- classification
- cliquez
- Fermer
- étroitement
- fermeture
- le cloud
- code
- Codage
- Café
- Collecte
- collection
- Colonne
- Colonnes
- Société
- par rapport
- compétitif
- composants électriques
- calcul
- ordinateur
- Informatique
- concepts
- Qui consiste
- consulter
- contiennent
- Contenant
- contenu
- Rédaction de Contenu
- contexte
- contraste
- contrôles
- Conversation
- écriture de copie
- correctement
- Prix
- Costs
- pourriez
- engendrent
- créée
- La création
- crucial
- à la diversité
- cultures
- Coupe
- organisée
- Courant
- Clients
- personnalisation
- En investissant dans une technologie de pointe, les restaurants peuvent non seulement rester compétitifs dans un marché en constante évolution, mais aussi améliorer significativement l'expérience de leurs clients.
- Tous les jours
- Dallas
- Dallas Mavericks
- données
- Analyse de Donnée
- Data Scientist
- la sécurité des données
- Date
- journée
- jours
- Réglage par défaut
- défini
- Degré
- démontrer
- déployer
- déployé
- déployer
- déploiement
- déploie
- dériver
- détails
- développé
- Développement
- DICT
- DID
- Alimentation
- différent
- découvrez
- Commande
- INSTITUTIONNELS
- domaines
- fait
- down
- entraîné
- conduite
- Notre expertise
- facilité
- même
- éditeur
- effet
- efficacement
- œufs
- non plus
- d'autre
- emploie
- permettre
- permettant
- fin
- Endpoint
- énergie
- ingénieur
- de renforcer
- assez
- entreprises
- Environment
- environnements
- EOS
- JAMAIS
- tout le monde
- exemple
- exemples
- échange
- excité
- Exercises
- d'experience
- expert
- de santé
- explications
- explicitement
- Explorer
- facilité
- famille
- ventilateur
- Fonctionnalités:
- few
- Déposez votre dernière attestation
- Fichiers
- finale
- finalement
- Trouvez
- Prénom
- de l'aptitude
- fixé
- Focus
- se concentre
- suivre
- Abonnement
- suit
- nourriture
- aliments
- Pour
- le format
- favoriser
- Fondation
- de
- d’étiquettes électroniques entièrement
- fonction
- à usage général
- générer
- génération
- génératif
- IA générative
- obtenez
- donné
- Don
- Global
- commerce international
- Go
- objectif
- Objectifs
- Bien
- pour les
- l'
- plus grand
- grec
- Croissance
- ait eu
- heureux vous
- Vous avez
- he
- Santé
- la médecine
- vous aider
- aider
- aide
- ici
- Haute
- augmentation
- sa
- Histoire
- détient
- Comment
- How To
- HTML
- HTTPS
- Moyeu
- i
- ID
- idée
- et idées cadeaux
- if
- Impact
- impact
- Impacts
- importer
- important
- in
- inclut
- Y compris
- incorporation
- Améliore
- croissant
- Indian
- industrie
- d'information
- Infrastructure
- Innovation
- contribution
- entrées
- idées.
- instance
- Des instructions
- des services
- Intégration
- interagir
- Interactif
- Interfaces
- développement
- Inventeurs
- implique
- IOT
- IT
- SES
- jpg
- juste
- ACTIVITES
- Genre
- spécialisées
- atterrissage
- langue
- Langues
- gros
- grande échelle
- conduisant
- s'appuyer
- apprentissage
- LED
- Longueur
- laisser
- Bibliothèque
- Licence
- mode de vie
- comme
- LIMIT
- Liste
- ll
- LLM
- charge
- charges
- logique
- logique
- Style
- ressembler
- love
- baisser
- click
- machine learning
- LES PLANTES
- Maintenir
- a prendre une
- gérés
- Manipulation
- Masse
- maître
- math
- mathématique
- mathématiques
- matplotlib
- maximales
- Mai..
- me
- mile
- mixte
- ML
- MLOps
- modèle
- numériques jumeaux (digital twin models)
- PLUS
- (en fait, presque toutes)
- Bougez
- film
- plusieurs
- must
- my
- Nommé
- noms
- Navigation
- Besoin
- Besoins
- négatif
- Neutri
- Nouveauté
- next
- Aucun
- noter
- cahier
- maintenant
- nombre
- nutritionnel
- of
- Offres Speciales
- on
- ONE
- ouvert
- optimisé
- Option
- or
- de commander
- organisations
- Autre
- autrement
- ande
- contour
- sortie
- sorties
- plus de
- global
- propre
- page
- pandas
- pain
- paramètres
- particulièrement
- partenaires,
- les pièces
- En passant
- passion
- Brevets
- chemin
- Personnes
- /
- parfaite
- Effectuer
- performant
- Personnalisé
- plan
- plans
- plateforme
- Platon
- Intelligence des données Platon
- PlatonDonnées
- Beaucoup
- parcelle
- plus
- Populaire
- partieInvestir dans des appareils économes en énergie et passer à l'éclairage
- positif
- possible
- Post
- solide
- pratiques
- précédant
- prédit
- Predictor
- préférences
- en train de préparer
- présenté
- prix
- Tarifs
- Problème
- résolution de problèmes
- processus
- les process
- professionels
- profond
- Programme
- Programmation
- langages de programmation
- instructions
- Protéines
- fournir
- à condition de
- fournit
- Python
- Quantité
- question
- vite.
- augmenter
- Tarif
- Lire
- recommander
- récupération
- reportez-vous
- inscrit
- Standard
- en relation
- rappeler
- remplacer
- rapport
- représentent
- nécessaire
- Exigences
- un article
- Resources
- respecté
- Réagir
- réponse
- réponses
- au Deck restaurant
- restrictions
- Résultats
- récupération
- retourner
- Riz
- Rôle
- rôle
- Courir
- pour le running
- s
- sagemaker
- échantillon
- scie
- évolutive
- Sciences
- Scientifique
- écoper
- scénario
- Sdk
- Rechercher
- Section
- sécurisé
- sécurité
- sur le lien
- Sélectionner
- choisi
- la sélection
- sentiment
- Séquence
- service
- Services
- set
- devrait
- montrer
- montré
- montré
- Spectacles
- significative
- De même
- étapes
- unique
- Taille
- tailles
- sleep
- faibles
- Sneakers
- So
- Logiciels
- développement de logiciels
- Solutions
- quelques
- sophistiqué
- Sources
- spécial
- spécialiste
- Hébergement spécial
- groupe de neurones
- spécifié
- en précisant
- Dépenses
- Sports
- Standard
- Commencer
- j'ai commencé
- Commencez
- départs
- Startups
- state-of-the-art
- statique
- rester
- Étapes
- stock
- arrêté
- Stratégique
- force
- forces
- Chaîne
- structures
- studio
- sous-optimal
- tel
- suffisant
- Support
- Les soutiens
- sûr
- combustion propre
- Système
- prise
- tâches
- équipe
- techniques
- Les technologies
- modèle
- terrible
- tester
- Essais
- texte
- que
- qui
- Les
- le monde
- leur
- puis
- Ces
- l'ont
- this
- Avec
- tout au long de
- fiable
- Titre
- à
- aujourd'hui
- Tokens
- outil
- les outils
- Total
- commerce
- circulation
- Train
- Formation
- transformateur
- transport
- Voyage
- Voyages
- Billion
- oui
- Essai
- essayer
- TOUR
- se tourne
- Tweet
- type
- ui
- sous
- a subi
- ouvrir
- Utilisation
- utilisé
- cas d'utilisation
- d'utiliser
- Utilisateur
- Usages
- en utilisant
- Plus-value
- Valeurs
- variable
- variété
- divers
- Vaste
- Ve
- Légumes
- version
- Voir
- Visiter
- visuel
- marcher
- souhaitez
- était
- Eau
- Façon..
- façons
- we
- Météo
- web
- services Web
- Basé sur le Web
- ont été
- Quoi
- quand
- qui
- la totalité
- why
- femme
- sera
- comprenant
- sans
- des mots
- activités principales
- de travail
- vos contrats
- world
- pourra
- écrire
- écriture
- années
- Vous n'avez
- Le plus jeune
- Votre
- zéphyrnet