Heute freuen wir uns, Ihnen mitteilen zu können, dass die DBRX-Modell, ein offenes, universelles Large-Language-Modell (LLM), entwickelt von Databricks, steht den Kunden über zur Verfügung Amazon SageMaker-JumpStart mit einem Klick bereitzustellen, um Inferenz auszuführen. Das DBRX LLM verwendet eine feinkörnige MoE-Architektur (Mixed-of-Experts), die auf 12 Billionen Token sorgfältig kuratierter Daten und einer maximalen Kontextlänge von 32,000 Token vorab trainiert wurde.
Sie können dieses Modell mit SageMaker JumpStart ausprobieren, einem Hub für maschinelles Lernen (ML), der Zugriff auf Algorithmen und Modelle bietet, damit Sie schnell mit ML beginnen können. In diesem Beitrag erfahren Sie, wie Sie das DBRX-Modell erkennen und bereitstellen.
Was ist das DBRX-Modell?
DBRX ist ein hochentwickeltes reines Decoder-LLM, das auf einer Transformatorarchitektur basiert. Es verwendet eine feinkörnige MoE-Architektur, die insgesamt 132 Milliarden Parameter umfasst, wobei 36 Milliarden dieser Parameter für jede gegebene Eingabe aktiv sind.
Das Modell wurde vorab mit einem Datensatz trainiert, der aus 12 Billionen Text- und Code-Tokens bestand. Im Gegensatz zu anderen offenen MoE-Modellen wie Mixtral und Grok-1 verfügt DBRX über einen feinkörnigen Ansatz, bei dem eine größere Anzahl kleinerer Experten für eine optimierte Leistung eingesetzt wird. Im Vergleich zu anderen MoE-Modellen verfügt DBRX über 16 Experten und wählt 4 aus.
Das Modell wird unter der Databricks Open Model-Lizenz zur uneingeschränkten Nutzung zur Verfügung gestellt.
Was ist SageMaker JumpStart?
SageMaker JumpStart ist eine vollständig verwaltete Plattform, die hochmoderne Grundmodelle für verschiedene Anwendungsfälle wie das Schreiben von Inhalten, Codegenerierung, Beantwortung von Fragen, Texterstellung, Zusammenfassung, Klassifizierung und Informationsabruf bietet. Es bietet eine Sammlung vorab trainierter Modelle, die Sie schnell und einfach bereitstellen können, um die Entwicklung und Bereitstellung von ML-Anwendungen zu beschleunigen. Eine der Schlüsselkomponenten von SageMaker JumpStart ist der Model Hub, der einen umfangreichen Katalog vorab trainierter Modelle wie DBRX für eine Vielzahl von Aufgaben bietet.
Sie können DBRX-Modelle jetzt mit wenigen Klicks entdecken und bereitstellen Amazon SageMaker-Studio oder programmgesteuert über das SageMaker Python SDK, sodass Sie Modellleistung und MLOps-Steuerelemente ableiten können Amazon Sage Maker Funktionen wie Amazon SageMaker-Pipelines, Amazon SageMaker-Debuggeroder Containerprotokolle. Das Modell wird in einer sicheren AWS-Umgebung und unter Ihrer VPC-Kontrolle bereitgestellt und trägt so zur Datensicherheit bei.
Entdecken Sie Modelle in SageMaker JumpStart
Sie können über SageMaker JumpStart in der SageMaker Studio-Benutzeroberfläche und dem SageMaker Python SDK auf das DBRX-Modell zugreifen. In diesem Abschnitt erfahren Sie, wie Sie die Modelle in SageMaker Studio entdecken.
SageMaker Studio ist eine integrierte Entwicklungsumgebung (IDE), die eine einzige webbasierte visuelle Schnittstelle bietet, über die Sie auf speziell entwickelte Tools zugreifen können, um alle ML-Entwicklungsschritte durchzuführen, von der Datenvorbereitung bis hin zum Erstellen, Trainieren und Bereitstellen Ihrer ML-Modelle. Weitere Informationen zu den ersten Schritten und zur Einrichtung von SageMaker Studio finden Sie unter Amazon SageMaker-Studio.
In SageMaker Studio können Sie auf SageMaker JumpStart zugreifen, indem Sie wählen Starthilfe im Navigationsbereich.
Auf der SageMaker JumpStart-Landingpage können Sie im Suchfeld nach „DBRX“ suchen. Die Suchergebnisse werden aufgelistet DBRX-Anweisung machen DBRX-Basis.
Sie können die Modellkarte auswählen, um Details zum Modell anzuzeigen, z. B. die Lizenz, die zum Training verwendeten Daten und die Verwendung des Modells. Sie finden auch die Deploy Klicken Sie auf die Schaltfläche, um das Modell bereitzustellen und einen Endpunkt zu erstellen.
Stellen Sie das Modell in SageMaker JumpStart bereit
Die Bereitstellung beginnt, wenn Sie Folgendes auswählen Deploy Taste. Nach Abschluss der Bereitstellung sehen Sie, dass ein Endpunkt erstellt wurde. Sie können den Endpunkt testen, indem Sie eine Beispiel-Inferenzanforderungsnutzlast übergeben oder die Testoption mithilfe des SDK auswählen. Wenn Sie die Option zur Verwendung des SDK auswählen, wird Beispielcode angezeigt, den Sie im Notebook-Editor Ihrer Wahl in SageMaker Studio verwenden können.
DBRX-Basis
Um die Bereitstellung mithilfe des SDK durchzuführen, wählen wir zunächst das DBRX-Basismodell aus, das durch angegeben wird model_id
mit Value Huggingface-llm-dbrx-base. Mit dem folgenden Code können Sie jedes der ausgewählten Modelle auf SageMaker bereitstellen. Ebenso können Sie DBRX Instruct mit seiner eigenen Modell-ID bereitstellen.
Dadurch wird das Modell auf SageMaker mit Standardkonfigurationen bereitgestellt, einschließlich des Standardinstanztyps und der Standard-VPC-Konfigurationen. Sie können diese Konfigurationen ändern, indem Sie in nicht standardmäßige Werte angeben JumpStartModel. Der Eula-Wert muss explizit als True definiert werden, um die Endbenutzer-Lizenzvereinbarung (EULA) zu akzeptieren. Stellen Sie außerdem sicher, dass Sie über das Dienstlimit auf Kontoebene für die Verwendung von ml.p4d.24xlarge oder ml.pde.24xlarge für die Endpunktnutzung als eine oder mehrere Instanzen verfügen. Sie können den Anweisungen folgen hier um eine Erhöhung des Leistungskontingents zu beantragen.
Nach der Bereitstellung können Sie über den SageMaker-Prädiktor Rückschlüsse auf den bereitgestellten Endpunkt ziehen:
Beispielaufforderungen
Sie können mit dem DBRX-Basismodell wie mit jedem Standardmodell zur Textgenerierung interagieren, wobei das Modell eine Eingabesequenz verarbeitet und vorhergesagte nächste Wörter in der Sequenz ausgibt. In diesem Abschnitt stellen wir einige Beispielaufforderungen und Beispielausgaben bereit.
Codegenerierung
Anhand des vorherigen Beispiels können wir Eingabeaufforderungen zur Codegenerierung wie folgt verwenden:
Das Folgende ist die Ausgabe:
Stimmungsanalyse
Mit DBRX können Sie eine Stimmungsanalyse mit einer Eingabeaufforderung wie der folgenden durchführen:
Das Folgende ist die Ausgabe:
Frage beantworten
Sie können mit DBRX eine Frage-Antwort-Eingabeaufforderung wie die folgende verwenden:
Das Folgende ist die Ausgabe:
DBRX-Anweisung
Die auf Anweisungen abgestimmte Version von DBRX akzeptiert formatierte Anweisungen, bei denen Konversationsrollen mit einer Aufforderung des Benutzers beginnen und zwischen Benutzeranweisungen und dem Assistenten wechseln müssen (DBRX-Anweisung). Das Anweisungsformat muss strikt eingehalten werden, da das Modell sonst suboptimale Ergebnisse generiert. Die Vorlage zum Erstellen einer Eingabeaufforderung für das Instruct-Modell ist wie folgt definiert:
<|im_start|>
machen <|im_end|>
sind spezielle Token für den Stringanfang (BOS) und das Stringende (EOS). Das Modell kann mehrere Konversationsrunden zwischen System, Benutzer und Assistent enthalten, was die Einbindung von Beispielen mit wenigen Bildern ermöglicht, um die Antworten des Modells zu verbessern.
Der folgende Code zeigt, wie Sie die Eingabeaufforderung im Anweisungsformat formatieren können:
Wissensabfrage
Zur Wissensabfrage können Sie die folgende Eingabeaufforderung nutzen:
Das Folgende ist die Ausgabe:
Codegenerierung
DBRX-Modelle weisen Benchmark-Stärken für Codierungsaufgaben auf. Sehen Sie sich zum Beispiel den folgenden Code an:
Das Folgende ist die Ausgabe:
Mathematik und Argumentation
Die DBRX-Modelle berichten auch über Stärken in der mathematischen Genauigkeit. Sehen Sie sich zum Beispiel den folgenden Code an:
DBRX kann mit der mathematischen Logik für Verständnis sorgen, wie in der folgenden Ausgabe gezeigt:
Aufräumen
Nachdem Sie mit der Ausführung des Notebooks fertig sind, löschen Sie unbedingt alle Ressourcen, die Sie dabei erstellt haben, damit Ihre Abrechnung gestoppt wird. Verwenden Sie den folgenden Code:
Zusammenfassung
In diesem Beitrag haben wir Ihnen gezeigt, wie Sie mit DBRX in SageMaker Studio beginnen und das Modell für die Inferenz bereitstellen. Da die Basismodelle vorab trainiert sind, können sie dazu beitragen, die Schulungs- und Infrastrukturkosten zu senken und eine Anpassung an Ihren Anwendungsfall zu ermöglichen. Besuchen Sie jetzt SageMaker JumpStart in SageMaker Studio, um loszulegen.
Downloads
Über die Autoren
Shichar Kwatra ist ein KI/ML-Spezialist für Lösungsarchitekten bei Amazon Web Services und arbeitet mit einem führenden globalen Systemintegrator zusammen. Mit über 400 Patenten in den Bereichen KI/ML und IoT hat er sich den Titel eines der jüngsten indischen Meistererfinder erworben. Er verfügt über mehr als 8 Jahre Branchenerfahrung von Start-ups bis hin zu Großunternehmen, vom IoT-Forschungsingenieur, Datenwissenschaftler bis hin zum Daten- und KI-Architekten. Shikhar hilft bei der Architektur, dem Aufbau und der Wartung kosteneffizienter, skalierbarer Cloud-Umgebungen für Unternehmen und unterstützt GSI-Partner beim Aufbau strategischer Industrie
Niithiyn Vijeaswaran ist Lösungsarchitekt bei AWS. Sein Schwerpunkt liegt auf generativer KI und AWS AI Accelerators. Er hat einen Bachelor-Abschluss in Informatik und Bioinformatik. Niithiyn arbeitet eng mit dem Generative AI GTM-Team zusammen, um AWS-Kunden an mehreren Fronten zu unterstützen und ihre Einführung generativer KI zu beschleunigen. Er ist ein begeisterter Fan der Dallas Mavericks und sammelt gerne Turnschuhe.
Sebastian Bustillo ist Lösungsarchitekt bei AWS. Er konzentriert sich auf KI/ML-Technologien mit einer großen Leidenschaft für generative KI und Rechenbeschleuniger. Bei AWS hilft er Kunden, durch generative KI Geschäftswerte zu erschließen. Wenn er nicht bei der Arbeit ist, genießt er es, eine perfekte Tasse Kaffeespezialität zuzubereiten und mit seiner Frau die Welt zu erkunden.
Armando Diaz ist Lösungsarchitekt bei AWS. Sein Fokus liegt auf generativer KI, KI/ML und Datenanalyse. Bei AWS unterstützt Armando Kunden bei der Integration modernster generativer KI-Funktionen in ihre Systeme und fördert so Innovationen und Wettbewerbsvorteile. Wenn er nicht bei der Arbeit ist, verbringt er gerne Zeit mit seiner Frau und seiner Familie, wandert und bereist die Welt.
- SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
- PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
- PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
- PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
- PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
- Quelle: https://aws.amazon.com/blogs/machine-learning/databricks-dbrx-is-now-available-in-amazon-sagemaker-jumpstart/
- :hast
- :Ist
- :nicht
- :Wo
- $UP
- 000
- 1
- 10
- 100
- 11
- 12
- 15%
- 16
- 19
- 1M
- 20
- 22
- 225
- 25
- 250
- 27
- 30
- 32
- 36
- 400
- 50
- 7
- 700
- 8
- a
- Fähig
- Über uns
- oben
- absolut
- beschleunigen
- beschleunigend
- Beschleuniger
- Akzeptieren
- Akzeptiert
- Zugang
- Nach
- entsprechend
- Konto
- Genauigkeit
- Erreichen
- aktiv
- Aktivitäten
- hinzufügen
- einstellen
- Adoption
- Vorteil
- Beratung
- Nach der
- gegen
- Zustimmung
- AI
- AI / ML
- Hilfe
- AIDS
- Algorithmen
- Alle
- erlaubt
- Zulassen
- ebenfalls
- am
- Amazon
- Amazon Sage Maker
- Amazon SageMaker-JumpStart
- Amazon Web Services
- an
- Analyse
- Analytik
- machen
- und Infrastruktur
- Bekannt geben
- Ein anderer
- beantworten
- Beantwortung
- jedem
- Apple
- Anwendungen
- Ansatz
- Architektur
- SIND
- Bereich
- um
- AS
- Assistentin
- At
- verfügbar
- AWS
- Banane
- Base
- basierend
- basic
- BE
- weil
- Bullenmast
- Bevor
- Anfang
- Sein
- Benchmarking
- zwischen
- Rechnungs-
- Milliarde
- fett
- beide
- Box
- Break
- braun
- bauen
- Building
- erbaut
- Geschäft
- by
- Berechnen
- Berechnung
- CAN
- Fähigkeiten
- Auto
- Karte
- vorsichtig
- Häuser
- Fälle
- Katalog
- Übernehmen
- Gebühren
- Wahl
- Entscheidungen
- Auswählen
- wählt
- Auswahl
- Einstufung
- klicken Sie auf
- Menu
- eng
- Schließen
- Cloud
- Code
- Programmierung
- Kaffee
- Das Sammeln
- Sammlung
- Kolonne
- Spalten
- Unternehmen
- verglichen
- wettbewerbsfähig
- Komponenten
- Berechnen
- Computer
- Computerwissenschaften
- Konzepte
- Bestehend
- konsultieren
- enthalten
- Container
- Inhalt
- Inhalt schreiben
- Kontext
- Kontrast
- Steuerung
- Gespräch
- Copywriting
- korrekt
- Kosten
- Kosten
- könnte
- erstellen
- erstellt
- Erstellen
- wichtig
- Kultur-
- Kulturen
- Tasse
- kuratiert
- Strom
- Kunden
- Anpassung
- innovativ, auf dem neuesten Stand
- Unterricht
- Dallas
- Dallas Mavericks
- technische Daten
- Datenanalyse
- Datenwissenschaftler
- Datensicherheit
- Datum
- Tag
- Tage
- Standard
- definiert
- Grad
- zeigen
- einsetzen
- Einsatz
- Bereitstellen
- Einsatz
- setzt ein
- ableiten
- Details
- entwickelt
- Entwicklung
- DICT
- DID
- Diät
- anders
- entdeckt,
- Display
- Unterlagen
- die
- Domains
- erledigt
- nach unten
- angetrieben
- Fahren
- verdient
- erleichtern
- leicht
- Herausgeber
- bewirken
- effizient
- Eier
- entweder
- sonst
- beschäftigt
- ermöglichen
- ermöglichen
- Ende
- Endpunkt
- Energie
- Ingenieur
- zu steigern,
- genug
- Unternehmen
- Arbeitsumfeld
- Umgebungen
- EOS
- ÜBERHAUPT
- jedermann
- Beispiel
- Beispiele
- Austausch-
- aufgeregt
- Training
- ERFAHRUNGEN
- Experte
- Experten
- Erläuterungen
- explizit
- Möglichkeiten sondieren
- erleichtert
- Familie
- Fan
- Eigenschaften
- wenige
- Reichen Sie das
- Mappen
- Finale
- Endlich
- Finden Sie
- Vorname
- Fitness
- fixiert
- Setzen Sie mit Achtsamkeit
- konzentriert
- folgen
- Folgende
- folgt
- Nahrung,
- Lebensmittel
- Aussichten für
- Format
- Förderung
- Foundation
- für
- voll
- Funktion
- allgemeiner Zweck
- erzeugen
- Generation
- generativ
- Generative KI
- bekommen
- gegeben
- Unterstützung
- Global
- Welthandel
- Go
- Kundenziele
- Ziele
- gut
- Waren
- groß
- mehr
- griechisch
- Wachstum
- hätten
- glücklich
- Haben
- he
- Gesundheit
- Gesundheitswesen
- Hilfe
- Unternehmen
- hilft
- hier
- GUTE
- höher
- seine
- Geschichte
- hält
- Ultraschall
- Hilfe
- HTML
- HTTPS
- Nabe
- i
- ID
- Idee
- Ideen
- if
- Impact der HXNUMXO Observatorien
- wirkt
- Einfluss hat
- importieren
- wichtig
- in
- Dazu gehören
- Einschließlich
- einarbeiten
- Erhöhung
- zunehmend
- Indisch
- Energiegewinnung
- Information
- Infrastruktur
- Innovation
- Varianten des Eingangssignals:
- Eingänge
- Einblicke
- Instanz
- Anleitung
- integriert
- Integration
- interagieren
- interaktive
- Schnittstelle
- in
- Erfinder
- beinhaltet
- iot
- IT
- SEINE
- jpg
- nur
- Wesentliche
- Art
- Wissen
- Landung
- Sprache
- Sprachen
- grosse
- großflächig
- führenden
- lehnen
- lernen
- geführt
- Länge
- lassen
- Bibliothek
- Lizenz
- Lebensstil
- Gefällt mir
- LIMIT
- Liste
- ll
- LLM
- Belastung
- Belastungen
- Logik
- logisch
- aussehen
- aussehen wie
- ich liebe
- senken
- Maschine
- Maschinelles Lernen
- gemacht
- Aufrechterhaltung
- um
- verwaltet
- Manipulation
- Masse
- Master
- Mathe
- mathematisch
- Mathematik
- Matplotlib
- maximal
- Kann..
- me
- Meile
- gemischt
- ML
- MLOps
- Modell
- für
- mehr
- vor allem warme
- schlauer bewegen
- Film
- mehrere
- Muskel
- sollen
- my
- Namens
- Namen
- Navigation
- Need
- Bedürfnisse
- Negativ
- Neutral
- Neu
- weiter
- Andere
- beachten
- Notizbuch
- jetzt an
- Anzahl
- Ernährungs-
- of
- Angebote
- on
- EINEM
- XNUMXh geöffnet
- optimiert
- Option
- or
- Auftrag
- Organisationen
- Andere
- Andernfalls
- skizzieren
- Möglichkeiten für das Ausgangssignal:
- Ausgänge
- übrig
- Gesamt-
- besitzen
- Seite
- Pandas
- Brot
- Parameter
- besonders
- Teile
- Bestehen
- Leidenschaft & KREATIVITÄT
- Patente
- Weg
- Personen
- für
- perfekt
- Ausführen
- Leistung
- Personalisiert
- Plan
- Pläne
- Plattform
- Plato
- Datenintelligenz von Plato
- PlatoData
- Reichlich
- Grundstück
- erfahren
- Beliebt
- Teil
- positiv
- möglich
- Post
- größte treibende
- Praktiken
- vor
- vorhergesagt
- Predictor
- Vorlieben
- Vorbereitung
- vorgeführt
- Preis
- Preise
- Aufgabenstellung:
- Problemlösung
- Prozessdefinierung
- anpassen
- Professionell
- tiefgreifende
- Programm
- Programmierung
- Programmiersprachen
- Eingabeaufforderungen
- Proteine
- die
- vorausgesetzt
- bietet
- Python
- Menge
- Frage
- schnell
- erhöhen
- Bewerten
- Lesen Sie mehr
- empfehlen
- Erholung
- siehe
- eingetragen
- regulär
- bezogene
- merken
- ersetzen
- berichten
- vertreten
- Anforderung
- Voraussetzungen:
- Forschungsprojekte
- Downloads
- geachtet
- Reagieren
- Antwort
- Antworten
- im Deck Restaurant
- Einschränkungen
- Die Ergebnisse
- Abruf
- Rückkehr
- Reis
- Rollen
- Rollen
- Führen Sie
- Laufen
- s
- sagemaker
- Sample
- sah
- skalierbaren
- Wissenschaft
- Wissenschaftler
- schaufeln
- Skript
- Sdk
- Suche
- Abschnitt
- Verbindung
- Sicherheitdienst
- sehen
- wählen
- ausgewählt
- Auswahl
- Gefühl
- Reihenfolge
- Dienstleistungen
- kompensieren
- sollte
- erklären
- zeigte
- gezeigt
- Konzerte
- signifikant
- Ähnlich
- Einfacher
- Single
- Größe
- Größen
- schlafen
- kleinere
- Sneakers
- So
- Software
- Software-Entwicklung
- Lösungen
- einige
- anspruchsvoll
- Quellen
- besondere
- Spezialist
- Spezialprodukte
- spezifisch
- angegeben
- spezifizieren
- Ausgabe
- Sports
- Standard
- Anfang
- begonnen
- Beginnen Sie
- beginnt
- Startups
- State-of-the-art
- statisch
- bleiben
- Shritte
- -bestands-
- gestoppt
- Strategisch
- Stärke
- Stärken
- Schnur
- Strukturen
- Studio Adressen
- suboptimal
- so
- ausreichend
- Support
- Unterstützt
- sicher
- System
- Systeme und Techniken
- Einnahme
- und Aufgaben
- Team
- Techniken
- Technologies
- Vorlage
- schrecklich
- Test
- Testen
- Text
- als
- zur Verbesserung der Gesundheitsgerechtigkeit
- Das
- die Welt
- ihr
- dann
- Diese
- vom Nutzer definierten
- fehlen uns die Worte.
- Durch
- während
- Zeit
- Titel
- zu
- heute
- Tokens
- Werkzeug
- Werkzeuge
- Gesamt
- Handel
- der Verkehr
- Training
- Ausbildung
- Transformator
- , des Transports
- reisen
- Reise
- Billion
- was immer dies auch sein sollte.
- versuchen
- Versuch
- WENDE
- Drehungen
- Tweet
- tippe
- ui
- für
- unterzog
- öffnen
- Anwendungsbereich
- -
- Anwendungsfall
- benutzt
- Mitglied
- verwendet
- Verwendung von
- Wert
- Werte
- Variable
- Vielfalt
- verschiedene
- riesig
- Ve
- Gemüse
- Version
- Anzeigen
- Besuchen Sie
- visuell
- Spaziergang
- wollen
- wurde
- Wasser
- Weg..
- Wege
- we
- Wetter
- Netz
- Web-Services
- Webbasiert
- waren
- Was
- wann
- welche
- ganze
- warum
- Frau
- werden wir
- mit
- ohne
- Worte
- Arbeiten
- arbeiten,
- Werk
- weltweit wie ausgehandelt und gekauft ausgeführt wird.
- würde
- schreiben
- Schreiben
- Jahr
- Du
- Jüngste
- Ihr
- Zephyrnet