Idag är vi glada att kunna meddela att DBRX-modell, en öppen, allmänt användbar storspråksmodell (LLM) utvecklad av Databrickor, är tillgänglig för kunder via Amazon SageMaker JumpStart att distribuera med ett klick för att köra slutledning. DBRX LLM använder en finkornig blandning-av-expert-arkitektur (MoE), förutbildad på 12 biljoner tokens med noggrant utvalda data och en maximal kontextlängd på 32,000 XNUMX tokens.
Du kan prova den här modellen med SageMaker JumpStart, ett nav för maskininlärning (ML) som ger tillgång till algoritmer och modeller så att du snabbt kan komma igång med ML. I det här inlägget går vi igenom hur du upptäcker och distribuerar DBRX-modellen.
Vad är DBRX-modellen
DBRX är en sofistikerad LLM-enbart avkodare byggd på transformatorarkitektur. Den använder en finkornig MoE-arkitektur som innehåller 132 miljarder parametrar totalt, med 36 miljarder av dessa parametrar som är aktiva för varje given ingång.
Modellen genomgick förträning med hjälp av en datauppsättning bestående av 12 biljoner tokens text och kod. I motsats till andra öppna MoE-modeller som Mixtral och Grok-1, har DBRX ett finkornigt tillvägagångssätt som använder ett större antal mindre experter för optimerad prestanda. Jämfört med andra MoE-modeller har DBRX 16 experter och väljer 4.
Modellen görs tillgänglig under Databricks Open Model-licens, för användning utan begränsningar.
Vad är SageMaker JumpStart
SageMaker JumpStart är en helt hanterad plattform som erbjuder toppmoderna grundmodeller för olika användningsfall som innehållsskrivning, kodgenerering, frågesvar, copywriting, sammanfattning, klassificering och informationssökning. Den tillhandahåller en samling förutbildade modeller som du kan distribuera snabbt och med lätthet, vilket påskyndar utvecklingen och distributionen av ML-applikationer. En av nyckelkomponenterna i SageMaker JumpStart är Model Hub, som erbjuder en stor katalog av förtränade modeller, såsom DBRX, för en mängd olika uppgifter.
Du kan nu upptäcka och distribuera DBRX-modeller med några få klick in Amazon SageMaker Studio eller programmatiskt genom SageMaker Python SDK, vilket gör att du kan härleda modellprestanda och MLOps-kontroller med Amazon SageMaker funktioner som Amazon SageMaker-rörledningar, Amazon SageMaker Debugger, eller behållarloggar. Modellen distribueras i en AWS säker miljö och under dina VPC-kontroller, vilket hjälper till att tillhandahålla datasäkerhet.
Upptäck modeller i SageMaker JumpStart
Du kan komma åt DBRX-modellen genom SageMaker JumpStart i SageMaker Studio UI och SageMaker Python SDK. I det här avsnittet går vi igenom hur du upptäcker modellerna i SageMaker Studio.
SageMaker Studio är en integrerad utvecklingsmiljö (IDE) som tillhandahåller ett enda webbaserat visuellt gränssnitt där du kan komma åt specialbyggda verktyg för att utföra alla ML-utvecklingssteg, från att förbereda data till att bygga, träna och distribuera dina ML-modeller. För mer information om hur du kommer igång och konfigurerar SageMaker Studio, se Amazon SageMaker Studio.
I SageMaker Studio kan du komma åt SageMaker JumpStart genom att välja Försprång i navigeringsfönstret.
Från SageMaker JumpStarts målsida kan du söka efter "DBRX" i sökrutan. Sökresultaten kommer att listas DBRX-instruktion och DBRX bas.
Du kan välja modellkortet för att se detaljer om modellen såsom licens, data som används för att träna och hur du använder modellen. Du hittar också Distribuera för att distribuera modellen och skapa en slutpunkt.
Distribuera modellen i SageMaker JumpStart
Implementeringen startar när du väljer Distribuera knapp. När distributionen är klar ser du att en slutpunkt har skapats. Du kan testa slutpunkten genom att skicka ett exempel på nyttolast för begäran om slutledning eller genom att välja testalternativet med hjälp av SDK. När du väljer alternativet att använda SDK kommer du att se exempelkod som du kan använda i valfri anteckningsbokredigerare i SageMaker Studio.
DBRX bas
För att distribuera med SDK:n börjar vi med att välja DBRX Base-modellen, specificerad av model_id
med värde huggingface-llm-dbrx-base. Du kan distribuera vilken som helst av de valda modellerna på SageMaker med följande kod. På samma sätt kan du distribuera DBRX Instruct med sitt eget modell-ID.
Detta distribuerar modellen på SageMaker med standardkonfigurationer, inklusive standardinstanstypen och standard VPC-konfigurationer. Du kan ändra dessa konfigurationer genom att ange icke-standardvärden i JumpStartModel. Eula-värdet måste uttryckligen definieras som True för att acceptera slutanvändarlicensavtalet (EULA). Se också till att du har servicegränsen på kontonivå för att använda ml.p4d.24xlarge eller ml.pde.24xlarge för endpoint-användning som en eller flera instanser. Du kan följa instruktionerna här. för att begära en höjning av tjänstekvoten.
Efter att den har distribuerats kan du köra slutledning mot den distribuerade slutpunkten genom SageMaker-prediktorn:
Exempel uppmaningar
Du kan interagera med DBRX Base-modellen som vilken vanlig textgenereringsmodell som helst, där modellen bearbetar en inmatningssekvens och matar ut predikterade nästa ord i sekvensen. I det här avsnittet ger vi några exempelmeddelanden och exempelutdata.
Kodgenerering
Med hjälp av föregående exempel kan vi använda kodgenereringsuppmaningar enligt följande:
Följande är utgången:
Sentimentanalys
Du kan utföra sentimentanalys med hjälp av en prompt som följande med DBRX:
Följande är utgången:
Frågesvar
Du kan använda en fråga som svarar på följande prompt med DBRX:
Följande är utgången:
DBRX-instruktion
Den instruktionsjusterade versionen av DBRX accepterar formaterade instruktioner där konversationsroller måste börja med en uppmaning från användaren och växla mellan användarinstruktioner och assistenten (DBRX-instruktion). Instruktionsformatet måste respekteras strikt, annars kommer modellen att generera suboptimala utdata. Mallen för att skapa en prompt för Instruct-modellen definieras enligt följande:
<|im_start|>
och <|im_end|>
är speciella tokens för början av strängen (BOS) och slutet av strängen (EOS). Modellen kan innehålla flera konversationsvändningar mellan system, användare och assistent, vilket möjliggör inkorporering av få-shot-exempel för att förbättra modellens svar.
Följande kod visar hur du kan formatera prompten i instruktionsformat:
Kunskapshämtning
Du kan använda följande prompt för att hämta kunskap:
Följande är utgången:
Kodgenerering
DBRX-modeller visar benchmarkerade styrkor för kodningsuppgifter. Se till exempel följande kod:
Följande är utgången:
Matematik och resonemang
DBRX-modellerna rapporterar också styrkor i matematisk noggrannhet. Se till exempel följande kod:
DBRX kan ge förståelse som visas i följande utdata med matematisk logik:
Städa upp
När du är klar med att köra anteckningsboken, se till att ta bort alla resurser som du skapade under processen så att din fakturering stoppas. Använd följande kod:
Slutsats
I det här inlägget visade vi dig hur du kommer igång med DBRX i SageMaker Studio och distribuerar modellen för slutledning. Eftersom grundmodeller är förutbildade kan de hjälpa till att sänka utbildnings- och infrastrukturkostnaderna och möjliggöra anpassning för ditt användningsfall. Besök SageMaker JumpStart i SageMaker Studio nu för att komma igång.
Resurser
Om författarna
Shikhar Kwatra är en AI/ML Specialist Solutions Architect på Amazon Web Services och arbetar med en ledande global systemintegratör. Han har förtjänat titeln som en av de yngsta indiska mästeruppfinnarna med över 400 patent inom AI/ML och IoT-domänerna. Han har över 8 års branscherfarenhet från startups till storskaliga företag, från IoT Research Engineer, Data Scientist, till Data & AI Architect. Shikhar hjälper till med att arkitektur, bygga och underhålla kostnadseffektiva, skalbara molnmiljöer för organisationer och stödjer GSI-partners i att bygga strategisk industri
Niithiyn Vijeaswaran är lösningsarkitekt på AWS. Hans fokusområde är generativ AI och AWS AI-acceleratorer. Han har en kandidatexamen i datavetenskap och bioinformatik. Niithiyn arbetar nära med Generative AI GTM-teamet för att möjliggöra AWS-kunder på flera fronter och påskynda deras införande av generativ AI. Han är ett ivrigt fan av Dallas Mavericks och tycker om att samla på sneakers.
Sebastian Bustillo är lösningsarkitekt på AWS. Han fokuserar på AI/ML-teknologier med en djup passion för generativ AI och datoracceleratorer. På AWS hjälper han kunder att låsa upp affärsvärde genom generativ AI. När han inte är på jobbet tycker han om att brygga en perfekt kopp specialkaffe och utforska världen med sin fru.
Armando Diaz är lösningsarkitekt på AWS. Han fokuserar på generativ AI, AI/ML och dataanalys. På AWS hjälper Armando kunder att integrera banbrytande generativ AI-kapacitet i sina system, vilket främjar innovation och konkurrensfördelar. När han inte är på jobbet tycker han om att umgås med sin fru och familj, vandra och resa jorden runt.
- SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
- PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
- PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
- Platoesg. Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
- PlatoHealth. Biotech och kliniska prövningar Intelligence. Tillgång här.
- Källa: https://aws.amazon.com/blogs/machine-learning/databricks-dbrx-is-now-available-in-amazon-sagemaker-jumpstart/
- : har
- :är
- :inte
- :var
- $UPP
- 000
- 1
- 10
- 100
- 11
- 12
- 15%
- 16
- 19
- 1M
- 20
- 22
- 225
- 25
- 250
- 27
- 30
- 32
- 36
- 400
- 50
- 7
- 700
- 8
- a
- Able
- Om oss
- ovan
- absolut
- accelerera
- accelererande
- acceleratorer
- Acceptera
- accepterar
- tillgång
- Enligt
- i enlighet med detta
- Konto
- noggrannhet
- uppnå
- aktiv
- aktiviteter
- lägga till
- justera
- Antagande
- Fördel
- rådgivning
- Efter
- mot
- Avtal
- AI
- AI / ML
- Stöd
- AIDS
- algoritmer
- Alla
- tillåts
- tillåta
- också
- am
- amason
- Amazon SageMaker
- Amazon SageMaker JumpStart
- Amazon Web Services
- an
- analys
- analytics
- och
- och infrastruktur
- Meddela
- Annan
- svara
- svar
- vilken som helst
- Apple
- tillämpningar
- tillvägagångssätt
- arkitektur
- ÄR
- OMRÅDE
- runt
- AS
- Assistent
- At
- tillgänglig
- AWS
- Banan
- bas
- baserat
- grundläggande
- BE
- därför att
- Biff
- innan
- Börjar
- Där vi får lov att vara utan att konstant prestera,
- riktmärke
- mellan
- fakturering
- Miljarder
- nål
- båda
- Box
- Ha sönder
- brun
- SLUTRESULTAT
- Byggnad
- byggt
- företag
- by
- beräkna
- beräkning
- KAN
- kapacitet
- bil
- kortet
- försiktigt
- Vid
- fall
- katalog
- byta
- avgifter
- val
- val
- Välja
- Väljer
- välja
- klassificering
- klick
- Stäng
- nära
- stängning
- cloud
- koda
- Kodning
- Kaffe
- Samla
- samling
- Kolumn
- Kolonner
- företag
- jämfört
- konkurrenskraftig
- komponenter
- Compute
- dator
- Datavetenskap
- Begreppen
- Bestående
- konsultera
- innehålla
- Behållare
- innehåll
- Innehållsskrivning
- sammanhang
- Däremot
- kontroller
- Konversation
- copywriting
- korrekt
- Pris
- Kostar
- kunde
- skapa
- skapas
- Skapa
- avgörande
- kultur
- kulturer
- Cup
- kurerad
- Aktuella
- Kunder
- anpassning
- allra senaste
- dagligen
- Dallas
- Dallas Mavericks
- datum
- Data Analytics
- datavetare
- datasäkerhet
- Datum
- dag
- Dagar
- Standard
- definierade
- Examen
- demonstrera
- distribuera
- utplacerade
- utplacera
- utplacering
- vecklas ut
- härleda
- detaljer
- utvecklade
- Utveckling
- DICT
- DID
- Diet
- olika
- Upptäck
- Visa
- dokument
- gör
- domäner
- gjort
- ner
- driven
- drivande
- intjänade
- lätta
- lätt
- redaktör
- effekt
- effektivt
- Ägg
- antingen
- annars
- sysselsätter
- möjliggöra
- möjliggör
- änden
- Slutpunkt
- energi
- ingenjör
- förbättra
- tillräckligt
- företag
- Miljö
- miljöer
- EOS
- NÅGONSIN
- alla
- exempel
- exempel
- utbyta
- exciterade
- Motionera
- erfarenhet
- expert
- experter
- förklaringar
- uttryckligen
- Utforska
- underlättas
- familj
- fläkt
- Funktioner
- få
- Fil
- Filer
- slutlig
- Slutligen
- hitta
- Förnamn
- fitness
- fixerad
- Fokus
- fokuserar
- följer
- efter
- följer
- livsmedelsproduktion
- livsmedel
- För
- format
- främja
- fundament
- från
- fullständigt
- fungera
- generell mening
- generera
- generering
- generativ
- Generativ AI
- skaffa sig
- ges
- Ge
- Välgörenhet
- världshandel
- Go
- Målet
- Mål
- god
- varor
- stor
- större
- grekisk
- Tillväxt
- hade
- lyckligt
- Har
- he
- Hälsa
- hälso-och sjukvård
- hjälpa
- hjälpa
- hjälper
- här.
- Hög
- högre
- hans
- historia
- innehar
- Hur ser din drömresa ut
- How To
- html
- HTTPS
- Nav
- i
- ID
- Tanken
- idéer
- if
- Inverkan
- påverkade
- Konsekvenser
- importera
- med Esport
- in
- innefattar
- Inklusive
- införlivande
- Öka
- ökande
- indisk
- industrin
- informationen
- Infrastruktur
- Innovation
- ingång
- ingångar
- insikter
- exempel
- instruktioner
- integrerade
- Integrera
- interagera
- interaktiva
- Gränssnitt
- in
- Uppfinnarna
- innebär
- iot
- IT
- DESS
- jpg
- bara
- Nyckel
- Snäll
- kunskap
- landning
- språk
- Språk
- Large
- storskalig
- ledande
- luta
- inlärning
- Led
- Längd
- Låt
- Bibliotek
- Licens
- Lifestyle
- tycka om
- BEGRÄNSA
- Lista
- ll
- LLM
- läsa in
- laster
- Logiken
- logisk
- se
- ser ut som
- älskar
- lägre
- Maskinen
- maskininlärning
- gjord
- upprätthålla
- göra
- förvaltade
- Manipulation
- Massa
- Master
- matte
- matematisk
- matematik
- matplotlib
- maximal
- Maj..
- me
- mil
- blandad
- ML
- MLOps
- modell
- modeller
- mer
- mest
- flytta
- film
- multipel
- muskel
- måste
- my
- Som heter
- namn
- Navigering
- Behöver
- behov
- negativ
- Neutral
- Nya
- Nästa
- Ingen
- Notera
- anteckningsbok
- nu
- antal
- näringsmässiga
- of
- Erbjudanden
- on
- ONE
- öppet
- optimerad
- Alternativet
- or
- beställa
- organisationer
- Övriga
- annat
- ut
- översikt
- produktion
- utgångar
- över
- övergripande
- egen
- sida
- pandor
- panelen
- parametrar
- särskilt
- partner
- reservdelar till din klassiker
- Förbi
- brinner
- Patent
- bana
- Personer
- för
- perfekt
- Utföra
- prestanda
- personlig
- Planen
- planer
- plattform
- plato
- Platon Data Intelligence
- PlatonData
- Massor
- komplott
- plus
- Populära
- del
- positiv
- möjlig
- Inlägg
- den mäktigaste
- praxis
- föregående
- förutsagda
- Predictor
- preferenser
- förbereda
- presenteras
- pris
- Priser
- Problem
- problemlösning
- process
- processer
- professionell
- djupgående
- Program
- Programmering
- programmeringsspråk
- prompter
- Protein
- ge
- förutsatt
- ger
- Python
- mängd
- fråga
- snabbt
- höja
- Betygsätta
- Läsa
- rekommenderar
- återvinning
- hänvisa
- registrerat
- regelbunden
- relaterad
- ihåg
- ersätta
- rapport
- representerar
- begära
- Krav
- forskning
- Resurser
- respekterad
- Svara
- respons
- svar
- restaurang
- begränsningar
- Resultat
- hämtning
- avkastning
- Ris
- Roll
- roller
- Körning
- rinnande
- s
- sagemaker
- prov
- såg
- skalbar
- Vetenskap
- Forskare
- ösa
- skript
- sDK
- Sök
- §
- säkra
- säkerhet
- se
- välj
- vald
- väljer
- känsla
- Sekvens
- service
- Tjänster
- in
- skall
- show
- visade
- visas
- Visar
- signifikant
- Liknande
- Enkelt
- enda
- Storlek
- storlekar
- sova
- mindre
- Gymnastikskor
- So
- Mjukvara
- mjukvaruutveckling
- Lösningar
- några
- sofistikerade
- Källor
- speciell
- specialist
- Specialitet
- specifik
- specificerade
- specificerar
- Spendera
- Sporter
- standard
- starta
- igång
- Starta
- startar
- Startups
- state-of-the-art
- statisk
- bo
- Steg
- lager
- slutade
- Strategisk
- hållfasthet
- styrkor
- Sträng
- strukturer
- studio
- suboptimal
- sådana
- tillräcklig
- stödja
- Stöder
- säker
- system
- System
- tar
- uppgifter
- grupp
- tekniker
- Tekniken
- mall
- fruktansvärt
- testa
- Testning
- text
- än
- den där
- Smakämnen
- världen
- deras
- sedan
- Dessa
- de
- detta
- Genom
- hela
- tid
- Titel
- till
- i dag
- tokens
- verktyg
- verktyg
- Totalt
- handla
- trafik
- Tåg
- Utbildning
- transformator
- transport
- färdas
- Traveling
- Biljon
- sann
- prova
- försöker
- SVÄNG
- vänder
- tweet
- Typ
- ui
- under
- gick
- låsa
- Användning
- användning
- användningsfall
- Begagnade
- Användare
- användningar
- med hjälp av
- värde
- Värden
- variabel
- mängd
- olika
- Omfattande
- Ve
- Grönsaker
- version
- utsikt
- Besök
- visuell
- gå
- vill
- var
- Vatten
- Sätt..
- sätt
- we
- Väder
- webb
- webbservice
- Webb-baserad
- były
- Vad
- när
- som
- Hela
- varför
- fru
- kommer
- med
- utan
- ord
- Arbete
- arbetssätt
- fungerar
- världen
- skulle
- skriva
- skrivning
- år
- Om er
- Yngst
- Din
- zephyrnet