Hoje, temos o prazer de anunciar que o Modelo DBRX, um modelo de linguagem grande (LLM) aberto e de uso geral desenvolvido por Bancos de dados, está disponível para clientes através JumpStart do Amazon SageMaker para implantar com um clique para executar inferência. O DBRX LLM emprega uma arquitetura refinada de mistura de especialistas (MoE), pré-treinada em 12 trilhões de tokens de dados cuidadosamente selecionados e um comprimento máximo de contexto de 32,000 tokens.
Você pode experimentar este modelo com o SageMaker JumpStart, um hub de aprendizado de máquina (ML) que fornece acesso a algoritmos e modelos para que você possa começar a usar o ML rapidamente. Nesta postagem, explicamos como descobrir e implantar o modelo DBRX.
Qual é o modelo DBRX
DBRX é um LLM sofisticado somente para decodificador construído em arquitetura de transformador. Ele emprega uma arquitetura MoE refinada, incorporando 132 bilhões de parâmetros totais, com 36 bilhões desses parâmetros ativos para qualquer entrada.
O modelo passou por pré-treinamento usando um conjunto de dados composto por 12 trilhões de tokens de texto e código. Em contraste com outros modelos abertos de MoE, como Mixtral e Grok-1, o DBRX apresenta uma abordagem refinada, usando uma quantidade maior de especialistas menores para desempenho otimizado. Comparado a outros modelos do MoE, o DBRX conta com 16 especialistas e escolhe 4.
O modelo é disponibilizado sob a licença Databricks Open Model, para uso sem restrições.
O que é o SageMaker JumpStart
SageMaker JumpStart é uma plataforma totalmente gerenciada que oferece modelos básicos de última geração para vários casos de uso, como escrita de conteúdo, geração de código, resposta a perguntas, redação, resumo, classificação e recuperação de informações. Ele fornece uma coleção de modelos pré-treinados que você pode implantar com rapidez e facilidade, acelerando o desenvolvimento e a implantação de aplicativos de ML. Um dos principais componentes do SageMaker JumpStart é o Model Hub, que oferece um vasto catálogo de modelos pré-treinados, como DBRX, para uma variedade de tarefas.
Agora você pode descobrir e implantar modelos DBRX com apenas alguns cliques Estúdio Amazon SageMaker ou programaticamente por meio do SageMaker Python SDK, permitindo derivar o desempenho do modelo e controles MLOps com Amazon Sage Maker recursos como Pipelines Amazon SageMaker, Depurador do Amazon SageMakerou registros de contêiner. O modelo é implantado em um ambiente seguro da AWS e sob seus controles de VPC, ajudando a fornecer segurança de dados.
Descubra modelos no SageMaker JumpStart
Você pode acessar o modelo DBRX por meio do SageMaker JumpStart na interface do SageMaker Studio e do SageMaker Python SDK. Nesta seção, veremos como descobrir os modelos no SageMaker Studio.
SageMaker Studio é um ambiente de desenvolvimento integrado (IDE) que fornece uma única interface visual baseada na web onde você pode acessar ferramentas específicas para executar todas as etapas de desenvolvimento de ML, desde a preparação de dados até a construção, treinamento e implantação de seus modelos de ML. Para obter mais detalhes sobre como começar e configurar o SageMaker Studio, consulte Estúdio Amazon SageMaker.
No SageMaker Studio, você pode acessar o SageMaker JumpStart escolhendo Acelerador no painel de navegação.
Na página inicial do SageMaker JumpStart, você pode pesquisar “DBRX” na caixa de pesquisa. Os resultados da pesquisa listarão Instrução DBRX e Base DBRX.
Você pode escolher o cartão de modelo para visualizar detalhes sobre o modelo, como licença, dados usados para treinar e como usar o modelo. Você também encontrará o Implantação botão para implantar o modelo e criar um endpoint.
Implante o modelo no SageMaker JumpStart
A implantação começa quando você escolhe o Implantação botão. Após a conclusão da implantação, você verá que um endpoint foi criado. Você pode testar o endpoint passando um exemplo de carga de solicitação de inferência ou selecionando a opção de teste usando o SDK. Ao selecionar a opção de usar o SDK, você verá um código de exemplo que pode usar no editor de notebook de sua escolha no SageMaker Studio.
Base DBRX
Para implantar usando o SDK, começamos selecionando o modelo DBRX Base, especificado pelo model_id
com valor huggingface-llm-dbrx-base. Você pode implantar qualquer um dos modelos selecionados no SageMaker com o código a seguir. Da mesma forma, você pode implantar o DBRX Instruct usando seu próprio ID de modelo.
Isso implanta o modelo no SageMaker com configurações padrão, incluindo o tipo de instância padrão e as configurações de VPC padrão. Você pode alterar essas configurações especificando valores não padrão em Modelo JumpStart. O valor Eula deve ser definido explicitamente como True para aceitar o contrato de licença do usuário final (EULA). Certifique-se também de ter o limite de serviço no nível da conta para usar ml.p4d.24xlarge ou ml.pde.24xlarge para uso de endpoint como uma ou mais instâncias. Você pode seguir as instruções SUA PARTICIPAÇÃO FAZ A DIFERENÇA para solicitar um aumento de cota de serviço.
Após a implantação, você pode executar inferência no endpoint implantado por meio do preditor SageMaker:
Solicitações de exemplo
Você pode interagir com o modelo DBRX Base como qualquer modelo de geração de texto padrão, onde o modelo processa uma sequência de entrada e gera as próximas palavras previstas na sequência. Nesta seção, fornecemos alguns exemplos de prompts e exemplos de resultados.
Geração de código
Usando o exemplo anterior, podemos usar prompts de geração de código da seguinte maneira:
A seguir está a saída:
Análise de sentimentos
Você pode realizar análise de sentimento usando um prompt como o seguinte com DBRX:
A seguir está a saída:
Resposta de perguntas
Você pode usar um prompt de resposta a perguntas como o seguinte com DBRX:
A seguir está a saída:
Instrução DBRX
A versão ajustada por instrução do DBRX aceita instruções formatadas onde as funções de conversação devem começar com um prompt do usuário e alternar entre as instruções do usuário e o assistente (instrução DBRX). O formato da instrução deve ser rigorosamente respeitado, caso contrário o modelo gerará resultados abaixo do ideal. O modelo para construir um prompt para o modelo Instruct é definido da seguinte forma:
<|im_start|>
e <|im_end|>
são tokens especiais para início de string (BOS) e fim de string (EOS). O modelo pode conter vários turnos de conversa entre o sistema, o usuário e o assistente, permitindo a incorporação de poucos exemplos para aprimorar as respostas do modelo.
O código a seguir mostra como você pode formatar o prompt no formato de instrução:
recuperação de conhecimento
Você pode usar o seguinte prompt para recuperação de conhecimento:
A seguir está a saída:
Geração de código
Os modelos DBRX demonstram pontos fortes de referência para tarefas de codificação. Por exemplo, veja o seguinte código:
A seguir está a saída:
Matemática e raciocínio
Os modelos DBRX também relatam pontos fortes em termos de precisão matemática. Por exemplo, veja o seguinte código:
O DBRX pode fornecer compreensão conforme mostrado na saída a seguir com a lógica matemática:
limpar
Depois de terminar de executar o notebook, exclua todos os recursos que você criou no processo para que seu faturamento seja interrompido. Use o seguinte código:
Conclusão
Nesta postagem, mostramos como começar a usar DBRX no SageMaker Studio e implantar o modelo para inferência. Como os modelos básicos são pré-treinados, eles podem ajudar a reduzir os custos de treinamento e infraestrutura e permitir a personalização para seu caso de uso. Visite o SageMaker JumpStart no SageMaker Studio agora para começar.
Recursos
Sobre os autores
Shikhar Kwatra é arquiteto de soluções especialista em IA/ML na Amazon Web Services, trabalhando com um integrador de sistemas global líder. Ele ganhou o título de um dos mais jovens mestres inventores indianos, com mais de 400 patentes nos domínios de IA/ML e IoT. Ele tem mais de 8 anos de experiência no setor, desde startups até empresas de grande escala, desde engenheiro de pesquisa de IoT, cientista de dados até arquiteto de dados e IA. Shikhar auxilia na arquitetura, construção e manutenção de ambientes de nuvem escaláveis e econômicos para organizações e apoia os parceiros da GSI na construção de indústrias estratégicas
Niithiyn Vijeaswaran é arquiteto de soluções na AWS. Sua área de foco é IA generativa e aceleradores de IA da AWS. Ele possui bacharelado em Ciência da Computação e Bioinformática. Niithiyn trabalha em estreita colaboração com a equipe Generative AI GTM para capacitar os clientes da AWS em diversas frentes e acelerar a adoção da IA generativa. Ele é um grande fã do Dallas Mavericks e gosta de colecionar tênis.
Sebastião Bustillo é arquiteto de soluções na AWS. Ele se concentra em tecnologias de IA/ML com uma profunda paixão por IA generativa e aceleradores de computação. Na AWS, ele ajuda os clientes a obter valor comercial por meio de IA generativa. Quando não está no trabalho, ele gosta de preparar uma xícara perfeita de café especial e explorar o mundo com sua esposa.
Armando diaz é arquiteto de soluções na AWS. Ele se concentra em IA generativa, IA/ML e análise de dados. Na AWS, Armando ajuda os clientes a integrar recursos de IA generativos de ponta em seus sistemas, promovendo inovação e vantagem competitiva. Quando não está no trabalho, ele gosta de passar tempo com sua esposa e família, fazer caminhadas e viajar pelo mundo.
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
- PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
- PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
- PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
- Fonte: https://aws.amazon.com/blogs/machine-learning/databricks-dbrx-is-now-available-in-amazon-sagemaker-jumpstart/
- :tem
- :é
- :não
- :onde
- $UP
- 000
- 1
- 10
- 100
- 11
- 12
- 15%
- 16
- 19
- 1M
- 20
- 22
- 225
- 25
- 250
- 27
- 30
- 32
- 36
- 400
- 50
- 7
- 700
- 8
- a
- Capaz
- Sobre
- acima
- absolutamente
- acelerar
- acelerando
- aceleradores
- ACEITAR
- Aceita
- Acesso
- Segundo
- conformemente
- Conta
- precisão
- alcançar
- ativo
- atividades
- adicionar
- ajustar
- Adoção
- Vantagem
- conselho
- Depois de
- contra
- Acordo
- AI
- AI / ML
- Ajuda
- SIDA
- algoritmos
- Todos os Produtos
- permitidas
- Permitindo
- tb
- am
- Amazon
- Amazon Sage Maker
- JumpStart do Amazon SageMaker
- Amazon Web Services
- an
- análise
- analítica
- e
- e infra-estrutura
- Anunciar
- Outro
- responder
- responder
- qualquer
- Apple
- aplicações
- abordagem
- arquitetura
- SOMOS
- ÁREA
- por aí
- AS
- Assistente
- At
- disponível
- AWS
- Banana
- base
- baseado
- basic
- BE
- Porque
- Carne Bovina
- antes
- Começo
- ser
- aferido
- entre
- morada
- bilhão
- pino
- ambos
- Caixa
- Break
- marrom
- construir
- Prédio
- construído
- negócio
- by
- calcular
- Cálculo
- CAN
- capacidades
- carro
- cartão
- cuidadosamente
- casas
- casos
- catálogo
- alterar
- acusações
- escolha
- escolhas
- Escolha
- escolhe
- escolha
- classificação
- clique
- Fechar
- de perto
- encerramento
- Na nuvem
- código
- Codificação
- Café
- Coleta
- coleção
- Coluna
- colunas
- Empresa
- comparado
- competitivo
- componentes
- Computar
- computador
- Ciência da Computação
- conceitos
- Consistindo
- consultar
- não contenho
- Recipiente
- conteúdo
- Redação de Conteúdo
- contexto
- contraste
- controles
- Conversa
- copywriting
- corretamente
- Custo
- custos
- poderia
- crio
- criado
- Criar
- crucial
- cultural
- culturas
- copo
- comissariada
- Atual
- Clientes
- personalização
- ponta
- diariamente
- Dallas
- Dallas Mavericks
- dados,
- Análise de Dados
- cientista de dados
- segurança dos dados
- Data
- dia
- dias
- Padrão
- definido
- Grau
- demonstrar
- implantar
- implantado
- Implantação
- desenvolvimento
- implanta
- derivar
- detalhes
- desenvolvido
- Desenvolvimento
- DICT
- DID
- Dieta
- diferente
- descobrir
- Ecrã
- INSTITUCIONAIS
- parece
- domínios
- feito
- down
- dirigido
- condução
- ganhou
- facilidade
- facilmente
- editor
- efeito
- eficientemente
- Ovos
- ou
- outro
- emprega
- permitir
- permitindo
- final
- Ponto final
- energia
- engenheiro
- aumentar
- suficiente
- empresas
- Meio Ambiente
- ambientes
- EOS
- SEMPRE
- todos
- exemplo
- exemplos
- exchange
- animado
- Exercício
- vasta experiência
- especialista
- especialistas
- explicações
- explicitamente
- Explorando
- facilitado
- família
- ventilador
- Funcionalidades
- poucos
- Envie o
- Arquivos
- final
- Finalmente
- Encontre
- Primeiro nome
- fitness
- fixado
- Foco
- concentra-se
- seguir
- seguinte
- segue
- comida
- alimentos
- Escolha
- formato
- fomento
- Foundation
- da
- totalmente
- função
- propósito geral
- gerar
- geração
- generativo
- IA generativa
- ter
- dado
- Dando
- Global
- comércio global
- Go
- meta
- Objetivos
- Bom estado, com sinais de uso
- bens
- ótimo
- maior
- grego
- Growth
- tinha
- feliz
- Ter
- he
- Saúde
- saúde
- ajudar
- ajuda
- ajuda
- SUA PARTICIPAÇÃO FAZ A DIFERENÇA
- Alta
- superior
- sua
- história
- detém
- Como funciona o dobrador de carta de canal
- Como Negociar
- HTML
- HTTPS
- Hub
- i
- ID
- idéia
- idéias
- if
- Impacto
- impactada
- Impacto
- importar
- importante
- in
- inclui
- Incluindo
- incorporando
- Crescimento
- aumentando
- indiano
- indústria
- INFORMAÇÕES
- Infraestrutura
- Inovação
- entrada
- inputs
- insights
- instância
- instruções
- integrado
- Integração
- interagir
- interativo
- Interface
- para dentro
- Inventores
- envolve
- iot
- IT
- ESTÁ
- jpg
- apenas por
- Chave
- Tipo
- Conhecimento
- aterrissagem
- língua
- Idiomas
- grande
- em grande escala
- principal
- inclinar-se
- aprendizagem
- levou
- Comprimento
- deixar
- Biblioteca
- Licença
- estilo de vida
- como
- LIMITE
- Lista
- ll
- LLM
- carregar
- cargas
- lógica
- lógico
- olhar
- parece
- gosta,
- diminuir
- máquina
- aprendizado de máquina
- moldadas
- Manter
- fazer
- gerenciados
- Manipulação
- Massa
- dominar
- matemática
- matemático
- matemática
- matplotlib
- máximo
- Posso..
- me
- milha
- misto
- ML
- MLOps
- modelo
- modelos
- mais
- a maioria
- mover
- filme
- múltiplo
- músculo
- devo
- my
- Nomeado
- nomes
- Navegação
- você merece...
- Cria
- negativo
- Neutro
- Novo
- Próximo
- nenhum
- nota
- caderno
- agora
- número
- nutricional
- of
- Oferece
- on
- ONE
- aberto
- otimizado
- Opção
- or
- ordem
- organizações
- Outros
- de outra forma
- Fora
- esboço
- saída
- outputs
- Acima de
- global
- próprio
- página
- pandas
- pão
- parâmetros
- particularmente
- Parceiros
- peças
- Passagem
- paixão
- Patentes
- caminho
- Pessoas
- para
- perfeita
- Realizar
- atuação
- Personalizado
- plano
- planos
- plataforma
- platão
- Inteligência de Dados Platão
- PlatãoData
- Abundância
- enredo
- mais
- Popular
- parte
- positivo
- possível
- Publique
- poderoso
- práticas
- precedente
- previsto
- Predictor
- preferências
- preparação
- apresentado
- preço
- Valores
- Problema
- Solução de problemas
- processo
- processos
- profissional
- profundo
- Agenda
- Programação
- linguagens de programação
- solicita
- Proteína
- fornecer
- fornecido
- fornece
- Python
- quantidade
- questão
- rapidamente
- aumentar
- Taxa
- Leia
- recomendar
- recuperação
- referir
- registrado
- regular
- relacionado
- lembrar
- substituir
- Denunciar
- representar
- solicitar
- Requisitos
- pesquisa
- Recursos
- respeitado
- Responder
- resposta
- respostas
- restaurante
- restrições
- Resultados
- recuperação
- retorno
- arroz
- Tipo
- papéis
- Execute
- corrida
- s
- sábio
- amostra
- serra
- escalável
- Ciência
- Cientista
- escavar
- escrita
- Sdk
- Pesquisar
- Seção
- seguro
- segurança
- Vejo
- selecionar
- selecionado
- selecionando
- sentimento
- Seqüência
- serviço
- Serviços
- conjunto
- rede de apoio social
- mostrar
- mostrou
- mostrando
- Shows
- periodo
- Similarmente
- simples
- solteiro
- Tamanho
- tamanhos
- dormir
- menor
- Tênis
- So
- Software
- desenvolvimento de software
- Soluções
- alguns
- sofisticado
- Fontes
- especial
- especialista
- Especialidade
- específico
- especificada
- especificando
- Passar
- Esportes
- padrão
- começo
- começado
- Comece
- começa
- Startups
- estado-da-arte
- estático
- ficar
- Passos
- estoque
- parou
- Estratégico
- força
- pontos fortes
- Tanga
- estruturas
- estudo
- subótimo
- tal
- suficiente
- ajuda
- suportes
- certo
- .
- sistemas
- tomar
- tarefas
- Profissionais
- técnicas
- Tecnologias
- modelo
- terrível
- teste
- ensaio
- texto
- do que
- que
- A
- o mundo
- deles
- então
- Este
- deles
- isto
- Através da
- todo
- tempo
- Título
- para
- hoje
- Tokens
- ferramenta
- ferramentas
- Total
- comércio
- tráfego
- Trem
- Training
- transformador
- transporte
- viagens
- Viagens
- Trilhão
- verdadeiro
- tentar
- tentando
- VIRAR
- voltas
- Tweet
- tipo
- ui
- para
- sofreu
- destravar
- Uso
- usar
- caso de uso
- usava
- Utilizador
- usos
- utilização
- valor
- Valores
- variável
- variedade
- vário
- Grande
- Ve
- Legumes
- versão
- Ver
- Visite a
- visual
- andar
- queremos
- foi
- Água
- Caminho..
- maneiras
- we
- Clima
- web
- serviços web
- Web-Based
- foram
- O Quê
- quando
- qual
- inteiro
- porque
- mulher
- precisarão
- de
- sem
- palavras
- Atividades:
- trabalhar
- trabalho
- mundo
- seria
- escrever
- escrita
- anos
- Vocês
- Mais jovem
- investimentos
- zefirnet