Hoje, temos o prazer de anunciar que o jóia modelo agora está disponível para clientes que usam JumpStart do Amazon SageMaker. Gemma é uma família de modelos de linguagem baseado nos modelos Gemini do Google, treinados em até 6 trilhões de tokens de texto. A família Gemma consiste em dois tamanhos: um modelo de 7 bilhões de parâmetros e um modelo de 2 bilhões de parâmetros. Agora, você pode usar modelos pré-treinados e ajustados por instrução Gemma 2B e Gemma 7B dentro SageMaker JumpStart. O JumpStart é o hub de aprendizado de máquina (ML) do SageMaker que fornece acesso a modelos básicos, além de algoritmos integrados e modelos de solução de ponta a ponta para ajudá-lo a começar a usar o ML rapidamente.
Nesta postagem, explicamos como implantar o modelo Gemma e ajustá-lo para seus casos de uso no SageMaker JumpStart. O caderno completo está disponível em GitHub.
Modelo Gema
jóia é uma família de equipamentos leves e de última geração modelos construído a partir da mesma pesquisa e tecnologia usada para criar o Gemini modelos. Desenvolvido pelo Google DeepMind e outras equipes do Google, Gemma é inspirado no Gemini. Gemma exibe fortes capacidades generalistas em domínios de texto e habilidades de compreensão e raciocínio de última geração em grande escala. Alcança um melhor desempenho em comparação com outros modelos publicamente disponíveis de escalas semelhantes ou maiores em diferentes domínios, incluindo resposta a perguntas, raciocínio de bom senso, matemática e ciências, e codificação. Gemma lançou os pesos do modelo para apoiar a inovação dos desenvolvedores usando modelos Gemma. Gemma foi lançada com um novo Kit de ferramentas de IA generativa responsável que fornece orientação e ferramentas essenciais para a criação de aplicações de IA mais seguras com Gemma.
Modelos de fundação no SageMaker
O JumpStart fornece acesso a uma variedade de modelos de hubs de modelos populares, incluindo Hugging Face, PyTorch Hub e TensorFlow Hub, que você pode usar em seu fluxo de trabalho de desenvolvimento de ML no SageMaker. Avanços recentes em ML deram origem a uma nova classe de modelos conhecida como modelos de fundação, que normalmente são treinados em bilhões de parâmetros e são adaptáveis a uma ampla categoria de casos de uso, como resumo de texto, geração de arte digital e tradução de idiomas. Como esses modelos são caros para treinar, os clientes desejam usar modelos de fundação pré-treinados existentes e ajustá-los conforme necessário, em vez de treinar esses modelos por conta própria. O SageMaker fornece uma lista selecionada de modelos que você pode escolher no console do SageMaker.
Agora você pode encontrar modelos de fundação de diferentes fornecedores de modelos no JumpStart, permitindo que você comece a usar modelos de fundação rapidamente. Você pode encontrar modelos básicos baseados em diferentes tarefas ou provedores de modelos e revisar as características do modelo e os termos de uso. Você também pode experimentar esses modelos usando um widget de IU de teste. Quando quiser usar um modelo básico em escala, você pode fazer isso sem sair do SageMaker usando notebooks pré-construídos de fornecedores de modelos. Como os modelos são hospedados e implantados na AWS, seus dados, sejam usados para avaliar o modelo ou em escala, nunca são compartilhados com terceiros.
Vamos explorar como você pode usar o modelo Llama Guard no JumpStart.
Explore o modelo Gemma no Jumpstart
Você pode acessar os modelos básicos do Gemma por meio do SageMaker JumpStart na IU do SageMaker Studio e do SageMaker Python SDK. Nesta seção, veremos como descobrir os modelos no SageMaker Studio.
SageMaker Studio é um ambiente de desenvolvimento integrado (IDE) que fornece uma única interface visual baseada na web onde você pode acessar ferramentas específicas para executar todas as etapas de desenvolvimento de ML, desde a preparação de dados até a construção, treinamento e implantação de seus modelos de ML. Para obter mais detalhes sobre como começar e configurar o SageMaker Studio, consulte Estúdio Amazon SageMaker.
No Console de gerenciamento da AWS para SageMaker Studio, acesse SageMaker JumpStart em Soluções pré-construídas e automatizadas. Jumpstart contém modelos pré-treinados, notebooks e soluções pré-construídas.
Na página inicial do SageMaker JumpStart, você pode encontrar o modelo Gemma pesquisando por Gemma.
Você pode então selecionar entre uma variedade de variantes de modelo Gemma, incluindo Gemma 2B, Gemma 7B, instrução Gemma 2B e instrução Gemma 7B.
Escolha o cartão de modelo para visualizar detalhes sobre o modelo, como licença, dados usados para treinar e como usar o modelo. Você também encontrará um Implantação botão, que leva você a uma página inicial onde você pode testar a inferência com um exemplo de carga útil.
Implante Gemma com SageMaker Python SDK
Você pode encontrar o código que mostra a implantação do Gemma no JumpStart e um exemplo de como usar o modelo implantado em este caderno GitHub.
Comece selecionando o ID do modelo SageMaker Model Hub e a versão do modelo a ser usado ao implantar o Gemma.
Escolha um ID de modelo na tabela a seguir, que detalha as opções de configuração padrão para a implantação do JumpStart. Devido ao grande tamanho do vocabulário de 256 mil tokens, o Gemma 7B só pode caber em uma única GPU A10G ao suportar um comprimento de contexto de 1 mil. Por esse motivo, JumpStart usa uma instância padrão maior para Gemma 7B.
ID do modelo | Instância de inferência padrão | Grau paralelo do tensor | Comprimento do contexto suportado |
abraçandoface-llm-gemma-2b | ml.g5.xgrande | 1 | 8k |
abraçandoface-llm-gemma-2b-instruir | ml.g5.xgrande | 1 | 8k |
abraçandoface-llm-gemma-7b | ml.g5.12xgrande | 4 | 8k |
abraçandoface-llm-gemma-7b-instruir | ml.g5.12xgrande | 4 | 8k |
Agora você pode implantar o modelo usando o SageMaker JumpStart. O código a seguir usa a instância padrão ml.g5.12xlarge
para o endpoint de inferência Você pode implantar o modelo em outros tipos de instância passando instance_type
no JumpStartModel
aula. A implantação pode levar de 5 a 10 minutos.
Para uma implantação bem-sucedida, você deve alterar manualmente o accept_eula
argumento no método de implantação do modelo para True
. Este modelo é implantado usando o contêiner de aprendizagem profunda de inferência de geração de texto (TGI).
Invocar ponto de extremidade
Você pode recuperar programaticamente exemplos de cargas do JumpStartModel
objeto. Isso ajudará você a começar, observando instruções pré-formatadas que Gemma pode ingerir.
Antes de examinarmos os prompts específicos, vamos considerar o modelo de bate-papo para modelos Gemma Instruct.
Aqui, você coloca seu prompt no [USER_PROMPT]
localização. Não há suporte para instruções do sistema; em vez disso, você pode acrescentar a instrução desejada ao prompt do usuário. Além disso, se você tiver uma conversa com vários turnos, o prompt do modelo poderá alternar entre usuário e assistente conforme necessário.
Agora considere alguns exemplos de instruções. Aqui, você pede a Gemma para escrever um programa Hello World.
A seguir está a saída esperada:
A seguir, invoque Gemma para a tarefa criativa de escrever um poema.
A seguir está a saída:
Isso parece muito bom!
Agora, vamos analisar o benchmarking de desempenho de latência e taxa de transferência para atendimento de modelo com a configuração de implantação JumpStart padrão. Aqui, mostramos como o desempenho do modelo pode ser diferente para sua carga de trabalho típica de endpoint. Nas tabelas a seguir, você pode observar que consultas de pequeno porte (256 palavras de entrada e 256 tokens de saída) apresentam bastante desempenho sob um grande número de usuários simultâneos, atingindo uma taxa de transferência de tokens da ordem de mil a dois mil tokens por segundo. No entanto, à medida que o número de palavras de entrada se aproxima do comprimento máximo de contexto suportado pelo Gemma de oito mil tokens, o endpoint satura sua capacidade de processamento em lote (o número de solicitações simultâneas que podem ser processadas simultaneamente) devido a restrições de memória da instância.
Para obter mais informações sobre como considerar essas informações e ajustar as configurações de implantação para seu caso de uso específico, consulte Compare e otimize a implantação de endpoints no Amazon SageMaker JumpStart.
. | Taxa de transferência (tokens/s) | ||||||||||
Usuários concorrentes | 1 | 2 | 4 | 8 | 16 | 32 | 64 | 128 | |||
modelo | Tipo de instância | Palavras de entrada | Tokens de saída | . | . | . | . | . | . | . | . |
gemma-2b-instruir | ml.g5.xgrande | 256 | 256 | 73 | 137 | 262 | 486 | 829 | 1330 | 1849 | 1834 |
2048 | 256 | 69 | 126 | 227 | 373 | 537 | 704 | 764 | - | ||
7936 | 256 | 60 | 100 | 147 | 195 | 226 | 230 | - | - | ||
gemma-7b-instruir | ml.g5.12xgrande | 256 | 256 | 62 | 119 | 227 | 413 | 601 | 811 | 937 | 962 |
2048 | 256 | 56 | 100 | 172 | 245 | 267 | 273 | - | - | ||
7936 | 256 | 44 | 67 | 77 | 77 | 78 | - | - | - |
. | Latência P50 (ms/token) | ||||||||||
Usuários concorrentes | 1 | 2 | 4 | 8 | 16 | 32 | 64 | 128 | |||
modelo | Tipo de instância | Palavras de entrada | Tokens de saída | . | . | . | . | . | . | . | . |
gemma-2b-instruir | ml.g5.xgrande | 256 | 256 | 13 | 14 | 15 | 16 | 19 | 23 | 33 | 49 |
2048 | 256 | 14 | 15 | 17 | 20 | 28 | 43 | 79 | - | ||
7936 | 256 | 16 | 19 | 26 | 39 | 68 | 136 | - | - | ||
Gemma-7b-instruir | ml.g5.12xgrande | 256 | 256 | 16 | 16 | 17 | 19 | 26 | 38 | 57 | 110 |
2048 | 256 | 17 | 19 | 23 | 32 | 52 | 119 | - | - | ||
7936 | 256 | 22 | 29 | 45 | 105 | 197 | - | - | - |
Ajuste Gemma usando SageMaker Python SDK
A seguir, mostramos como ajustar o modelo de instrução Gemma 7B em um conjunto de dados formatado em conversação usando QLoRA técnica. Conforme mencionado anteriormente, devido ao grande tamanho do vocabulário de 256 mil e ao comprimento de contexto de 8 mil, o JumpStart oferece as seguintes configurações padrão para ajuste fino do QLoRA.
ID do modelo | Instância de treinamento padrão | Comprimento máximo da sequência de entrada | Tamanho do lote de treinamento por dispositivo | Etapas de acumulação de gradiente |
abraçandoface-llm-gemma-2b | ml.g5.2xgrande | 1024 | 1 | 4 |
abraçandoface-llm-gemma-2b-instruir | ml.g5.2xgrande | 1024 | 1 | 4 |
abraçandoface-llm-gemma-7b | ml.g5.12xgrande | 2048 | 1 | 4 |
abraçandoface-llm-gemma-7b-instruir | ml.g5.12xgrande | 2048 | 1 | 4 |
Vamos carregar e processar o conjunto de dados em formato conversacional. O conjunto de dados de exemplo para esta demonstração é Principais tópicos de conversa do OpenAssistant.
Os dados de treinamento devem ser formulados em linhas JSON (.jsonl
), onde cada linha é um dicionário que representa um conjunto de conversas. Um exemplo no arquivo de linhas JSON é mostrado abaixo. Para obter detalhes sobre como processar o conjunto de dados, consulte o notebook em GitHub.
Subjacente aos scripts de treinamento, JumpStart usa HuggingFace SFTTrainer de QLoRA e FlashAtenção. O Flash Attention permite eficiência de dimensionamento, levando a treinamento e inferência mais rápidos. Além do ajuste fino baseado em bate-papo, o JumpStart também oferece suporte ao ajuste fino de instrução e adaptação de domínio com QLoRA. Para obter detalhes, consulte o caderno em GitHub.
Após o ajuste fino, você pode implantar o modelo ajustado em um endpoint SageMaker.
Você pode optar por implantar o modelo ajustado em dados de conversa no endpoint SageMaker com Recurso da API de mensagens HuggingFace como uma abordagem alternativa. O benefício de usar o recurso Message API é que ele permite que os usuários passem os exemplos de consulta em formato bruto, conforme mostrado na tabela a seguir, e chat_template no endpoint converterá os exemplos de consulta no formato adequado antes de enviá-los para o modelo. Para obter detalhes, consulte a seção de implantação após o ajuste fino no caderno.
Depois de implantar o modelo ajustado em um endpoint, você pode comparar as respostas de saída de modelos Gemma pré-treinados e ajustados. Os exemplos são coletados de dados de teste, que são um conjunto de dados de treinamento. Os parâmetros de inferência são max_tokens
como 512, top_p
como 0.9, temperature
como 0.4, e top_k
como 50.
Como você pode ver nos resultados do ajuste fino, as respostas do agente são mais precisas.
Para avaliar melhor seus modelos ajustados, você pode explorar Avaliação FM com Amazon SageMaker Clarify para ver o desempenho do seu modelo ajustado em comparação com o modelo básico.
entradas | Verdade fundamental | Resposta de base modelo | Resposta do modelo ajustado | |
1 |
Usuário: Quero melhorar meu vocabulário. Você pode me dar algumas maneiras simples de encontrar novas palavras para aumentar a diversidade de minhas frases? Assistente: Certamente! Melhorar o seu vocabulário é um processo contínuo, mas aqui estão algumas maneiras simples de encontrar novas palavras e aumentar a diversidade das suas frases: 1. Leia bastante: Ler livros, artigos e blogs de diferentes gêneros e assuntos expõe você a novas palavras e frases. Anote todas as palavras desconhecidas que encontrar e procure seus significados. 2. Use um dicionário de sinônimos: sempre que você escrever ou ler, use um dicionário de sinônimos para encontrar sinônimos para palavras comumente usadas. Isso não apenas ajuda você a aprender novas palavras, mas também melhora sua compreensão de suas sutis diferenças de significado. 3. Calendários ou aplicativos palavra por dia: Assine um e-mail palavra por dia ou baixe um aplicativo de construção de vocabulário. Essas ferramentas apresentam uma palavra nova a cada dia, juntamente com seu significado, pronúncia e exemplos de uso. 4. Participe de um clube do livro ou grupo de discussão: participar de conversas e discussões sobre livros, artigos ou qualquer outro tópico expõe você a diferentes perspectivas e novo vocabulário. Ouça atentamente os outros e tente usar novas palavras no contexto. 5. Jogue jogos de palavras: Jogos como Scrabble, Boggle e palavras cruzadas desafiam suas habilidades de vocabulário e ajudam você a aprender novas palavras de uma forma divertida. 6. Assista a filmes, programas de TV ou documentários: A mídia visual costuma usar linguagem, gírias e jargões diversos. Assistir a filmes, programas de TV ou documentários com legendas pode ajudá-lo a compreender e lembrar melhor novas palavras. 7. Pratique a escrita: Escrever regularmente histórias, ensaios ou anotações em diários incentiva você a usar novas palavras e frases. Experimente diferentes estilos e gêneros de escrita para expandir seu vocabulário. 8. Aprenda a etimologia de uma nova palavra: Compreender a origem e a história de uma palavra pode torná-la mais fácil de lembrar e usar corretamente. Pesquisar a etimologia também expõe palavras e conceitos relacionados. 9. Use flashcards ou software de repetição espaçada: Crie flashcards com novas palavras, seus significados e frases de exemplo. Revise-os regularmente ou use um software de repetição espaçada como o Anki para otimizar seu aprendizado. 10. Estabeleça metas pessoais: Estabeleça metas alcançáveis, como aprender cinco palavras novas por semana. Acompanhe seu progresso e recompense-se por atingir seus objetivos. Ao incorporar consistentemente essas estratégias em sua rotina diária, você construirá gradualmente um vocabulário diversificado e robusto. Usuário: Hm, gosto muito da ideia de ler. Você pode me recomendar um thriller de ficção científica legal que eu possa ler? |
Assistente: Certamente! Aqui estão algumas recomendações de thrillers de ficção científica que você pode gostar: 1. “O Problema dos Três Corpos”, de Liu Cixin – Este romance premiado explora o primeiro contato entre a humanidade e uma civilização alienígena e as ramificações políticas e pessoais resultantes. É uma leitura emocionante e instigante que investiga questões profundas sobre a natureza da existência e do universo. 2. “Aniquilação”, de Jeff Vandermeer – Este romance segue um grupo de cientistas enquanto eles se aventuram em uma área misteriosa conhecida como “Área X”, onde encontram fenômenos estranhos e perturbadores. À medida que se aprofundam na área, eles começam a descobrir segredos obscuros sobre a natureza da realidade e do mundo ao seu redor. 3. “Dark Matter” de Blake Crouch – Este romance segue um físico brilhante chamado Jason Dessen, que é sequestrado e transportado para um universo paralelo. Ao tentar encontrar o caminho de volta à sua própria realidade, ele deve confrontar as suas próprias escolhas e as consequências das suas ações. 4. “The Andromeda Strain”, de Michael Crichton – Este romance clássico segue uma equipe de cientistas enquanto eles tentam conter e estudar um micróbio extraterrestre mortal que pousou na Terra. Enquanto correm contra o tempo para encontrar uma forma de neutralizar o micróbio, também têm de enfrentar intrigas políticas e conflitos pessoais. 5. “Ready Player One” de Ernest Cline – Este romance se passa em um futuro distópico onde a maioria da população passa seu tempo em um mundo de realidade virtual conhecido como OASIS. Quando o criador do OASIS morre e deixa para trás o desafio de encontrar um ovo de Páscoa escondido, um jovem protagonista parte numa emocionante missão que mudará a sua vida para sempre. Espero que uma dessas recomendações desperte seu interesse! |
Assistente: O texto não contém informações sobre suas preferências ou interesses de leitura, portanto não posso fornecer uma recomendação de livro. |
Assistente: Claro, aqui estão algumas recomendações de suspense de ficção científica que você pode gostar: – “Duna” de Frank Herbert: Este romance épico de ficção científica se passa no planeta deserto de Arrakis, onde um jovem príncipe chamado Paul Atreides deve enfrentar os desafios de um ambiente hostil e um cenário político traiçoeiro. – “The Martian” de Andy Weir: Este emocionante thriller de ficção científica segue a história de Mark Watney, um astronauta preso em Marte após uma tempestade de poeira, enquanto ele usa sua engenhosidade e desenvoltura para sobreviver e, eventualmente, retornar à Terra. – “The Time Machine” de HG Wells: Este clássico romance de ficção científica faz uma abordagem filosófica ao conceito de viagem no tempo, explorando as consequências da alteração do passado e do futuro. – “The Blade Runner” de Philip K. Dick: Este romance de ficção científica neo-noir, ambientado numa Los Angeles futurista, explora a intersecção da inteligência humana e artificial e a sua influência na sociedade e na natureza da realidade. – “Os Androides”, de Isaac Asimov: Este romance de ficção científica explora o conceito de inteligência artificial e suas possíveis consequências, especialmente quando os humanos desenvolvem andróides avançados que desafiam os valores e crenças humanos tradicionais. Estas são apenas algumas sugestões e, em última análise, o melhor livro para você dependerá de suas preferências pessoais e do tipo de experiência que você procura em um thriller de ficção científica. Mas espero que essas recomendações sejam um bom ponto de partida para explorar o gênero. Entre em contato comigo se tiver mais alguma dúvida ou se houver algo em que eu possa ajudá-lo. |
2 |
Usuário: Escreva um programa Hello World em VB.NET Assistente: Aqui está: “`vbnet Usuário: Faça com que ele receba a entrada de $ e diga “Olá, $” em vez de “Olá, mundo!” |
Assistente: Módulo Público HelloWorld Subprincipal Público() System.Console.WriteLine(“Qual é o seu nome?”) Nome escuro como String = System.Console.ReadLine() System.Console.WriteLine (“Olá,” & nome & “!”) End Sub Módulo Final |
Assistente: “`vbnet Módulo público HelloWorld Subprincipal Público() Nome escuro como String = Console.ReadLine() Console.WriteLine (“Olá,” & nome) End Sub Módulo Final |
Assistente: Claro! Aqui está um exemplo: “`vbnet |
3 |
Usuário: Dê-me uma lista de itens a fazer ao iniciar um projeto para treinar um grande modelo de linguagem que possa compreender e responder às questões humanas Assistente: As etapas a seguir são uma lista condensada de etapas a serem executadas ao iniciar um projeto para treinar um grande modelo de linguagem capaz de compreender e responder a perguntas humanas: 1. Estabelecer escopo e objetivos do projeto, público-alvo. Isso deve lhe dar uma ideia básica de quais são as etapas necessárias. Devo entrar em mais detalhes sobre um dos pontos? Usuário: Essas tarefas precisam ser mais detalhadas. Você poderia fornecer uma lista de tarefas atualizada com uma análise mais detalhada das tarefas futuras |
Assistente: Aqui está uma análise mais detalhada de cada etapa: 1. Estabeleça o escopo e os objetivos do projeto: É importante definir claramente os objetivos do projeto e qual é o público-alvo. Isso o ajudará a tomar decisões sobre que tipo de dados coletar e qual arquitetura de modelo é apropriada. 2. Coletar e pré-processar dados: Esta é uma etapa importante, pois a qualidade e a diversidade dos dados impactarão diretamente o desempenho do modelo. O pré-processamento pode envolver a limpeza dos dados, a tokenização do texto e a conversão de palavras em representações numéricas. 3. Selecione a arquitetura do modelo: Existem muitos tipos diferentes de modelos para escolher, incluindo redes neurais recorrentes (RNNs), modelos de transformadores e redes neurais convolucionais (CNNs). A escolha dependerá dos requisitos específicos do projeto e da quantidade de dados disponíveis. 4. Divida o conjunto de dados e implemente o aumento de dados: Dividir os dados em subconjuntos de treinamento, validação e teste é importante para monitorar o desempenho do modelo durante o treinamento. O aumento de dados pode ser usado para aumentar artificialmente o tamanho do conjunto de dados e melhorar a robustez do modelo. 5. Treinar o modelo e monitorar o progresso: esta etapa envolve treinar o modelo nos dados de treinamento, usando o conjunto de validação para monitorar o progresso e ajustar os hiperparâmetros conforme necessário. Pode ser necessário repetir esse processo várias vezes até que o modelo tenha um bom desempenho no conjunto de validação. 6. Avalie o modelo no conjunto de testes: Depois que o modelo for treinado, é importante avaliar seu desempenho em um conjunto de testes separado para ter uma ideia de sua capacidade de generalização. Isto pode ser feito comparando as previsões do modelo com os resultados reais e analisando os erros. 7. Ajuste para tarefas ou domínios específicos: Esta etapa envolve treinamento adicional do modelo em dados específicos de tarefas para melhorar seu desempenho em um domínio específico. Isso pode ser feito por meio de aprendizagem por transferência, onde um modelo pré-treinado é ajustado com novos dados, ou por meio de ajuste fino, onde o modelo é treinado do zero com novos dados. 8. Criar uma interface para entrada do usuário: envolve projetar uma interface que permita aos usuários inserir perguntas ou solicitações e receber respostas do modelo. 9. Teste em ambiente controlado: Antes de implantar o modelo em um ambiente real, é importante testá-lo em um ambiente controlado e coletar feedback dos usuários. Isto ajudará a identificar quaisquer erros ou preconceitos no modelo e proporcionará oportunidades de melhoria. 10. Monitorar e melhorar continuamente o desempenho: Finalmente, é importante monitorar continuamente o desempenho do modelo e fazer atualizações e melhorias conforme necessário. Isso pode envolver o retreinamento do modelo com novos dados, o ajuste fino de hiperparâmetros ou a atualização da arquitetura. |
Assistente: ## Lista de tarefas para treinar um modelo de linguagem amplo para responder a perguntas **1. Escopo e objetivos do projeto:** * Definir objetivos do projeto e funcionalidades desejadas. **2. Aquisição e pré-processamento de dados:** * Identifique fontes de dados de treinamento e reúna um conjunto de dados de texto diversificado. **3. Seleção e configuração do modelo:** * Selecione uma arquitetura de modelo apropriada com base na complexidade da tarefa e no desempenho desejado. **4. Treinamento e Avaliação:** * Divida os dados de treinamento em subconjuntos de treinamento, validação e teste. **5. Ajuste fino e desenvolvimento de interface:** * Ajuste o modelo para tarefas ou domínios específicos por meio de aprendizagem por transferência. **6. Teste e Melhoria:** * Teste o modelo em um ambiente controlado com vários cenários de entrada. **Considerações adicionais:** * Defina um cronograma e orçamento para o projeto. **Observação:** Esta lista não é exaustiva e pode precisar ser adaptada com base nos requisitos específicos do projeto. |
Assistente: Claro, aqui está uma análise mais detalhada das tarefas envolvidas no treinamento de um grande modelo de linguagem para compreender e responder às questões humanas: **1. Estabeleça o escopo e os objetivos do projeto** **2. Reúna e pré-processe um conjunto de dados de texto abrangente/diversificado** **3. Selecione uma arquitetura de modelo apropriada, ajuste os hiperparâmetros para precisão/velocidade** **4. Divida o conjunto de dados em treinamento, validação, subconjuntos de teste, implemente aumento de dados ** **5. Treine o modelo, monitore o progresso no conjunto de validação, ajuste conforme necessário** **6. Avalie o modelo no conjunto de testes, compare com benchmarks, analise erros e preconceitos** **7. Ajuste fino para tarefas ou domínios específicos por meio de aprendizagem por transferência ou ajuste fino** **8. Criar interface para entrada do usuário e resposta do modelo** **9. Teste em ambiente controlado, obtenha feedback para melhoria** **10. Monitore e melhore continuamente o desempenho por meio de reciclagem e ajuste fino** Estas são as etapas envolvidas no treinamento de um grande modelo de linguagem para compreender e responder às questões humanas. Por favor, deixe-me saber se você tiver dúvidas. |
limpar
Depois de testar os endpoints, exclua os endpoints de inferência do SageMaker e o modelo para evitar cobranças.
Conclusão
Nesta postagem, mostramos como começar a usar o Gemma no SageMaker Studio e implantar o modelo para inferência. Também mostramos como você pode ajustar os modelos Gemma no SageMaker Jumpstart.
Como os modelos básicos são pré-treinados, eles podem ajudar a reduzir os custos de treinamento e infraestrutura e permitir a personalização para seu caso de uso. Visite o SageMaker JumpStart no SageMaker Studio agora para começar.
Esta orientação é apenas para fins informativos. Você ainda deve realizar sua própria avaliação independente e tomar medidas para garantir a conformidade com suas próprias práticas e padrões específicos de controle de qualidade e com as regras, leis, regulamentos, licenças e termos de uso locais que se aplicam a você, seu conteúdo e o modelo de terceiros mencionado nesta orientação. A AWS não tem controle ou autoridade sobre o modelo de terceiros mencionado nesta orientação e não faz representações ou garantias de que o modelo de terceiros é seguro, livre de vírus, operacional ou compatível com seu ambiente de produção e padrões. A AWS não faz representações, garantias ou garantias de que qualquer informação nesta orientação resultará em um determinado resultado ou resultado.
Sobre os autores
Dr. é um Cientista Aplicado com o Algoritmos integrados do Amazon SageMaker equipe. Seus interesses de pesquisa incluem algoritmos de aprendizado de máquina escaláveis, visão computacional, séries temporais, processos não paramétricos bayesianos e processos gaussianos. Seu PhD é pela Duke University e ele publicou artigos em NeurIPS, Cell e Neuron.
Dr.Xin Huang é um cientista aplicado sênior para Amazon SageMaker JumpStart e algoritmos integrados do Amazon SageMaker. Ele se concentra no desenvolvimento de algoritmos de aprendizado de máquina escalonáveis. Seus interesses de pesquisa estão na área de processamento de linguagem natural, aprendizado profundo explicável em dados tabulares e análise robusta de agrupamento de espaço-tempo não paramétrico. Ele publicou muitos artigos nas conferências ACL, ICDM, KDD e Royal Statistical Society: Series A.
Rachna Chadha é arquiteto de soluções principal de IA/ML em contas estratégicas na AWS. Rachna é uma otimista que acredita que o uso ético e responsável da IA pode melhorar a sociedade no futuro e trazer prosperidade económica e social. Nas horas vagas, Rachna gosta de ficar com a família, fazer caminhadas e ouvir música.
Evan Kravitz é engenheiro de software da Amazon Web Services, trabalhando no SageMaker JumpStart. Ele gosta de cozinhar e correr em Nova York.
Dr. é um cientista aplicado sênior com algoritmos integrados do Amazon SageMaker e ajuda a desenvolver algoritmos de aprendizado de máquina. Ele obteve seu PhD pela University of Illinois Urbana-Champaign. Ele é um pesquisador ativo em aprendizado de máquina e inferência estatística e publicou muitos artigos em conferências NeurIPS, ICML, ICLR, JMLR, ACL e EMNLP.
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
- PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
- PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
- PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
- Fonte: https://aws.amazon.com/blogs/machine-learning/gemma-is-now-available-in-amazon-sagemaker-jumpstart/
- :tem
- :é
- :não
- :onde
- $UP
- 1
- 10
- 100
- 11
- 13
- 135
- 17
- 19
- 1900
- 250
- 28
- 29
- 31
- 39
- 41
- 50
- 7
- 8
- 9
- a
- habilidade
- Sobre
- acima
- ACEITAR
- Acesso
- acessibilidade
- Conta
- Contas
- acumulação
- precisão
- preciso
- realizáveis
- Alcança
- aquisição
- em
- ações
- ativo
- real
- adaptação
- Adição
- Adicionalmente
- ajustar
- avançado
- avanços
- Depois de
- contra
- Agente
- AI
- AI / ML
- aeronave
- algoritmos
- estrangeiro
- Todos os Produtos
- permitir
- permitidas
- permite
- juntamente
- tb
- alternativa
- Amazon
- Amazon Sage Maker
- JumpStart do Amazon SageMaker
- Amazon Web Services
- quantidade
- an
- análise
- analisar
- análises
- análise
- e
- e infra-estrutura
- Andrômeda
- Angeles
- Anunciar
- responder
- responder
- respostas
- qualquer
- nada
- api
- app
- aplicações
- aplicado
- Aplicar
- abordagem
- se aproxima
- apropriado
- Aplicativos
- arquitetura
- SOMOS
- ÁREA
- áreas
- argumento
- por aí
- Arte
- artigos
- artificial
- inteligência artificial
- AS
- perguntar
- avaliação
- Assistente
- astronauta
- At
- público
- autoridade
- Automatizado
- disponível
- evitar
- premiado
- AWS
- Console de gerenciamento da AWS
- em caminho duplo
- balanced
- base
- baseado
- basic
- lotes
- Bayesiano
- BE
- Porque
- antes
- começar
- atrás
- ser
- crenças
- acredita
- abaixo
- aferimento
- benchmarks
- beneficiar
- além de
- MELHOR
- Melhor
- entre
- viés
- vieses
- bilhão
- bilhões
- LÂMINA
- Bloquear
- Blog
- Blogs
- Florescer
- corpo
- livro
- Livros
- Breakdown
- brilhante
- trazer
- Trazendo
- Traz
- Quebrado
- orçamento
- construir
- Prédio
- construído
- construídas em
- mas a
- botão
- by
- calendários
- chamada
- chamado
- CAN
- não podes
- lona
- capacidades
- capaz
- cartão
- casas
- casos
- Categoria
- cautela
- célula
- desafiar
- desafios
- alterar
- características
- acusações
- bate-papo
- Cheques
- escolha
- escolhas
- Escolha
- Cidades
- Civilization
- classe
- clássico
- limpar
- Limpeza
- claramente
- clique
- clube
- agrupamento
- código
- Codificação
- colaboração
- vem
- geralmente
- comparar
- comparado
- comparando
- comparação
- compatível
- completar
- complexidades
- complexidade
- obedecer
- computador
- Visão de Computador
- conceito
- conceitos
- concorrente
- conferências
- Configuração
- conflitos
- Consequências
- Considerar
- Considerações
- considerando
- consistentemente
- consiste
- cônsul
- constante
- restrições
- Contacto
- não contenho
- Recipiente
- contém
- competir
- conteúdo
- contexto
- continuamente
- ao controle
- controlado
- Conversa
- conversação
- conversas
- converter
- conversão
- Legal
- corretamente
- custos
- poderia
- crio
- Criar
- Criatividade
- criador
- palavras cruzadas
- comissariada
- curioso
- Atual
- Clientes
- personalização
- diariamente
- dança
- Escuro
- dados,
- conjuntos de dados
- dia
- decisões
- profundo
- deep learning
- mais profunda
- DeepMind
- Padrão
- definir
- Define
- mergulhar
- delves
- demonstração
- depender
- implantar
- implantado
- Implantação
- desenvolvimento
- DESERTO
- Design
- concepção
- desejado
- detalhe
- detalhado
- detalhes
- Determinar
- desenvolver
- desenvolvido
- Developer
- em desenvolvimento
- Desenvolvimento
- dispositivo
- diagnosticar
- diálogo
- diferir
- diferenças
- diferente
- digital
- Art digitais
- diretamente
- anuário
- descobrir
- discussão
- discussões
- doenças
- mergulho
- diferente
- Diversidade
- dividir
- do
- documento
- documentários
- parece
- domínio
- domínios
- feito
- down
- download
- dois
- Duque
- Universidade Duke
- durante
- Dust
- distópico
- cada
- terra
- mais fácil
- eficiência
- oito
- império
- permitir
- permite
- permitindo
- encontro
- encorajar
- end-to-end
- Ponto final
- noivando
- engenheiro
- Melhora
- desfrutar
- agradável
- garantir
- Meio Ambiente
- ÉPICO
- erros
- essencial
- estabelecer
- considerações éticas
- avaliar
- avaliação
- avaliação
- eventualmente
- Cada
- exemplo
- exemplos
- animado
- compreensivo
- exposições
- existência
- existente
- Expandir
- esperado
- caro
- vasta experiência
- experimentar
- especialistas
- explorar
- explora
- Explorando
- Rosto
- justiça
- falso
- família
- mais rápido
- Característica
- retornos
- pés
- poucos
- campo
- lutar
- Envie o
- Finalmente
- Encontre
- descobertas
- final
- Primeiro nome
- primeiro contato
- caber
- cinco
- Flash
- vôo
- concentra-se
- seguinte
- segue
- Escolha
- para sempre
- formato
- Foundation
- Quadro
- franco
- da
- função
- funcionalidades
- funcionalidade
- funcionamento
- mais distante
- futuro
- futurista
- Games
- reunir
- Gemini
- gerando
- generativo
- IA generativa
- genre
- gêneros
- ter
- GitHub
- OFERTE
- dado
- Go
- Objetivos
- vai
- Bom estado, com sinais de uso
- tem
- GPU
- de carência
- gradualmente
- ótimo
- grande poder
- Grupo
- garantias
- Guarda
- orientações
- guia
- guia
- mão
- arreios
- Ter
- he
- altura
- Olá
- ajudar
- ajuda
- sua experiência
- SUA PARTICIPAÇÃO FAZ A DIFERENÇA
- oculto
- sua
- história
- esperança
- hospedado
- Como funciona o dobrador de carta de canal
- Como Negociar
- Contudo
- HTML
- HTTPS
- Hub
- cubos
- Abraçando o Rosto
- humano
- Humanidade
- Humanos
- i
- ID
- idéia
- identificar
- if
- Illinois
- imagens
- Impacto
- executar
- implementação
- importar
- importante
- melhorar
- melhoria
- melhorias
- melhorar
- in
- incluir
- Incluindo
- incorporando
- Crescimento
- de treinadores em Entrevista Motivacional
- indústria
- padrões da indústria
- influência
- INFORMAÇÕES
- Informativa
- Infraestrutura
- ingenuidade
- Inovação
- entrada
- inputs
- Inquéritos
- insights
- inspirado
- instância
- em vez disso
- integrar
- integrado
- Inteligência
- intenção
- interação
- interesses
- Interface
- interseção
- para dentro
- introduzir
- intuitivo
- envolver
- envolvido
- envolve
- IT
- Unid
- ESTÁ
- jargão
- juntar
- revista
- viagem
- jpg
- json
- apenas por
- Guarda
- Tipo
- Saber
- Conhecimento
- conhecido
- kyle
- aterrissagem
- paisagem
- língua
- grande
- Maior
- Latência
- lançado
- Leis
- principal
- APRENDER
- aprendizagem
- aprende
- partida
- Comprimento
- deixar
- Nível
- Alavancagem
- Licença
- licenças
- vida
- relâmpago
- Velocidade da luz
- leve
- como
- gostos
- Line
- linhas
- Lista
- ouço
- Escuta
- escuta
- lhama
- carregar
- local
- localização
- olhar
- procurando
- OLHARES
- os
- Los Angeles
- diminuir
- máquina
- aprendizado de máquina
- Maioria
- fazer
- malicioso
- de grupos
- manualmente
- muitos
- marca
- março
- matemática
- máximo
- Posso..
- me
- significado
- significados
- medidas
- Mídia
- medicina
- reunião
- mencionado
- mensagem
- mensagens
- método
- Michael
- poder
- mente
- Minutos
- ML
- modelo
- modelos
- Módulo
- Monitore
- monitoração
- mais
- a maioria
- Filmes
- Música
- devo
- my
- misterioso
- nome
- Nomeado
- natural
- Processamento de linguagem natural
- Natureza
- necessário
- você merece...
- necessário
- Cria
- redes
- neural
- redes neurais
- nunca
- Novo
- New York
- Cidade de Nova Iorque
- noite
- não
- nota
- caderno
- romance
- agora
- número
- Oásis
- objeto
- objetivos
- observar
- of
- Oferece
- frequentemente
- on
- uma vez
- ONE
- contínuo
- só
- operacional
- oportunidades
- otimização
- Otimize
- Opções
- or
- ordem
- origem
- OS
- Outros
- Outros
- Fora
- Resultado
- resultados
- saída
- Acima de
- próprio
- página
- papéis
- Paralelo
- parâmetro
- parâmetros
- particular
- particularmente
- partes
- passar
- Passagem
- passado
- caminho
- padrões
- Paul
- Pessoas
- para
- Realizar
- atuação
- realização
- executa
- pessoal
- perspectivas
- phd
- Frases
- físico
- piloto
- Lugar
- avião
- planos
- platão
- Inteligência de Dados Platão
- PlatãoData
- Jogar
- jogador
- por favor
- ponto
- pontos
- político
- Popular
- população
- Publique
- potencial
- poder
- prática
- práticas
- Previsões
- Predictor
- preferências
- preparação
- bastante
- anteriormente
- príncipe
- Diretor
- impressões
- processo
- Processado
- processos
- em processamento
- Produção
- Agenda
- Progresso
- projeto
- solicita
- adequado
- prosperidade
- fornecer
- fornecedores
- fornece
- público
- publicamente
- publicado
- fins
- Quebra-cabeças
- Python
- pytorch
- qualidade
- consultas
- pergunta
- busca
- questão
- Frequentes
- rapidamente
- bastante
- Corrida
- ramificações
- alcance
- em vez
- Cru
- chegando
- Leia
- Leitura
- mundo real
- Realidade
- clientes
- reino
- razão
- receber
- recentemente
- Recomendação
- recomendações
- recomendando
- recorrente
- referência
- referenciada
- reflete
- regularmente
- regulamentos
- relacionado
- liberado
- relevante
- lembrar
- repetir
- representando
- pedidos
- requeridos
- Requisitos
- pesquisa
- investigador
- Responder
- responder
- resposta
- respostas
- responsabilidade
- responsável
- resultar
- Resultados
- rever
- Recompensa
- Subir
- uma conta de despesas robusta
- robustez
- Tipo
- rotina
- real
- regras
- Execute
- é executado
- s
- mais segura
- sábio
- Inferência do SageMaker
- mesmo
- Salvar
- dizer
- escalável
- Escala
- Escalas
- dimensionamento
- cenários
- ficção científica
- Ciência
- Cientista
- cientistas
- escopo
- arranhar
- escrita
- Scripts
- Sdk
- desatado
- pesquisar
- Segundo
- segredos!
- Seção
- seguro
- Vejo
- selecionar
- selecionado
- selecionando
- doadores,
- envio
- senior
- separado
- Seqüência
- Série
- Série A
- Serviços
- de servir
- Sessão
- conjunto
- Conjuntos
- contexto
- vários
- compartilhado
- rede de apoio social
- mostrar
- mostrou
- mostrando
- mostrando
- Shows
- lado
- semelhante
- simples
- solteiro
- Tamanho
- tamanhos
- Habilidades
- So
- Redes Sociais
- Sociedade
- Software
- Engenheiro de Software
- solução
- Soluções
- alguns
- Fontes
- faíscas
- específico
- velocidade
- Passar
- gasta
- suporte
- padrões
- começado
- Comece
- Estado
- estado-da-arte
- Declaração
- estatístico
- Passo
- Passos
- Ainda
- Histórias
- Storm
- História
- estranho
- Estratégico
- estratégias
- Tanga
- mais forte,
- estudo
- Estudo
- Inscreva-se
- legendas
- bem sucedido
- tal
- adequado
- ajuda
- Suportado
- Apoiar
- suportes
- certo
- sobreviver
- .
- mesa
- Tire
- toma
- conto
- Target
- tem como alvo
- Tarefa
- tarefas
- Profissionais
- equipes
- técnica
- técnicas
- Tecnologia
- modelo
- modelos
- fluxo tensor
- condições
- teste
- testado
- ensaio
- texto
- do que
- que
- A
- A área
- O Futuro
- o mundo
- deles
- Eles
- si mesmos
- então
- Lá.
- assim sendo
- Este
- deles
- Terceiro
- terceiro
- De terceiros
- isto
- aqueles
- pensamento
- instigante
- mil
- emocionante
- Através da
- Taxa de transferência
- tempo
- Séries temporais
- viagem no tempo
- linha do tempo
- vezes
- para
- token
- tokenizing
- Tokens
- disse
- ferramenta
- ferramentas
- tópico
- Total
- pista
- tradicional
- Trem
- treinado
- Training
- transferência
- Transferir
- transformador
- Tradução
- viagens
- Trilhão
- verdadeiro
- tentar
- afinação
- afinado
- sintonização
- tv
- dois
- tipo
- tipos
- típico
- tipicamente
- ui
- Em última análise
- descobrir
- para
- compreender
- compreensão
- desconhecido
- Universo
- universidade
- incomparável
- até
- desvelando
- Atualizada
- Atualizações
- atualização
- us
- usabilidade
- Uso
- usar
- caso de uso
- usava
- Utilizador
- user-friendly
- usuários
- usos
- utilização
- validação
- Valores
- variedade
- vário
- risco
- versão
- Ver
- Virtual
- A realidade virtual
- visão
- Visite a
- visual
- mídia visual
- volume
- andar
- queremos
- garantias
- foi
- Assistir
- assistindo
- Caminho..
- maneiras
- we
- web
- serviços web
- Web-Based
- semana
- BEM
- Wells
- O Quê
- O que é a
- quando
- sempre que
- se
- qual
- QUEM
- Largo
- largamente
- Widget
- precisarão
- sabedoria
- de
- dentro
- sem
- Word
- palavras
- Atividades:
- de gestão de documentos
- trabalhar
- mundo
- escrever
- escrita
- X
- Iorque
- Vocês
- jovem
- investimentos
- você mesmo
- zefirnet