Modelos Meta Llama 3 já estão disponíveis no Amazon SageMaker JumpStart

Republicado por Platão

seguidores: 0

Hoje, temos o prazer de anunciar que os modelos de base Meta Llama 3 estão disponíveis através JumpStart do Amazon SageMaker para implantar e executar inferência. Os modelos Llama 3 são uma coleção de modelos de texto generativos pré-treinados e ajustados.

Nesta postagem, explicamos como descobrir e implantar modelos Llama 3 por meio do SageMaker JumpStart.

O que é Meta Lhama 3

O Llama 3 vem em dois tamanhos de parâmetros – 8B e 70B com comprimento de contexto de 8k – que podem suportar uma ampla gama de casos de uso com melhorias no raciocínio, geração de código e acompanhamento de instruções. O Llama 3 usa uma arquitetura de transformador somente decodificador e um novo tokenizer que fornece melhor desempenho do modelo com tamanho de 128k. Além disso, o Meta melhorou os procedimentos pós-treinamento que reduziram substancialmente as taxas de falsas recusas, melhoraram o alinhamento e aumentaram a diversidade nas respostas do modelo. Agora você pode obter as vantagens combinadas do desempenho do Llama 3 e dos controles MLOps com recursos do Amazon SageMaker, como SageMaker Pipelines, SageMaker Debugger ou logs de contêiner. Além disso, o modelo será implantado em um ambiente seguro da AWS sob seus controles de VPC, ajudando a fornecer segurança de dados.

O que é o SageMaker JumpStart

Com o SageMaker JumpStart, você pode escolher entre uma ampla seleção de modelos de base disponíveis publicamente. Os profissionais de ML podem implantar modelos básicos em instâncias dedicadas do SageMaker a partir de um ambiente isolado de rede e personalizar modelos usando o SageMaker para treinamento e implantação de modelos. Agora você pode descobrir e implantar modelos do Llama 3 com apenas alguns cliques Estúdio Amazon SageMaker ou programaticamente por meio do SageMaker Python SDK, permitindo derivar o desempenho do modelo e controles MLOps com recursos do SageMaker, como Pipelines SageMaker, Depurador SageMakerou registros de contêiner. O modelo é implantado em um ambiente seguro da AWS e sob seus controles de VPC, ajudando a fornecer segurança de dados. Os modelos Llama 3 estão disponíveis hoje para implantação e inferência no Amazon SageMaker Studio em us-east-1 (Norte da Virgínia), us-east-2 (Ohio), us-west-2 (Oregon), eu-west-1 (Irlanda) e ap-northeast-1 (Tóquio) Regiões da AWS.

Descubra modelos

Você pode acessar os modelos básicos por meio do SageMaker JumpStart na interface do SageMaker Studio e do SageMaker Python SDK. Nesta seção, veremos como descobrir os modelos no SageMaker Studio.

SageMaker Studio é um ambiente de desenvolvimento integrado (IDE) que fornece uma única interface visual baseada na web onde você pode acessar ferramentas específicas para executar todas as etapas de desenvolvimento de ML, desde a preparação de dados até a construção, treinamento e implantação de seus modelos de ML. Para obter mais detalhes sobre como começar e configurar o SageMaker Studio, consulte Estúdio Amazon SageMaker.

No SageMaker Studio, você pode acessar o SageMaker JumpStart, que contém modelos pré-treinados, notebooks e soluções pré-construídas, em Soluções pré-construídas e automatizadas.