O modelo LightOn Lyra-fr agora está disponível no Amazon SageMaker

Temos o prazer de anunciar a disponibilidade do modelo de base LightOn Lyra-fr para clientes que usam o Amazon SageMaker. A LightOn é líder na construção de modelos de fundações especializada em idiomas europeus. Lyra-fr é um modelo de língua francesa de última geração que pode ser usado para criar IA de conversação, ferramentas de redação, classificadores de texto, pesquisa semântica e muito mais. Você pode facilmente experimentar este modelo e usá-lo com JumpStart do Amazon SageMaker. O JumpStart é o hub de aprendizado de máquina (ML) do SageMaker que fornece acesso a modelos básicos, além de algoritmos integrados e modelos de solução de ponta a ponta para ajudá-lo a começar a usar o ML rapidamente.

Neste blog, demonstraremos como usar o modelo Lyra-fr no SageMaker.

modelos de fundação

Os modelos de fundação normalmente são treinados em bilhões de parâmetros e são adaptáveis ​​a uma ampla categoria de casos de uso. Os modelos de fundação mais conhecidos atualmente são usados ​​para resumir artigos, criar arte digital e gerar código a partir de instruções de texto simples. Esses modelos são caros para treinar, portanto, os clientes desejam usar modelos de fundação pré-treinados existentes e ajustá-los conforme necessário, em vez de treinar esses modelos por conta própria. O SageMaker fornece uma lista selecionada de modelos que você pode escolher no console do SageMaker. Você pode testar esses modelos diretamente na interface da web. Quando você deseja usar um modelo de base em escala, pode fazê-lo facilmente sem sair do SageMaker usando notebooks pré-construídos de fornecedores de modelos. Como os modelos são hospedados e implantados na AWS, você pode ter certeza de que seus dados, sejam eles usados ​​para avaliar ou usar o modelo em escala, nunca serão compartilhados com terceiros.

Lyra-fr é o maior modelo de língua francesa disponível no mercado hoje. É um modelo de 10 bilhões de parâmetros, treinado e disponibilizado pela LightOn. O Lyra-fr foi treinado em um grande corpus de dados com curadoria francesa e é capaz de escrever textos semelhantes aos humanos e resolver tarefas complexas, como classificação, resposta a perguntas e resumo. Tudo isso mantendo uma velocidade de inferência razoável, na faixa de 1 a 2 segundos para a solicitação média. Você pode simplesmente descrever a tarefa que deseja executar em linguagem natural e o Lyra-fr gerará respostas do nível de um falante nativo de francês. Lyra-fr oferece primitivas de inteligência prontas para negócios, como geração orientável e classificação de texto, em apenas algumas linhas de código. Para tarefas mais desafiadoras, o desempenho pode ser melhorado em um modo de aprendizado de “poucas fotos”, fornecendo no prompt alguns exemplos de entrada e saída.

Usando Lyra-fr no SageMaker

Levaremos você a um passo a passo de como usar o modelo Lyra-fr em 3 etapas simples:

• Descobrir – Encontre o modelo Lyra-fr no Console de gerenciamento da AWS para SageMaker.
• Test – Teste o modelo usando a interface da web.
• Implantação – Use um notebook para implantar e testar os recursos avançados do modelo.

Descobrir

Para facilitar a descoberta de modelos de fundação como o Lyra-fr, reunimos todos os modelos de fundação em um só lugar. Para encontrar o modelo Lyra-fr:

1. Entre no Console de gerenciamento da AWS para SageMaker.
2. No painel de navegação esquerdo, você verá uma seção chamada Acelerador de modelos de fundação sob ele. Solicite acesso a esse recurso se ainda não tiver acesso.
3. Depois que sua conta estiver na lista de permissões, você verá uma lista de modelos à direita. Aqui você encontra o modelo Lyra-fr 10B.
   
4. Clicando sobre Ver modelo mostrará o cartão do modelo completo com opções adicionais.
   

Test

Um caso de uso comum é executar testes ad hoc para garantir que o modelo atenda às suas necessidades. Você pode testar o modelo Lyra-fr diretamente do console do SageMaker. Neste exemplo, usaremos um prompt de texto simples solicitando ao modelo que gere uma lista de ideias de artigos para o tópico “aquarela” ou “l'aquarelle” em francês.

1. No cartão do modelo mostrado na seção anterior, selecione Experimente o modelo. Isso abrirá uma nova guia com a interface de teste.
2. Nesta interface, forneça a entrada de texto que você gostaria de passar para o modelo. Você também pode ajustar quaisquer parâmetros que desejar usando os controles deslizantes à direita. Quando estiver satisfeito, selecione Gerar texto.
   

Observe que os modelos de base e suas saídas são do provedor do modelo, e a AWS não é responsável pelo conteúdo ou precisão neles.

Implantação

Os modelos de geração de texto funcionam melhor quando você fornece exemplos de informações que deseja que o modelo forneça. Isso é chamado de aprendizado de poucos tiros. Demonstraremos esse recurso usando o notebook de exemplo Lyra-fr. O bloco de anotações de amostra aborda como implantar o modelo Lyra-fr no SageMaker, como resumir e gerar texto e aprendizado de poucas tomadas.

Ele também inclui exemplos de como fazer as solicitações de inferência diretamente usando JSON ou com o Lyra Python SDK. O Lyra Python SDK cuida da formatação da entrada, chamando o terminal e descompactando a saída. Há uma classe por endpoint: Create, Analyze, Select, Embed, Compare e Tokenize. Observe que este exemplo usa uma instância ml.p4d.24xlarge. Se o limite padrão para sua conta da AWS for 0, você precisará solicitar um aumento de limite para esta instância de GPU.

O SageMaker oferece uma experiência de notebook gerenciado por meio do SageMaker Studio. Para obter detalhes sobre como configurar o SageMaker Studio, consulte o Guia do desenvolvedor Amazon SageMaker. Vamos clonar este repositório do GitHub no SageMaker Studio nesta demonstração, mas o notebook também funcionará em outros ambientes.

Vamos dar uma olhada em como executar o notebook:

1. Acesse o cartão do modelo na seção Descobrir nesta postagem do blog e selecione Ver caderno. Você deve ver uma nova guia aberta no GitHub com o notebook Lyra-fr.
2. No GitHub, selecione lightonmuse-sagemaker-sdk; isso o levará ao repositório. Selecione os Code botão e copie o URL HTTPS.
   
3. Abra o SageMaker Studio. Selecione Clonar um repositório e cole o URL copiado acima.
   
4. Navegue até o notebook Lyra-fr usando o navegador de arquivos à esquerda.
5. Este notebook é executado de ponta a ponta sem a necessidade de entrada adicional e também limpa os recursos que cria. Podemos dar uma olhada no exemplo “usando o Create para análise de sentimento”. Este exemplo usa o Lyra Python SDK e demonstra o aprendizado de poucas fotos ensinando o modelo com alguns exemplos de qual texto deve ser categorizado como positivo (positifs), negativo (negatifs) ou misto (mitigés).
6. Você pode ver que, com o Lyra Python SDK, tudo o que você precisa fazer é fornecer o nome do terminal SageMaker e a entrada. O SDK lida com toda a análise, formatação e configuração para você.
   
7. A execução desse prompt retorna que a última instrução é positiva.
   

limpar

Depois de testar o endpoint, certifique-se de excluir o endpoint de inferência do SageMaker e excluir o modelo para evitar cobranças.

Conclusão

Nesta postagem, mostramos como descobrir, testar e implantar o modelo Lyra-fr usando o Amazon SageMaker. Solicitar acesso a experimente o modelo de fundação no SageMaker hoje e deixe-nos saber seus comentários!

---

Sobre os autores

Iacopo Poli é o CTO da LightOn, responsável pelas escolhas técnicas estratégicas da empresa na construção de modelos de linguagem muito grandes e na sua oferta ao público. Ele é apaixonado pela democratização do Machine Learning por meio de interfaces intuitivas. Nas horas vagas, gosta de procurar os melhores restaurantes de Paris.

Alan Tan é Gerente de Produto Sênior da SageMaker, liderando esforços na inferência de grandes modelos. Ele é apaixonado por aplicar o aprendizado de máquina à área de análise. Fora do trabalho, ele gosta de atividades ao ar livre.