Apresentando melhorias na API de ajuste fino e expandindo nosso programa de modelos personalizados

Ajuste fino assistido

No DevDay em novembro passado, nós anunciou um programa de modelo personalizado projetado para treinar e otimizar modelos para um domínio específico, em parceria com um grupo dedicado de pesquisadores OpenAI. Desde então, nos reunimos com dezenas de clientes para avaliar suas necessidades de modelos personalizados e evoluímos nosso programa para maximizar ainda mais o desempenho.

Hoje, anunciamos formalmente nossa oferta de ajuste fino assistido como parte do programa Modelo Personalizado. O ajuste fino assistido é um esforço colaborativo com nossas equipes técnicas para aproveitar técnicas além da API de ajuste fino, como hiperparâmetros adicionais e vários métodos de ajuste fino eficiente de parâmetros (PEFT) em maior escala. É particularmente útil para organizações que precisam de suporte na configuração de pipelines de dados de treinamento eficientes, sistemas de avaliação e parâmetros e métodos personalizados para maximizar o desempenho do modelo para seu caso de uso ou tarefa.

Por exemplo, SK Telecom, uma operadora de telecomunicações que atende mais de 30 milhões de assinantes na Coreia do Sul, queria personalizar um modelo para ser especialista no domínio das telecomunicações, com foco inicial no atendimento ao cliente. Eles trabalharam com a OpenAI para ajustar o GPT-4 e melhorar seu desempenho em conversas relacionadas a telecomunicações no idioma coreano. Ao longo de várias semanas, a SKT e a OpenAI geraram melhorias significativas de desempenho nas tarefas de atendimento ao cliente de telecomunicações – um aumento de 35% na qualidade do resumo de conversas, um aumento de 33% na precisão do reconhecimento de intenção e um aumento nas pontuações de satisfação de 3.6 para 4.5 (fora de 5) ao comparar o modelo ajustado com o GPT-4. 

Modelo treinado personalizado

Em alguns casos, as organizações precisam treinar do zero um modelo criado especificamente para esse fim, que compreenda seu negócio, setor ou domínio. Modelos totalmente treinados de forma personalizada incorporam novos conhecimentos de um domínio específico, modificando as principais etapas do processo de treinamento do modelo usando novas técnicas intermediárias e pós-treinamento. As organizações que obtêm sucesso com um modelo totalmente personalizado geralmente têm grandes quantidades de dados proprietários (milhões de exemplos ou bilhões de tokens) que desejam usar para ensinar ao modelo novos conhecimentos ou comportamentos complexos e exclusivos para casos de uso altamente específicos. 

Por exemplo, Harvey, uma ferramenta jurídica nativa de IA para advogados, em parceria com a OpenAI para criar um modelo de linguagem grande e personalizado para jurisprudência. Embora os modelos de fundação fossem fortes no raciocínio, faltavam-lhes o amplo conhecimento do histórico de casos jurídicos e outros conhecimentos necessários para o trabalho jurídico. Depois de testar a engenharia imediata, o RAG e o ajuste fino, Harvey trabalhou com nossa equipe para adicionar a profundidade de contexto necessária ao modelo – o equivalente a 10 bilhões de tokens em dados. Nossa equipe modificou cada etapa do processo de treinamento do modelo, desde o treinamento intermediário específico do domínio até a personalização dos processos pós-treinamento e a incorporação do feedback de advogados especializados. O modelo resultante alcançou um aumento de 83% nas respostas factuais e os advogados preferiram os resultados do modelo personalizado em 97% das vezes em vez do GPT-4.