O trade-off de polarização-variância no aprendizado de máquina

Introdução

No aprendizado de máquina, a compensação de viés-variância é um conceito fundamental que afeta o desempenho de qualquer modelo preditivo. Refere-se ao delicado equilíbrio entre o erro de viés e o erro de variância de um modelo, pois é impossível minimizar ambos simultaneamente. Encontrar o equilíbrio certo é crucial para alcançar o desempenho ideal do modelo.

Neste breve artigo, definiremos viés e variância, explicaremos como eles afetam um modelo de aprendizado de máquina e forneceremos alguns conselhos práticos sobre como lidar com eles na prática.

Compreendendo o viés e a variância

Antes de mergulhar na relação entre viés e variância, vamos definir o que esses termos representam no aprendizado de máquina.

O erro de viés refere-se à diferença entre a previsão de um modelo e os valores corretos que ele tenta prever (verdade básica). Em outras palavras, viés é o erro que um modelo comete devido a suas suposições incorretas sobre a distribuição de dados subjacente. Os modelos de alto viés costumam ser muito simplistas, falhando em capturar a complexidade dos dados, levando ao underfitting.

O erro de variância, por outro lado, refere-se à sensibilidade do modelo a pequenas flutuações nos dados de treinamento. Os modelos de alta variância são excessivamente complexos e tendem a ajustar o ruído nos dados, em vez do padrão subjacente, levando ao overfitting. Isso resulta em baixo desempenho em dados novos e não vistos.

O viés alto pode levar ao underfitting, onde o modelo é muito simples para capturar a complexidade dos dados. Ele faz fortes suposições sobre os dados e falha em capturar a verdadeira relação entre as variáveis ​​de entrada e saída. Por outro lado, a alta variância pode levar ao overfitting, em que o modelo é muito complexo e aprende o ruído nos dados, em vez da relação subjacente entre as variáveis ​​de entrada e saída. Assim, os modelos de overfitting tendem a ajustar os dados de treinamento muito de perto e não generalizarão bem para novos dados, enquanto os modelos de underfitting nem mesmo são capazes de ajustar os dados de treinamento com precisão.

Conforme mencionado anteriormente, o viés e a variância estão relacionados, e um bom modelo equilibra entre o erro de viés e o erro de variância. O trade-off viés-variância é o processo de encontrar o equilíbrio ideal entre essas duas fontes de erro. Um modelo com baixo viés e baixa variância provavelmente terá um bom desempenho tanto no treinamento quanto nos novos dados, minimizando o erro total.

O trade-off de viés-variância

Alcançar um equilíbrio entre a complexidade do modelo e sua capacidade de generalizar para dados desconhecidos é o cerne da troca de viés-variância. Em geral, um modelo mais complexo terá um viés menor, mas uma variância maior, enquanto um modelo mais simples terá um viés maior, mas uma variância menor.

Como é impossível minimizar simultaneamente o viés e a variância, encontrar o equilíbrio ideal entre eles é crucial na construção de um modelo robusto de aprendizado de máquina. Por exemplo, conforme aumentamos a complexidade de um modelo, também aumentamos a variância. Isso ocorre porque um modelo mais complexo tem maior probabilidade de ajustar o ruído nos dados de treinamento, o que levará ao overfitting.

Por outro lado, se mantivermos o modelo muito simples, aumentaremos o viés. Isso ocorre porque um modelo mais simples não será capaz de capturar as relações subjacentes nos dados, o que levará ao underfitting.

O objetivo é treinar um modelo que seja complexo o suficiente para capturar os relacionamentos subjacentes nos dados de treinamento, mas não tão complexo que se encaixe no ruído dos dados de treinamento.

Compensação de viés-variância na prática

Para diagnosticar o desempenho do modelo, normalmente calculamos e comparamos os erros de treinamento e validação. Uma ferramenta útil para visualizar isso é um gráfico das curvas de aprendizado, que exibe o desempenho do modelo nos dados de treinamento e validação ao longo do processo de treinamento. Ao examinar essas curvas, podemos determinar se um modelo está superajustado (alta variação), subajustado (alta tendência) ou bem ajustado (equilíbrio ideal entre tendência e variação).

Exemplo de curvas de aprendizado de um modelo de underfitting. Tanto o erro de trem quanto o erro de validação são altos.

Na prática, o baixo desempenho nos dados de treinamento e validação sugere que o modelo é muito simples, levando ao underfitting. Por outro lado, se o modelo tiver um desempenho muito bom nos dados de treinamento, mas ruim nos dados de teste, a complexidade do modelo provavelmente será muito alta, resultando em overfitting. Para lidar com o underfitting, podemos tentar aumentar a complexidade do modelo adicionando mais recursos, alterando o algoritmo de aprendizado ou escolhendo diferentes hiperparâmetros. No caso de overfitting, devemos considerar regularizar o modelo ou usar técnicas como validação cruzada para melhorar suas capacidades de generalização.

Exemplo de curvas de aprendizado de um modelo de overfitting. O erro de trem diminui enquanto o erro de validação começa a aumentar. O modelo é incapaz de generalizar.

A regularização é uma técnica que pode ser usada para reduzir o erro de variância em modelos de aprendizado de máquina, ajudando a resolver o trade-off viés-variância. Existem várias técnicas de regularização diferentes, cada uma com suas próprias vantagens e desvantagens. Algumas técnicas populares de regularização incluem regressão de crista, regressão de laço e regularização de rede elástica. Todas essas técnicas ajudam a evitar o overfitting adicionando um termo de penalidade à função objetivo do modelo, o que desencoraja valores de parâmetros extremos e encoraja modelos mais simples.

Regressão do cume, também conhecida como regularização L2, adiciona um termo de penalidade proporcional ao quadrado dos parâmetros do modelo. Essa técnica tende a resultar em modelos com valores de parâmetros menores, o que pode levar a uma variância reduzida e melhor generalização. No entanto, ele não realiza a seleção de recursos, portanto, todos os recursos permanecem no modelo.

Regressão do laço, ou regularização L1, adiciona um termo de penalidade proporcional ao valor absoluto dos parâmetros do modelo. Essa técnica pode levar a modelos com valores de parâmetros esparsos, realizando efetivamente a seleção de recursos definindo alguns parâmetros como zero. Isso pode resultar em modelos mais simples que são mais fáceis de interpretar.

Regularização líquida elástica é uma combinação de regularização L1 e L2, permitindo um equilíbrio entre regressão de cume e laço. Ao controlar a razão entre os dois termos de penalidade, a rede elástica pode obter os benefícios de ambas as técnicas, como generalização aprimorada e seleção de recursos.

Exemplo de curvas de aprendizado de modelo de bom ajuste.

Conclusões

O trade-off viés-variância é um conceito crucial no aprendizado de máquina que determina a eficácia e qualidade de um modelo. Embora o viés alto leve ao subajuste e a alta variância leve ao superajuste, é necessário encontrar o equilíbrio ideal entre os dois para construir modelos robustos que generalizem bem para novos dados.

Com o auxílio de curvas de aprendizado é possível identificar problemas de overfitting ou underfitting e, ajustando a complexidade do modelo ou implementando técnicas de regularização, é possível melhorar o desempenho tanto dos dados de treinamento e validação quanto dos dados de teste.

• Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
• PlatoAiStream. Inteligência de Dados Web3. Conhecimento Amplificado. Acesse aqui.
• Cunhando o Futuro com Adryenn Ashley. Acesse aqui.
• Compre e venda ações em empresas PRE-IPO com PREIPO®. Acesse aqui.
• Fonte: https://stackabuse.com/the-bias-variance-trade-off-in-machine-learning/