Coeficiente de determinação

O coeficiente de determinação, também chamado de R², é uma medida de ajuste de um modelo estatístico linear generalizado, como a regressão linear simples ou múltipla, aos valores observados de uma variável aleatória. O R² varia entre 0 e 1, por vezes sendo expresso em termos percentuais. Nesse caso, expressa a quantidade da variância dos dados que é explicada pelo modelo linear. Assim, quanto maior o R², mais explicativo é o modelo linear, ou seja, melhor ele se ajusta à amostra. Por exemplo, um R² = 0,8234 significa que o modelo linear explica 82,34% da variância da variável dependente a partir do regressores (variáveis independentes) incluídas naquele modelo linear.

Método

onde ${\displaystyle n}$ é o numero de observações;

Partindo de que ${\displaystyle y_{i}}$ é o valor observado e ${\displaystyle {\bar {y}}}$ é a média das observações, esta equação dá-nos a Soma Total dos Quadrados, ou seja, a soma dos quadrados das diferenças entre a média e cada valor observado.

onde ${\displaystyle {\hat {y_{i}}}}$ é o valor estimado (previsão) de ${\displaystyle y_{i}}$.

Esta equação é a soma dos quadrados dos resíduos, que calcula a parte que não é explicada pelo modelo.

onde ${\displaystyle {\hat {y_{i}}}}$ é o valor estimado (previsão) de ${\displaystyle y_{i}}$.

Esta equação, a soma dos quadrados explicada, indica-nos a diferença entre a média das observações e o valor estimado para cada observação, e soma os respectivos quadrados. Quanto menor for a diferença, maior poder explicativo detém o modelo.

Em alguns casos temos:

E normalizando a equação de cima, temos que:

R² ajustado

A inclusão de inúmeras variáveis, mesmo que tenham muito pouco poder explicativo sobre a variável dependente, aumentarão o valor de R². Isto incentiva a inclusão indiscriminada de variáveis, prejudicando o princípio da parcimônia (ver de forma mais ampla em navalha de Ockhan). Para combater esta tendência, podemos usar uma medida alternativa do coeficiente de determinação, que penaliza a inclusão de regressores pouco explicativos. Trata-se do R² ajustado:

onde ${\displaystyle (k+1)\,\!}$ representa o número de variáveis explicativas mais a constante.

Note que a inclusão de mais variáveis com pouco poder explicativo prejudica o valor do R² ajustado, porque aumenta ${\displaystyle k}$ uma unidade, sem aumentar substancialmente o ${\displaystyle R^{2}}$.

Relação entre Coeficiente de Determinação (R²) e Coeficiente de Correlação (R)

Para provarmos que o Coeficiente de Determinação equivale ao quadrado do Coeficiente de Correlação, precisamos provar inicialmente:

Teorema 1: ${\displaystyle SQ_{\text{tot}}=n.{\biggl (}{\overline {y^{2}}}-{\overline {y}}^{2}{\biggr )}}$

Prova: ${\displaystyle SQ_{\text{tot}}=(y_{1}-{\overline {y}})^{2}+(y_{2}-{\overline {y}})^{2}+\cdots +(y_{n}-{\overline {y}})^{2}}$

${\displaystyle =(y_{1}^{2}-2.y_{1}.{\overline {y}}+{\overline {y}}^{2})+\cdots +(y_{n}^{2}-2.y_{n}.{\overline {y}}+{\overline {y}}^{2})}$

${\displaystyle ={\bigl (}\sum {y^{2}}{\bigr )}-{\bigl (}2.{\overline {y}}.\sum {y}{\bigr )}+{\bigl (}n.{\overline {y}}^{2}{\bigr )}}$

${\displaystyle =(n.{\overline {y^{2}}})-2.{\overline {y}}.(n.{\overline {y}})+n.{\overline {y}}^{2}}$

${\displaystyle =n.({\overline {y^{2}}}-2.{\overline {y}}^{2}+{\overline {y}}^{2})}$

${\displaystyle =n.({\overline {y^{2}}}-{\overline {y}}^{2})\ \ \ \ \ c.q.d.}$

Teorema 2: ${\displaystyle SQ_{res}=n.{\dfrac {({\overline {x}}.{\overline {y}}-{\overline {xy}})^{2}}{{\overline {x}}^{2}-{\overline {x^{2}}}}}+SQ_{tot}}$

Prova: Inicialmente, precisamos reescrever a expressão do valor estimado pela Regressão Linear:

${\displaystyle {\hat {y}}_{k}=A.x_{k}+B}$

${\displaystyle =A.x_{k}+({\overline {y}}-A.{\overline {x}})}$

${\displaystyle =A.(x_{k}-{\overline {x}})+{\overline {y}}}$

${\displaystyle SQ_{res}=({\hat {y}}_{1}-y_{1})^{2}+({\hat {y}}_{2}-y_{2})^{2}+\cdots +({\hat {y}}_{n}-y_{n})^{2}}$

${\displaystyle =[A.(x_{1}-{\overline {x}})+{\overline {y}}-y_{1}]^{2}+\cdots +[A.(x_{n}-{\overline {x}})+{\overline {y}}-y_{n}]^{2}}$

${\displaystyle =[A.(x_{1}-{\overline {x}})+({\overline {y}}-y_{1})]^{2}+\cdots +[A.(x_{n}-{\overline {x}})+({\overline {y}}-y_{n})]^{2}}$${\displaystyle =A^{2}.(x_{1}-{\overline {x}})^{2}+2.A.(x_{1}-{\overline {x}}).({\overline {y}}-y_{1})+({\overline {y}}-y_{1})^{2}+\cdots +A^{2}.(x_{n}-{\overline {x}})^{2}+2.A.(x_{n}-{\overline {x}}).({\overline {y}}-y_{n})+({\overline {y}}-y_{n})^{2}}$${\displaystyle =A^{2}.(x_{1}^{2}-2.x_{1}.{\overline {x}}+{\overline {x}}^{2})+2.A.(x_{1}.{\overline {y}}-x_{1}.y_{1}-{\overline {x}}.{\overline {y}}+{\overline {x}}.y_{1})+({\overline {y}}^{2}-2.{\overline {y}}.y_{1}+y_{1}^{2})+\cdots }$${\displaystyle =A^{2}.x_{1}^{2}-2A^{2}.x_{1}.{\overline {x}}+A^{2}.{\overline {x}}^{2}+2.A.x_{1}.{\overline {y}}-2.A.x_{1}.y_{1}-2.A.{\overline {x}}.{\overline {y}}+2.A.{\overline {x}}.y_{1}+{\overline {y}}^{2}-2.{\overline {y}}.y_{1}+y_{1}^{2}+\cdots }$

${\displaystyle =A^{2}.(\sum {x^{2}})-2A^{2}.{\overline {x}}.(\sum {x})+n.A^{2}.{\overline {x}}^{2}+2.A.{\overline {y}}.(\sum {x})-2.A.(\sum {x.y})-2.A.n.{\overline {x}}.{\overline {y}}+2.A.{\overline {x}}.(\sum {y})+n.{\overline {y}}^{2}-2.{\overline {y}}.(\sum {y})+(\sum {y^{2}})}$

${\displaystyle =A^{2}.(n.{\overline {x^{2}}})-2A^{2}.{\overline {x}}.(n.{\overline {x}})+n.A^{2}.{\overline {x}}^{2}+2.A.{\overline {y}}.(n.{\overline {x}})-2.A.(n.{\overline {xy}})-2.A.n.{\overline {x}}.{\overline {y}}+2.A.{\overline {x}}.(n.{\overline {y}})+n.{\overline {y}}^{2}-2.{\overline {y}}.(n.{\overline {y}})+(n.{\overline {y^{2}}})}$

${\displaystyle =n.(A^{2}.{\overline {x^{2}}}-2.A^{2}.{\overline {x}}^{2}+A^{2}.{\overline {x}}^{2}+2.A.{\overline {x}}.{\overline {y}}-2.A.{\overline {xy}}-2.A.{\overline {x}}.{\overline {y}}+2.A.{\overline {x}}.{\overline {y}}+{\overline {y}}^{2}-2.{\overline {y}}^{2}+{\overline {y^{2}}})}$

${\displaystyle =n.(A^{2}.{\overline {x^{2}}}-A^{2}.{\overline {x}}^{2}+2.A.{\overline {x}}.{\overline {y}}-2.A.{\overline {xy}}-{\overline {y}}^{2}+{\overline {y^{2}}})}$

${\displaystyle =n.[A^{2}.({\overline {x^{2}}}-{\overline {x}}^{2})+2A.({\overline {x}}.{\overline {y}}-{\overline {xy}})+{\overline {y^{2}}}-{\overline {y}}^{2}]}$

${\displaystyle =n.\left[\left({\dfrac {{\overline {x}}.{\overline {y}}-{\overline {xy}}}{{\overline {x}}^{2}-{\overline {x^{2}}}}}\right)^{2}.({\overline {x^{2}}}-{\overline {x}}^{2})+2.{\dfrac {{\overline {x}}.{\overline {y}}-{\overline {xy}}}{{\overline {x}}^{2}-{\overline {x^{2}}}}}.({\overline {x}}.{\overline {y}}-{\overline {xy}})\right]+n.({\overline {y^{2}}}-{\overline {y}}^{2})}$

${\displaystyle =n.\left[{\dfrac {({\overline {x}}.{\overline {y}}-{\overline {xy}})^{2}.-({\overline {x}}^{2}-{\overline {x^{2}}})}{({\overline {x}}^{2}-{\overline {x^{2}}})^{2}}}+2.{\dfrac {({\overline {x}}.{\overline {y}}-{\overline {xy}})^{2}}{{\overline {x}}^{2}-{\overline {x^{2}}}}}\right]+SQ_{\text{tot}}}$

${\displaystyle =n.\left[{\dfrac {-({\overline {x}}.{\overline {y}}-{\overline {xy}})^{2}}{{\overline {x}}^{2}-{\overline {x^{2}}}}}+2.{\dfrac {({\overline {x}}.{\overline {y}}-{\overline {xy}})^{2}}{{\overline {x}}^{2}-{\overline {x^{2}}}}}\right]+SQ_{\text{tot}}}$

${\displaystyle =n.{\dfrac {({\overline {x}}.{\overline {y}}-{\overline {xy}})^{2}}{{\overline {x}}^{2}-{\overline {x^{2}}}}}+SQ_{\overline {y}}\ \ \ \ \ \ c.q.d.}$

Teorema 3: ${\displaystyle R^{2}={\dfrac {({\overline {x}}.{\overline {y}}-{\overline {xy}})^{2}}{({\overline {x^{2}}}-{\overline {x}}^{2}).({\overline {y^{2}}}-{\overline {y}}^{2})}}}$

Prova: ${\displaystyle R^{2}=1-{\dfrac {SQ_{res}}{SQ_{\text{tot}}}}={\dfrac {SQ_{\text{tot}}}{SQ_{\text{tot}}}}-{\dfrac {SQ_{res}}{SQ_{\text{tot}}}}={\dfrac {SQ_{\text{tot}}-SQ_{res}}{SQ_{\text{tot}}}}={\dfrac {SQ_{\text{tot}}-\left[n.{\dfrac {({\overline {x}}.{\overline {y}}-{\overline {xy}})^{2}}{{\overline {x}}^{2}-{\overline {x^{2}}}}}+SQ_{\text{tot}}\right]}{SQ_{\text{tot}}}}}$

${\displaystyle =n.{\dfrac {({\overline {x}}.{\overline {y}}-{\overline {xy}})^{2}}{{\overline {x^{2}}}-{\overline {x}}^{2}}}.{\dfrac {1}{SQ_{\text{tot}}}}=n.{\dfrac {({\overline {x}}.{\overline {y}}-{\overline {xy}})^{2}}{({\overline {x^{2}}}-{\overline {x}}^{2}).n.({\overline {y^{2}}}-{\overline {y}}^{2})}}={\dfrac {({\overline {x}}.{\overline {y}}-{\overline {xy}})^{2}}{({\overline {x^{2}}}-{\overline {x}}^{2}).({\overline {y^{2}}}-{\overline {y}}^{2})}}\ \ \ \ \ \ c.q.d.}$

Teorema 4: (Coeficiente de Correlação)² = Coeficiente de Determinação

Prova: Coeficiente de Correlação = ${\displaystyle R={\dfrac {\sum {(x-{\overline {x}}).(y-{\overline {y}})}}{{\sqrt {\sum {(x-{\overline {x}})^{2}}}}.{\sqrt {\sum {(y-{\overline {y}})^{2}}}}}}}$

Para elevá-lo ao quadrado, façamos separadamente numerador e denominador:

Quadrado do numerador: ${\displaystyle [\ \sum {(x-{\overline {x}}).(y-{\overline {y}})}\ ]^{2}}$

${\displaystyle =[\ \sum {(x.y-x.{\overline {y}}-{\overline {x}}.y+{\overline {x}}.{\overline {y}})}\ ]^{2}}$

${\displaystyle =[\ (x_{1}.y_{1}-x_{1}.{\overline {y}}-{\overline {x}}.y_{1}+{\overline {x}}.{\overline {y}})+\cdots +(x_{n}.y_{n}-x_{n}.{\overline {y}}-{\overline {x}}.y_{n}+{\overline {x}}.{\overline {y}})\ ]^{2}}$

${\displaystyle =[\ (\sum {x.y})-{\overline {y}}.(\sum {x})-{\overline {x}}.(\sum {y})+n.{\overline {x}}.{\overline {y}}\ ]^{2}}$

${\displaystyle =[\ (n.{\overline {x.y}})-{\overline {y}}.(n.{\overline {x}})-{\overline {x}}.(n.{\overline {y}})+n.{\overline {x}}.{\overline {y}}\ ]^{2}}$

${\displaystyle =[\ n.({\overline {x.y}}-{\overline {x}}.{\overline {y}})\ ]^{2}}$

${\displaystyle =n^{2}.({\overline {x.y}}-{\overline {x}}.{\overline {y}})^{2}}$

Agora, façamos o quadrado do denominador:

${\displaystyle [\ {\sqrt {\sum {(x-{\overline {x}})^{2}}}}.{\sqrt {\sum {(y-{\overline {y}})^{2}}}}\ ]^{2}}$

${\displaystyle =[\ \sum {(x-{\overline {x}})^{2}}\ ].[\ \sum {(y-{\overline {y}})^{2}}\ ]}$

${\displaystyle =[\ \sum {(x^{2}-2.x.{\overline {x}}+{\overline {x}}^{2})}\ ].[\ \sum {(y^{2}-2.y.{\overline {y}}+{\overline {y}}^{2})}\ ]}$

${\displaystyle =[\ (\sum {x^{2}})-2.{\overline {x}}.(\sum {x})+n.{\overline {x}}^{2}\ ].[\ (\sum {y^{2}})-2.{\overline {y}}.(\sum {y})+n.{\overline {y}}^{2}\ ]}$

${\displaystyle =[\ (n.{\overline {x^{2}}})-2.{\overline {x}}.(n.{\overline {x}})+n.{\overline {x}}^{2}\ ].[\ (n.{\overline {y^{2}}})-2.{\overline {y}}.(n.{\overline {y}})+n.{\overline {y}}^{2}\ ]}$

${\displaystyle =(n.{\overline {x^{2}}}-n.{\overline {x}}^{2}).(n.{\overline {y^{2}}}-n.{\overline {y}}^{2})}$

${\displaystyle =[\ n.({\overline {x^{2}}}-{\overline {x}}^{2})\ ].[\ n.({\overline {y^{2}}}-{\overline {y}}^{2})\ ]}$

${\displaystyle =n^{2}.({\overline {x^{2}}}-{\overline {x}}^{2}).({\overline {y^{2}}}-{\overline {y}}^{2})}$

Juntando, temos:

(Coeficiente de Correlação)² = ${\displaystyle (R)^{2}={\dfrac {n^{2}.({\overline {x.y}}-{\overline {x}}.{\overline {y}})^{2}}{n^{2}.({\overline {x^{2}}}-{\overline {x}}^{2}).({\overline {y^{2}}}-{\overline {y}}^{2})}}}$

${\displaystyle ={\dfrac {({\overline {x}}.{\overline {y}}-{\overline {xy}})^{2}}{({\overline {x^{2}}}-{\overline {x}}^{2}).({\overline {y^{2}}}-{\overline {y}}^{2})}}}$ = Coeficiente de Determinação (R²) c.q.d.