You are on page 1of 5

Método dos mínimos quadrados – Wikipédia, a enciclopédia livre http://pt.wikipedia.

org/wiki/Método_dos_mínimos_quadrados

Método dos mínimos quadrados
Origem: Wikipédia, a enciclopédia livre.

O Método dos Mínimos Quadrados, ou Mínimos Quadrados Ordinários (MQO) ou OLS (do inglês Ordinary Least Squares) é uma técnica de otimização
matemática que procura encontrar o melhor ajuste para um conjunto de dados tentando minimizar a soma dos quadrados das diferenças entre o valor
estimado e os dados observados (tais diferenças são chamadas resíduos).[1]

É a forma de estimação mais amplamente utilizada na econometria. Consiste em um estimador que minimiza a soma dos quadrados dos resíduos da
regressão, de forma a maximizar o grau de ajuste do modelo aos dados observados.

Um requisito para o método dos mínimos quadrados é que o fator imprevisível (erro) seja distribuído aleatoriamente, essa distribuição seja normal e
independente. O Teorema Gauss-Markov garante (embora indiretamente) que o estimador de mínimos quadrados é o estimador não-enviesado de mínima
variância linear na variável resposta.

Outro requisito é que o modelo é linear nos parâmetros, ou seja, as variáveis apresentam uma relação linear entre si. Caso contrário, deveria ser usado um
modelo de regressão não-linear.

Credita-se Carl Friedrich Gauss como o desenvolvedor das bases fundamentais do método dos mínimos quadrados, em 1795, quando Gauss tinha apenas
dezoito anos. Entretanto, Adrien-Marie Legendre foi o primeiro a publicar o método em 1805, em seu Nouvelles méthodes pour la détermination des
orbites des comètes. Gauss publicou suas conclusões apenas em 1809.[2][3][4]

Índice
1 Regressão simples
1.1 Exemplo de regressão simples
2 Regressão múltipla
2.1 Exemplo de regressão múltipla
3 Premissas
4 Coeficiente de determinação R²
4.1 Exemplo de R² e R² ajustado
5 Teste de significância dos coeficientes
5.1 Exemplo de teste de significância dos coeficientes
6 Referências
7 Ver também
8 Ligações externas

Regressão simples
Queremos estimar valores de determinada variável . Para isso, consideramos os valores de outra variável que acreditamos ter poder de explicação sobre
conforme a fórmula:

onde:

: Parâmetro do modelo chamado de constante (porque não depende de ).
: Parâmetro do modelo chamado de coeficiente da variável .
: Erro - representa a variação de que não é explicada pelo modelo.

Também temos uma base de dados com valores observados de e de . Perceba que, usando a base de dados, e são vetores, ou seja, representam
uma lista de valores, um para cada observação da base de dados. O método dos mínimos quadrados ajuda a encontrar as estimativas de e . Como o
nome diz, serão somente estimativas desses parâmetros, porque o valor real dos parâmetros são desconhecidos. Portanto, ao fazer a estimativa, mudamos a
notação de algumas variáveis:

Para ilustrar isso, Heij[5] menciona:

We do not know Greek but we can compute Latin
Não sabemos grego, mas podemos calcular em latim

Desse modo, ao estimar o modelo usando a base de dados, estamos estimando, na verdade:

onde indica cada uma das observações da base de dados e passa a ser chamado de resíduo, ao invés de erro. Em alguns livros, a notação para as
estimativas dos parâmetros é um pouco diferente. Ao invés de substituir a letra, apenas adiciona-se o símbolo chapéu ( ).

1 de 5 25/12/2012 20:27

Método dos mínimos quadrados – Wikipédia. temos: A minimização se dá ao derivar em relação a e e igualar a zero: Distribuindo e dividindo a primeira expressão por temos: onde é a média amostral de e é a média amostral de . a enciclopédia livre http://pt.org/wiki/Método_dos_mínimos_quadrados O método dos mínimos quadrados minimiza a soma dos quadrado dos resíduos. minimiza . A ideia por trás dessa técnica é que. minimizando a soma do quadrado dos resíduos.wikipedia. Substituindo por . encontraremos e que trarão a menor diferença entre a previsão de e o realmente observado. ou seja. Substituindo esse resultado na segunda expressão temos: Alguns livros também usam uma fórmula diferente que gera o mesmo resultado: Exemplo de regressão simples Considere a seguinte base de dados: Consumo Renda 1 122 139 2 114 126 3 86 90 4 134 144 5 146 163 6 107 136 7 68 61 8 117 62 9 71 41 10 98 120 2 de 5 25/12/2012 20:27 .

org/wiki/Método_dos_mínimos_quadrados Aplicando as fórmulas acima. o incremento de $ 1 na Renda causa um incremento esperado de $ 0. Substituindo por . porém.5% 4 134 144 9. onde o apóstrofe significa que a matriz foi transposta. Regressão múltipla A regressão múltipla apresenta um funcionamento parecido com o da regressão simples. A fórmula também pode ser escrita na forma resumida: A solução de mínimos quadrados continua sendo alcançada através da minimização da soma do quadrado dos erros . os segundo e terceiro termos são iguais e o terceiro termo é uma forma quadrática dos elementos de .Método dos mínimos quadrados – Wikipédia. acrescente mais uma variável explicativa (taxa de juros): Consumo Renda Taxa de Juros 1 122 139 11. porém.5% 3 de 5 25/12/2012 20:27 .0% 9 71 41 10.wikipedia. Exemplo de regressão múltipla Considere a base de dados usada no exemplo da regressão simples.0% 7 68 61 10. a enciclopédia livre http://pt.0% 3 86 90 10. leva em consideração diversas variáveis explicativas influenciando ao mesmo tempo: Ao usar a base de dados com variáveis explicativas e observações.0% 5 146 163 10. onde representa o valor da -ésima variável da -ésima observação.0% 10 98 120 11. o modelo pode ser escrito na forma matricial: .4954 no Consumo. chega-se em: portanto. que pode ser reescrito como .0% 6 107 136 12.5% 8 117 62 8. Interpretação: Tirando a parte do Consumo que não é influenciada pela Renda. O primeiro termo não depende de . temos: A minimização se dá ao derivar em relação a e igualar a zero.5% 2 114 126 12.

o incremento de 1 ponto percentual (0.6136 no Consumo.729% da variância de é explicada pela variância de .Método dos mínimos quadrados – Wikipédia. Coeficiente de determinação R² O Coeficiente de determinação. chega-se em: portanto. sendo SQres o Somatório dos Quadrados dos Resíduos e SQtot o Somatório dos Quadrados Total ou R² ajustado: Exemplo de R² e R² ajustado Usando os dados do exemplo de regressão múltipla.wikipedia.3441 no Consumo. o método pode gerar resultados sub-ótimos ou com viés. usamos a aproximação amostral : . como o erro não é observado. levamos em consideração que o estimador tem distribuição normal centrada em e com variância . Homoscedasticidade: A variância do erro é constante. Parâmetros são constantes: e são valores fixos desconhecidos. Interpretação: Tirando a parte do Consumo que não é influenciada pela Taxa de Juros. onde representa o número de variáveis explicativas mais a constante. Modelo é linear: Os dados da variável dependente foram gerados pelo processo linear . podemos calcular: Isso significa que 88. Ou seja. seu coeficiente deve ser estatísticamente diferente de zero. Erro é aleatório com média 0: O erro é aleatório e sua esperança . além disso. então a estatística t para a variável j é: 4 de 5 25/12/2012 20:27 . Caso alguma dessas premissas não seja verdadeira. para qualquer . Considerando que a hipótese nula é a de que . onde é a variância do erro . . Premissas Ao usar o método dos mínimos quadrados. também chamado de R² é uma medida de qualidade do modelo em relação à sua habilidade de estimar corretamente os valores da variável resposta . deve ser suficientemente maior ou menor do que zero para que tenhamos confiança de que a variável realmente possui poder explicativo.org/wiki/Método_dos_mínimos_quadrados Aplicando a fórmula acima. a variável poderia ser retirada do modelo sem que exista grande perda da sua qualidade. Ou seja: Porém. Teste de significância dos coeficientes Se uma variável realmente possui poder explicativo sobre .01) na Taxa de Juros causa um decréscimo esperado de $ 10. Caso isso não seja verdade. a enciclopédia livre http://pt. assumimos algumas premissas a respeito das variáveis: Os regressores são fixos: As variáveis da matriz não são estocásticas. o incremento de $ 1 na Renda causa um incremento esperado de $ 0. ou seja. Ver também: heteroscedasticidade Sem correlação: Não existe correlação entre os erros das observações. Erro tem distribuição normal: O erro é distribuído conforme a curva de distribuição normal. Para verificar se os coeficientes são significantes.

podemos calcular: Na distribuição t de Student com 7 (10-2-1) graus de liberdade. Como é maior que 2. Karl Friedrich Gauss (1777-1855).html) (em Inglês). pelo menos 95% de confiança. ↑ (em inglês) Indiana University Bloomington. ↑ HEIJ. Regression Analysis (http://elsa.http://www.l. 410 p. Embrapa Informação Tecnológica.com/self/least/least. M. Philip Hans.org/wiki/Método_dos_mínimos_quadrados .org/docs/5. pode-se obter o nível de confiança necessário para que a hipótese nula seja rejeitada.br/~lpbraga/prob1/historia_estatistica.http://zunzun.im.html (em inglês) .htm (em inglês) . 4.wikipedia. a enciclopédia livre http://pt. 1986. O mesmo também ocorre para . P. DE BOER. 2004 Ver também Mínimos quadrados generalizados . Consulte as condições de uso para mais detalhes. Paul. 5. onde é o j-ésimo elemento da diagonal de . Aplicando o valor de na curva acumulada da distribuição t de Student com graus de liberdade. Human Intelligence. 5 de 5 25/12/2012 20:27 .. OXFORD.html Obtida de "http://pt.]: Harvard University Press. Econometric Methods with Applications in Business and Economics. pode estar sujeito a condições adicionais.com (em inglês) . sva e contra-barra (backslash) Ligações externas (em inglês) . Teun.MMG Regressão Econometria Decomposição em Valores Singulares .edu/~intell /gauss. [S.org/w/index. Econometrics Laboratory Software Archive.scilab.edu/sst/regression.berkeley. Herman K.http://www.O operador contrabarra ou '\' no Scilab http://help. As funcoes Scilab: svd .Método dos mínimos quadrados – Wikipédia.3646.ufrj. VAN DIJK. Página visitada em 18/05/2011.csbsju. Referências 1.a técnica computacional moderna para regressão e projeção ortogonal. Ver também: Testes de hipóteses Exemplo de teste de significância dos coeficientes Usando os dados do exemplo de regressão múltipla. 2. ↑ Universidade de Berkeley.3646.0).pdf) (em Inglês). Christiaan.indiana. (2004).edu/stats/least_squares.physics. KLOEK. S.wikipedia.php?title=Método_dos_mínimos_quadrados&oldid=32520782" Categorias: Econometria Álgebra linear Estatística Menu de navegação Esta página foi modificada pela última vez à(s) 17h57min de 10 de outubro de 2012.orbitals. Este texto é disponibilizado nos termos da licença Atribuição-Partilha nos Mesmos Termos 3.MQG Máxima verossimilhança Método dos momentos generalizados . Página visitada em 11/05/2011. José M.3/en_US/backslash.0 não Adaptada (CC BY-SA 3. FRANSES.3.shtml) 3. o valor de que garante um nível de confiança de 95% é 2. German Mathematician [1] (http://www. Breve História da Estatística (http://www. ↑ Stigler. The History of Statistics: The Measurement of Uncertainty before 1900. a hipótese nula de que é rejeitada com. ↑ Memória.