UNIVERSIDAD NACIONAL AUTÓNOMA

DE MÉXICO

FACULTAD DE INGENIERÍA

ÁLGEBRA LINEAL

PROYECTO: MÍNINOS CUADRADOS

ALVAREZ VEGA FRANCISCO DANIEL

GONZALEZ SANCHEZ GERARDO DE JESUS

17 DE MAYO DEL 2010

 MÍNINOS CUADRADOS

Historia

El día de Año Nuevo de 1801, el astrónomo italiano Giuseppe Piazzi descubrió el planeta
enano Ceres. Fue capaz de seguir su órbita durante 40 días. Durante el curso de ese año,
muchos científicos intentaron estimar su trayectoria con base en las observaciones de
Piazzi. La mayoría de evaluaciones fueron inútiles; el único cálculo suficientemente preciso
para permitir a Zach, astrónomo alemán, reencontrar a Ceres al final del año fue el de un
Carl Friedrich Gauss de 24 años. Pero su método de mínimos cuadrados no se publicó hasta
1809, apareciendo en el segundo volumen de su trabajo sobre mecánica celeste, “Theoria
Motus Corporum Coelestium in sctionibus conicis solem ambientium”. El francés Adrien-
Marie Legendre desarrolló el mismo método de forma independiente en 1805.

En 1829 Gauss fue capaz de establecer la razón del éxito maravilloso de este
procedimiento: simplemente, el método de mínimos cuadrados es óptimo en muchos
aspectos. El argumento concreto se conoce como teorema de Gauss-Márkov.
Teorema del límite central

Una medida y, puede considerarse como un variable aleatoria, distribuida gausianamente

entorno a su valor verdadero λ, siempre que el error total sea la suma de un número grande
de contribuciones pequeñas.

Considerar un conjunto y(1),y(2),...y(N) de variables aleatorias independientes relacionadas

con otra variable xi que se asume conocida sin error. Cada y(i) tiene un valor medio λi
(desconocido) y un varianza σ(i) 2 (conocida). Las N medidas de y(i) pueden considerarse
como la medida de un vector aleatorio N-dimensional.
 Suponer además que el valor verdadero de las y(i) es una función de la variable x
que depende de un vector de parámetros desconocido en principio.

El objetivo del método de mínimos cuadrados es estimar el vector de parámetros θ.

Además, el método permite evaluar la bondad con la que la función λ(x,θ) ajusta los datos
experimentales. Para establecer el método tomamos logaritmos en la pdf que describe los
datos:

El principio de máxima verosimilitud establece que la pdf conjunta de las medidas

(y por lo tanto la verosimilitud L) es máxima para los parámetros auténticos. Por lo tanto,
para encontrar los parámetros maximizamos log L(θ) o bien minimizamos la cantidad:

Si las medidas no son independientes, pero pueden describirse por una pdf conjunta
gausiana, con matriz de covarianza conocida, la definición anterior se generaliza a:
 Hay varias maneras de abordar el método de mínimos cuadrados. Aquí se aborda
desde el punto de vista geométrico. Para ello se introducen tres conceptos básicos: Norma,
Producto interno y Proyección Ortogonal.

¿Qué es una norma?

Una de las ideas geométricas más sencillas y útiles ha sido la idea de “tamaño”,
“magnitud” o “distancia”, que al ser trasladada al contexto de espacio vectorial se convierte
en el concepto de norma.

Producto interno en Rn.- Siendo x,y dos vectores en Rn, el producto interno
denotado <x,y> es el escalar yt, es decir: <x,y> = xyt = x1y1+x2y2+...+xnyn

Observaciones:
- Como puede verse, en Rn el producto interno es conmutativo, ya que xyt = xty = <y,x>
- Sin embargo en Cn el producto interno se define como
<x,y>=xy* por lo tanto

Normas de vectores en Rn.- Sea x un vector en Rn. Existen varias maneras de

definir la norma de x, denotada , sin embargo, el producto interno siempre induce una
definición de norma, como sigue:
Observaciones:
- Como puede verse, La norma nunca es negativa y sólo es cero si x es el vector cero.
- De acuerdo a la definición, la norma se calcula componente a componente como

Que como puede verse corresponde a la longitud clásica de un vector en Rn.

Proyección ortogonal.- Siendo x,y dos vectores en Rn, si buscamos la proyección

ortogonal p del vector x sobre el y, esta proyección debe ser un múltiplo de y (por ser
colineal con y) ver figura, es decir x=ky, (k escalar).

Este escalar es k = .

Ángulo entre dos vectores.- Por extensión al caso en R2 y R3 el ángulo

entre dos vectores x, y en general se define como el escalar tal que:

Ortogonalidad.- Dos vectores x, y se dicen ortogonales si <x,y> = 0 y además se dicen

ortonormales si son unitarios, es decir,

Solución al sistema Ax=B

La condición para la solución exacta del sistema de n ecuaciones lineales con m incógnitas
Ax=b donde A es una matriz n´m se expresa fácilmente diciendo que “b debe estar en el
espacio columna de A”, dado que el producto Ax es una CL de columnas de A.

Si el vector b no cumple con la condición anterior el sistema Ax=b NO tiene solución

exacta. Sin embargo queda la posibilidad de buscar una solución aproximada.

La solución x’ de Ax=b en el sentido de mínimos cuadrados es aquella que minimiza la

norma del error

En la siguiente figura se ilustra geométricamente el problema para el sistema

Como puede verse de la figura, la solución x’ que cumple con lo anterior tal que Ax’ es la
proyección ortogonal de b sobre el espacio columna de A. La observación anterior nos
permite calcular x’ como sigue: Ax’-b es ortogonal al espacio de columnas de A.

Sea w un vector en este espacio, entonces w es una CL de las columnas de A, es decir:

w=Ac, donde c=[c1,c2,...,cm]. Entonces, para cualquier c arbitrario:
Es decir:

Entonces

Finalmente

A estas se les llama las ecuaciones normales. Si A tiene columnas LI entonces tiene

inversa y las ecuaciones normales se convierten en:

Obsérvese que la matriz es la inversa izquierda de A, también llamada

pseudoinversa de A

Ejemplo: Encontrar la solución en el sentido de mínimos cuadrados del sistema

inconsistente:

Solución: En forma matricial el sistema Ax=b es

Como las columnas de A son LI, la solución en el sentido de mínimos cuadrados x’ será:

Sustituyendo: ; por lo tanto:

Interpretación gráfica:

Aplicaciones del método de mínimos cuadrados:

Actualmente se han desarrollado innumerables aplicaciones basadas en la
minimización de una norma cuadrática en diversos campos que tienen relación con
procesamiento de datos estadísticos o experimentales. Las principales aplicaciones se
agrupan en:

Aproximación de funciones
Estimación de parámetros

Aproximación de funciones.- Aquí solo se describirá el caso más simple (lineal)

que en general consiste en aproximar una serie de puntos (mediciones) experimentales o
estadísticos a un comportamiento dado por una ecuación y=f(x).

Caso lineal (Regresión lineal).- Se la medición de n puntos

experimentales (x1,y1), (x2,y2),...,(xn,yn) y se pretende ajustar su comportamiento a la
recta: y=mx+b y se pretende hallar los valores de los coeficientes m, b que resuelvan el
problema en el sentido de mínimos cuadrados.

Es decir, se pretende hallar la mejor solución al sistema sobredeterminado siguiente:

Que en la forma matricial AX=B es

Así, las ecuaciones normales quedan:

En forma similar se puede plantear una regresión

polinomial para y = a1xn-1+a2xn-2+...+an-1x+an. Que generaría un conjunto de N
ecuaciones (para N puntos experimentales) con n incógnitas (a1,...,an)

Ejemplo
La población en los Estados Unidos de América durante el siglo XX ha seguido la evolución indicada en la
tabla adjunta, se pide hallar la recta de regresión y pronostican el número de habitante en al año 2010.
Año millones de habitantes

El programa lsline.m de [8] resuelve directamente el sistema normal, y la recta

de regresión que resulta es:

;
que para el año 2010 pronostica 286.912 millones de habitantes. En la figura 1 se ha representado los puntos y
la recta de regresión.

En el ajuste potencial f(x) = axp donde p es una constante conocida, el único parámetro libre a debe minimizar
E igualando a cero la derivada se obtiene que
http://es.wikipedia.org/wiki/M%C3%ADnimos_cuadrados

http://lc.fie.umich.mx/~jrincon/apuntes%20intro%20min%20cuad.pdf

http://www.cienciaredcreativa.org/guias/regresion.pdf

http://benasque.org/benasque/2005tae/2005tae-talks/232s5.pdf

http://biolab2.fisica.edu.u y/minc.pdf

http://arfiexp.tripod.com/manual_de_laboratorio9.htm