UNIVERSIDAD NACIONAL DEL CENTRO

DEL PER

FACULTAD DE INGENIERIA

MTODOS NUMRICOS

UNIVERSIDAD NACIONAL DEL CENTRO

DEL PER

FACULTAD DE INGENIERIA

REGRESION POR MINIMOS CUADRADOS

Cuando los datos tienen errores sustanciales, la interpolacin polinomial es
inapropiada y puede dar resultados poco satisfactorios cuando se utiliza para
predecir valores intermedios.
Con frecuencia los datos experimentales son de este tipo. Para dejar a un lado
dicha subjetividad se debe encontrar algn criterio para establecer una base
para el ajuste. Una forma de hacerlo es obtener una curva que minimice la
discrepancia entre los puntos y la curva. Una tcnica para lograr tal objetivo,
llamada regresin por mnimos cuadrados.
REGRESION LINEAL:
El ejemplo ms simple de una aproximacin por mnimos cuadrados es ajustar
una lnea recta a un conjunto de observaciones definidas por puntos: (x1, y1),
(x2, y2),, (xn, yn).
La expresin matemtica para la lnea recta es
y = a0 + a1x + e
Donde a0 y a1 son coeficientes que representan la interseccin con el eje y y la
pendiente, respectivamente, e es el error, o diferencia, entre el modelo y las
observaciones, el cual se representa al reordenar la ecuacin anterior como
e = y a0 a1x
As, el error o residuo es la discrepancia entre el valor verdadero de y y el valor
aproximado,
a0 + a1x, que predijo la ecuacin lineal.
CRITERIO PARA UN MEJOR AJUSTE:
Una estrategia para ajustar una mejor lnea a travs de los datos ser
minimizar la suma de los errores residuales de todos los datos disponibles,
como sigue:
n

i=1

i=1

e i= ( y ia0 a1 xi )
Donde n = nmero total de puntos. Sin embargo, ste es un criterio
inadecuado, como lo muestra, la cual presenta el ajuste de una lnea recta de
dos puntos. Obviamente, el mejor ajuste es la lnea que une los puntos. Sin
embargo, cualquier lnea recta que pase a travs del punto medio que une la
lnea (excepto una lnea perfectamente vertical) da como resultado un valor
mnimo de la ecuacin igual a cero, debido a que los errores se cancelan.
Por lo tanto, otro criterio lgico podra ser minimizar la suma de los valores
absolutos de las discrepancias,

MTODOS NUMRICOS

UNIVERSIDAD NACIONAL DEL CENTRO

DEL PER

i=1

i=1

FACULTAD DE INGENIERIA

|ei|= | y ia0a1 x i|
y

Punto medio
x

a)
y

b)
y

Punto fuera del conjunto

x

c)

La figura b muestra por qu este criterio tambin es inadecuado. Para los

cuatro puntos dados, cualquier lnea recta que est dentro de las lneas
punteadas minimizar el valor absoluto de la suma. As, este criterio tampoco
dar un nico mejor ajuste.
Una tercera estrategia para ajustar una mejor lnea es el criterio minimax. En
esta tcnica, la lnea se elige de manera que minimice la mxima distancia a
que un punto se encuentra de la lnea. Como se ilustra en la figura c, tal
estrategia es inadecuada para la regresin, ya que da excesiva influencia a
puntos fuera del conjunto; es decir, a un solo punto con un gran error. Deber
observarse que el principio minimax es, en algunas ocasiones, adecuado para

MTODOS NUMRICOS

UNIVERSIDAD NACIONAL DEL CENTRO

DEL PER

FACULTAD DE INGENIERIA

ajustar una funcin simple a una funcin complicada (Carnahan, Luther y

Wilkes, 1969).
La estrategia que supera las deficiencias de los procedimientos mencionados
consiste en minimizar la suma de los cuadrados de los residuos entre la y
medida y la y calculada con el modelo lineal

( i, medida y i .modelo )2= ( y ia 0a1 x i )

i=1

i=1
n

S r= ei2=
i=1

Este criterio tiene varias ventajas, entre ellas el hecho de que se obtiene una
lnea nica para cierto conjunto de datos. Antes de analizar tales propiedades,
presentaremos una tcnica para determinar los valores de a0 y a1 que
minimizan la ecuacin.
AJUSTE DE UNA LINEA RECTA POR MINIMOS CUADRADOS:
Para determinar los valores de a0 y a1, la ecuacin se deriva con respecto a
cada uno de los coeficientes:

Sr
=2 ( y ia 0a1 x i)
a0
y
( ia 0a1 x i) xi

Sr
=2
a1
Observamos que hemos simplificado los smbolos de la sumatoria; a menos
que se indique otra cosa, todas las sumatorias van desde i = 1 hasta n. Al
igualar estas derivadas a cero, se dar como resultado un Sr mnimo. Si se
hace esto, las ecuaciones se expresan como:

MTODOS NUMRICOS

UNIVERSIDAD NACIONAL DEL CENTRO

DEL PER

FACULTAD DE INGENIERIA

0= y i a 0 a 1 x i

0= y i x i a0 x i a1 x i2
Ahora, si observamos que

a0

=n

a0 , expresamos las ecuaciones como

un conjunto de
dos ecuaciones lineales simultneas, con dos incgnitas (a0 y a1):

n a0 + ( xi ) a1= y i

( x i ) a0 + ( x i 2 ) a1 = x i y i
stas se llaman ecuaciones normales, y se resuelven en forma simultnea:

a1=

n x i yi x i y i
2

n x i ( x i )

Para obtener:

a0 = y a 1 x

Donde

son las medias de y y x, respectivamente.

Planteamiento del problema. Ajuste a una lnea recta los valores x y y en

las dos
primeras columnas de la tabla.

(yi y ) 2

(yi a0 a1xi) 2

xi

yi

1
2
3
4
5
6
7

0.5
2.5
2.0
4.0
3.5
6.0
5.5

8.5765
0.8622
2.0408
0.3265
0.0051
6.6122
4.2908

0.1687
0.5625
0.3473
0.3265
0.5896
0.7972
0.1993

24.0

22.7143

2.9911

MTODOS NUMRICOS

UNIVERSIDAD NACIONAL DEL CENTRO

DEL PER

FACULTAD DE INGENIERIA

Solucin. Se calculan las siguientes cantidades:

x i yi =119.5

n=7

x =

28
=4
7

y =

24
=3 .42857 1
7

x i2=140

x i=28

y i=24

Mediante las ecuaciones:

a1 =

7 ( 119.5 )28(24)
=0.8392857
7 ( 140 )28 (28)

ao =3.428571 0.8392857( 4)=0.07142857

Por lo tanto, el ajuste por mnimos cuadrados es: y = 0.07142857 +
0.8392857x
CUANTIFICACIN DEL ERROR EN LA REGRESIN LINEAL
Cualquier otra lnea diferente a la calculada en el ejemplo anterior dar como
resultado una suma mayor de los cuadrados de los residuos. As, la lnea es
nica y, en trminos de nuestro criterio elegido, es la mejor lnea a travs de
los puntos. Varias propiedades de este ajuste se observan al examinar ms de
cerca la forma en que se calcularon los residuos. Recuerde que la suma de los
cuadrados se define como
n

S r = e i = ( y ia0a 1 x i )
i=1

i=1

Observe la similitud entre las ecuaciones. En el primer caso, el cuadrado del

residuo representa el cuadrado de la discrepancia entre el dato y una
estimacin de la medida de tendencia central: la media. En la ecuacin, el
cuadrado del residuo representa el cuadrado de la distancia vertical entre el
dato y otra medida de tendencia central: la lnea recta.
La analoga se puede extender an ms en casos donde 1. la dispersin de los
puntos alrededor de la lnea es de magnitud similar en todo el rango de los
datos, y 2. la distribucin de estos puntos cerca de la lnea es normal. Es
posible demostrar que si estos criterios se cumplen, la regresin por mnimos
cuadrados proporcionar la mejor (es decir, la ms adecuada) estimacin de a0
y a1 (Draper y Smith, 1981). Esto se conoce en estadstica como el principio de

MTODOS NUMRICOS

UNIVERSIDAD NACIONAL DEL CENTRO

DEL PER

FACULTAD DE INGENIERIA

mxima verosimilitud. Adems, si estos criterios se satisfacen, una desviacin

estndar para la lnea de regresin se determina como sigue.

S y / x=

Sr
n2

Donde a sy/x se le llama error estndar del estimado. El subndice y/x

designa que el error es para un valor predicho de y correspondiente a un valor
particular de x. Tambin, observe que ahora dividimos entre n 2 debido a que
se usaron dos datos estimados (a0 y a1), para calcular Sr; as, se han perdido
dos grados de libertad. Como lo hicimos en nuestro anlisis para la desviacin
estndar en PT5.2.1, otra justificacin para dividir entre n 2 es que no existe
algo como datos dispersos alrededor de una lnea recta que une dos puntos.
De esta manera, en el caso donde n = 2, la ecuacin da un resultado sin
sentido, infinito.
As como en el caso de la desviacin estndar, el error estndar del estimado
cuantifica la dispersin de los datos. Aunque, sy/x cuantifica la dispersin
alrededor de la lnea de regresin, a diferencia de la desviacin estndar
original sy que cuantifica la dispersin alrededor de la media.
Los conceptos anteriores se utilizan para cuantificar la bondad de nuestro
ajuste.
Esto es en particular til para comparar diferentes regresiones. Para hacerlo,
regresamos a los datos originales y determinamos la suma total de los
cuadrados alrededor de la media para la variable dependiente (en nuestro
caso, y). Como en el caso de la ecuacin anterior, esta cantidad se designa por
St. sta es la magnitud del error residual asociado con la variable dependiente
antes de la regresin. Despus de realizar la regresin, calculamos Sr, es decir,
la suma de los cuadrados de los residuos alrededor de la lnea de regresin.
Esto caracteriza el error residual que queda despus de la regresin. Es por lo
que, algunas veces, se le llama la suma inexplicable de los cuadrados. La
diferencia entre estas dos cantidades, St Sr , cuantifica la mejora o reduccin
del error por describir los datos en trminos de una lnea recta en vez de un
valor promedio. Como la magnitud de esta cantidad depende de la escala, la
diferencia se normaliza a St para obtener:

r 2=

S t S r
St

donde r 2 se conoce como el coeficiente de determinacin y r es el coeficiente

de correlacin
(=

r2

). En un ajuste perfecto, Sr = 0 y r = r2 = 1, significa que la lnea

explica el 100% de la variabilidad de los datos. Si r = r2 = 0, Sr = St el ajuste

no representa alguna mejora. Una representacin alternativa para r que es ms
conveniente para implementarse en una computadora es:

MTODOS NUMRICOS

UNIVERSIDAD NACIONAL DEL CENTRO

DEL PER

r=

FACULTAD DE INGENIERIA

n x i y i ( x i )( y i )

n x ( x ) n y ( y )
2
i

2
i

Planteamiento del problema. La curva de la figura 19.3 se describe por y =

1.7 + cos(4.189t + 1.0472). Genere 10 valores discretos para esta curva a
intervalos t = 0.15 en el intervalo de t = 0 a t = 1.35. Utilice esta informacin
para evaluar los coeficientes de la ecuacin mediante un ajuste por mnimos
cuadrados.
t

y cos(w0t)

y sen(w0t)

0
0.15
0.30
0.45
0.60
0.75
0.90
1.05
1.20
1.35

2.200
1.595
1.031
0.722
0.786
1.200
1.805
2.369
2.678
2.614

2.200
1.291
0.319
0.223
0.636
1.200
1.460
0.732
0.829
2.114

0.000
0.938
0.980
0.687
0.462
0.000
1.061
2.253
2.547
1.536

17.00
0

2.502

4.330

Estos resultados se utilizan para determinar:

A 0=

17.000
=1. 7
10

A 1=

2
2.502=0.500
10

B 1=

2
(4.330 )=0.866
10

De esta manera, el ajuste por mnimos cuadrados es:

y = 1.7 + 0.500 cos(w0t) 0.866 sen(w0t)
El modelo se expresa tambin en el formato de la ecuacin calculando:

=arctan

( )

B1
=1.0472
A1

y
C1= 1.00
cuyo resultado es y = 1.7 + cos(w0t + 1.0472)
o, en forma alternativa, con seno utilizando la ecuacin y = 1.7 + sen(w0t +
2.618)

MTODOS NUMRICOS

UNIVERSIDAD NACIONAL DEL CENTRO

DEL PER

FACULTAD DE INGENIERIA

APROXIMACION DE FOURIER
Los ingenieros a menudo tratan con sistemas que oscilan o vibran. Como es de
esperarse, las funciones trigonomtricas juegan un papel importante en el
modelado de tales problemas. La aproximacin de Fourier representa un
esquema sistemtico para utilizar series trigonomtricas con este propsito.
Una de las caractersticas distintivas del anlisis de Fourier es que trata con los
dominios del tiempo y de la frecuencia. Como algunos ingenieros requieren
trabajar con el ltimo, se ha dedicado gran parte del siguiente material a
ofrecer una visin general de la aproximacin de Fourier. Un aspecto clave de
esta visin ser familiarizarse con el dominio de la frecuencia. Luego de dicha
orientacin se presenta una introduccin a los mtodos numricos para
calcular transformadas de Fourier discretas.
f(x)

x2

x4

x2

x3
x4
1x

1
x3

a)
f(x)

1
cos 2t

cos 2t
sen 2t

sen t
wt

w
sen
sen 2t
t

cos t
cos t

b)

MTODOS NUMRICOS

UNIVERSIDAD NACIONAL DEL CENTRO

DEL PER

FACULTAD DE INGENIERIA

AJUSTE DE CURVAS CON FUNCIONES SINUSOIDALES

Una funcin peridica f(t) es aquella para la cual
f(t) = f(t + T)
Donde T es una constante llamada el periodo, que es el valor menor para el
cual es vlida la ecuacin. Entre los ejemplos comunes se encuentran diversas
formas de onda tales como, ondas cuadradas y dientes de sierra. Las ondas
fundamentales son las funciones sinusoidales.
En el presente anlisis se usar el trmino sinusoide para representar cualquier
forma de onda que se pueda describir como un seno o un coseno. No existe
una convencin muy clara para elegir entre estas funciones y, en cualquier
caso, los resultados sern idnticos. En este captulo se usar el coseno, que
generalmente se expresa como
f(t) = A0 + C1 cos(w0t + )
As, cuatro parmetros sirven para caracterizar la sinusoide. El valor medio A0,
establece la altura promedio sobre las abscisas. La amplitud C1 especifica la
altura de la oscilacin. La frecuencia angular w0 caracteriza con qu frecuencia
se presentan los ciclos. Finalmente, el ngulo de fase, o corrimiento de fase q,
parametriza en qu extensin la sinusoide est corrida horizontalmente. Esto
puede medirse como la distancia en radianes desde t = 0 hasta el punto donde
la funcin coseno empieza un nuevo ciclo. Como se ilustra en la figurA, un valor
negativo se conoce como un ngulode fase de atraso, ya que la curva cos(w0t
) comienza un nuevo ciclo de q radianes despus del cos(w0t). As, se dice que
cos(w0t ) tiene un retraso cos(w0t). En forma opuesta, como se muestra en la
figura, un valor positivo se refiere como un ngulo de fase de adelanto.
Observe que la frecuencia angular (en radianes/tiempo) se relaciona con la
frecuencia
f (en ciclos/tiempo) mediante:
w0 = 2f
y, a su vez, la frecuencia est relacionada con el periodo T (en unidades de
tiempo) mediante

f=

1
T

MTODOS NUMRICOS

UNIVERSIDAD NACIONAL DEL CENTRO

DEL PER

FACULTAD DE INGENIERIA

cos c0t w

cos (c0t)

t
8

a)
cos c0t + w
2

cos (c 0t)

b)
y(t)
C1

A0
T

8
1
0

t, s

2
2w

3w

ct, rad

a)
2
A0
1
B1 sen (c0t)
0
A1 cos (c0t)
1

b)

Aunque la ecuacin representa una caracterizacin matemtica adecuada de

una sinusoide, es difcil trabajar desde el punto de vista del ajuste de curvas,
pues el corrimiento de fase est incluido en el argumento de la funcin coseno.
Esta deficiencia se resuelve empleando la identidad trigonomtrica:

MTODOS NUMRICOS

UNIVERSIDAD NACIONAL DEL CENTRO

DEL PER

FACULTAD DE INGENIERIA

C1 cos(w0t + ) = C1[cos(w0t) cos() sen(w0t) sen()]

Sustituyendo y agrupando trminos se obtiene:
f(t) = A0 + A1 cos(w0t) + B1 sen(w0t)
Dnde:
A1 = C1 cos() B1 = C1 sen()
Dividiendo las dos ecuaciones anteriores y despejando se obtiene:

=arctan (

B1
)
A1

donde, si A1 < 0, sume a . Si se elevan al cuadrado y se suman las

ecuaciones llegaramos a:

C1 = A 21+ B21
As, la ecuacin representa una frmula alternativa de la que tambin requiere
cuatro parmetros; pero que se encuentra en el formato de un modelo lineal
general. Como se analizar en la prxima seccin, es posible aplicarlo
simplemente como base para un ajuste por mnimos cuadrados.
Sin embargo, antes de iniciar con la prxima seccin, se deber resaltar que se
puede haber empleado la funcin seno en lugar de coseno, como modelo
fundamental de la ecuacin. Por ejemplo,
f(t) = A0 + C1 sen(w0t + )
se pudo haber usado. Se aplican relaciones simples para convertir una forma
en otra:

sen(w0t + )= cos(w0t + - 2 ) y cos(w0t + )= sen (w0t + - 2 )

En otras palabras, = /2. La nica consideracin importante es que se
debe usar una u otra forma de manera consistente. Aqu, usaremos la versin
coseno en todo el anlisis.
SERIE DE FOURIER CONTINUA
En el curso del estudio de problemas de flujo de calor, con el anlisis de Fourier
se demostr que una funcin peridica arbitraria se representa por medio de

MTODOS NUMRICOS

UNIVERSIDAD NACIONAL DEL CENTRO

DEL PER

FACULTAD DE INGENIERIA

una serie infinita de sinusoides con frecuencias relacionadas de manera

armnica. Para una funcin con un periodo T, se escribe una serie de Fourier
continua.
f(t) = a0 + a1 cos(w0t) + b1 sen(w0t) + a2 cos(2w0t) + b2 sen(2w0t) +
donde: w0 = 2p/T se denomina la frecuencia fundamental y sus mltiplos
constantes
2w0, 3w0, etctera, se denominan armnicos. De esta forma, la ecuacin
expresa a f(t) como una combinacin lineal de las funciones base: 1, cos(w0t),
sen(w0t), cos(2w0t), sen(2w0t),
, los coeficientes de la ecuacin se calculan por medio de:
T

2
ak = f (t) cos( k w o t) dt
T 0
T

bk =

2
f (t) sen (k w o t) dt
T 0

Para

k = 1, 2, y

1
ao= T f (t ) dt
0

MTODOS NUMRICOS