Universidad de Chile Departamento de Ingeniera Matemtica

Clculo Numrico MA-33A

Mtodos Numricos para Sistemas de Ecuaciones Lineales

Gonzalo Hernndez Oliva
GHO SEL - MA33A 1

MN para SEL: Temario

1) Motivacin Aplicaciones SEL: a) Interpolacin Polinomial b) Mnimos Cuadrados c) Mtodo Simplex Optimizacin Lineal 2) Definiciones y Resultados Bsicos 3) Mtodos de Pivoteo (Directos) para SEL: Gauss y Gauss-Jordan 4) Anlisis de Error del Mtodo de Gauss
GHO SEL - MA33A 2

MN para SEL: Temario

5) Matriz Inversa y Determinante 6) Factorizacin de Matrices 7) Mtodos Iterativos para SEL a) Mtodo de Jacobi y Gauss-Seidel b) Mtodo de Relajacin SOR y Gradiente Conjugado c) Anlisis de Error de los Mtodos Iterativos d) Mtodos para Vectores y Valores Propios
GHO SEL - MA33A 3

MN para Sist. de Ecs. Lineales: 1) Motivacin 1: Interpolacin Polinomial

yi = p ( xi ) = ak xi k
k =0 n

Dados (n+1) puntos ( xi , yi ) Encontrar un polinomio de grado n tal que:

p(xi ) = yi i =1,..., n +1
x

yi
x x x x

x x x

p(x)

xi
GHO SEL - MA33A 4

MN para Sist. de Ecs. Lineales: 1) Motivacin 1: Interpolacin Polinomial

yi = p ( xi ) i = 1,..., (n + 1) yi = p ( xi ) = ak xi k
k =0 n

1 1 1
GHO

x1 x2 x3

x2 1 x2 2 x2 3

xn 1 xn 2 xn 3
SEL - MA33A

a0 a1 a2 an

y1 y2 y3 y n1
5

n 1 x n 1 x 2 n 1 x n 1

MN para Sist. de Ecs. Lineales: 1) Motivacin 2: Mnimos Cuadrados

yk = 0 + 1 xk
Nube de puntos con tendencia lineal

yi

++ ++ ++ ++ + + + + + + + + ++ + + + + + + + ++ + + + ++ + + + + + +++ + + +

Dados n puntos (xi , yi ) Encontrar la recta que mejor los representa:

min [ yk ( 0 + 1 xk )]
0 , 1
k =1

xi
GHO SEL - MA33A 6

MN para Sist. de Ecs. Lineales: 1) Motivacin 2: Mnimos Cuadrados

GHO

SEL - MA33A

MN para Sist. de Ecs. Lineales: 1) Motivacin 2: Mnimos Cuadrados

Sea f [a, b] . Se quiere determinar un polinomio pn ( x) de grado n segn MCC:

min T = [ f ( x) pn ( x) ] dx
2 pn ( x ) a b

Ecuaciones Normales:
a x 0 dx a x 1 dx a x dx a x dx
1 2 b b b b

tes n Matriz tipo Hilbert ! c ie i f e co

bi + j +1 a i + j +1 ij = i + j +1

a x 2 dx a x n dx
b 3 x dx a

a0 a1 an

a x 0 f xdx a x 1 f xdx

a x
b

n 1

dx

b
GHO

b n 1 b

n 2

2n

a x dx a x dx a x dx SEL -MA33A x dx a
n

a x n f xdx

MN para Sist. de Ecs. Lineales: 1) Motivacin 2: Mnimos Cuadrados

Sea f ( x) = sin( x) . Determinemos p3 ( x)

polinomio de grado 3 segn MC:
1 1/2 1/3 1/4 1/2 1/3 1/4 1/5 1/3 1/4 1/5 1/6 1/4 1/5 1/6 1/7
2

a0 a1 a2 a3

2/ 1/
sin(pi*x) v/s p 3(x)
1 0.8 /3 2 4 0.6 2 6 /3 0.4

sin(pi*x) v/s -1/20+103/25x-103/25x

p3 ( x) = 4.12x + 4.12x 0.05

0.2

GHO

0 0.1 SEL - MA33A

0.2

0.3

0.4

0.5

0.6

0.7

0.8

0.9

91

MN para Sist. de Ecs. Lineales: 1) Motivacin 2: Mnimos Cuadrados

Ejemplo 1:
f ( x) = sin( x)

f ( x) = sin( x)
GHO SEL - MA33A

p ( x) = ak xi
k =0

5,6

k
10

MN para Sist. de Ecs. Lineales: 1) Motivacin 2: Mnimos Cuadrados

Ejemplo 2:
0.5 0.4 0.3 0.2 0.1 0 -0.1 -0.2 -0.3 -0.4 -0.5 -5 y=x/(x 2+1) 7th degree 9th degree

x f ( x) = 2 x +1

p ( x) = ak xi k
p ( x) = ak xi k
k =0

k =0 9

-4

-3

-2

-1

GHO

SEL - MA33A

11

MN para Sist. de Ecs. Lineales: 1) Motivacin 3: Programacin Lineal

z
t min c x n x

cT x = ck xk
k =1

Ax b x0
Regin Factible

Ax b x0
x1
GHO SEL - MA33A

x2 Vrtices

12

MN para Sist. de Ecs. Lineales: 2) Defs. y Resultados Bsicos 1

Resolver un sistema de n ecuaciones lineales y
n incgnitas consiste en determinar los valores de las variables: x1 , x2 , ... , xn tales que, dados: A = (aij) y b = (bi) (i =1,...,n ; j =1,...,n) se satisfagan las ecuaciones: Ax = b

. . .
GHO

a11 . . a21 . an1

a12 a1n x1 b1 . . a22 . a2 n .x2 b2 . . = an 2 ann xn bn

SEL - MA33A

13

MN para Sist. de Ecs. Lineales: 2) Defs. y Resultados Bsicos 2

Todo SEL se puede resolver bien

numricamente ? Sea A mn invertible y b m. Entonces es posible demostrar que si se perturba A o b se tiene:
x A 1 A A x+x A
x
GHO

(1)

b
b

(2)
14

SEL - MA33A

MN para Sist. de Ecs. Lineales: 2) Defs. y Resultados Bsicos 3

La norma de C mn se define segn:

C
n n n = max cij = max c1 j ,..., cnj i =1,...,n i =1,...,n j j =1 1 = j =1

Se define el nmero de condicionamiento*

de A segn:

cond ( A) = A A
SEL - MA33A

Se tiene que: cond (A) 1.

GHO

*Revisar clculo del cond(A) en Matlab

15

MN para Sist. de Ecs. Lineales: 2) Defs. y Resultados Bsicos 4

Veamos un ejemplo:
A=
0.550 0.423 0.484 0.372 0.550 0.423

b=

0.127 0.112 0.127 0.112

x =

1 -1 -0.4536 0.89

A+A =

0.48 3 0.372

b=

x =

Se tiene: cond(A) = 0.9737833.3 = 7621.8 !!! El sistema es mejor condicionado si se tiene

que cond (A) esta cerca de 1 (Mat. de Hilbert)
GHO SEL - MA33A 16

MN para Sist. de Ecs. Lineales 3) Mtodo de Gauss 1

Sin Anulacin de Pivote: Parte 1: Eliminacin de variables bajo la diagonal en las ecuaciones mediante operaciones elementales:
Multiplicar una ecuacin por un real Sumar dos ecuaciones Se entonces producen ceros bajo la diagonal.

Parte 2: Sustitucin backward de las variables

GHO

en las ecuaciones

SEL - MA33A

17

MN para Sist. de Ecs. Lineales 3) Mtodo de Gauss 2

Sustitucin Backwards:

xn =

u n ( n +1) u nn u k ( n +1) u kj x j j = k +1
n

1 xk = u kk

k = ( n 1),...,1

Veamos un ejemplo.
GHO SEL - MA33A 18

MN para Sist. de Ecs. Lineales: 3) Mtodo de Gauss 3

Estrategias de Pivoteo

En la iteracin k de la primera etapa del

mtodo de Gauss es posible que el pivote akii (elementos de la diagonal de la ecuacin i) se anule. En este caso se permuta la ecuacin i con la ecuacin m de mayor pivote en mdulo (pivoteo parcial): . . k k . todo j = i+1,,n | a mi | | a ji | para

Investigue la estrategia de pivoteo completo

GHO SEL - MA33A 19

MN para Sist. de Ecs. Lineales: 3) Mtodo de Gauss 4: # de Ops

Una medida de la eficiencia de un algoritmo

es el tiempo que demora en ejecutarse, el cual es proporcional al nmero de operaciones aritmticas (ops) Ops_Gauss(n) =
,,

(n - i)(2n - 2i + 6)
i=1 n

n-1

Parte 1

O(n3)

+
Parte 2

(2i - 1)
i=1
SEL - MA33A

O(n2)
20

GHO

MN para Sist. de Ecs. Lineales: 3) Mtodo de Gauss - Jordan:

El mtodo de Gauss Jordan consiste en

aplicar 2 veces la primera parte del mtodo de Gauss, es decir: triangularizar superior e inferiormente la matriz A Ops_G-J(n) =
, ,

(n - i)(2n - 2i + 6)
i=1

n-1

Parte 1

O(n3)

4i + n
i=1
SEL - MA33A

n-1

+
Parte 2

O(n2)
21

GHO

MN para Sist. de Ecs. Lineales: 4) Anlisis de Error del M. de Gauss:

Es posible hacer un anlisis de propagacin

de errores, que se obtienen al realizar las operaciones aritmticas de la primera y segunda etapa del mtodo de Gauss o Gauss Jordan

Se demuestra que esta propagacin de

errores disminuye si se utiliza alguna tcnica de pivoteo (parcial o completo)
GHO SEL - MA33A 22

MN para Sist. de Ecs. Lineales: 5) Matriz Inversa y Determinante 1:

Matriz inversa A: Se aplica el mtodo de

Gauss Jordan al SEL aumentado con las columnas de la matriz identidad
a 11 a 12 a 1n a 21 a 22 a 2n
GHO

1 0 0 0 1 0
23

a n1 a n2 a nn

0 0 1

SEL - MA33A

MN para Sist. de Ecs. Lineales: 5) Matriz Inversa y Determinante 2:

El det(A) se puede definir recursivamente

mediante la frmula de Laplace:

det( A) = (1)
j =1

i+ j

aij det( Aij )

Matriz Cofactor ij de A Se obtiene eliminando fila i y columna j

Frmula vlida para cualquier fila i o columna j

GHO

SEL - MA33A

24

MN para Sist. de Ecs. Lineales: 5) Matriz Inversa y Determinante 3:

Propiedades del Determinante:
a) Si todos los coeficientes de una fila o columna de A son ceros det(A) = 0 b) Si dos o ms filas o columnas de A son linealmente dependientes det(A) = 0 c) Si se reemplaza la fila i (Fi) por la fila j (Fj) donde i j entonces det(A) = -det(A) d) Si se reemplaza la fila i (Fi) por (Fi + Fj) donde i j entonces det(A) = det(A)
GHO SEL - MA33A 25

MN para Sist. de Ecs. Lineales: 5) Matriz Inversa y Determinante 4:

Propiedades del Determinante:
e) Si A y B son dos matrices cuadradas de igual tamao: det(AB) = det(A)det(B) f) det(At) = det(A) g) Si A es invertible: det(A-1) = 1/det(A) h) Si A es una matriz triangular inferior, superior o diagonal:

det( A) = akk
GHO SEL - MA33A

k =1

26

MN para Sist. de Ecs. Lineales: 5) Matriz Inversa y Determinante 5:

Para calcular el det(A) se aplica el mtodo de

Gauss y la descomposicin A = LU:

Efectivamente, si se puede triangularizar la

matriz A, entonces: PA = LU det(A) = det(PTLU) det(A) = det(PT)det(L)det(U) = det(PT)det(U)
det(U ) = ukk
GHO

k =1

SEL - MA33A

27

MN para Sist. de Ecs. Lineales: 6) Factorizacin de Matrices 1: A=LU

Descomposicin A = LU (Alg. Gauss)

1 m21 m31 mn1 0 1 m32 mn2 0 0 0 0 0 u11 0 0 u12 u22 0 u1n-1 u2n-1 un-1n-1 0 u1n u2n

1 mnn-1

GHO

unn

A = LU
SEL - MA33A

U
28

MN para Sist. de Ecs. Lineales: 6) Factorizacin de Matrices 2: Crout

Una matriz A cuadrada es tridiagonal si sus

coeficientes no nulos se ubican en las diagonales principal y secundarias
a 11 a 12 0 0 0
GHO

0 0

0 0 0 0
29

a 21 a 22 a 23 A 0 0

a 32 a 33 a 34 a 43 a 44 0

a nn 1 a nn

SEL - MA33A

MN para Sist. de Ecs. Lineales: 6) Factorizacin de Matrices 3: Crout

Una matriz A cuadrada tridiagonal puede ser

factorizada segn A=LU donde:
l 11 0 0 0 0 0 0 0 0 0 0 0 0 0 l 21 l 22 0 0

1 u 12 0 0 0 1 0 0

0 1

0 0 0 1

l 32 l 33

u 23

l 43 l 44 0

u n 1n

l nn 1 l nn

GHO

U
SEL - MA33A 30

MN para Sist. de Ecs. Lineales: 6) Factorizacin de Matrices 4: Crout

Mtodo de Crout para matrices tridiagonales:

Paso 1:
l 11 u 12 a 11 a 12 l 11

Paso 2: Para i=2,,n-1 l i i1 a i i1

l ii a ii l i i1 u i1 i a i i1 u i i1 l ii
31

Paso 3:
GHO

l n n1 a n n1

l nn a nn l nn1 u n1 n
SEL - MA33A

MN para Sist. de Ecs. Lineales: 6) Fact. de Matrices 5: Cholesky

Una matriz cuadrada A es definida positiva

si y solo si: xtAx > 0 para todo x n

Teorema: Si A es definida positiva:

a) det(A) 0 b) akk > 0 para todo k=1,,n
akj max akk c) 1max k , j n 1 k n

d) (aij ) 2 < aii a jj i j

GHO SEL - MA33A 32

MN para Sist. de Ecs. Lineales: 6) Fact. de Matrices 6: Cholesky

Teorema: A es definida positiva si y solo si

los determinantes de las matrices cofactores principales son positivos: det(Akk) > 0 para todo k=1,,n. a11 a1k Matriz cofactor Akk = principal k ak1 akk
GHO SEL - MA33A 33

MN para Sist. de Ecs. Lineales: 6) Fact. de Matrices 7: Cholesky

Teorema: A es definida positiva si y solo si

puede factorizarse como A = LLT donde L es una matriz triangular inferior con lii > 0 para todo i=1,,n.

En este caso para resolver un SEL Ax = b

se debe aplicar la sustitucin forward backward
GHO SEL - MA33A 34

MN para Sist. de Ecs. Lineales: 6) Fact. de Matrices 8: Met. Cholesky

Paso 1: l 11
a 11

Paso 2: Para j=2,,n l j1 a j1 /l 11 Paso 3: Para i=2,,n-1 l ii

a ii

l2 ik
k 1

i1

1/2

a ji

ljk l ik
k 1

i1

Para j=(i+1),,n l ji Paso 4: l nn

GHO

a nn

l2 nk
k 1

n1

1/2

l ii
35

SEL - MA33A

MN para Sist. de Ecs. Lineales: 6) Fact. Matrices 9: Ortogonalizacin

Factorizacin QR:
A = QR Q matriz ortogonal: QtQ = I (Gram-Schmidt) R = QtA Factorizacin SVD: Anxm = USVt Unxn , Vmxm matrices ortogonales Snxm matriz valores singulares (raz v.p. At*A)
GHO SEL - MA33A 36

MN para Sist. de Ecs. Lineales: 7) Mtodos Iterativos para SEL 1:

Mtodos Iterativos: x x
(0)

n (k)

(k+1)

= F(x )

k0

Los mtodos para SEL son de la forma: F(x ) = Bx donde B

GHO

(k)

(k)

+h

nn

,h

n
37

SEL - MA33A

MN para Sist. de Ecs. Lineales: 7) Mtodos Iterativos para SEL 2:

En general se construyen B y h de la
siguiente forma: Sean M y N tales que: M es invertible y A = M N Entonces: -1 -1 Ax = b Mx = Nx + b x = M Nx + M b
nn

Esto sugiere definir:

B=M N y h= M b
GHO SEL - MA33A 38

-1

-1

MN para Sist. de Ecs. Lineales: 7) Mtodos Iterativos para SEL 3:

Luego, si descomponemos A = (aij ) invertible

segn: A = diag(A) + low(A) + up(A)

Donde diag(A) , low(A) , up(A)

definen segn: aij diag(A)ij =
GHO

nn

se

si i = j si i j
39

SEL - MA33A

MN para Sist. de Ecs. Lineales: 7) Mtodos Iterativos para SEL 4:

aij low(A)ij = 0 aij up(A)ij = 0 si i > j si i j si i < j si i j

En base a estas definiciones se tienen los

mtodos de Jacobi y Gauss - Seidel
GHO SEL - MA33A 40

MN para Sist. de Ecs. Lineales: 7) Mtodos Iterativos para SEL 5:

Jacobi: define M y N segn:

M = diag(A) N = -[low(A) + up(A)] B = - diag(A) [low(A) + up(A)] h = diag(A) b
GHO SEL - MA33A 41

-1

-1

MN para Sist. de Ecs. Lineales: 7) Mtodos Iterativos para SEL 6:

Si x(k) = (xi(k)) i = 1,,n es el vector de la

iteracin k del mtodo de Jacobi, entonces satisface la siguiente frmula iterativa:

xi
GHO

(k )

n a x ( k 1) + b ij j i = 1 j j i 1 i n, k = 1, 2,3... = aii
SEL - MA33A 42

MN para Sist. de Ecs. Lineales: 7) Mtodos Iterativos para SEL 7:

Gauss - Seidel: define M y N segn

M = [diag(A) + low(A)]
-1

N = - up(A)

B = - [diag(A) + low(A)] [up(A)] h = [diag(A) + low(A)] b

-1

J y G-S convergen x0 si A es estrictamente

diagonal dominante: n akk > j =1, j k akj k = 1,..., n
SEL - MA33A

GHO

43

MN para Sist. de Ecs. Lineales: 7) Mtodos Iterativos para SEL 8:

Si x(k) = (xi(k)) i = 1,,n es el vector de la

iteracin k del mtodo de Gauss-Seidel, satisface la siguiente frmula iterativa:

xi

(k )

i 1 (k ) a x ij j j =1 =

j =i +1

a x
ij

( k 1) j

aii

+bi 1 i n, k = 1, 2,3...

GHO

SEL - MA33A

44

MN para Sist. de Ecs. Lineales: 7) Mtodos Iterativos para SEL 9:

Si x(k) = (xi(k)) i = 1,,n es el vector de la

iteracin k del mtodo de SOR, satisface la siguiente frmula iterativa:

n i 1 (k ) ( k 1) +bi aij x j aij x j j =1 j =i +1 ( k 1) = (1 ) xi + aii

xi ( k )

1 i n, k = 1,2,3...
GHO SEL - MA33A 45

MN para Sist. de Ecs. Lineales: 7) Mtodos Iterativos para SEL 10:

Para matrices tridiagonales y definidas

positivas, el valor ptimo de est dado por la frmula:

Donde:

2 1 1T
1

TJ = [ Diag ( A)] ( Low( A) + Up ( A)) TG = [ Diag ( A) + Low( A)] Up ( A)

1
SEL - MA33A 46

GHO

MN para Sist. de Ecs. Lineales: 7) Mtodos Iterativos para SEL 11:

Si A es definida positiva, el mtodo del

gradiente conjugado est dado por:
min q ( x) = x Ax x b Ax = b n
x 1 2 t t

Paso 0: x , g = Ax b, d = g
0 n 0 0 0

(g ) d Paso 1: = k t k (d ) Ad k +1 k k k Paso 2: x = x + d
k
GHO SEL - MA33A 47

k t

MN para Sist. de Ecs. Lineales: 7) Mtodos Iterativos para SEL 12:

Mtodo del gradiente conjugado: k +1 k +1 Paso 3: g = Ax b k +1 t k ( g ) Ad k Paso 4: = k t k (d ) Ad k +1 k +1 k k Paso 5: d = g + d Si no hay errores de redondeo el mtodo
GHO

del gradiente conjugado converge en a lo ms n iteraciones.

SEL - MA33A

48

MN para Sist. de Ecs. Lineales: 7) Mtodos Iterativos para SEL 13:

Anlisis de Error de los Mtodos Iterativos

Es posible hacer un anlisis de propagacin

de errores que se obtienen al realizar las operaciones aritmticas de las iteraciones del mtodo de Jacobi y Gauss Seidel Si x(k) es la iteracin k de J o G-S y Ax = b:
xx x
GHO

(k )

A A

b Ax b

(k )

SEL - MA33A cond(A)

49

MN para Sist. de Ecs. Lineales: 7) Mtodos Iterativos para SEL 14:

Si A es una matriz cuadrada, el polinomio en

definido por: p() = det(A- I) es el polinomio caracterstico de A

El polinomio p es de grado n y tiene a lo ms

n races distintas (complejas). Estas races de p se denominan valores propios de A.
GHO SEL - MA33A 50

MN para Sist. de Ecs. Lineales: 7) Mtodos Iterativos para SEL 15:

Definicin: El radio espectral de A: (A) se

define como: (A) = max | i |
i=1,,n

donde i es un valor propio de A

Proposicin: Si A es una matriz cuadrada:

a) || A ||2 = (AtA) b) (A) || A ||
GHO SEL - MA33A 51

MN para Sist. de Ecs. Lineales: 7) Mtodos Iterativos para SEL 16:

La relacin entre mtodos iterativos para

SEL y valores propios la establece los siguientes resultados: Proposicin: Si xk es la iteracin k de un mtodo iterativo para un SEL que tiene la forma: xk+1 = Txk + c y Ax = b Entonces: Para k || xk x || (T)k || x0 x ||
GHO SEL - MA33A 52

MN para Sist. de Ecs. Lineales: 7) Mtodos Iterativos para SEL 17:

Proposicin: Si xk es la iteracin k de un
mtodo iterativo para un SEL que tiene la forma: xk+1 = Txk + c y Ax = b Entonces: xk x ssi (T) < 1

Proposicin: Si los mtodos de Jacobi y

Gauss-Seidel convergen se tiene que:
GHO

0 (TGS) < (TJ) < 1

SEL - MA33A

53

Bibliografa
1) R. Burden & J. D. Faires, Anlisis Numrico, Sptima Edicin, Thomson Learning, 2002. 2) J. Stoer & R. Burlisch, Introduction to Numerical Analysis, Second Edition, Springer, 1992. 3) G. Hernndez O.: Apuntes de Clculo Numrico 2007
GHO SEL - MA33A 54