Algebra matricial Clcul Matricial bsic per l'AM a a

Esborrany de classe
Frederic Udina 2008 October 8, 2009

En aquests fulls introdurem eines de clcul matricial necessries en AM. Introdurem primer  a a  matrius i vectors associats a una matriu de dades, desprs desenvoluparem resultats d'algebra e matricial per l'AM.

1


Vectors i matrius
x, un vector, s vector columna [n 1] e x H , vector trasposat, s vector la, [1 n], x H = (x1 , x2 , . . . , xn ). e y H x s el producte escalar e x Hx =
i i

Vegeu Hardle-Simar 2.1

yi xi .

x2 s la norma euc. al quadrat, la norma |x| = (x H x)1/2 . x/|x| s un vector unitari. e i e

xy H s la matriu [n n] de productes xi yj , s una matriu de rang 1. e e

Si s l'angle entre els vectors u i v, cos = e

X H , la trasposta, s [p n] e

u 0v |u||v|

. Si u H v = 0, u i v sn ortogonals. o

X, matriu de dades [n p], n les (casos), p columnes (variables)

Si A s quadrada, A H = A vol dir que s simtrica. e e e

Repassem: suma de vectors, interpretaci geomtrica, dependncia i independncia linial, o e e e bases, etc. Repassem: suma de matrius, propietats.

1.0.1

Repassem el producte de matrius [n m] es pot multiplicar per [m p] i dona [n p] H X s la matriu de productes de les columnes de X: si X = (xij ), el terme i, j del producte X e X H X s e xki xkj i el terme i, i s e x2 .
k k ki

XX H s la matriu dels productes de les les: si X = (xij ), el terme i, j del producte XX H s e e 2 e k xik xjk i el terme i, i s k xik .

Propietats del producte matricial



Les habituals per suma i producte excepte que el producte no s commutatiu. e Si D s matriu diagonal, DX escala les les, XD escala les columnes. e Recordeu que una matriu quadrada A t inversa si existeix una matriu B de iguals dimene sions tal que AB = BA = I. La inversa es denota amb A1 i s unica. Condici necessria e  o a i sucient per a l'existncia d'inversa s que el determinant sigui diferent de zero. e e No sempre hi ha inversa!
(AB) H = B H A H AC = BC no implica A = B

Per A quadrada, si A H A = I diem que A s ortonormal (ja que els seus vectors columna ho e H A s diagonal, diem que A s ortogonal. sn), si A e o e Si A s ortonormal, s fcil veure que el seu determinant no s zero, i que la inversa s e e a e e precisament la trasposta.
Canvis de base

1.0.2

Si els vectors vi = (v1i , . . . , vpi ) H , i = 1, . . . , p sn una nova base de p , la matriu de canvi de o base V = (vij ) t els vectors de la base en columnes i per obtenir els components de x en la nova e base cal calcular y = V H x, el component i ser yi = viH x. Si la nova base s ortogonal, V H V = I. a e Exemple en 2 . Una nova base ortogonal podria ser:
3 1 H 1 3 H , ) , ( , ) , i la matriu seria... ( 2 2 2 2
p p

Les dades com a matriu. C`lcul de mitjanes, vari`ncies, estandarditzaci a a o



H Denotem 1n = (1, . . . , 1) H el vector de n uns. 1n 1n = n.

Vegeu Hardle-Simar 3.3

X H 1n /n = vm , vector de mitjanes, [p 1]

H H 1n vm = 1n 1n X, matriu [n p] amb columnes constants, la columna j cont n cpies de la e o mitjana de la variable j. H Per tant Xc = X 1n 1n X/n s la matriu de dades centrades. e H M = I 1n 1n /n s la matriu centradora: Xc = MX. e H S = Xc Xc /n matriu de varincies/covarincies. a a
vv = diag(S) vector de les varincies. a vsd = v1/2 vector de desviacions estndard. 1/vsd vector d'inverses de les desviacions a

estndard. a

diag(1/vsd ) s la matriu diagonal amb aquest vector a la diagonal. e

Xs = Xc diag(1/vsd ) matriu de dades estandarditzades. R = Xs H Xs /(n 1) matriu de correlacions.

Vegeu women-tracks.R per la traducci a R de tot aix. o o

3
3.1

Ms sobre matrius e
Vegeu Hardle-Simar 2.1

Rang duna matriu

Rang, r(A), d'una matrix A[np] , s el nmero de les (o de columnes) de A que sn linealment e u o independents. Tamb, el rang s el mnim ordre d'una descomposici de A en producte de matrius: e e  o r(A[np] ) = min{r : A = B[nr] C[rp] } Es compleix r(AB) min(r(A), r(B))

3.2

Operador TRACA

Si A = (aij ) s matriu quadrada [n n], denim e tr(A) =

i

aii

Propietats: 1. tr(A) = tr(A H ) 3

2. tr(A + B) = tr(A) + tr(B) 3. tr(A) = tr(A) 4. Si AB s quadrada, tr(AB) = tr(BA) e 5. Per A[nr] ,
i,j

a2 = tr(A H A) = tr(AA H ) ij

6. Si B s invertible, tr(A) = tr(B1 AB). Per tant, un canvi de base no canvia la traa. Si e c 1 la nova base s ortonormal, la matriu B AB ser diagonal i la traa ser la suma de la e a c a diagonal.

3.3

Matrius de formes quadr`tiques a

Vegeu Hardle-Simar 2.3 H Bx s'anomena FORMA QUADRATICA. Una funci de x (vector [p 1]) del tipus x o Podem suposar que la matriu B s simtrica, ja que e e
1 1 1 x H Bx = x H Bx + x H B H x = x H (B + B H )x 2 2 2

e ens mostra com canviar B per una simtrica A = 1 (B + B H ) si no ho s. e 2 H Ax > 0, per tot x T= 0. La matriu A (o la FQ) s diu denida positiva (d.p.) quan x e La matriu A (o la FQ) s diu semidenida positiva (s.d.p) quan x H Ax ! 0, per tot x. e Per exemple, una matriu de la forma S = X H X, ha de ser s.d.p. ja que, per qualsevol vector x,
x H Sx = x H X H Xx = (Xx) H Xx = y H y ! 0

(on hem posat y = Xx)

Valors i vectors propis duna matriu sim`trica e

Vegeu Hardle-Simar 2.1 i 2.2, Teorema 2.1 Suposem A quadrada [n n]. Direm que u (vector [n 1]), u T= 0, s vector propi de A de valor e propi , quan Au = u. s el valor propi. e Propietats: 1. Si u s vector propi de A tamb ho s u, per qualsevol real, amb el mateix valor propi e e e . 2. Si A s s.d.p. aleshores, tot valor propi s no negatiu. e e Prova: Au = u implica que 0 ! 0.
u H Au = u H u; i com que u H u
!

0, tenim que

3. Si u, v sn vectors propis de A, de valors propis 1 , 2 , 1 T= 2 , aleshores o (a) u i v sn linealment independents. o 4

Prova: Si fos u = v, aleshores 1 v = 1 u = Au = Av = 2 v, de manera que (1 2 ) = 0, s a dir = 0, u i v serien linealment dependents. Qed. e (b) En el cas de A matriu simtrica, aleshores u i v sn ortogonals. e o Prova: Au = u u, Av = v v, amb u T= v . De Au = u u, tenim que v H Au = u v H u, per tant v H Au = (v H A)u = (A H v) H u = (Av) H u = (v v) H u = v v H u ha de ser igual a u v H u. Donat que u T= v aix solament s possible si v H u = 0. o e 4. Si V t a les columnes vectors propis de A i s la matriu diagonal que els valors propis e e corresponents, llavors es compleix AV = V

4.1

Descomposici espectral duna matriu sim`trica o e

Amb aix anterior hem demostrat el o

Teorema de la descomposicio espectral Donada A real [p p] amb A H = A, existeix V, tal que A = VV H , (o tamb AV = V) amb = d e 0, V H V = VV H = I (s a e

dir, V ortogonal). (Sense perdre generalitat, els elements de la diagonal de els podem considerar ordenats en ordre no ascendent). Noteu (i feu-ne la comprobaci) que: o

1. A = VV H s el mateix que AV = V, de manera que les columnes de V sn vectors e o propis de A, de valor propi el corresponent element de la diagonal de . 2. A = VV H es pot escriure tamb com: e
H H H A = 1 v1 v1 + 2 v2 v2 + + p vp vp .

Aix s'anomena la descomposici espectral de la matriu A, ja que la hem descomposat en o o la suma matrius de rang 1 (o zero si el valor propi s zero). e
H Cada matriu k vk vk est formada per columnes que totes sn mltiples de vk i a o u per tant t rang 1. Per comprovar la igualtat de la descomposici, comproveu que e o H s k vik vjk , on (v1k , . . . , vpk ) H = vk de manera que el terme i, j del sumand k vk vk e V = (vik ).

3. Si els r primers elements de la diagonal de sn diferents de zero, i els restants sn zero, o o aleshores r(A) = r. 4. Si A es s.d.p., els elements de la diagonal de sn positius o zeros. o 5. tr(A) = 1 + + p , on els j sn els valors propis, i el determinant s |A| = o e
p i=1

i .

Aix ens portar a COMPONENTS PRINCIPALS, tema segent: o a u Si tenim dades Z (posem que estandarditzades), = V(Z) i posem = VLV H , amb VV H = I, i L, diagonal de valors propis posem Y = V H Z, amb V(Y) = L, s a dir les noves variables Y e sn combinacions linials de les antigues Z, capturen les direccions de mxima varincia, tenen o a a covarincies zero i altres propietats interessants... sn els components principals de Z. a o

4.2
4.2.1


Distribucions de probabilitat multivariants

Vegeu Hardle-Simar Cap. 4, molt ms extens e
Vectors aleatoris x = (x1 , x2 , ..., xp ) H , vector aleatori [p 1]. Ara, cada xi s una variable aleatoria. e

Vector de mitjanes: = Ex = (Ex1 , Ex2 , ..., Exp ) H , vector numric [p 1]. e Matriu varincia (o de covarincies), s una matriu numrica [p p]. V(x) = = (ij ) = a a e e (E(xi i )(xj j )), ij = Cov(xi , xj ), ii = V(xi ). Noteu que aqu la varincia no s 2  a e sin ii . o

Si tenim dos vectors aleatoris, x, y,



La covarincia entre x i y, s una matriu numrica [p p] donada per xy = Cov(x, y) := a e e H E(x )(y )
x y

Propietats: Si x, y, z sn vectors aleatoris [p 1] i a s vector numric [p 1], o e e 1. Cov(x + y, z) = Cov(x, z) + Cov(y, z) 2. Si a s un vector numric constant, Cov(a, x) = 0 i, per tant, Cov(a + x, y) = Cov(x, y) e e 3. Cov(x, x) = V(x) Si sobre x (vector aleatori [p 1]) efectuem una transformaci lineal y = a + Ax, amb A o matriu numrica [q p], tindrem y i a [q 1]. Es complir: e a 1. y = a + Ax 2. yy = Axx A H 3. Si p = q, Cov(Ax, By) = ACov(x, y)B H = Axy B H Si fem un canvi de base y = V H x, amb VV H = I i teniem V(x) = , tindrem V(y) = V H V. I a la inversa, si descomposem V(x) = = VLV H , amb VV H = I, i posem y = V H x, llavors tindrem V(y) = V H V = V H VLV H V = L.

4.2.2

La distribuci normal o

Vegeu Hardle-Simar 4.4

Reminder of the univariate case

We say that X N(, 2 ) when the density funcion is

f(x) = 1 x 2 exp ( ) /2 2
p

Note that we may see

Multivariate case

as the distance between x and measured in standard units.

For a random vector X = (X1 , . . . , Xp ) H , let = (1 , . . . , p ) H be the vector of means and let = (ij ) the matrix of covariances:
ij = Cov(Xi , Xj ), ii = V(Xi ), SD(Xi ) =
p

ii

Let's suppose that is positive denite, then its inverse 1 dene a distance in Rp : dist(x, y)2 = (x y) H 1 (x y) (similarly as (x ) 12 (x ) in the 1-D case before). We say that the random vector X has multivariate normal distribution Np (, ) if its density function is 1 1 f(x) = exp (x ) H 1 (x ) p/2 1/2
(2) || 2

where || denotes determinant of .

0.3 0.25 0.2 0.15 0.1 0.05 0 2 1 y0 1 2 2 1 0x 1 2

Properties of the multivariate normal distribution

Vegeu Hardle-Simar 5.1 If X Np (, ) then 1. Any linear combination a H X = a1 X1 +a2 X2 + +ap Xp has normal distribution N(a H , a H a). 2. In particular, the marginals Xi are normal N(i , ii ) 7

3. If we combine several linear combinations of X into a random vector like in AX, where A is a [a p] matrix, then the qvector AX has also normal distribution Nq (A, AA H ). 4. As a consequence, any subset of components of X has also normal distribution.
Note that in the following lines we are using block vectors and matrices, that is, vectors formed by concatenating vectors, or matrices formed by joining conforming matrices. In all cases, boldface letters are for vectors or matrices. For univariate normals, uncorrelation implies independence, for multiv. normals too:

Let X =

"

X1 X2

a random vector formed by two vectors X1 , X2 of lengths q1 , q2 . Then

its vector of means can be written =

"

"

11 12 12 22

1 , and the cov. matrix can also be split as = 2

Then, X1 and X2 are independent if and only if 12 = 0. Also, if # 1 and X2 are independent and distributed " Nq1 (1 , 1 ) and Nq2 (2 , 2 ) resp., then X " " # as #!
X= X1 X2

is normal, distributed as Nq1 +q2

1 2

Example: X = (X1 , X2 , X3 ) H N3 (, ) with = independent normals.

2 6 6 4

11 0 0 22

4 1 0 7 1 3 0 7. Then (X1 , X2 ) H and X3 are 5 0 0 2

4.3
4.3.1

Interpretaci geom`trica o e
Vegeu Hardle-Simar 4.4, 2.6
Cas p=2
2

y 1

1 x

(Considerem noms el cas ms senzill en qu les dues variables estan estandarditzades) e e e " Tenim en R un vector Z = (z1 , z2 ) N2 (0, R) amb matriu de correlacions R =
2

t R e

"

1 1r2

Les corbes de nivell f(Z) = k sn u H R1 u = c i aix s l'eqaci d'una elipse. o oe u o Per trobar l'eix principal de l'elipse, hem de trobar el vector u d'entre els de l'elipse que tingui llargada mxima, o sigui, hem de resoldre a max |u| s.t. u H R1 u = c u
H La soluci a aquest problema s un vector propi u1 de R que t valor propi 1 = u1 u1 i la o e e llargada de l'eix s |u1 | = 1/2 . e 1 La direcci ortogonal s un altre vector propi u2 que ens dona el segon eix de l'elipse, amb o e llargada |u2 | = 1/2 . 2 Una soluci concreta s u1 = (1, 1) H amb 1 = 1 + r i u2 = (1, 1) H amb 2 = 1 r per o e o observeu que els vectors propis no estan unicament determinats, ni la llargada ni la direcci.  o
4.3.2 Cas general

1 r r 1

1 r r 1

que

Si p = 3 parlem de supercie de nivell, un elipsoide, en general parlem de hipersupercie de nivell, un hiperelipsoide. L'eqaci segueix essent u H R1 u = c i les direccions dels eixos, de ms llarg a ms curt, venen u o e e donades pels vectors propis de R, u1 , u2 , . . . , up amb valors propis 1 ! 2 ! ! p i les llargades dels eixos seran 1/2 ! 1/2 ! ! 1/2 1 2 p Si posem V amb els vectors propis (normalitzats) en columna, tindrem R = VLV H amb L = diag(1 , 2 , . . . ) i prenent y = V H z les noves variables y tenen V(y) = L. Aix vol dir que o tenen covarincies nules, i que contenen la CL de mxima varincia. a a a Concretament:


y1 s la CL de les xi que t mxima varincia, 1 s la seva varincia, 1 e e a a e a

1/2

tpica. 

s la seva desv. e
1/2

y2 s, entre les CL de les xi que sn ortogonals a y1 , la que t mxima varincia, 2 e o e a a

seva desv. tpica. 

s la e

I aix successivament.