Essencial 01

EA932 – Prof. Fernando J. Von Zuben EA932 – Prof. Fernando J.
Von Zuben
DCA/FEEC/Unicamp DCA/FEEC/Unicamp
Fundamentos Básicos de Álgebra Linear e Otimização 1 Escalar

uma variável que assume valores no eixo dos números reais é denominada escalar.
Índice Geral
Os escalares são descritos por letras minúsculas do alfabeto romano expressas em
1 Escalar ...........................................................................................................................................................................................................3
2 Vetor .............................................................................................................................................................................................................3 itálico, ou do alfabeto grego. O conjunto de todos os escalares reais é representado
3 Matriz ............................................................................................................................................................................................................5
1
4 Conjuntos e operações com conjuntos ..........................................................................................................................................................6 por ou .
4.1 Conjuntos especiais de números reais.................................................................................................................................................8
5 Espaço Vetorial Linear..................................................................................................................................................................................9 x se x 0
5.1 Axiomas ..............................................................................................................................................................................................9 o módulo de um escalar real x é dado na forma: x
5.2 Propriedades adicionais ....................................................................................................................................................................10
x se x 0
5.3 Exemplos...........................................................................................................................................................................................11
5.4 Produto cartesiano.............................................................................................................................................................................11
5.5 Subespaço vetorial linear ..................................................................................................................................................................12 2 Vetor
5.6 Conjuntos convexos ..........................................................................................................................................................................13
5.7 Combinação linear e combinação convexa .......................................................................................................................................14 um arranjo ordenado de n escalares xi (i=1,2,...,n) é denominado vetor de
5.8 Dependência linear e dimensão de um espaço vetorial.....................................................................................................................15
5.9 Produto externo .................................................................................................................................................................................16 dimensão n. Os vetores são descritos por letras minúsculas do alfabeto romano
5.10 Produto interno..................................................................................................................................................................................17
5.11 Norma, semi-norma e quase-norma ..................................................................................................................................................18 expressas em negrito, e assumem a forma de vetores-coluna ou vetores-linha.
5.12 Ângulo entre dois vetores .................................................................................................................................................................21
5.13 Ortogonalidade e ortonormalidade entre dois vetores ......................................................................................................................21 Neste estudo, todos os vetores são representados por vetores-coluna, na forma:
5.14 Espaços ortogonais............................................................................................................................................................................22
5.15 Projeção de um vetor em uma determinada direção .........................................................................................................................22
5.16 Vetores ortonormais gerados a partir de vetores linearmente independentes...................................................................................23
6 Transformações e funcionais.......................................................................................................................................................................25
Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 1 Tópico 1 Fundamentos Básicos de Álgebra Linear e Otimização 3
EA932 – Prof. Fernando J. Von Zuben EA932 – Prof. Fernando J. Von Zuben
6.1Transformações lineares ...................................................................................................................................................................25
6.2Operadores lineares...........................................................................................................................................................................26
x1
6.3Posto de uma matriz ..........................................................................................................................................................................27 x2
6.4Matrizes idempotentes ......................................................................................................................................................................28 x ou x x1 x2 xn T .
6.5Definições adicionais para matrizes..................................................................................................................................................28
6.6Matrizes singulares e não-singulares ................................................................................................................................................31
6.7Autovalores e autovetores.................................................................................................................................................................31
xn
6.8Formas Quadráticas...........................................................................................................................................................................32
6.8.1 Cálculo diferencial aplicado a formas quadráticas.................................................................................................................33 o conjunto de todos os vetores de dimensão n com elementos reais é representado
6.8.2 Normas ponderadas e a medida de distância de Mahalanobis ...............................................................................................34
6.9 Matrizes simétricas: positividade e autovalores ...............................................................................................................................35 n n
por . Diz-se então que x .
6.10 A inversa de uma matriz....................................................................................................................................................................39
6.11 O lema de inversão de matrizes ........................................................................................................................................................40
6.12 A pseudo-inversa de uma matriz.......................................................................................................................................................40 um escalar é um vetor de dimensão 1.
6.12.1 Exemplos de pseudo-inversas.................................................................................................................................................41
6.12.2 Uso de pseudo-inversão para a solução de sistemas lineares.................................................................................................42 vetor 0n: é o vetor nulo de dimensão n, com todos os elementos iguais a zero. O
6.13 Operadores de projeção ortogonal ....................................................................................................................................................43
6.13.1 Um exemplo de operador simétrico e idempotente................................................................................................................44 subscrito n é suprimido quando não há margem à dúvida.
6.14 Decomposição em valores singulares ...............................................................................................................................................46
6.15 Transformações contínuas.................................................................................................................................................................50 vetor 1n: é o vetor de dimensão n com todos os elementos iguais a 1.
6.16 Funcional...........................................................................................................................................................................................51
6.17 Funcional convexo ............................................................................................................................................................................51 vetor ei: é o vetor normal unitário de dimensão n (a dimensão deve ser indicada
6.18 Funcional convexo diferenciável ......................................................................................................................................................53
7 Mínimos Locais...........................................................................................................................................................................................54 pelo contexto) com todos os elementos iguais a 0, exceto o i-ésimo elemento que é
8 Expansão em Série de Taylor ......................................................................................................................................................................55
9 Condição Necessária de Otimalidade..........................................................................................................................................................56 igual a 1. Neste caso, 1 i n.
10 Condição Suficiente de Otimalidade...........................................................................................................................................................57
11 Referências bibliográficas ...........................................................................................................................................................................60
3 Matriz x X: x pertence a X
um arranjo ordenado de m.n escalares xij (i=1,2,...,m; j=1,2,...,n) é denominado x X: x não pertence a X
matriz de dimensão m n. As matrizes são descritas por letras maiúsculas do um conjunto pode ser especificado listando-se seus elementos entre colchetes
alfabeto romano expressas em itálico, e assumem a forma: X {x1 , x 2 ,..., x n }
x11 x12 x1n ou evidenciando uma ou mais propriedades comuns aos seus elementos
x 21 x 22 x2 n
X . X2 = {x X1 tal que P(x) é verdade} ou X2 = {x X1: P(x)}
x m1 xm2 x mn as principais operações entre conjuntos são:
o conjunto de todas as matrizes m n com elementos reais é representado por União: X 1 X2 x :x X 1 ou x X2 ;

m n m n m n
ou . Diz-se então que X . Interseção: X 1 X2 x:x X1 e x X2 ;
x1i X1 X2 (conjunto vazio) se X1 e X2 são conjuntos disjuntos.

x2i
as colunas da matriz X são vetores-coluna descritos por x i , i=1,...,n. o complemento de um conjunto X é representado por X e é definido na forma:
x mi X x :x X .
as linhas da matriz X são vetores-linha descritos por x ( j ) x j1 x j2 x jn , S é um subconjunto de X, se x S implica x X. Neste caso, diz-se que S está
j=1,...,m. contido em X (S X) ou que X contém S (X S). Se S X e S não é igual a X,
um vetor é uma matriz com número unitário de linhas e/ou colunas. então S é um subconjunto próprio de X.
4 Conjuntos e operações com conjuntos 4.1 Conjuntos especiais de números reais

um conjunto pode ser definido como uma agregação de objetos. Os conjuntos são se a e b são números reais (a,b ), define-se:
descritos por letras maiúsculas do alfabeto romano expressas em itálico. Por
a, b x:a x b
conveniência de notação, alguns conjuntos especiais são descritos por símbolos a, b x:a x b
específicos. Exemplos: a, b x:a x b
a, b x:a x b
: conjunto dos números naturais
: conjunto dos números reais se X é um conjunto de números reais, então o menor limitante superior de X, dado
: conjunto dos números complexos por

x sup x sup x : x X ,
o estado lógico ou associação de um elemento x a um conjunto X qualquer é x X
representado por é o supremo de X, e o maior limitante inferior de X, dado por
x inf x inf x : x X , 5.3 Exemplos

x X
considere o campo F como sendo o conjunto dos números reais ( ):
é o ínfimo de X. Se x = + então X não é limitado superiormente. De forma
1. conjunto dos números reais: X
análoga, se x = então X não é limitado inferiormente.
n
2. conjunto dos vetores n-dimensionais, com elementos reais: X
5 Espaço Vetorial Linear m n m n
3. conjunto das matrizes m n com elementos reais: X ou X
um espaço vetorial X, associado a um campo F, consiste de um conjunto de
5.4 Produto cartesiano
elementos (vetores) sobre os quais estão definidas 2 operações:
o produto cartesiano de dois espaços vetoriais X e Y (os dois espaços vetoriais
1. Adição (X X X): (x + y) X, x, y X;
devem estar associados ao mesmo campo) é dado por X Y e é definido como o
2. Multiplicação por escalar (F X X): ( x) X, x Xe F.
conjunto de pares ordenados (x,y), com x Xey Y. As operações de adição e
5.1 Axiomas multiplicação são definidas na forma:
x + y = y + x (propriedade comutativa) x1 , y1 x2 , y2 x1 x 2 , y1 y2
x, y x, y
x ( y z) (x y ) z
(propriedade associativa)
( x) ( ) x por convenção, X n X X X
n vezes
(x y ) x y 5.5 Subespaço vetorial linear

(propriedade distributiva)
( ) x x x
um subconjunto não-vazio S de um espaço vetorial linear X é um subespaço de X
x + 0 = x (vetor nulo)
se x y S sempre que x e y S.
1 x = x (elemento neutro)
dito de outra forma, seja (X,F) um espaço vetorial linear e S um subconjunto de X.
5.2 Propriedades adicionais Diz-se então que (S,F) é um subespaço vetorial de (X,F) se S forma um espaço
vetorial sobre F através das mesmas operações definidas sobre (X,F).
0x=0
exemplos: 1. S {0}
0=0
n n
x + y= x+ z y=z 2. S é subespaço de X
x= y, 0 x=y se M e N são subespaços de X, então M N também é um subespaço de X.

x= x, x 0 = todo espaço é um subespaço de si mesmo.
(x y ) x y
(propriedade distributiva) subespaço próprio é um subespaço que não é igual ao espaço inteiro.
( ) x x x
5.6 Conjuntos convexos 5.8 Dependência linear e dimensão de um espaço vetorial
um conjunto X de elementos de um espaço vetorial é convexo se, dados considere {x1, x2, ..., xn} um conjunto de vetores pertencentes a X. O conjunto
x1, x2 X, todos os pontos na forma x1 + (1 ) x2, com [0,1], pertencem S [x1, x2, ..., xn], chamado subespaço gerado pelos vetores {x1, x2, ..., xn},
consiste de todos os vetores em X escritos como combinação linear de vetores em
também a X.
{x1, x2, ..., xn}. Neste caso, S é um subespaço vetorial de X.
x2 um vetor x é linearmente dependente em relação a um conjunto de vetores
x2
{x1, x2, ..., xn} se x S [x1, x2, ..., xn].
x1 um vetor x é linearmente independente em relação a um conjunto de vetores
x1 {x1, x2, ..., xn} se x S [x1, x2, ..., xn].
X
X um conjunto de vetores {x1, x2, ..., xn} é linearmente independente se e somente se
n
Convexo Não-Convexo ai x i 0 implica ai = 0, i=1,...,n.
i 1
exemplos:
um conjunto de vetores linearmente independentes {x1, x2, ..., xn} forma uma base
1. normalmente, (sub-)espaços vetoriais lineares são convexos. para X se X [x1, x2, ..., xn].
2. o conjunto vazio é convexo, por definição. neste caso, diz-se que X tem dimensão n. Se n é finito, então X é um espaço
3. dados X e Y convexos, então X Y é convexo. vetorial de dimensão finita.
5.7 Combinação linear e combinação convexa 5.9 Produto externo

n m
o produto externo entre dois vetores x ey é uma matriz de dimensão
seja S = {x1, x2, ..., xn} um conjunto de vetores de um espaço vetorial linear (X, ).
T T
Combinações lineares de elementos de S são formadas através de n m de posto unitário. Sendo x x1 x2 xn e y y1 y2 ym ,
o produto externo assume a forma:
a1x1 a2 x 2 an x n ,
x1 y1 x1 y 2 x1 y m
onde a1, a2, ..., an . x 2 y1 x2 y 2
T
xy
n
se os escalares a1, a2, ..., an são tais que ai 0 (i=1,2,...,n) e a
i 1 i
1, então
x n y1 xn ym
a combinação linear é chamada combinação convexa dos elementos
x1, x2, ..., xn X. em contraste com o caso do produto interno, os vetores x e y podem ter dimensões
distintas.
n
combinação cônica: ai 0 (i=1,2,...,n) e a
i 1 i
qualquer mesmo quando as dimensões são as mesmas, ou seja, n = m, a matriz quadrada
n resultante pode não ser simétrica.
combinação afim: ai (i=1,2,...,n) quaisquer e a
i 1 i
1
5.10 Produto interno uma quase-norma satisfaz todas as propriedades de norma, com exceção do
segundo axioma (desigualdade triangular), o qual assume a forma:
considere x,y X e . O produto interno x,y é um número real que
x y b x y , x, y X , com b .
satisfaz:
n
Exemplos de normas e relações entre normas: X
x,y = y,x 1
n p
p
x+y,z = x,z + y,z x p
xi ,p 1 é um número real.
i 1
x,y = x,y x nx
2
x1 2
x,x 0 x X, e x,x = 0 x=0 x x nx

2
n T x nx .
para X e x,y X, tem-se que x x1 x2 xn e x1
1
T 1 n 2 1
y y1 y2 y n , e o produto interno assume a forma: x, x 2 é a conhecida norma euclidiana, pois x xi2 x, x 2 .
2
i 1
n
x, y xi y i xT y relação entre produto interno e norma euclidiana (desigualdade de Cauchy-
i 1
2
Schwartz-Buniakowsky): x, y x, x y, y x, y x 2
y 2
5.11 Norma, semi-norma e quase-norma x2

+1 1
p=1
as definições até agora apresentadas permitem relacionar propriedades algébricas. n p
p
x p
xi
Introduzindo-se a noção de norma (medida de distância), podemos então tratar 1 +1 x1 i 1
1
propriedades topológicas, como continuidade e convergência.
x2 n
norma é uma função que associa a cada elemento x X um número real x ,
+1 p=2 p=1 x1 xi
obedecendo aos seguintes axiomas: i 1
1. x 0, x X; x 0 x 0; 1 +1 x1
2. x y x y , x, y X (desigualdade triangular); 1
n
2
p=2 x 2
xi
3. x x, x X, . x2 i 1
+1
p=+
toda vez que se associa uma norma a um espaço vetorial (sendo que a este espaço
1 +1 x1 x
já está associado um campo), diz-se que se tem um espaço vetorial normado. p=+ max xi
i
1
uma semi-norma satisfaz todas as propriedades de norma, com exceção do
n n x 1
primeiro axioma. Para X , o subespaço linear X0 , cujos elementos p
obedecem x = 0, é denominado espaço nulo da semi-norma.
5.12 Ângulo entre dois vetores 5.16 Vetores ortonormais gerados a partir de vetores linearmente
n independentes
para qualquer inteiro n 2, dados dois vetores x,y X , x,y 0, o co-seno
do ângulo formado pelos vetores x e y é dado na forma:
apesar de todo conjunto de vetores ortonormais não-nulos ser linearmente
xT y independente, nem todo conjunto de vetores linearmente independentes é
cos .
x2 y2
ortonormal, mas pode passar por um processo de ortonormalização, como segue.
dado um conjunto de m vetores n-dimensionais (m n) linearmente independentes
5.13 Ortogonalidade e ortonormalidade entre dois vetores
{x1, x2, ..., xm}, é sempre possível estabelecer uma combinação linear adequada
T
se cos 0 , isto implica que x, y x y 0 . Então diz-se que x e y são destes vetores que produza m vetores n-dimensionais mutuamente ortogonais
ortogonais entre si, condição representada na forma: x y . {u1, u2, ..., um} que geram o mesmo espaço. Além disso, se os vetores ui (i=1, ...,
m) apresentarem norma unitária, eles são mutuamente ortonormais.
n
além disso, se x,x = y,y = 1, então os vetores x, y X são ortonormais
um conjunto de vetores ortonormais {u1, u2, ..., um} pode ser obtido a partir de um
entre si.
conjunto de vetores linearmente independentes {x1, x2, ..., xm} através do processo
de ortogonalização de Gram-Schmidt, o qual é dividido em duas etapas:
5.14 Espaços ortogonais Etapa (1) y 1 x1
um vetor x é ortogonal a um espaço vetorial Y se for ortogonal a todos os vetores i 1 xi , y j

yi xi y j , i = 2, ..., m
pertencentes a Y, condição representada na forma: x Y . j 1 y j,y j
os espaços vetoriais X e Y são ortogonais entre si se cada vetor pertence a X for yi
Etapa (2) u i 1/ 2
, i = 1, ..., m
ortogonal a todos os vetores pertencentes a Y, condição representada na forma: yi , yi
X Y.
com isso, resulta:
5.15 Projeção de um vetor em uma determinada direção u1 = a11 x1
dado um espaço vetorial linear X, seja y X um vetor que fornece uma u2 = a21 x1 + a22 x2
determinada direção. A projeção de qualquer vetor x X na direção de y é dada u3 = a31 x1 + a32 x2 + a33 x3
na forma:
x, y y xT y onde aii > 0 (i=1,...,m). Certamente existem outros processos de ortonormalização
projy ( x ) 1/ 2 1/ 2
y
y, y y, y yT y mais gerais, que não impõem qualquer tipo de restrição aos coeficientes aij (i j;
i,j=1,...,m).
m n
6 Transformações e funcionais (A) e (A) são subespaços de e , respectivamente.
sejam X e Y espaços vetoriais lineares, e seja D um subconjunto de X. A regra que dim ( A) + dim ( A) = n
n m
associa cada elemento x D X a um elemento y Y é chamada de (A) (AT) no e (AT) (A) no
transformação de X para Y com domínio D. Notação: T: D X Y. 6.3 Posto de uma matriz

y = T(x) é a imagem de x sob a transformação T( ). m n
o posto de uma matriz A é dado pelo número de colunas (ou linhas) LI, de
a coleção de vetores y Y para os quais existe um x D tal que y = T(x) é modo que posto(A) min(m,n).
chamada de range de T. se posto(A) = min(m,n), então diz-se que a matriz tem posto completo.
uma matriz quadrada de posto completo é inversível (matrizes inversas serão
6.1 Transformações lineares
discutidas mais adiante).
uma transformação T: X Y é linear se, x,y D Xe , , é válida a
posto(A) = dim ( A)
seguinte equação:
posto(A) = posto(AT) = posto(ATA) = posto(AAT)
T x y T x T y .
a matriz resultante do produto de duas matrizes quaisquer nunca vai ter um posto
maior que o menor posto das matrizes que participam do produto.
6.2 Operadores lineares 6.4 Matrizes idempotentes

são as transformações que podem ser descritas por formas matriciais, de modo que n n
uma matriz quadrada A é dita ser idempotente se A r A A ... A A,
n m r vezes
D X. Um operador linear, que mapeia vetores do no , pode ser descrito
para qualquer potência inteira r 1.
m n m n
por uma matriz A , ou A , tal que
se A é idempotente, então I A também será.
n m
y = Ax, x e y .
m n 6.5 Definições adicionais para matrizes
a norma de um operador linear A é dada na forma:
Ax n
Cofator
A max , com x .
x 0 x dada uma matriz A de dimensão n n, o cofator do elemento aij (i,j=1,2,...,n) é
m n
o range de um operador linear A é dado na forma: dado na forma:
m n
( A) y :y Ax, para algum x cij 1 i j mij ,
correspondendo, portanto, ao espaço gerado pelas colunas de A. onde mij é o determinante da matriz formada eliminando-se a i-ésima linha e a j-
m n
o espaço nulo de um operador linear A é dado na forma: ésima coluna da matriz A.
n
( A) x : Ax 0
Determinante 6.6 Matrizes singulares e não-singulares

dada uma matriz A de dimensão n n, o determinante de A é dado na forma: uma matriz A de dimensão n n é dita ser singular quando dim ( A) 0 , ou seja,
n
a c , para qualquer j quando det(A) = 0.
i 1 ij ij
A det A ou n n
A é não-singular se e somente se dim ( A) 0.
n
j
a c , para qualquer i
1 ij ij 1
como A adj A / det A , A admite inversa se e somente se det(A) 0, ou seja,
onde cij é o cofator do elemento aij. quando A é não-singular.
com isso, se B é uma matriz obtida de A pela troca de duas de suas colunas, então
6.7 Autovalores e autovetores
det(B) = det(A).
seja uma matriz A de dimensão n n. Diz-se que um escalar (conjunto dos
seja A [a1 aj a n ] (1 j n). O determinante de A possui as
n
números complexos) é um autovalor de A se existe um vetor não-nulo x ,
seguintes propriedades:
chamado de autovetor associado a , tal que
Invariância: det [a1 aj an ] = det [a1 aj ak an ] ,
Ax = x.
j k, 1 j,k n;
Ax = x pode ser reescrito como ( I A)x = 0;
Homogeneidade: det [a1 ba j a n ] = b.det [a1 aj an ]
n
Traço x ,x 0 tal que ( I A)x = 0 se e somente se det I A 0;
dada uma matriz A de dimensão n n, o traço de A, representado por tr(A), é a
det I A é o polinômio característico de A;
soma dos elementos da diagonal de A, ou seja:
Como o grau de ( ) é n, a matriz A possui n autovalores.
n
tr A aii
i 1 6.8 Formas Quadráticas
Adjunta n n n
Definição: Para qualquer y e A AT , QA (y) y T Ay é uma forma
dada uma matriz A de dimensão n n, a adjunta de A, representada por adj(A), é quadrática associada a A.
dada na forma:
Propriedades:
adj(A) = { aij }
Q A (y) 2 Ay
onde aij = cji, o cofator do elemento aji. 2
Q A (y) 2A
A.adj A = det A . I 1 adj A A e QA são chamadas de:
são válidas as seguintes igualdades: A
adj A . A = det A . I det A n
semi-definida positiva se Q A ( y ) y T Ay 0, y .
T n
definida positiva se Q A ( y ) y Ay 0, y ,y 0.
n 6.9 Matrizes simétricas: positividade e autovalores
semi-definida negativa se Q A ( y ) y T Ay 0, y .
n n n n n n n
definida negativa se Q A ( y ) y T Ay 0, y ,y 0. uma matriz quadrada A é dita ser simétrica se AT A( ou ).
n n T
se a matriz quadrada é tal que A , então ela será hermitiana se A * A,
6.8.1 Cálculo diferencial aplicado a formas quadráticas
ou seja, se A for idêntica ao transposto de seu complexo conjugado.
n n n n
Dados x ,y e A :
matrizes simétricas só admitem autovalores reais.
y T Ax Ax autovetores associados a autovalores distintos de uma matriz simétrica com

y n n
elementos reais (A ) são ortogonais.
T T T T T T T
y Ax x A y y Ax x A y A y mesmo que os autovalores não sejam distintos, é possível obter autovetores
x x
n n
ortogonais para matrizes simétricas A . Sendo assim, dados os
T T
x Ax A x Ax autovetores ortogonais v1, ..., vn, é possível construir a matriz T abaixo:
x
v1 v2 vn
T , onde 2
.
para AT A, x T Ax 2 Ax v1 v2 vn
x
1
a matriz T é ortogonal, pois T T T , como pode ser verificado a seguir:
6.8.2 Normas ponderadas e a medida de distância de Mahalanobis v1T

v1 1 0
já foi apresentada a relação existente entre norma e produto interno. Com a v1 vn
T TT In n
introdução de formas quadráticas, é possível recorrer ao conceito de norma v Tn v1 vn
0 1
ponderada. vn
n
sejam x,y , então é possível expressar a distância ponderada entre x e y por: com a matriz T, é possível obter uma matriz diagonal a partir da matriz A, tendo
T 2 2 T
( x, y ) x y (x y ) (x y ) x y 2x y os autovalores de A na diagonal, como a seguir:
n n 1. da definição de autovalores tem-se: Avi = ivi, i=1,...,n.
onde é uma matriz simétrica e semidefinida positiva, geralmente sendo
uma matriz diagonal que pondera diferentemente cada coordenada. v1 vn Av1 Av n 1 v1 n vn
AT A
v1 vn v1 vn v1 vn
para = I, resulta a norma euclidiana.
2. 1 0
quando os elementos de x e y são variáveis aleatórias geradas a partir de uma v1 vn
T
distribuição normal, e sabendo haver uma dependência estatística entre os v1 vn
0 n
elementos de x e y, então tomando a matriz como sendo a inversa da matriz de
T 1 AT T T AT
covariância entre x e y resulta a medida de distância de Mahalanobis. 3. AT T 1
A T T T TT
este resultado é muito útil no caso da matriz A estar presente em formas min i, para deixar a matriz definida positiva
i 1,..., n
quadráticas: max para deixar a matriz definida negativa
i,
i 1,...,n
T T T T T T
Q A (x ) x Ax x T T x T x (T x ) n m
seja uma matriz A de dimensão n m (A ) e uma matriz B de dimensão
T
fazendo y T x x Ty , resulta: m n
m n (B ). Então, os autovalores não-nulos de AB e BA são os mesmos e
T 2 2 2
Q A ( x) x Ty
y y 1y1 2y 2 nyn têm as mesmas multiplicidades. Além disso, se x é um autovetor de AB para
n algum autovalor 0, então y = Bx é um autovetor de BA. Isto implica que AAT e
como a matriz T tem posto completo, então y pode ser qualquer. Logo:
A>0 i > 0 para i=1,...,n ATA têm os mesmos autovalores e todos são positivos.
A 0 i 0 para i=1,...,n 6.10 A inversa de uma matriz

A<0 i < 0 para i=1,...,n n n n n
a inversa de uma matriz A é uma matriz M tal que
A 0 i 0 para i=1,...,n
AM MA I
n n
se A é uma matriz simétrica definida positiva, então são condições
a notação adotada para a matriz M é: M A 1.
equivalentes:
para que uma matriz seja inversível, ela tem que ser quadrada e não-singular.
A é definida positiva;
1 T 1
A 1 é definida positiva; vale a seguinte propriedade: A AT .
todos os autovalores de A são reais positivos;
n
6.11 O lema de inversão de matrizes
y T Ay 0, y ,y 0;
assuma que A e C são matrizes quadradas arbitrárias para as quais existe a inversa,
é possível decompor A na forma: A = BTB, com B não-singular;
e B é uma terceira matriz tal que BCBT tem a mesma dimensão de A. Então o
det(Ak) > 0, k=1,...,n, onde Ak é a k-ésima sub-matriz principal líder.
chamado lema de inversão de matrizes é dado na forma:
se ocorrer i >0 e j < 0 para i j e i,j {1,...,n}, então a matriz é dita ser
1 1 1 1 1
indefinida. A BCB T A A 1B BT A 1B C BT A
n n a matriz C geralmente tem dimensões menores que a matriz A.
se A é uma matriz simétrica com autovalores 1, 2, ..., n, então a matriz
A + In terá como autovalores 1+ , 2+ , ..., n+ , e os autovetores de A e de 6.12 A pseudo-inversa de uma matriz
A + In serão os mesmos. m n n m
a pseudo-inversa de uma matriz A é uma matriz M tal que valem
sendo assim, é possível “corrigir” os autovalores de uma matriz simétrica
as seguintes propriedades:
indefinida ou singular, sem alterar seus autovetores, deixando a matriz definida
AMA = A
positiva ou definida negativa, na forma:
MAM = M
AM e MA são matrizes simétricas quando múltiplas soluções são possíveis, como no caso acima, pode-se adotar
a notação adotada para a matriz M é: M A . aquela solução que otimiza algum critério. Por exemplo, a solução com norma
pode-se demonstrar que existe uma única pseudo-inversa para cada matriz. euclidiana mínima é aquela que toma y = 0.
valem as seguintes propriedades: supondo que posto(A) = n m, então a seguinte expressão representa uma solução
1 + 1
0+ = 0T ( A)+ = A , se 0 para a equação matricial (1): x AT A AT b . Repare que, sob a condição
+ + + T + T T T + T 1 T
(A ) = A A = (A A) A = A (AA ) posto(A) = n m, A A A é a pseudo-inversa de A, de modo que é possível
(A+)T = (AT)+ + 1
A = A , se A é quadrada e não-singular expressar a solução na forma:
(AA+)T = AA+ e (A+A)T = A+A T + T T + T x A b (3)
A AA = A e AA (A ) = A
no entanto, para posto(A) = n < m, a equação matricial (1) nem sempre tem
solução exata, e nestes casos o que se obtém é o mínimo de Ax b 2 .
6.12.1 Exemplos de pseudo-inversas
A a 1 , se a 0 6.13 Operadores de projeção ortogonal

caso escalar (m = n = 1): A = a
A 0, se a 0 n n
seja X um subespaço vetorial e seja x . Então é possível expressar x na
forma:
aT x xˆ ~
x
A , se a 0
caso vetorial (m > 1 e n = 1): A = a aT a onde x̂ x
X e~ X.
A 0 T , se a 0
neste caso, diz-se que x̂ é a projeção ortogonal de x em X.
6.12.2 Uso de pseudo-inversão para a solução de sistemas lineares de todas as decomposições na forma x x x , onde x X , aquela em que
considere o seguinte sistema linear de equações na forma matricial x X é tal que x 2

é mínima.
n n
Ax = b (1) existe sempre uma matriz simétrica P , chamado operador de projeção
m n n m ortogonal em X, tal que
onde A ,x eb .
supondo que posto(A) = m n, então a seguinte expressão representa uma solução xˆ Px e ~
x I Px
1 n (I P) é o operador de projeção ortogonal em X (complemento ortogonal de X).
para a equação matricial (1): x AT AAT b I AT ( AAT ) 1 A y , onde y
1
é um vetor arbitrário. Repare que, sob a condição posto(A) = m n, AT AAT é 6.13.1 Um exemplo de operador simétrico e idempotente
a pseudo-inversa de A, de modo que é possível expressar a solução na forma: todo operador de projeção ortogonal é idempotente, sendo que a seguir iremos
x A b I A A y. (2) apresentar um exemplo de operador de projeção ortogonal que também é

simétrico.
as projeções ortogonais podem ser expressas através de transformações lineares, além disso, a matriz A pode ter elementos reais ou complexos. Neste estudo,
de modo que sempre é possível obter P. iremos considerar apenas matrizes com elementos reais.
n
assuma que X [x1, x2, ..., xk] é um subespaço do , gerado pelos vetores em termos geométricos, os valores singulares de uma matriz A correspondem aos
n
xi , i = 1,...,k < n. Seja A uma matriz que tem como colunas os vetores comprimentos dos semi-eixos do hiperelipsóide E = {Ax : x 2
1}
n n m
xi , i = 1,...,k < n. O objetivo é obter o operador P de projeção ortogonal ao seja uma matriz A de dimensão n m (A ) e de posto r, com r min(n,m).
n
subespaço X, de modo que sua aplicação a um vetor qualquer x produza Então, A pode ser expressa na forma:
xˆ Px e ~x I P x , onde x̂ X e ~ x X. 0 T
A=U V
T~ 0 0
como, por definição, ~
x X , então tem-se que A x 0. n n m m
onde U e V são matrizes unitárias, tais que UTU = UUT = In e
a solução desta equação matricial é dada pela expressão (2) acima, produzindo r r
VTV = VVT = Im, e é uma matriz diagonal, com elementos
~ n
x I ( AT ) AT y I AA y , para um y arbitrário e sabendo que a
1 2 ... r > 0, denominados valores singulares da matriz A.
matriz ( AT ) AT é simétrica. repare que esta decomposição é sempre possível, independente de se ter n = m,
y = x é uma escolha possível, e como ~
x é único, então a expressão n < m ou n > m.
~
x I AA x
leva a que I P I AA e P AA . note também que o número de valores singulares positivos coincide com o posto
conclusão: da matriz A, o que implica que a decomposição em valores singulares representa
AA é o operador de projeção ortogonal ao subespaço gerado pelas colunas um método prático para se obter o posto da matriz A.
de A, ou seja, ao subespaço X. 0
é possível verificar também que UTAV = e que as colunas de U são
0 0
as matrizes I AA e I A A são operadores de projeção ortogonal aos
autovetores de AAT, enquanto que as colunas de V são autovetores de ATA.
subespaços que são os complementos ortogonais dos subespaços gerados pelas
0
colunas e linhas de A, respectivamente. como UUT = In, então , AV = U o que implica que:
0 0
6.14 Decomposição em valores singulares Av i i 1,..., r
i ui ,
a decomposição em valores singulares é uma poderosa ferramenta matemática Av i 0, i r 1,..., m

para a solução de problemas de quadrados mínimos, pois fornece informações onde vi e ui são, respectivamente, as i-ésimas colunas de V e U.
quantitativas importantes acerca da estrutura de um sistema de equações lineares sendo assim, é possível expressar a matriz A na forma:
do tipo: Ax = b. Ela vale tanto para matrizes quadradas quanto retangulares. r
T
A i ui v i
i 1
se a matriz A for simétrica, então seus valores singulares correspondem aos 6.16 Funcional
valores absolutos de seus autovalores não-nulos (ver seção 6.9). uma transformação T: X é chamada de funcional sobre X.
para os propósitos deste curso, a principal motivação para o estudo de
decomposição em valores singulares é a possibilidade de propor um método 6.17 Funcional convexo
prático de cálculo da pseudo-inversa de uma matriz, independente de se ter n < m um funcional f: X é convexo sobre um subconjunto convexo X de um espaço
ou n > m. vetorial linear se e somente se
n m
seja uma matriz A de dimensão n m (A ) e de posto r, com r min(n,m),
f x 1 (1 ) x2 f ( x1 ) (1 ) f (x 2 )
0
que tenha uma decomposição em valores singulares tal que UTAV = . para todo x1, x2 Xe [0,1].
0 0
Então, a pseudo-inversa da matriz A pode ser obtida na forma: Extensão 1: O funcional f é estritamente convexo se a desigualdade acima for
1 estrita, com (0,1).
0 T
A+ = V U
0 0 Extensão 2: Um funcional f é (estritamente) côncavo se f é (estritamente)
1 1 1 1
onde diag( 1 , 2 ,..., r ). convexo, de modo que max f min ( f ) .
quando a matriz A tem posto completo, ou seja, quando r = min(n,m), então é

possível mostrar que: Interpretação Geométrica
1
0 T
A+ = V U = (ATA) 1AT, quando n > m
0 0
f(x1) + (1 ) f(x2)
1
0 T
A+ = V U = AT(AAT) 1, quando n < m f(x1)
0 0
6.15 Transformações contínuas f(x2)
uma transformação T: X Y é contínua em x0 X se para todo > 0 existe um

> 0 tal que x x 0 implica que T ( x ) T ( x 0 ) . Obviamente assume-se
x1 x2
que X e Y são espaços vetoriais sobre os quais está definida uma mesma norma.
x1 + (1 ) x2
diz-se que T é contínua se ela for contínua para todo x X.
6.18 Funcional convexo diferenciável 8 Expansão em Série de Taylor

um funcional diferenciável f: X é convexo sobre um subconjunto convexo X n n
f: x
de um espaço vetorial linear se e somente se n
expansão em série de Taylor em torno do ponto x* :
T
f y f x f x y x 1 2
f (x ) f ( x*) f ( x*)T x x * x x* T f ( x*) x x * O (3)
2
para todo x, y X.
Interpretação Geométrica
2 2 2
f ( x*) f ( x*) f ( x*) f ( x*)
x1 x12 x1 x 2 x1 x n
f(y) 2 2
f ( x*) f ( x*) f ( x*)
2
f ( x*) x2 f ( x*) x 2 x1 x 22
T
f(x) (y x) f ( x*) 2 2
f(x) f ( x*) f ( x*)
xn x n x1 x n2
vetor gradiente matriz hessiana

x y
7 Mínimos Locais 9 Condição Necessária de Otimalidade

n n
seja f um funcional definido sobre X. Um ponto x0 é chamado MÍNIMO Teorema: Assuma que f: e f C2[ ] (conjunto das funções com
a n
LOCAL de f sobre se existe uma esfera derivadas contínuas até 2 ordem). Se x* é um mínimo local de f(x), então
N x0 , x : x x0 f (x*) 0.
tal que f(x0) f(x), x N x0 , . Prova: Por absurdo, suponha que x* é mínimo local de f(x) e que f (x*) 0 . Para
x0 é um MÍNIMO GLOBAL se f(x0) f(x), x . n
> 0 suficientemente pequeno, é possível definir um x tal que
Interpretação Geométrica x x* f ( x*) . Portanto:
f(x)
f (x) f ( x*) f (x*) T x x * f ( x*) f ( x*)T f ( x*)
T 2
f ( x*) f ( x*) f ( x*) f ( x*) f ( x*)
Logo, em uma vizinhança de x*, x tal que f(x) < f(x*). ABSURDO!
x01 x02 x
10 Condição Suficiente de Otimalidade Exemplo:

n n 1
Teorema: Assuma que f: e f C2[ ] (conjunto das funções com n
Resolva o problema min x T Ax b T x , onde A AT 0ex .
x 2
a n
derivadas contínuas até 2 ordem). Se x* é tal que f (x*) 0 e
2 Solução:
f (x*) 0 , então x* resolve min f ( x ) .
x
n 1 T
Prova: Para > 0 suficientemente pequeno, é possível definir um x tal que Definindo f ( x) x Ax b T x , a aplicação da condição necessária de
2
n
x x* d , onde d é uma direção arbitrária. Portanto:
otimalidade ao problema min f ( x ) produz:
x
T 1 2
f (x ) f ( x*) f ( x*) x x * x x* T f ( x*) x x *
2 f (x ) Ax b 0 x* A 1b
2
1 T 2 2
f ( x*) d f ( x*) d f ( x*) dT f ( x*)d
2 2 2
0
Como, por hipótese, f (x) A 0 (condição suficiente de otimalidade), então
n x * é um ponto de mínimo global, portanto solução do problema.
Como d é qualquer, então existe uma vizinhança de x* tal que f(x) > f(x*).
Logo, x* é um mínimo local.
n
Conclusão: Suponha que x* é tal que f (x*) 0 . Então x* é 11 Referências bibliográficas
ANDERSON, B.D.O. & MOORE, J.B. “Optimal Control – Linear Quadratic Methods”, Prentice-Hall, 1989.
2 n
(a) um mínimo global de f(x) se f (x) 0 x , ou seja, f(x*) f(x) ATHANS, M. & FALB, P.L. “Optimal Control: An Introduction to the Theory and Its Application”, McGraw Hill, 1966.
BAZARAA, M. S., SHERALY, H. D. & SHETTY, C. “Nonlinear Programming: Theory and Algorithms”, 2nd edition, John Willey
n & Sons, 1992.
x .
BRONSON, R. “Theory and Problems of Matrix Operations”, Schaum’s Outline Series, McGraw Hill, 1989.
FERREIRA, P.A.V. “Notas de Aula - Curso EA932: Sistemas de Controle II”, 1997.
2 n
(b) um mínimo global estrito de f(x) se f (x ) 0 x , ou seja, f(x*) < f(x) FRANKLIN, G.F., POWELL, J.D. & EMAMI-NAEINI, A. “Feedback Control of Dynamic Systems”, 3rd. edition, Addison-Wesley
Publishing Company, 1994.
n GOLUB, G.H. & VAN LOAN, C.F. “Matrix Computations”, Johns Hopkins Series in the Mathematical Sciences, Johns Hopkins
x ,x x*.
University Press, 3rd edition, 1996.
HAYKIN, S. “Adaptive Filter Theory”, Prentice Hall, Third Edition, 1996.
2 n KIRK, D.E. “Optimal Control: An Introduction”, Prentice-Hall, 1970.
(c) um máximo global de f(x) se f (x) 0 x , ou seja, f(x*) f(x)
KWAKERNAAK, H. & SIVAN, R. “Linear Optimal Control Systems”, John Wiley & Sons, 1972.
n LEVINE, W.S. (ed.) “The Control Handbook”, CRC Press, 1996.
x .
LEWIS, F.L. & SYRMOS, V.L. “Optimal Control”, 2nd edition, John Wiley & Sons, 1995.
LUENBERGER, D. G. “Linear and Nonlinear Programming”, 2nd edition, Addison Wesley, 1984.
2 n
(d) um máximo global estrito de f(x) se f (x ) 0 x , ou seja, f(x*) > f(x) LUENBERGER, D.G. “Optimization by Vector Space Methods”, John Wiley & Sons, 1969 (Paperback, 1997).
LUENBERGER, D.G. “Introduction to Dynamic Systems – Theory, Models, and Applications”, John Wiley & Sons, 1979.
n
x ,x x*. MARDIA, K.V., KENT, J.T. & BIBBY, J.M. “Multivariate Analysis”, Academic Press, 1979.
OGATA, K. “Modern Control Engineering”, Third Edition, Prentice Hall, 1997.
PERES, P.L.D. “Notas de Aula - Curso IA600: Controle Ótimo”, 1993.
SAGE, A.P. & WHITE III, C.C. “Optimum Systems Control”, 2nd edition, Prentice-Hall, 1977.
SKELTON, R.E. “Dynamic Systems Control: Linear Systems Analysis and Synthesis”, John Wiley & Sons, 1988.
STRANG, G. “Linear Algebra and Its Applications”, Harcourt Brace College Publishers, 1988 (4th edition, 2000).

Essencial 01

Uploaded by

Document Information

Original Title

Copyright

Available Formats

Share this document

Share or Embed Document

Sharing Options

Did you find this document useful?

Is this content inappropriate?

Copyright:

Available Formats

Essencial 01

Uploaded by

Copyright:

Available Formats

EA932 – Prof. Fernando J. Von Zuben EA932 – Prof. Fernando J.

Fundamentos Básicos de Álgebra Linear e Otimização 1 Escalar

x m1 xm2 x mn as principais operações entre conjuntos são:

o conjunto de todas as matrizes m n com elementos reais é representado por União: X 1 X2 x :x X 1 ou x X2 ;

x1i X1 X2 (conjunto vazio) se X1 e X2 são conjuntos disjuntos.

4 Conjuntos e operações com conjuntos 4.1 Conjuntos especiais de números reais

: conjunto dos números complexos por

representado por é o supremo de X, e o maior limitante inferior de X, dado por

x inf x inf x : x X , 5.3 Exemplos

(x y ) x y 5.5 Subespaço vetorial linear

x= y, 0 x=y se M e N são subespaços de X, então M N também é um subespaço de X.

5.6 Conjuntos convexos 5.8 Dependência linear e dimensão de um espaço vetorial

5.7 Combinação linear e combinação convexa 5.9 Produto externo

x,x 0 x X, e x,x = 0 x=0 x x nx

5.11 Norma, semi-norma e quase-norma x2

obedecem x = 0, é denominado espaço nulo da semi-norma.

5.14 Espaços ortogonais Etapa (1) y 1 x1

um vetor x é ortogonal a um espaço vetorial Y se for ortogonal a todos os vetores i 1 xi , y j

transformação de X para Y com domínio D. Notação: T: D X Y. 6.3 Posto de uma matriz

6.2 Operadores lineares 6.4 Matrizes idempotentes

Determinante 6.6 Matrizes singulares e não-singulares

y T Ax Ax autovetores associados a autovalores distintos de uma matriz simétrica com

6.8.2 Normas ponderadas e a medida de distância de Mahalanobis v1T

A 0 i 0 para i=1,...,n 6.10 A inversa de uma matriz

A a 1 , se a 0 6.13 Operadores de projeção ortogonal

considere o seguinte sistema linear de equações na forma matricial x X é tal que x 2

x A b I A A y. (2) apresentar um exemplo de operador de projeção ortogonal que também é

a decomposição em valores singulares é uma poderosa ferramenta matemática Av i 0, i r 1,..., m

quando a matriz A tem posto completo, ou seja, quando r = min(n,m), então é

6.15 Transformações contínuas f(x2)

uma transformação T: X Y é contínua em x0 X se para todo > 0 existe um

6.18 Funcional convexo diferenciável 8 Expansão em Série de Taylor

vetor gradiente matriz hessiana

7 Mínimos Locais 9 Condição Necessária de Otimalidade

10 Condição Suficiente de Otimalidade Exemplo:

You might also like