EEL 6000 - Mtodos Numricos de

Otimizao

Fundamentos de
Otimizao Irrestrita
Prof.: Erlon Cristian Finardi, D. Eng.
erlon@labplan.ufsc.br

Laboratrio de Planejamento de Sistemas de Energia Eltrica

Centro Tecnolgico Departamento de Engenharia Eltrica
Tel. +55 (48) 331.9731/9933 Fax +55 (48) 331.7538
Homepage: htto://www.labplan.ufsc.br
 Introduo
Problemas irrestritos

Minimizar a funo objetivo, que funo de variveis reais, sem
nenhuma restrio nestas variveis
Formulao min
x
f (x)
onde x n um vetor com n 1 componentes e f: n
uma funo suave
Caractersticas
No est disponvel uma perspectiva global de f(x)
Toda a informao dada pelos valores de f(x), e (talvez) as

suas derivadas, em um conjunto de pontos x0, x1, x2,...

Algoritmos escolhem esses pontos e procuram identificar uma

soluo sem muito custo computacional

Frequentemente, a informao sobre f(x) no barata

interessante utilizar algoritmos que no busquem essa

informao desnecessariamente
EEL6000 Mtodos Numricos de Otimizao 2
Tcnicas para a Operao de SEE 2
 Exemplo
Conhecimento da
aplicao sinal
exponencial e oscilatrio
- ( k3 - t )2

f (t; k ) = k1 + k2e k4
+ k5 cos( k6t )

Escolher k1,...,k6 tal que

(.) seja mais prximo
possvel de yi
Modelo de otimizao
incgnitas k=(k1,...,k6)T e desvios rj(k)=yj(tj;k), j=1,...,m
m
min6 f ( k ) = rj2 ( k ) Mnimos
k
j=1
Quadrados
EEL6000 Mtodos Numricos de Otimizao 3
Tcnicas para a Operao de SEE 3
 O que uma Soluo?
Um ponto x* um ponto de mnimo global
se f(x*) f (x) para x
Um ponto x* um ponto de mnimo local
se existe uma vizinhana de x* tal f(x*)
f (x) para x
Ponto de mnimo local fraco

Um ponto x* um ponto de mnimo local

estrito se existe uma vizinhana de x*
tal f(x*) < f (x) para x , com x x*
Ponto de mnimo local forte

EEL6000 Mtodos Numricos de Otimizao 4

Tcnicas para a Operao de SEE 4
 Exemplos
Para f(x) = 2 cada ponto x um ponto de
mnimo global e local fraco
Por sua vez, f(x) = (x2)4 possui um ponto
de mnimo global e local forte em x = 2
Muitos mnimos locais
Difcil encontrar o mnimo
global para tais funes
As vezes tem-se
informaes sobre
comportamento global
de f(x)
Importante caso: anlise
da convexidade de f(x)
EEL6000 Mtodos Numricos de Otimizao 5
Tcnicas para a Operao de SEE 5
 Identificando um Mnimo
Local...(1)
Condies Necessrias de 1 Ordem
Se x* um ponto de mnimo local e f(x*) diferencivel em uma
vizinhana de x*, ento f(x*)=0
Condio pode ser explicada com f(x*+p)=f(x*)+f(x*)Tp. O vetor
f(x) fornece a direo de maior variao de f(x). Se f(x*) = 0
ento a taxa de variao da funo em qualquer direo p nula
Um mnimo local ponto deve ser um ponto estacionrio de f(x)

EEL6000 Mtodos Numricos de Otimizao 6

Tcnicas para a Operao de SEE 6
 Identificando um Mnimo
Local...(2)
Condies Necessrias de 2 Ordem
Se x* um ponto de mnimo local de f(x) e 2f(x)
contnua em uma vizinhana de x*, ento f(x*) = 0 e
2f(x*) semidefinida positiva
Considere f(x*+p)=f(x*)+f(x*)Tp+0,5pT 2f(x*)p.
Dado que f(x*) = 0, ento pT 2f(x*)p 0

Condies Suficientes de 2 Ordem

Suponha que 2f(x) contnua em uma vizinhana de
x* e que f(x*) = 0 e 2f(x*) definida positiva -
pT 2f(x*)p > 0. Ento, x* um mnimo local estrito
de f(x)

EEL6000 Mtodos Numricos de Otimizao 7

Tcnicas para a Operao de SEE 7
Anlise de Convexidade

Parte I: Funes
 Definio de Matrizes
Uma matriz A nxn simtrica se A=AT
Uma matriz simtrica A definida positiva
se existe uma constante positiva tal que
2
x Ax a x , " x n
T

A matriz simtrica semidefinida positiva

se a relao acima atendida em = 0,
i.e., xTAx 0 para x n
Uma matriz simtrica definida positiva
possui todos os autovalores positivos (reais)
Uma matriz semidefinida positiva possui pelo
menos um autovalor nulo e os demais so
positivos
EEL6000 Mtodos Numricos de Otimizao 9
Tcnicas para a Operao de SEE 9
 Conjuntos Convexos
Um subconjunto C do n
convexo se
x (1 ) y C , x , y C , ( 0, 1)

Operaes que mantm

a convexidade
interseco, multiplicao por
escalar, soma de vetores, etc.
Convexos No-
Convexos

EEL6000 Mtodos Numricos de Otimizao 10

Tcnicas para a Operao de SEE 10
 Funes Convexas

Seja C um conjunto convexo do n. Uma

funo f: C convexa se
f ( x (1 ) y) f ( x ) (1 ) f ( y), x , y C
Se f uma funo convexa, ento todos
os conjuntos {x C |f(x) a}, onde a um
escalar, so convexos
EEL6000 Mtodos Numricos de Otimizao 11
Tcnicas para a Operao de SEE 11
 Teorema
Se f(x) tem primeira e segunda
derivadas parciais contnuas, ento os
seguintes itens so equivalentes

f(x) convexa

Para quaisquer dois pontos tem-se

f ( y ) f ( x ) t f ( x )( y x )
A matriz de derivada parcial de segunda ordem semidefinida
positiva para todos os pontos de x

EEL6000 Mtodos Numricos de Otimizao 12

Tcnicas para a Operao de SEE 12
 Teorema Ilustrao

EEL6000 Mtodos Numricos de Otimizao 13

Tcnicas para a Operao de SEE 13
 Identificando a Convexidade -
I
f (x) x 2 Condio 1 ordem
100 (necessria)
90
df
80 2x
0 candidato x 0
70 dx
60

50
Condio 2 ordem
40

30
(suficiente)
f ( x) x 2
20
2 f
10 20
0
-10 -8 -6 -4 -2 0 2 4 6 8 10
x 2

Matriz Hessiana definida positiva para qualquer valor de x

Funo estritamente convexa: (nico) ponto de mnimo local e global

EEL6000 Mtodos Numricos de Otimizao 14

Tcnicas para a Operao de SEE 14
 Identificando a Convexidade -
II
f ( x) x 3
Condio 1 ordem
1000 (necessria)
df
800

600
3x2 0 candidato
x 0
400 dx
200
Condio 2 ordem
0
(necessria)
x 0 DP
-200

-400
f
2

-600
6x a x 0 SPD
-800 x 2
x 0 DN
-1000
-10 -8 -6 -4 -2 0 2 4 6 8 10

Definio da Matriz Hessiana depende de x (Funo Indefinida)
Condies de 1 e 2 ordem so verificadas
Contudo, ponto candidato no um mnimo
EEL6000 Mtodos Numricos de Otimizao 15
Tcnicas para a Operao de SEE 15
 Identificando a Convexidade -
III
f ( x) x4 Condio 1 ordem
10000
(necessria)
9000

df
8000
4x3 0 candidato
x 0
7000
dx
6000
Condio 2 ordem
5000
(necessria)
4000

3000
2 f x 0 DP
2000 12x a
2

x x 0 SDP
2
1000

0
-10 -8 -6 -4 -2 0 2 4 6 8 10

Definio da Matriz Hessiana depende de x (Funo Convexa)

Condies de 1 e 2 ordem so verificadas
Ponto candidato um mnimo global
EEL6000 Mtodos Numricos de Otimizao 16
Tcnicas para a Operao de SEE 16
 Auto Valores e Formas
Quadrticas
f ( x 1 , x 2 ) 4 x 4 x 1 x 2 3x x 1 2 x 2
2
1
2
2

EEL6000 Mtodos Numricos de Otimizao 17

Tcnicas para a Operao de SEE 17
 Curvas de Nvel
1 8 4 1
f ( x ) x ' Hx b ' x c, H , b e c0
2 4 6 2

EEL6000 Mtodos Numricos de Otimizao 18

Tcnicas para a Operao de SEE 18
 Auto Valores e Formas
Quadrticas
2 2
f( x1, x2) 4x1 4x1x2 3x2 x1 2x2
8 4 1 2,877 Hessiana
xx f ( x1 , x2 )
2
autovalores Definida
4 6 2 11,123 Positiva - DP

8x1 4x2 1 0 0,0625

f (x1 , x2 ) x
4x
1 6x2 2 0 0,375
Condio 1 ordem
ponto candidato
(necessria)

Funo quadrtica com Hessiana DP possui um (nico) ponto de

mnimo
EEL6000 Mtodos Numricos de Otimizao 19
Tcnicas para a Operao de SEE 19
 Auto Valores e Formas
Quadrticas
2 2
f( x1, x2) 2x1 6x1x2 x2 4x1 2x2

EEL6000 Mtodos Numricos de Otimizao 20

Tcnicas para a Operao de SEE 20
 Curvas de Nvel
1 4 6 4
f ( x ) x ' Hx b ' x c, H , b e c0
2 6 2 2

EEL6000 Mtodos Numricos de Otimizao 21

Tcnicas para a Operao de SEE 21
 Auto Valores e Formas
Quadrticas
2 2
f( x1, x2) 2x1 6x1x2 x2 4x1 2x2
4 6 1 3,083 Matriz
xx f ( x1 , x2 )
2
autovalores Hessiana
6 2 2 9,083 Indefinida

4x1 6x2 4 0 0,143

f (x1 , x2 ) x
6x
1 2x2 2 0 0,571
Condio 1 ordem
ponto candidato
(necessria)

Funo quadrtica indefinida (i.e., Hessiana no SDP ou DP) no

possui um ponto de mnimo (limitado)
EEL6000 Mtodos Numricos de Otimizao 22
Tcnicas para a Operao de SEE 22
 Funes de Ordem Superior
2 2 2 2
f( x1, x2) ( x1 x2 11) ( x1 x2 7)

EEL6000 Mtodos Numricos de Otimizao 23

Tcnicas para a Operao de SEE 23
 Curvas de Nvel

EEL6000 Mtodos Numricos de Otimizao 24

Tcnicas para a Operao de SEE 24
 Auto Valores e
Convexidade
Condio de primeira ordem
4x1 ( x12 x2 11) 2( x1 x22 7) 0
f ( x) 0
2( x2 x1 11) 4x2 ( x2 x1 7)
2 2

Fornece o seguinte ponto estacionrio xc=[3,2]'

12 x1 4x2 42
2
4( x1 x2 )
Matriz Hessiana xx f ( x)
2

4( x1 x2 ) 12x2 4x1 26
2

em xc possui autovalores 1 =25,71 e 2 =82,28 (

DP)
Condio de otimalidade (forte - suficiente) de
segunda ordem atendida
Portanto, xc um ponto de mnimo local
Mnimo global s pode ser encontrado por
investigao de todos os pontos estacionrios
EEL6000 Mtodos Numricos de Otimizao 25
Tcnicas para a Operao de SEE 25
 OBRIGADO!

Prof. Erlon Cristian Finardi

erlon@labplan.ufsc.br

Slides Disponveis
http://www.labplan.ufsc.br/~erlon/EEL6000