Tpicos Especiais em Economia

Introduo Teoria do Controle timo

Edilean Aragn
PPGE/UFPB

1
 1. Introduo

Problemas dinmicos na economia: Ramsey (1928); Hotelling

(1931).

Dcada de 60: estudos sobre crescimento econmico de Cass

(1965) e Koopmans (1965).

Atualmente, problemas dinmicos esto presentes na Teoria

Macro (estudo sobre o consumo das famlias, investimentos
das empresas, estudo de poltica econmica etc).

2
 Metodologias para resolver problemas dinmicos:
- Clculo variacional (matemticos clssicos);
- Programao dinmica: problemas com tempo
discreto e modelos estocsticos (Bellman, 1957);
- Teoria do controle timo (Pontryagin et al, 1962).

Ns apresentaremos aqui as tcnicas de Pontryagin,

fundamentais para estudar modelos de crescimento
econmico.

3
 2. O Princpio do Mximo

Considere um sistema dinmico (ex. uma economia).

O operador deste sistema controla uma ou mais variveis

(variveis de controle) de forma a maximizar uma funo
objetivo sujeito a algumas restries.
Ex: Varivel de controle - o fluxo de bens consumidos.

As restrio so equaes diferenciais descrevendo a

evoluo das variveis de estado no tempo. Estas equaes
so chamadas de equaes de transio.
Ex: Varivel de estado - estoque de bens da economia em
um dado t.

4
 A evoluo das variveis de estado pode depender dos valor
destas variveis, do tempo e das variveis de controle.

Escolhido a trajetria das variveis de controle, a taxa de

mudana das variveis de estado so determinadas em cada
perodo de tempo e, dado os valores iniciais destas variveis,
todos os seus valores futuros.

Um simples problema de controle timo escolher, para todo

t, c(t) que maximiza:
T
V (k (t ), c(t ), t )dt (1)
0

5
 sujeito a
k (t ) g[k (t ), c(t ), t ] (2)
k (0) k0 , k (T ) kT (3)

c(t) a varivel de controle, k(t) a varivel de estado, t o

tempo, [0,T] o horizonte de planejamento, k0 e kT so os
valores de fronteira de k(t).

T, k0 e kT so exgenas.

Se uma forma funcional para c(t) sobre [0,T] escolhido,

ento (2) e (3) determinam k(t) sobre [0,T], e isto produz um
valor de V em (1).

6
 Para declararmos as condies necessrias para este
problema, ns introduziremos uma varivel auxiliar, (t),
associada a varivel de estado k(t).

(t) denominada de varivel de co-estado ou multiplicador

de Lagrange dinmico.

Ns definiremos, para cada instante, uma nova funo

denominada de Hamiltoniano.

Para o problema (1)-(3), o Hamiltoniano expresso por:

H (k (t ), c(t ), (t ), t ) (k (t ), c(t ), t ) (t ) g[k (t ), c(t ), t ] (4)

7
 Teorema (o princpio do mximo): a soluo tima para o
problema acima um tripler (k(t),c(t),(t)) que satisfaz as
seguintes condies:
(i) c(t) maximiza H, isto ,
H
0 (5)
c
(ii) s(t) e (t) satisfazem as equaes diferenciais:

H
k (t ) (6)

H
(t ) (7)
k
com as condies de fronteira (3).

8
 Derivao do princpio do mximo

Seja o problema de controle:

T
V max (k (t ), c(t ), t )dt
*
(8)
c (t ) 0
sujeito a
k (t ) g[k (t ), c(t ), t ] (9)
k (0) k0 , k (T ) kT (10)

onde V* o mximo da funo valor.

Deixe (k*(t),c*(t),*(t)) denotar a soluo tima e H*

(k*,c*,t) + *(g(k*,c*,t)). Assumamos que todas as variveis
so funes continuamente diferenciveis do tempo.

9
 Dado (9), considere uma classe de funes c(t), denotada por
A, que leva k(0)=k0 a k(T)=kT.
Seja (t) ser uma funo arbitrria qualquer e considere uma
famlia de funes (t,), onde um parmetro tal que
(t,0)= (t) e c*(t)+(t,) um membro de A.
Suponha um desvio da trajetria tima c(t)=c*(t)+(t,).
A perturbao em c(t) implica em uma perturbao em k(t),
denotada por k(t,).
Como c*(t) o controle timo, ento V deve ser mximo
quando =0.
Ns manipularemos V e avaliaremos sua derivada com
respeito a em =0:
10
 T
V (k (t , ), c* (t ) (t , ), t )dt
0
T
[ (k (t , ), c* (t ) (t , ), t ) (t ) g (k (t , ), c* (t ) (t, ), t ) (t ) k (t, )]dt
0
para qualquer (t) arbitrrio.
Deixe:
H (t , ) (k (t, ), c* (t ) (t, ), t ) (t ) g (k (t, ), c* (t ) (t, ), t)
e T
V [ H (t , ) (t ) k (t , )]dt
0
T
Resolvendo 0 (t ) k (t , )dt por partes:
T T dk T T d
0 (t ) k (t, )dt 0 (t ) dt dt 0 (t )dk (t )k (t ) |0 0 k (t, ) dt dt
T

T
(T )kT (0)k0 k (t , ) (t )dt
0

11
 Onde ns chamamos v= e du=(dk/dt)dt e resolvemos
T
vdu.
0

Assim, temos que

T T
V [ H (t , ) (t ) k (t , )]dt [ H (t , ) (t )k (t , )]dt (T )kT (0)k0
0 0

Derivando V com relao a e avaliando em =0:

dV T H H dk (t , )
| 0 | 0 (t ,0) | 0 (t ) dt
d 0
c k d
necessrio para um mximo que dV/d=0. Como (t)
arbitrrio, esta condio deve ser verdadeira para (t)
satisfazendo H | 0 (t ) . 0
k
12
 Para esta escolha particular de (t) e para (t) escolhido
arbitrariamente, temos que:
dV T H _

| 0 | 0 (t ) dt 0
d 0
c
H
Isto implica que | 0 0 em cada instante do tempo.
c

Juntando os resultados, as condies necessrias para

otimalidade so:
H H H
0, (t ) 0 (ou (t ) ), k (t ) g[k (t ), c(t ), t ]
c k k
com as condies de fronteira (10).

13
 Teorema da suficincia de Mangasarian (1966): Considere o
problema definido em (1)-(3). Suponha que o princpio do mximo
produza a soluo (k*(t),c*(t),*(t)). Se o Hamiltoniano (4), com
(t)=*(t) cncava (estritamente cncava) em (k,c),ento
(k*(t),c*(t),*(t)) a soluo tima (soluo tima e nica) do
problema acima (ver Leonard e Van Long, 2002).

Teorema: se cncava em (k,c) e, ou 0 e g cncava em (k,c)

ou 0 e g convexa em (k,c), ento H cncava em (k,c).

Em algumas situaes o teorema acima fracassa e outro resultado

pode ser aplicado.

14
 Definio: Para o problema (1)-(3), deixe:
H 0 (k (t ), (t ), t ) max H (k (t ), c(t ), (t ), t ) (11)
c (t )

onde H0 chamado de Hamiltoniano maximizado.

Princpio do mximo: considere o problema (1)-(3) e deixe (c, k,)

ser uma soluo tima; ento c satisfaz (5) e k e so solues
para

(t ) H 0 / k e k (t ) H 0 / (12)

Teorema da suficincia de Arrow (1968): Suponha que

(k*(t),c*(t),*(t)) uma soluo para (3), (5) e (12). Se o
Hamiltoniano (4), com (t)=*(t), uma funo cncava
(estritamente cncava) em k,ento (k*(t),c*(t),*(t)) a soluo
tima (nica soluo tima) do problema (1)-(3).

15
 Problemas autnomos: so problemas de controle onde o
nico termo tempo independente aparece no fator de
desconto do integrando.

Exemplo: encontre c(t) que maximiza

T
V e t u(k (t ), c(t ))dt (13)
0

k (t ) g[k (t ), c(t )] (14)

k (0) k0 , k (T ) kT (15)

Estes problemas so denominados de autnomos porque eles

produzem um conjunto de equaes diferenciais autnomas
para caracterizar a soluo do problema.

16
 No lugar de (t) e do Hamiltoniano
H (k (t ), c(t ), (t ), t ) e t u(k (t ), c(t ), t ) (t ) g[k (t ), c(t ), t ]

Ns introduzimos (t) e o Hamiltoniano

~
H (k (t ), c(t ), (t ), t ) u(k (t ), c(t ), t ) (t ) g[k (t ), c(t ), t ]
onde (t)=et(t) e
~
H (k (t ), c(t ), (t ), t ) e t H (k (t ), c(t ), (t ), t )
~
O Hamiltoniano H e (t) so chamados de Hamiltoniano de
valor corrente e co-estado de valor corrente,
respectivamente.

Neste caso, o princpio do mximo dado por:

17
 ~
H u g
(t ) 0 (16)
c ~c c
H
k (t ) g[k (t ), c(t )] (17)
~

H u g
(t ) (t ) (t ) (t ) (18)
k k k
possvel demonstrar que (16)-(18) equivalente ao princpio do
mximo aplicado a H, dado por:
H t u g H H u g
e (t ) 0; k (t ) ; (t ) [e t (t ) ] (19)
c c c (t ) k k k
Para provar a equivalncia entre as terceiras condies de ambos
os problemas, ns diferenciamos totalmente (t)=e-t(t),
substitumos o resultado na terceira equao de (19), passamos o
primeiro termo para o lado direito e multiplicamos os dois lados
por et.

18
 3. Interpretao econmica do
princpio do mximo
Vamos avaliar as derivadas do mximo da funo valor, V*,
com respeito a k0 e kT. Visto que k g (k , c , t ) p/ todo t, ento
* *

verdade que:
T T
V [ (k , c , t ) g (k , c , t ) (t ) k ]dt [ (k * , c* , t ) g (k * , c* , t ) k * ]dt [ , k * ]T0
* * * * * *
0 0
T
[ H (k * , c* , , t ) k * ]dt (T )kT (0)k0 (20)
0

para qualquer funo arbitrria (t).

Obtendo a derivada de V* com relao a k0, temos:

19

V * T dk * dc* d dt dk * * d
(Hk ) (Hc ) ( H ) (Ht ) k dt (0) (21)
k0 0 dk0 dk0 dk0 dk0 dk0 dk0

O valor de k0 no afeta a tendncia temporal. Assim,

dt/dk0=0. Visto que (t) uma funo do tempo
arbitrariamente escolhida, ento d/dk0=0 e d / dk0 0.
V * T dk * dc*
k0 0
Logo: ( H k ) (Hc ) dt (0) (22)
dk0 dk0

Isto vlido para qualquer (t), mas suponha que

selecionamos *(t) do princpio do mximo. Neste caso,
temos que:
V *
* (0) (23)
k0

20
 Utilizando o mesmo procedimento para obter a derivada de
V* com relao a kT, temos:
V *
* (T ) (24)
kT
(23) mostra que um aumento marginal no estoque inicial
contribuir *(0) por unidade para o valor total V*. Por isso,
*(0) interpretado como o valor imputado (ou preo
sombra) de uma unidade do estoque inicial.

Por sua vez, (24) mostra que alcanar T com mais capital
reduzir V* em *(T) por unidade.

Este resultado pode ser generalizado para interpretar *(t)

como o valor imputado ao estoque em qualquer instante t ao
longo da trajetria tima.
21
 As unidades no qual (t) expressa so unidades de valor
(por causa de V*) por unidade de estoque no tempo t.

Diante disso, ns podemos interpretar o Hamiltoniano

economicamente. Em um dado instante t, o agente consome
c(t) e possui um estoque k(t).

A contribuio direta de c(t) (e talvez de k(t)) para a utilidade

corrente do agente capturada por ().

Por sua vez, c(t) afeta a evoluo de k(t) e o valor desta

mudana (t)g().

22
 Assim, dado (t), o Hamiltoniano captura a contribuio total
(efeitos imediatos e efeitos futuros) para a utilidade de se
escolher c(t).

O princpio do mximo requer que H/c(t)=0, ou:

u g
(t )
c c
Isto mostra que a escolha tima de c*(t) deve equilibrar
qualquer aumento marginal na utilidade corrente decorrente
de c(t) com a diminuio marginal na utilidade futura
decorrente da mudana no estoque de capital.

23
 4. Anlise do diagrama de fase do
problema de controle timo
Em um simples problema de controle timo, o princpio do
mximo produz uma condio de primeira ordem e duas
equaes diferenciais.

Dificuldade de soluo analtica.

Sada: usar diagramas de fase para caracterizar

qualitativamente a soluo tima.

Exemplo (ver grficos em Leonard e Long, pg. 137):

Considere o problema de encontrar c(t) que maximiza:
T
V e t [ln c(t )]dt
0

24
 sujeito a k (t ) 2[k (t )]0,5 c(t )
k (0) k0 , k (T ) kT

O Hamiltoniano dado por:

H (k (t ), c(t ), (t ), t ) e0,05t ln c(t ) (t )[2(k (t ))0,5 c(t )]
O princpio do mximo diz que:
H c 0 e0,05t c1 (25)
H k k 0,5 (26)
k 2k 0,5 c (27)

Usando (25) para eliminar c de (27) :

k 0,5
k 2k 0,5 e0,05t 1 (28)

25
 (28) envolve um termo de tendncia temporal, implicando
que o locus k 0 no est bem definido.

Alternativa: trabalhar com um par de equaes diferenciais

para c e k.

Diferenciando totalmente (25), usando (26) e (25):

0,05e0,05t c 1 e0,05t c 2 c
k 0,5
e0,05t c 1k 0,5
Multiplicando ambos os lados por e0.05tc2:
0, 05c c ck 0,5

c c(k 0,5 0.05) (29)

26
 O locus k/t=0 implica 2k0.5-c=0 ou c=2k0.5 no qual
crescente e cncava.
O locus c/t=0 implica c=0 e k-0.5-0,05 ou k=400.
Estes locus dividem o plano (k,c) em 4 partes.
Se c<2k0.5, ento k est crescendo no tempo. Se c>2k0.5, ento
k/t<0.
Se k>400, ento c est decrescendo no tempo. Se k<400,
ento c/t>0.
O estado estacionrio o ponto onde os locus k/t=0 e
c/t=0 se cruzam. Neste ponto k*=400 e c*=40.

27
 A inclinao das trajetrias dada por
dc/dk=(dc/dt)(dt/dk)=(dc/dt)/(dk/dt).
Assim, ao cruzar o locus dc/dt=0, a trajetria tem inclinao
zero e, ao cruzar o locus dk/dt=0, ela tem inclinao infinita.
Observe que o sistema s capaz de mover para E se ele
comea nas regies I ou III. A trajetria que leva o sistema
para E denominada de saddle-path stable.
A exata trajetria no qual o sistema se envolve depende das
condies de fronteira.
Somente se o sistema comea na saddle-path, ele converge
para o ponto E.

28
 Para verificarmos as propriedades de estabilidade de E, ns
linearizamos o sistema de EDO no-lineares (27) e (29) ao
redor do estado estacionrio:

k 2(0,5)(k * )0,5 (k k * ) (c c* ) 0,05k 20 c 40 0,05k c 20

c c*[0,5(k * )1,5 ](k k * ) [(k * )0,5 0.05](c c* ) 0.0025k 0(c c* ) 1
A matriz de coeficientes dada por:
0.05 1
A
0.0025 0
Visto que |A|<0, ento o produto dos autovalores de A
negativo. Isto caracteriza E como sendo um saddle-point.

29
 5. Controle timo com free-endpoint
No problema (1)-(3), ns consideramos que k(T) era fixado
exogenamente. Este tipo de problema denominado de
ponto terminal fixado.

Vamos relaxar esta suposio.

Considere o problema de escolher, para todo t, c(t) que

maximiza:
T
V (k (t ), c(t ), t )dt (30)
0

k (t ) g[k (t ), c(t ), t ] (31)

k (0) k0 , k (T ) livre (32)

30
 Teorema (o princpio do mximo): a soluo tima para o
problema (30)-(32) um tripler (k(t),c(t),(t)) que satisfaz as
condies (5)-(7) e a condio adicional:
(T ) 0 (33)

A condio (33) denominada de condio de

transversalidade.

Prova: Para qualquer kT, deixe V*(kT) denotar o valor timo de

(30). A escolha tima de kT deve maximizar V*(kT), isto , k*T
deve ser tal que
V (kT ) k 0
* *
(34)

(24) mostra que V (kT ) k (T ) . Logo, verificamos que (33).

* * *

31
 Interpretao econmica: como o controlador no atribui
valor ao estoque terminal e no est restrito a escolher uma
dada meta kT, ento o estoque dever ser utilizado at que a
sua contribuio marginal seja zero.
Se uma restrio para o limite inferior de k(T) imposta,
ento (32) tornar-se k(0)=k0 e k(T)kmin. Neste caso, as
seguintes condies adicionais so necessrias:
(T ) 0, k (T ) kmin 0, (T )[k (T ) kmin ] 0 (35)

Interpretao econmica: se o estoque de capital no usado

em sua mxima extenso (se a restrio do limite inferior no
est ativa, ou k*(T)>kmin), ento o seu preo sombra deve ser
zero (*(t)=0).

32
 Na aplicao prtica deste tipo de problema, ns devemos
tentar primeiro a condio (T)=0 e verificar se k(T)*kmin. Se
isto for observado, o problema est resolvido.

Caso contrrio, impem-se a condio k(T)=kmin e tratamos o

problema como um de ponto final fixado.

33
 6. Problemas com horizontes infinitos

Horizonte de planejamento infinito.

O problema encontrar c(t) que maximiza a integral:

V (k (t ), c(t ), t )dt (36)
0

k (t ) g[k (t ), c(t ), t ] (37)

k (0) k0 , (38)

onde supe-se que no h restries sobre o comportamento

limite da varivel de estado.

34
 Vantagens:

i) evita-se o problema de especificar um valor para o estoque

no final do horizonte de planejamento;

ii) frmulas simplificadas;

iii) a idia de equilbrio de longo prazo ganha mais sentido;

iv) esta suposio pode ser justificada por fundamentos

microeconmicos, tais como altrusmo e motivo herana.

35
 Problemas tcnicos

i) 0 (k (t ), c(t ), t )dt uma integral imprpria e pode ou no ter um
valor finito.

Se a integral diverge, pode haver mais de uma trajetria de

c(t) que resulta em um valor infinito de V, sendo difcil
determinar qual seria a trajetria tima.

Condio I: Dado a integral imprpria 0 (k (t ), c(t ), t )dt , se o
integrando finito no intervalo de integrao e alcana um
valor zero em algum ponto finito de tempo, t0, e permanece
em zero para todo tt0, ento a integral convergir.

36

Condio II (falsa): Dado a integral imprpria 0 (k (t ), c(t ), t )dt, se
0 quando t, ento a integral convergir.

1 1
Exemplos: I1 0 dt; I2 dt.
(t 1) 2 0 (t 1)

Condio III: Na integral (k (t ), c(t ), t )dt , se o integrando toma a
0
forma de u(k (t ), c(t ), t )e t , onde >0 a taxa de desconto e
u() uma funo limitada, ento a integral convergir. Isto
uma condio suficiente para convergncia.

Quando o componente do integrando u() positivo e tem

um limite superior, , ento o fator de desconto e-t
suficiente para fazer com que a integral convirja.

37
 Condies de transversalidade

Para o caso em que o estado terminal livre quando t,

pode-se esperar que a condio de transversalidade seja
lim (t ) 0 (39)
t

enquanto que, para o caso onde a varivel de estado est

sujeita a um nvel mnimo pr-especificado quando t,
espera-se que a condio de transversalidade seja:
lim (t ) 0, lim (t )(k (t ) kmin ) 0 (40)
t t

A intuio de (40) que o valor do estoque de capital deve

ser assintoticamente igual a zero, pois em outro caso, algo de
valor seria deixado. Se k permanece assintoticamente
positivo, ento deve ser assintoticamente igual a zero.

38
 Halkin (1974) tem dado um contra-exemplo onde a soluo
tima no satisfaz a condio (39).
O modelo de Ramsey (1928) um contra-exemplo.
Pitchford (1977) observa que todos os contra-exemplos no
envolve nenhum fator de desconto temporal.
Weitzman (1973) mostra que, para problemas com tempo
discreto, uma condio anloga a (39) aparece quando h
uma fator desconto e a funo objetivo converge.
Benveniste e Scheinkman (1982) generaliza este resultado
para problemas com tempo contnuo.
Mitchel (1982) mostra que uma condio de transversalidade
que sempre se aplica lim H (t ) 0 .
t
39
 Referncias

CHIANG, ALPHA. Elements of dynamic optimization. Illinois: Waveland

Press, 1999

LORNAD, DANIEL; LONG, NGO VAN. Optimal control theory and Static
optmization in Economics. Cambridge: Cambridge University Press, 1992.

40