n No Lineal I El Problema de la Programacio

El problema m as general de programaci on no lineal (PPNL), puede plantearse como: Minimizar Z = f (x1, . . . , xn) sujeta a h1(x1, . . . , xn) = 0 . . . . . . h (x1, . . . , xn) = 0 g1(x1, . . . , xn) 0 . . . . . . gm(x1, . . . , xn) 0 En forma compacta el modelo anterior puede escribirse: Minimizar Z = f (x) sujeta a h(x) = 0 g(x) 0 donde x = (x1, . . . , xn)T es el vector de las variables de deon objetivo, y g : IR n IR m cisi on, f : IR n IR es la funci y h : IR n IR , donde g(x) = (g1(x), . . . , gm(x))T y h(x) = (h1(x), . . . , h (x))T , son las restricciones de desigualdad y de igualdad, respectivamente.
227

 n No Lineal II El Problema de la Programacio

La gura (a) muestra que el m nimo del problema se alcanza en el conjunto de puntos en los que la tangente es horizontal.
f(x) |x-1| + 1 1

x* (a)

x* = 1 (b)

Sin embargo, si se busca el m nimo de la funci on:: f (x) = (x + 2)2/3 (x 2)2/3 en IR, se encuentra uno con dicultades, pues no tiene puntos con derivada nula. Sin embargo, el hecho de que f tienda a cero cuando x tiende a y que tome valores negativos, indica que f debe alcanzar su m nimo en alg un lugar. Un an alisis m as profundo de f revela que el m nimo se alcanza en x = 2, pero f no es diferenciable en este punto. Este simple ejemplo muestra que se debe tener especial cuidado cuando las funciones que intervienen no son diferenciables.
2 1

-4

-2 -1 -2

228

 n No Lineal III El Problema de la Programacio

Hay adem as otro problema igualmente relevante, referente a los problemas nolineales diferenciables. Para ilustrarlo, se considera la funci on objetivo siguiente (ver gura) f (x) = (1/10)x2 + 10(sin x x cos x).
400 300 200 100 -30 -20 -10 -100 -200 10 20 30

Esta funci on es diferenciable en todo IR, pero tiene un conjunto innito de puntos con tangente horizontal (puntos en los que f (x) = 0). Estos puntos reciben el nombre de puntos estacionarios y todos ellos, salvo uno, son o ptimos locales. Puesto que si se restringe la atenci on a un peque no entorno de ellos, se convierten en m aximos o m nimos locales. La ecuaci on f (x) = 0 no puede ser resuelta en forma cerrada, por lo que se deben utilizar m etodos num ericos. La existencia de un conjunto innito de puntos candidatos y la ausencia de un m etodo para generarlos expl citamente, conducen a la imposibilidad de conocer, con total certidumbre, si un determinado candidato es el o ptimo global.
229

 n No Lineal IV El Problema de la Programacio

Estamos interesados en la clase de funciones tales que sus m nimos locales sean tambi en globales. En la gura se da una funci on que no cumple esta condici on. an por encima del Hay puntos en el intervalo [ x, x] que est segmento que une los m nimos. La convexidad es aqu suciente para evitar este comportamiento. Para ser convexa se exige que el grafo est e por debajo del intervalo que une los extremos.
f(x)

x*

Un PPNL puede no tener soluci on por: 1. La funci on no es acotada en S . Por ejemplo, f (x) = x, donde x IR decrece sin l mite hasta cuando x tiende a . En este caso se escribe Inmo
xS

f (x) =

2. La funci on es acotada en S pero no se alcanza la cota on inferior: InmoxS f (x) en S . Por ejemplo, la funci a acotada en S = IR y la cota inferior es f (x) = ex est 0 pero es inalcanzable por f (x).
230

 n No Lineal V El Problema de la Programacio

Teorema 1 (Existencia de soluciones o ptimas) Sea S un conjunto cerrado, acotado y no vac o de IR n y f : S IR una funci on continua. El problema Minimizar Z = f (x ) sujeta a x S, admite al menos una soluci on optima. Corolario 1 (Existencia de soluciones o ptimas) Sea S un conjunto cerrado y no vac o (posiblemente no on continua. Si acotado) de IR n y f : S IR una funci
x,xS

lim

f (x) = +

entonces el problema Minimizar Z = f (x ) sujeta a x S, admite al menos una soluci on optima. Estos resultados pueden hacerse m as expl citos cuando la funci on f es convexa.
231

 n No Lineal VI El Problema de la Programacio

Denici on 1 (M nimo global) Una funci on f (x) tiene un m nimo global (m nimo global estricto) en el punto x, de S , sii f (x) f (x) (f (x) < f (x)) para todo x en S . Denici on 2 (M nimo local) Una funci on f (x) tiene , un m nimo local (m nimo local estricto) en el punto x de S , sii existe un n umero positivo tal que f ( x) f (x) (respectivamente, f ( x) < f (x)) para todo x en S tal que x < . 0< x De ello se concluye que un m nimo global es tambi en un m nimo local. En una dimensi on es f acil ilustrar los conceptos anteriores. = {a, x1, x2} es En la gura, S es el segmento [a, b]. S el conjunto de los m nimos locales, y S = {a, x2} es el conjunto de los m nimos globales.
Objective function f(x) f(x)

f(x1) f(x2) = f(a)

x1 feasible region S
232

x2

b X Decision variable

 n No Lineal VII El Problema de la Programacio

Denici on 3 (Diferenciabilidad) Se dice que f : IR n IR es diferenciable en x si existen las f , i = 1, . . . , n,, y derivadas parciales xi f (y) f (x) f (x)T (y x) = 0. lim yx yx

donde f (x) = en x

f (x) f (x) ,..., es el gradiente de f x1 xn

Denici on 4 (Diferenciabilidad continua) Una si funci on f se dice continuamente diferenciable en x . En todas las derivadas parciales son continuas en x este caso, tambi en es diferenciable. Se considera el siguente PPNL: Minimizar Z = f (x) sujeta a h(x) = 0 g(x) 0 (2) (1)

donde f : IR n IR, g : IR n IR m, h : IR n IR con g(x) = (g1(x),. . ., gm(x))T y h(x) = (h1(x), . . . , h (x))T son funciones continuamente diferenciables en la regi on factible S = {x|h(x) = 0, g(x) 0}.
233

 n No Lineal VIII El Problema de la Programacio Condiciones de Karush, Kuhn y Tucker

Las condiciones de Karush, Kuhn and Tucker constituyen el resultado m as importante de programaci on no lineal. Deben ser satisfechas por cualquier optimo restringido, sea este local o global, y para cualquier funci on objetivo, ya sea lineal o no lineal. Adem as, los criterios de parada de los m etodos iterativos se basan en estas condiciones. Mientras que en los problemas diferenciables sin restricciones el gradiente se anula en los m nimos locales, esto no ocurre para problemas con restricciones, tal como ilustra la = a. Esto gura en el punto x se debe a las restricciones del problema. Las condiciones de Karush-Khun-Tucker conditions generalizan las condiciones necesarias de o ptimo para los problemas con restricciones.

f(x) Optimal solution f'(a) < 0 a

f'(b) = 0 f'(c) = 0

S b
234

d X

 n No Lineal IX El Problema de la Programacio Condiciones de Karush, Kuhn y Tucker

Denici on 5 (Condiciones Karush-Khun-Tucker) IR n satisface las condiciones de KarushEl vector x Khun-Tucker para el PPNL (1)-(2) si existe un par de vectores IR m y IR tales que f ( x) +
k =1

k hk ( x) +

m j =1

j gj ( x) = 0

(3) (4) (5) (6) (7)

x) 0, j = 1, . . . , m gj ( x) = 0, k = 1, . . . , hk ( j gj ( x) = 0, j = 1, . . . , m j 0, j = 1, . . . , m

Los vectores y son los multiplicadores de KhunTucker. La condici on (6) es la condici on complementaria de holgura. Las (7) son las condiciones duales de factibilidad y requieren la no-negatividad de los multiplicadores de las restricciones de desigualdad. Las condiciones (4)-(5) se llaman condiciones primales de factibilidad. Con el Lagrangiano L(x, , ) = f (x) + T h(x) + T g(x) las condiciones KKT se escriben como x, , ) = 0 xL( L( x, , ) = 0 L( x, , ) 0 T L( x, , ) = 0 0
235

 n No Lineal X El Problema de la Programacio Condiciones de Karush, Kuhn y Tucker

Ilustraci on de las condiciones de Karush-Khun-Tucker para el caso de una igualdad:

Contours of f
Decreasing f h h h h h

h =0

Ilustraci on de las condiciones de Karush-Khun-Tucker para el caso de una desigualdad:

Contours of f
g2 g1 f=1 f=2 f=3

Decreasing f Decreasing g1 g1 > 0 g1 < 0 Decreasing g2 g1 < 0

g2 = 0 g2 = -1 x* Contours of g2 g2 = -2 Feasible Contours of g2 region g1 = 0 g = -1 f g1 = -2 1 Contours of g1

236

 n No Lineal XI El Problema de la Programacio Condiciones de Karush, Kuhn y Tucker

Casos Especiales Si falta una restricci on en un PPNL, el multiplicador asociado a la restricci on ausente es nulo, y la restricci on se elimina de la formulaci on de las condiciones de KKT. En estos casos resulta: 1. (Problemas sin restricciones.) En este caso s olo se tiene la condici on: f ( x) = 0. 2. (Problemas con restricciones de igualdad solamente). Las condiciones de KKT son una extensi on del principio cl asico del m etodo de los multiplicadores de Lagrange. Este m etodo s olo surge con problemas que s olo tienen restricciones de igualdad, resultando: f ( x) +
k =1

k hk ( x) = 0 x) = 0, k = 1, . . . , hk (

(8)

3. (Problemas con restricciones de desigualdad solamente). Las condiciones de KKTC resultan f ( x) +

m j =1

j gj ( x) = 0 x) 0, j = 1, . . . , m gj ( x) = 0, j = 1, . . . , m j g ( j 0, j = 1, . . . , m
237

(9)

 n No Lineal XII El Problema de la Programacio Condiciones de Karush, Kuhn y Tucker Ejemplo 1

Minimizar Z = x1 + x2 sujeta a x2 1 + x2 = 0 2 x2 1 + x2 4 0 x1 0 x2 0 Sean y 1, 2 and 3 los multiplicadores asociados a la igualdad y las desigualdades, respectivamente. Las condiciones de KKT resultan: 1. La condici on de estacionariedad del lagrangiano es

0 1 2x1 1 2x1 + 1 + 2 + 3 + 1 0 1 2x2 1

0 = 0 (10)

2. Las condiciones primales de factibilidad:

2 + x x2 1 240 x1 0 x2 0 x2 1 + x2 = 0

(11)

3. Las condiciones complementarias de holgura son:

2 1 (x 2 1 + x2 4) = 0 2(x1) = 0 3(x2) = 0
238

(12) (13) (14)

 n No Lineal XIII El Problema de la Programacio Condiciones de Karush, Kuhn y Tucker Ejemplo 1

4. Las condiciones duales de factibilidad son: 1, 2, 3 0 (15)

Caso I: 2 = 0. Si 2 = 0 entonces usando (13), x1 = 0, y (10) implica 1 2 = 0 1 + 2x21 3 + = 0. on (15), Puesto que 2 = 1 y no se cumple la condici entonces los puntos KKT deben satisfacer 2 = 0. Caso II: 3 = 0, y 2 = 0. Si 3 = 0 entonces usando on x2 (14), x2 = 0, y la relaci 1 + x2 = 0 de (11) se obtiene x1 = 0, y con (10) resulta 1 = 0, por lo que todo punto KKT debe satisfacer 3 = 0. Caso III: 1 = 0, y 2 = 3 = 0. Si 1 = 0 entonces 2 on usando (12) resulta x2 1 + x2 4 = 0, y con la condici de factibilidad, resulta el sistema de ecuaciones
2 + x x2 1 2 4 = 0, x2 1 + x2 = 0.

239

 n No Lineal XIV El Problema de la Programacio Condiciones de Karush, Kuhn y Tucker Ejemplo 1

La u nica condici on que satisface el sistema (11) es x = 1 + 17 y, con (10), resulta ( , ), donde = 2 1 + 2 1 2 = 0, 1 + 21 + = 0, cuya soluci on es 2 > 0, 1 = 2 (1 + 2 ) 2 1 , + = 2 2 (1 + 2 ) que es un punto KKT. Case IV: El u ltimo caso es 1 = 2 = 3 = 0. Usando (10), resulta el sistema de ecuaciones 1 2x1 = 0, 1 + = 0, y se obtiene la soluci on = 1 y x1 = 1/2. De (11), se obtiene x2 = x2 1 = 1/4, y puesto que se trata de un punto factible, es tambi en un punto KKT.

240

 n No Lineal XV El Problema de la Programacio Condiciones de Karush, Kuhn y Tucker

Seguidamente se justica por qu e las CKKTC son necesarias para la mayor a de los PPNL. Para ello es necesaria la denici on siguiente. IR n, y Denici on 6 (Restricci on activa) Sea x j {1, . . . , m}. La restricci on de desigualdad gj (x) 0 si se dice que es una restricci on activa en el punto x x) = 0; por el contrario, se dice inactiva si gj ( x) < 0. gj ( El conjunto de los ndices de las restricciones activas de denota por I ( x), es decir, x) = 0}. I ( x) = {j |gj ( La raz on para distinguir entre restricciones activas e inactivas es que una restricci on inactiva en un punto permite encontrar un entorno de ese punto en el que permanece inactiva, mientras que para una restricci on activa esto puede no ser, y de hecho no ser a, cierto. Lema 1 las CKKT son necesarias para un o ptimo local de la mayor a de PPNL.

241

 n No Lineal XVI El Problema de la Programacio Condiciones de Karush, Kuhn y Tucker Ejemplo 2

3 3 Maximizar y minimizar Z = x3 1 + x2 + x3

sujetos a
2 2 x2 1 + x2 + x3 4 = 0 x1 + x2 + x3 1.

Ambos existen, puesto que el conjunto factible es cerrado y acotado, y la funci on continua. Las CKKT son: 3x2 1 + + 2x1 3x2 2 + + 2x2 3x2 3 + + 2x3 2 2 x2 1 + x2 + x3 4 (x1 + x2 + x3 1) x 1 + x2 + x3 = = = = = 0 0 0 0 0 1,

con y los multiplicadores de la desigualdad e igualdad, respectivamente ( 0 si m nimo, y 0 si m aximo). Caso I: = 0. El sistema se simplica a 3x2 1 + 2x1 3x2 2 + 2x2 3x2 3 + 2x3 2 2 x2 1 + x2 + x3 4 x1 + x2 + x3 = = = = 0 0 0 0 1.

242

 n No Lineal XVII El Problema de la Programacio Condiciones de Karush, Kuhn y Tucker Ejemplo 2

Por simetr a respecto a permutaciones basta considerar: on Caso I.a: x1 = x2 = x3 = 0. Imposible por la restricci
2 2 + x + x x2 1 2 3 4 = 0.

Caso I.b: x1 = x2 = 0, x3 = 0. Las dos restricciones y sus permutaciones conducen a las soluciones (0, 0, 2), (0, 2, 0) y (2, 0, 0). Caso I.c: x1 = 0, x2, x3 = 0. Las ecuaciones en implia la soluci can x 2 = x 3 y sus restricciones conducen on 2) y sus permutaciones ( 2, 0, 2), (0, 2, ( 2, 2, 0). Caso I.d: x1, x2, x3 = 0. Las ecuaciones en conducen a nico candidato x1 = x2 = x3, y las restricciones, al u (2/ 3, 2/ 3, 2/ 3). En principio todos los puntos pueden conducir a m aximos o m nimos, pues es nulo. Caso II: = 0. En este caso el sistema es: 3x2 1 + + 2x1 3x2 2 + + 2x2 3x2 3 + + 2x3 2 2 + x + x x2 1 2 34 x1 + x2 + x3
243

= = = = =

0 0 0 0 1.

 n No Lineal XVIII El Problema de la Programacio Condiciones de Karush, Kuhn y Tucker Ejemplo 2

Las soluciones con > 0 ser an candidatas al m nimo y las que verican < 0 lo ser an al m aximo. Las tres primeras 2 2 ecuaciones expresan que los vectores (3x2 1 , 3x2 , 3x3 ), (1, 1, 1) y (2x1, 2x2, 2x3) son linealmente dependientes, por lo que el determinante asociado debe anularse. Este determinante es un Vandermondiano, cuyo valor, salvo el signo, es (x1 x2)(x1 x3)(x2 x3). Por tanto, eliminando los multiplicadores de esta forma se resuelve el sistema equivalente (x1 x2)(x1 x3)(x2 x3) = 0 2 2 + x + x x2 1 2 34 = 0 x1 + x2 + x3 = 1. De nuevo, por la simetr a, es suciente considerar el caso on en las otras particular x1 = x2. Sustituyendo esta condici dos ecuaciones se llega a x3 + 2x1 = 1, 2 2x2 1 + (1 2x1 ) = 4. Por lo que se obtienen las dos soluciones 1 (2 + 22, 2 + 22, 2 2 22) 6 y 1 (2 22, 2 22, 2 + 2 22). 6
244

 n No Lineal XIX El Problema de la Programacio Condiciones de Karush, Kuhn y Tucker Ejemplo 2

Por otra parte, si se a naden las primeras tres ecuaciones y se consideran las restricciones, se llega a 12 + 3 + 2 = 0, que da la relaci on entre los dos multiplicadores. Resolviendo en y llevando el resultado a la primera ecuaci on se obtiene 3x2 1 + x1 (12 + 3) = 0, 3x1(4 x1) . 1 3x1 Usando el valor obtenido (x1 = (2 22)/6), es f acil comprobar que en ambos casos < 0 por lo que estos dos puntos para el Caso II son candidatos al m aximo. = Una vez identicados los candidatos al m aximo y m nimo, basta calcular los valores de la funci on objetivo para cada uno de ellos y decidir los valores extremos. En este ejemplo, el m nimo se alcanza en (2, 0, 0), (0, 2, 0), (0, 0, 2) y su valor es aximo se al 8, y el m canza en (1/6)(2 + 22, 2 + 22, 2 2 22), con un 68 11 22 . valor de 18 y por ello

245

 n No Lineal El Problema de la Programacio Condiciones suficientes I

Puesto que la diferenciabilidad de una funci on es un concepto local (s olo implica un entorno del punto en estudio), es necesario introducir otros conceptos que dependan del comportamiento de la funci on en todo su dominio de denici on. Para ello, se introduce el concepto de funciones convexas, para las que los o ptimos locales y globales coinciden. Denici on 7 (Funci on convexa) Sea f : S IR , donde S es un conjunto convexo no vac o de IR n. La funci on f se dice que es convexa en S si para cada par de puntos x1 y x2 y cualquier escalar t tal que 0 t 1, se tiene f tx1 + (1 t)x2 tf (x1) + (1 t)f (x2). (16)

Si se cumple la desigualdad estricta en (16), f se dice que es estr ctamente convexa. Similarmente, una funci on f es concava si (16) se cumple con la desigualdad al rev es, es decir, si (f ) es convexa. Teorema 2 (Optimo global y local) Consid erese la funci on convexa f : S IR , donde S es un conjunto nimo local de f en S convexo no vac o de IR n. Todo m es tambi en un m nimo global de f en S . Adem as, si f es estr ctamente convexa hay a lo sumo un u nico m nimo global.
246

 n No Lineal I El Problema de la Programacio

La gura muestra tres ejemplos de funciones, una convexa, otra c oncava, y la u ltima, ni convexa ni c oncava.
f(x)
Convex function

f(x2) f(x1) + (1- ) f(x2) f(x1)

f(x1+(1-)x2)

x1 f(x)

x1+(1-)x2

x2 X

Concave function f(x1+(1-)x2)

f(x1) f(x1) + (1- ) f(x2) f(x2) x1 f(x)

Neither concave nor convex function x1+(1-)x2

x2 X

f(x1) f(x2)

x1

x2

Antes de proceder a entender mejor la convexidad debemos convencernos de que se trata de una propiedad que garantiza la no existencia de m nimos locales que no son globales (es lo que arma el Teorema 2).
247

 n No Lineal I El Problema de la Programacio

Veamos la interpretaci on geom etrica de la convexidad. Sea erese el punto x1 y x2 dos puntos diferentes de S , y consid otese que tf (x1)+(1 tx1 +(1 t)x2 S para t (0, 1). N t)f (x2) da la media ponderada de f (x1) y f (x2), mientras que f (tx1 +(1 t)x2) da el valor de f en el punto tx1 +(1 on convexa f , el valor de f t)x2. Por tanto, para una funci en el punto tx1 + (1 t)x2 es menor o igual que la altura de la cuerda que une los dos puntos [x1, f (x1)] y [x2, f (x2)]. Para una funci on c oncava, la cuerda est a por debajo de la funci on misma. Cuando una funci on de una variable es diferenciable, la convexidad puede entenderse en funci on de la derivada de la funci on. Esencialmente requiere que su derivada sea creciente. Cuando la funci on es dos veces diferenciable, las funciones convexas pueden identicarse comprobando si su derivada segunda es positiva o no negativa. Para funciones de varias variables, tambi en se tienen estos dos criterios, como se ve seguidamente. Teorema 3 (Convexidad y diferenciabilidad) Sea S IR n un conjunto convexo y f : IR n IR diferenciable en S . Entonces f es convexa en S sii f (x1) f (x2) f (x1)T (x2 x1); x1, x2 S. (17) Adem as, f es extr ctamente convexa en S sii f (x1)f (x2) > f (x1)T (x2x1); x1, x2 S con x1 = x2.
248

Matrices definidas positivas

Para tratar con el criterio de la derivada segunda. es necesario recordar los conceptos de funci on dos veces diferenciable y matriz semidenida positiva. Denici on 8 (Funci on dos veces diferenciable) n Se dice que f : IR IR es dos veces diferenciable en el punto x si existe un vector columna f (x), y una matriz n n 2f (x), tal que
1 f (y) f (x) f (x)T (y x) (y x)T 2f (x)(y x) 2 lim = 0. 2 yx yx

La matriz 2f (x) se llama la matriz hesiana de f en el punto x. El elemento ij de 2f (x) es la segunda derivada parcial 2f (x)/xixj . Por otra parte, si las derivadas parciales son continuas, entonces f se dice dos veces continuamente diferenciable y, entonces 2f (x) es una matriz sim etrica. Denici on 9 (Matrix semidenida positiva) Una matriz sim etrica A es semidenida positiva si xT Ax 0 para cualquier vector x. Adem as, si la igualdad olo cuando x = 0, entonces xT Ax = 0 se cumple s A se llama denida positiva. La matriz A es semidenida positiva si todos sus autovalores son no negativos, es decir, si los valores de que satisfacen det(A I) = 0 son no negativos. A es denida positiva si todos sus autovalores son positivos.
249

Funciones convexas I

Teorema 4 (Funciones convexas) Sea S IR n un conjunto abierto y convexo y sea f : IR n IR dos veces diferenciable en S . Entonces, se cumple: x) es una 1. f es una funci on convexa en S sii 2f ( S , es dematriz semidenida positiva para todo x cir, x)y 0; y IR n. yT 2f ( 2. f es una funci on estr ctamente convexa en S sii x) es una matriz denida positiva para todo 2f ( S , es decir, x x)y > 0; y IR n. yT 2f ( Algunas funciones convexas relevantes son: 1. Funciones anes: Sea f (x) = bT x + a, donde a IR on an. Entonces, la matriz y b, x IR n, es una funci IR n. Puesto x) = 0 para todo x hesiana es 2f ( que esta funci on satisface el Teorema 4, es una funci on convexa. N otese que f es tambi en c oncava puesto que x) es igual a cero. 2(f )( 1 T 2. Formas cuadr aticas: Sea f (x) = x Cx + bT x + a 2 una forma cuadr atica. Si la matriz C es semidenida positiva, entonces f es una funci on convexa, ya que la matriz hesiana de f es 2f (x) = C para todo x.
250

Funciones convexas II

Cuando se trata con funciones convexas, a veces se combinan varias de ellas de alguna forma. Es importante conocer qu e tipo de operaciones conservan la convexidad y cu ales no lo hacen. Algunas de las operaciones que conservan la convexidad son: 1. Combinaciones lineales no negativas de funciones convexas. Sean fi(x), i = 1, . . . , k funciones convexas, y erese sean i i = 1, . . . , k escalares positivos. Consid la funci on h(x) = k i=1 i fi (x). Puesto que la suma de matrices semidenidas positivas es tambi en semidenida positiva, resulta que h es una funci on convexa. 2. Composici on primera. Si h es convexa y T es una transformaci on lineal (o an), la composici on g = h(T) tambi en es convexa. 3. Composici on segunda. Si g es convexa, y h es una funci on convexa no decreciente de una variable, la composici on f = h(g ) tambi en es convexa. 4. Supremo. El supremo de una familia de funciones convexas es tambi en una funci on convexa.

251

Suficiencia de las condiciones de Karush-Khun-Tucker I

Las CKKT no son sucientes para un m nimo local. Por ejemplo, el problema Minimizar Z = x3 sujeta a x IR , tiene un punto KKT en x = 0, pero no es un m nimo local. Incluso si se sabe que un punto es m nimo local, no hay forma de garantizar que lo sea global. El lema que sigue da una condici on necesaria y suciente de optimo global para una clase importante de PPNL con una restricci on denida impl citamente. Lema 2 (Problema de programaci on convexa) Consid erese el problema de programaci on convexa (PPC) Minimizar Z = f (x) sujeta a x S, donde f es convexa y diferenciable y S es un conjunto ptimo global sii convexo. Entonces x S es un o f (x)T (x x) 0, x S.

252

Suficiencia de las condiciones de Karush-Khun-Tucker II

El teorema que sigue da condiciones sucientes para asegurar que los puntos KKT sean tambi en m nimos globales. Teorema 5 (Suciencia de las condiciones de Karush-Khun-Tucker) Consid erese el PPNL Minimizar Z = f (x) sujeta a h(x) = 0 g(x) 0. ) que satisface , Sup ongase que existe una tripleta ( x, k > 0} y K = {k | k < 0}. las CKKT. Sea K + = {k | x) y hk (x) Sup ongase que f (x), gi(x) para todo i I ( para todo k K + son funciones convexas en IR n, y que oncavas en IR n. hk (x) para todo k K son funciones c es una soluci Entonces x on global del PPNL.

253

Suficiencia de las condiciones de Karush-Khun-Tucker III

Ejemplo 1 (Caso especial: Sin restricciones) Para todos los problemas sin restricciones las CKKT son necesarias. Sea f : IR n IR convexa en IR n y on global diferenciable en x. Entonces x es una soluci optima del problema Minimizar Z = f (x), x IR n sii f (x) = 0. La clase m as importante de PPNL para los que las CKKT son siempre necesarias y sucientes es la de los llamados programas convexos (PC), que consisten en minimizar una funci on objetivo convexa con un conjunto de restricciones tales que las desigualdades son funciones convexas y las igualdades funciones anes, es decir: Minimizar Z = f (x) sujeta a h(x) = 0 g(x) 0, donde las funciones f y g son convexas y continuamente diferenciables, y h es una funci on an. Un caso particular importante es el problema de programaci on lineal, por lo que los resultados anteriores son totalmente aplicables a este problema.

254

Ajuste por m nimos cuadrados I

En muchos casos tiene uno que enfrentarse al problema Minimizar f (, ) =

i

(r(xi) + s(yi))2 .

donde r(x) y s(y ) son funciones de dos variables x e y , respectivamente. Puesto que y no est an restringidos, se trata de un problema sin restricciones, y las CKKT resultan: f (, ) = i (r(xi) + s(yi))r(xi) = 0, f (, ) = i (r(xi) + s(yi)) = 0, que tras una reordenaci on de t erminos se transforma en:
i

r (x i ) 2 +
i

r (x i ) =

i i

r (x i )s (y i ) s (y i ).

r(xi) + n =

La soluci on de este sistema es: n i r (x i )s (y i ) i r (x i ) i s (y i ) = (n i r(xi)2 ( i r(xi))2) =

i r (x i )

i r (x i ) i r (x i )s (y i ) . 2 2 (n i r(xi) ( i r(xi)) )
2 i s (y i )

255

El problema de Cobb-Douglas I

Teniendo en cuenta que maximizar una funci on es lo mismo que minimizar la misma funci on cambiada de signo, el problema consiste en
x Minimizar Z = x 1 2

sujeta a x1 +ax2 = C 0 x1 (18) x2 0 donde > 0, > 0 son constantes, tales que + 1, x1 y on y de trabajo, respectivamente, x2 son los niveles de inversi x on de Cobb Douglas, que da el y f ( x 1 , x2 ) = x 1 2 es la funci nivel de producci on como funci on de ambas variables, y a es el coste por unidad de trabajo. Adem as hay una restricci on de dinero disponible C . Este es un PPC, pues las restricciones son lineales y la funci on objetivo es convexa. Se probar a esto usando el Teorema 4. El vector gradiente es
f ( x 1 , x2 ) =

1 x 1 x2 1 x x 1 2

y la matriz hesiana:

f ( x 1 , x2 ) =
2

2 ( 1)x 1 x2 1 1 x 1 x2

1 1 x 1 x2 2 ( 1)x x 1 2

256

El problema de Cobb-Douglas II

La matriz hesiana es denida positiva, pues 0 < < 1 y ( 1) > 0; y en la regi on factible, x1 0 y x2 2 as, det(2f (x1, x2)) = 0, por lo que x 1 x2 0. Adem 2(1) 2( 1) x2 , y es no negativa en la regi on (1 )x1 factible. Por tanto, 2f (x1, x2) es denida positiva y el Teorema 5 justica que cualquier punto KKT es un o ptimo. La condici on de estacionariedad del lagrangiano conduce a

1 x 1 x2 1 x x 1 2

+ 1

1 0 1 0 + 2 + = . 0 1 a 0

Se supone que x1 > 0 y x2 > 0, y por las condiciones complementarias de holgura 1 = 2 = 0. por tanto, el sistema
1 x 1 x2 + = 0 1 + a = 0 x 1 x2

conduce a
1 1 Dividiendo por x 1 x2

1 x 1 x2

1 = x1 x2 . a > 0 se obtiene

x1 x2 = a y utilizando (18) se llega nalmente a C, x2 = C. x1 = + a( + )

257

Dualidad I

La dualidad juega un papel muy importante en programaci on no lineal. Seguidamente se generalizan los resultados obtenidos para programaci on lineal al caso de problemas de programaci on convexa. Consid erese el siguiente problema primal (P ): Minimizar ZP = f (x) sjeto a h(x) = 0, g(x) 0, donde f : IR n IR, h : IR n IR , g : IR n IR m. El problema dual requiere introducir la funci on dual: (, ) = Infx {f (x) + T h(x) + T g(x)}. El problema dual (D) es Maximizar ZD = (, ) sujeta a 0. Usando el lagrangiano L(x, , ) = f (x) + T h(x) + T g(x) se puede reescribir (D) como Max0 ( Infx L(x, , ))
258

(19)

(20)

(21)

(22) (23)

(24)

Dualidad II

Se supone que f, h, y g son tales que el nmo de la lagrangiana es alcanzable en alg un punto x, es decir, que la operaci on nmo en (21) y (24) puede reemplazarse por la m nimo. En este caso, si se denota por x(, ) a los puntos en los que se alcanza el m nimo de la lagrangiana, considerada como funci on de los multiplicadores, se puede escribir (, ) = f (x(, )) + T h(x(, )) + T g(x(, )). Por otra parte, bajo las hip otesis de convexidad de f y g, de anidad de h y de positividad de , el lagrangiano es convexo en x, y por tanto, en un m nimo global, el gradiente debe anularse: f (x(, )) + T h(x(, )) + T g(x(, )) = 0. (25) Estas dos u ltimas identidades pueden utilizarse para derivar una expresi on para el gradiente de la funci on dual y su hesiano. En verdad, por la regla de la cadena, (, ) = [f (x(, )) + T h(x(, )) +T g(x(, ))]T x(, ) + g(x(, )), y por (25) (, ) = g(x(, )). Similarmente (, ) = h(x(, )).
259

(26) (27)

Dualidad III

Con respecto al hesiano, n otese que derivando (26) y (27) con respecto a y , respectivamente, se obtiene 2 (, ) = xh(x(, )) x(, ), y (29) 2 (, ) = xg(x(, )) x(, ). Para obtener x(, ) y x(, ), se deriva (25) con respecto a y , respectivamente, resultando 2 x L(x(, ), , ) x(, ) + x g(x(, )) = 0, y una ecuaci on similar intercambiando por y h por g. Reemplazando estas en (29) y (28), se llega a
2 1 2 (, ) = xg(x(, ))[xL(x(, ), , )] xg(x(, )),

(28)

y la f ormula paralela para 2 (, ). Finalmente, si se est a intersado en las derivadas segundas cruzadas 2 (, ), los mismos c alculos conducen a
2 1 2 (, ) = xg(x(, ))[xL(x(, ), , )] xh(x(, ));

y similarmente
2 1 2 h ( x ( , ))[ L ( x ( , ) , , )] xg(x(, )). ( , ) = x x

Todas estas f ormulas son relevantes para los m etodos de c alculo posteriores.
260

Dualidad IV

El teorema siguiente muestra que cualquier valor del problema dual es una cota inferior del o ptimo del problema primal. Esto tiene importancia pr actica pues permite determinar cuando se para un proceso iterativo. Teorema 6 (Dualidad d ebil) Para cualquier soluci on factible x del problema primal (19)-(20) y cualquier soluci on factible del problema dual (22)-(23), se cumple f (x) (, ). (30) Si las dos regiones factibles de ambos problemas son no vac as, entonces (30) implica que sup y inf f , ambos considerados con respecto a sus conjuntos de restricciones, son nitos. Por supuesto, ni el supremo ni el nmo tienen por qu e alcanzarse en alg un punto factible. Si son alcanzables, entonces (30) conduce a que si ambos son factibles, ambos tienen soluciones o ptimas. El siguiente corolario tiene una gran importancia pr actica. Corolario 2 (Optimalidad primal y dual) 1. Se cumple: sup{(, )| 0} inf {f (x)|h(x) = 0, g(x) 0}. (31)

2. Si f (x) = (, ) para alguna soluci on factible x del problema primal (19)-(20) y para alguna soluci on factible (, ) del problema dual (22)-(23), entonces x y (, ) son soluciones optimas de los problemas primal y dual, respectivamente. 3. Si sup{(, ) : 0} = +, entonces el problema primal no tiene soluci on factible. 4. Si Inf{f (x) : h(x) = 0, g(x) 0} = , entonces (, ) = para todo IR y 0.
261

Dualidad V

Si un vector de multiplicadores resuelve el problema dual y la holgura dual no existe, es decir, la relaci on (31) no se satisface estr ctamente, entonces, las soluciones del problema lagrangiano asociado a este vector de multiplicadores son soluciones o ptimas del problema primal. Este resultado suministra una forma de resolver el primal resolviendo el dual. El resultado principal consiste en encontrar condiciones que garanticen la no existencia de hol gura dual. Este es el caso cuando se trata con programas convexos. Teorema 7 (Dualidad para programas convexos) Consid erese un problema de programaci on convexo como el (19)-(20). Si x resuelve el problema primal su vector de multiplicadores asociado (, ) resuelve procamente, si el problema dual, y g(x) = 0. Rec on, (, ) resuelve le problema dual, y existe una soluci x, del problema lagrangiano asociado a este vector de multiplicadores tal que g(x) = 0 entonces x es una soluci on o ptima del primal.

262

Dualidad VI

Consid erese el problema (primal) (P):

2 + x Minimizar ZP = x2 1 2

sujeta a x1 + x2 4, x1 0, x2 0.
La u nica soluci on o ptima de este problema es (x 1 , x2 ) = (0, 0) con un valor de Z = 0. Este es un problema de programaci on convexa trivial. El problema dual (D) se obtiene, primero obteniendo la funci on objetivo dual (1, 2, 3): xIR
1

2 min2{x2 1 + x2 + 1 (x1 + x2 4) + 2 (x1 ) + 3 (x2 )}

2

2 2 { x + ( ) x } + min { x = min 1 2 1 1 2 + (1 3 )x2 } 41 . x x

Tras algunos c alculos se obtiene la lagrangiana: 1 () = [(1 2)2 + (1 3)2] 41, 4 y el problema dual (D) resulta: sup {()| 0} N otese que la funci on dual es c oncava. El o ptimo del dual se alcanza en 1 = 2 = 3 = 0 y ZD = ( ) = 0.

263

Condiciones de regularidad I

Contours of f
h

K2(x) F(x)

x*

Contours of g

K1(x)
f

K(x)

h =0

Se ha visto la importancia de las CKKT para resolver problemas de programaci on no lineal. Sin embargo, no siempre son necesarias para la optimalidad. De hecho, s olo si se cumplen siertas condiciones de regularidad se convierten en necesarias. Las hip otesis que aseguran esta regularidad se denominan como Condiciones de regularidad. Seguidamente se especica la clase de PPNL para las que las se satisfacen las CKKT. Se considera el problema Minimizar Z = f (x) sujeta a h(x) = 0, g(x) 0. (32) Se comienza por caracterizar los puntos KKT. El teorema que sigue utiliza los conos: x)T d < 0, } F ( x) = {d IR n|f ( x)T d 0, i I ( x)} K ( x) = {d IR n|gi( {d IR n|hi( x)T d = 0, i = 1, . . . , }.
264

Condiciones de regularidad II

N otese que los productos escalares x)T d, hi( x)T d, f ( x)T d, gi( son precisamente las derivadas de f , gi y hi, respectiva . Recu mente, en la direcci on de d en el punto x erdese tambi en que I ( x) es el conjunto de restricciones activas en el punto correspondiente. Teorema 8 (Caracterizaci on de un punto KKT) es una soluci Sup ongase que x on factible de (32). En tales que ( ) y , tonces, existen dos vectores x, satisface las CKKT dadas por (3)-(7) sii se satisface la condici on K ( x) F ( x) = . (33) Este teorema dene completamente los puntos KKT. Veremos que el m nimo local impone condiciones m as d ebiles que este teorema. Veamos las condiciones necesarias para m nimo local. Sea x un m nimo local de (1), entonces existe un > 0 tal que f ( x) f (x) x S B ( x, ) < }. De la denici donde B ( x, ) = {x | x x on es claro que un desplazamiento sucientemente peque no des , en la regi de x on factible no reduce el valor de la funci on objetivo.
265

Condiciones de regularidad III

D(x) x D(x)

(a)

(b) X

Para entender el comportamiento de un m nimo local, se introduce el concepto de direcci on factible. Inicialmente, se puede pensar en cualquier tipo de peque no desplazamiento desde el m nimo relativo. Supondremos sin embargo, s olo desplazamientos lineales en direcciones diferentes. De todas las posibilidades, estamos interesados en aquellas en las que se pueden elegir desplazamientos tan peque nos como se desee sin dejar de estar en la regi on factible. Estas direcciones se llaman direcciones admisibles. Denici on 10 (Cono de las direcciones admisibles) Cl(S ). Sea S un conjunto no vac o de IR n, y sea x si existe Un direcci on d se dice factible para S en x + tk d S una secuencia {tk } tal que tk > 0, k , x y limk+ tk = 0 El conjunto de todas las direcciones , que se denota por D( factibles de S en x x), es un cono. S , una diM as precisamente, dado un punto factible x es un vector d = 0 tal que x + td S recci on factible en x ) donde t es positivo. La gura ilustra el para todo t (0, t conjunto de direcciones factibles en un punto
266

Condiciones de regularidad IV

Sea x un punto factible y d D(x) una direcci on. Para estudiar el grado de cambio de f a lo largo de la l nea recta en la direcci on d, se puede denir la funci on (t) = f (x + td) El grado de cambio de la funci on (t) es la primera derivada on. Cuan (t), que caracteriza la monotonicidad de la funci on es do t es igual a cero, el signo de (0) decide si la funci creciente o decreciente en esta direcci on. Este valor se llama la derivada direccional, y se denota por f (x; d). Si x es un m nimo local y d es una direcci on factible, entonces las derivadas direccionales deben ser mayores o iguales a cero, ya que de otra forma w podr a ser decreciente en (0, ) para alg un > 0, lo que contradice la condici on de m nimo local . Esto conduce a la siguiente condici en x on necesaria para m nimo local x). f (x; d) 0, d D( (34)

Si f es diferenciable en x, las derivadas direccionales pueden calcularse por medio del vector gradiente, y la condici on (34) puede reformularse como x; d) = f ( x)T d 0, d D( x). f ( Esta propiedad es tambi en cierta para un cono mayor que D(x), que se llama cono tangente.
267

Condiciones de regularidad V

La denici on de cono tangente es como sigue. En un cierto sentido el cono tangente es el cierre del cono de las direcciones factibles. Denici on 11 (Cono tangente) Sea S un conjunto Cl(S ). El cono de tangentes no vac o de IR n, y sea x , denotado por T ( de S en x x), es el conjunto de todas las direcciones d tales que existe tk > 0 con ), d = lim tk (xk x
k +

. Se trata de un donde xk S , para cada k , y xk x cono cerrado. Teorema 9 (Condiciones necesarias de optimalidad) es un m Si x nimo local de (1) entonces T ( x) F ( x) = . (35) N otese que T ( x) K ( x), y una condici on necesaria para m nimo local no implica necesariamente las CKKT. N otese que hay PPNL para los que las CKKT no son necesarias. Para claricar esto se da un ejemplo.

268

Condiciones de regularidad VI
X2

x2 - (x1-1)2 0 - x1 0 - x2 0 S x * = (1,0) X1

Consid erese el problema Minimizar Z = x1 sujeta a x2 (x1 1)2 0, x1 0, x2 0. Las restricciones funcionales son g1(x1, x2) = x2 (x1 1)2 , g2(x1, x2) = x1 y g3(x1, x2) = x2, que denen la regi on factible (ver gura). El o ptimo de este problema se alcanza en los puntos donde la axima. Es claro que la soluci on o ptima componente x1 es m este no es un es x = (1, 0). Mostraremos, sin embargo, que punto KKT. El gradiente de la funci on lagrangiana es:

1 2(x1 1) 1 0 0 + 1 + 2 + 3 = 0 1 0 1 0
269

Condiciones de regularidad VII

Sustituyendo en x, y usando la condici on complementria de holgura, es decir, si gi(x) es inactiva su multiplicador i = 0. En este ejemplo g2(x) < 0 y 2 = 0, resultando el sistema inconsistente : 1 = 0, 1 3 = 0, lo que prueba que x no es un punto KKT, ya que T (x) = on se cumple para cualquier PPNL, pero K (x). La inclusi la inversa no siempre. No es dif cil comprobar que existe una K (x) tal que d / T (x). Recordando la denici on d K (x) = d IR 2 | gi(x)T d 0, i I (x) . Sea

g1(x) =

0 0 g3(x) = ; 1 1

K (x) = (d1, d2)T IR 2 | d2 0, d2 0 = (d1, d2)T IR 2 | d2 = 0 . = (1, 0)T K (x). Se probar a que d / T (x). Por ello d Sea xk un elemento de S . Puesto que x es el elemento de S con la mayor componente primera, el vector tk (xk x) tiene primera componente no positiva, por lo que el l mite es tambi en no positivo, y, por tanto, diferente de 1. Ello y por denici on de muestra que limk+ tk (xk x) = d / T (x). T (x), se obtiene d
270

Condiciones de regularidad VIII

Se deben imponer nuevas condiciones para asegurar que T ( x) = K ( x). Estas condiciones se conocen como las condiciones de regularidad (CQC). El proceso para elaborar las CQC consiste en denir un nuevo cono C ( x) T ( x) para garantizar que C ( x) = K ( x) bajo unas cierta CCC. Este esquema valida que las CKKT sean necesarias para un m nimo local. Puesto que en la mayor a de los PPNL uno se encuentra en la pr actica con que se verican algunas CCC, y una discusi on completa de estas resulta excesivo para los objetivos que se persiguen, simplemente se dan algunas de estas: Condiciones de Slater. Las funciones gi(x) para todo x) para todo k = 1, . . . , i I ( x) son convexas, y hk ( son linealmente independientes. Por otra parte, existe IR n tal que gi( x) < 0 para todo i I ( x) y hk ( x) = x 0 para todo k = 1, . . . , . Independencia lineal. Los gradientes de las restricciones activas son linealmente independientes, es decir, g ( x) c) para todo k = 1, . . . , son linealmente inand hk ( dependientes. S se dice que Condiciones de Abadie. El punto x satisface las condiciones de Abadie si T ( x) = K ( x). Esta condici on se satisface por problemas con restricciones lineales, y las CKKT son necesarias para problemas con restricciones lineales.
271

Condiciones de regularidad IX

Teorema 10 (Condiciones necesarias de KarushKhun-Tucker). Consid erese el PPNL Minimizar Z = f (x) sujeta a h(x) = 0 (36) g(x) 0 es un o , Si x ptimo global y se cumple una CCC en x , ) tal que es decir, T ( x) = K ( x), entonces existe ( , ) satisface las CKKT dadas por las ecuaciones ( x, (3)-(7). Casos especiales 1. Problemas sin restricciones. En este caso S = IR n y las condiciones de Abadie se cumplen trivialmente. El es un m teorema se formula: Si x nimo local y f es entoncces f ( diferenciable en x x) = 0. 2. Problemas con s olo restricciones de igualdad: multiplicadores de Lagrange. En este caso las CCC previas son: x) para k = 1, . . . , deben ser linealmente indehk ( pendientes. 3. Problemas con solo restricciones de desigualdad. En este caso no existen condiciones para la restricci on h(x) = 0.

272