You are on page 1of 22

  

  
 

 


 

   
 
           

  

         !" #! ! ! "" $ !% 

!& '!% ' ! !( ! ' !  '!"!$ !#  !!  '
$)'  ") !# #&( $  !"(  ' $)'  !&*'% #)'! 
   !+"! !#  #&   !   !( $$ $ 
!( '!) & "  !%$$ &(    "!$  $$ !#  
 !" )$  ' !  !    !" #( !& )"! ! 
''(  "  !" ) ! )  ! $ ! ! !#   "!$ ,$
$$ (!  ! ! )- #!    "")" .   !"  
!( '')")! !/ #!   (     '')")! !  !(

        


 

  
    

 


           !  !    "
#$ %                & 
  
          '$ ( )    
    #     $
 *     &  

 
   

 $ 
  
   


(             *        


$    
                 
    $ +      # 
 $
 
  



   $
,         -   
           #     
       #  $
            
%        $ (  
                


0" !# "' 1$ ,%( !#   + 2! 3456 776869:;6


1!!!  ./ 9"- 
 
0" !# "' 1$ ,%( !# 2
 $ 1$ ,%( !# 
 + 2! 5:675 753<59::6 )& 2 ./ 9"-  
 
0" !# ''   1$ ,%( !#   + 2! 3456
776869:;6 1!!!  ./ 9"-   
 
 )!  )!$ &( 2= $ 2  9 .
5

 
     0   

# $ .             &   
                $
/     0  1 2    3 45 
,  62 717 3 5$ (  #  89:  ; 3 5$
6    ! !      
   !    6 <  ( 345   
         =  0 3> ?5&  
   0             
                $
(                )
  $
(            
 
       89: 3
5   89:  ; 3 5
                
  $ ,              &
         !    
!   $ 8            =
7  @ 3A5   = B  @ 3?5   
   !    # 0 # $
C                    D

 
   # $ ,         
           #  $ (  

0&  # 
     E  # 

   $ /     ?      
#$
,  
            
   $ (  
         
    $ (   F0 G 
          $
  !" H  *        #  
               
#          ;  &


F      

    

   G$

           #    0 
                $
(      H  %'    
3I5    #     H 7 %' 
( 3J5$ C               
     #*            
     $
             89: 
; 3 5     *$ (       &
 .     *      $
 (            
            $ ( 
            
  $

>

 >     1   0

 @   !     &   !  


        * $
 C  *              
*              "
  $
# $   %% C        * 
  $ /        #    
    #         !
       $ / >    
             $ / A   
#    & H       *  #  
   $ /     *  
   )         $ / ?
      , #    $
&% ""   #    !     
 $ B          $
'( (              $
')( ,       
        %    '"
       $
'*( ,     K         8 "
H# 8"H !*      K 
               
 K 
  K 
 K      K 
$
H            
      
 $>
      D      D  
   
 
   
  %   $
 + ""            
            &
 $A            
    D        
,              $ (  
   &
 ( 8 "H        !# 
 &              *
 /  $$             
   D         $
 ( L "L"(0 LL(   ;    
LL(            $ ( 
    !#           
   $
%!& " B  0     
             $
%  *                     "
   
 $?
            


 

 
     0   

              M  $


(      0$ /    = 0 35$ C
 *    
              
 $      #       LL(  
!#     
$ C    
       
$
,           89:  /# 3 >5 
*       LL(  H")  &
    K  *  89:"/#      
 $4

 


(     !  #&    #  
            4$ (  
     $
B  #       &        
    8 "H             
LL(  89:"/#  !#  $      $
H            
           !#$  0   
     #     #       $
 7#  "#  
  &      &
 
     !#    N
  M      
 
      M 
  $


 
     M    

$

  
)   ! C          *
             $ , 
             #   !
        $ (  
   !        *     $


   
<&           
 $
0

 
O  O            
6    K   O  O 
<*   K       O   O 


    

   
   
    K          $
        $


    

      


    
 K    
      
   $


  
  
     

  
 

 


 K

 
 K


 "
"

 >     1   0

 D $

/ ?            $
(            *&   
                    
 
      *$ ,       
    *             $
(     *        
$    0        #     
     $
#%% " (       &
 ,    $ C        #$
 (     $ (       
     $ ,          
      K    K 
$
! $ , " #           
*            $ ( #
   0     $ /    ?$
H           * !  
  $        B  B "B>   *   0
          $ C    
          $


" "% 


'-( ,           

      N
 

$ 
(      
$

 
  
   
$ @           "#
   
        
 

+      #
         
$>
%!& "%            
          $ ( # 
      $ C    *&
(       * 


$A
               
     H $ $ (   &
'.( ,      #    "   K   
      K       
$?
     
  N
 
 


$4
     
  N  


 
     0   

@   BA     B?  $ (  4
       
  K   #    K
      
   $
( *    B?     $ (   -    
#           D    D 

 $
H $          D   D $


x indicates (f 0(x),h(x))
h
permanent

temporary

xk
H

zk

zk + d

f0

   


  ?  
     

(             
  $


        
    


                   
  
     
   
       


     
            
=  , $   O  O      *     
         "$ C O    
  
   
           "$
 

! K      "      #  
   "
   K               "   
$ $ C K              ?
       K       
      
  N
 
 
 

    "$
,   K     $$ K 
$ ,     

   *       
K       " $
/        #



  
K


    
 K
(     
       

$J    K    






     K    


 >     1   0

H  #       


$I    K           K    


+    ! J  I  #
                   
(     
 H $     $
 

%                #


          "   


$ $ ,         *  " $ (
    *  
     
    "
$ = B  B             

 K      K$ H  #  K     


          $
  

# &             
$ $ ,           
$ (  % $4     
     "
      
$
  
     

H 
         H $A    
$
( !    #         
   4     
     K    
  K     
    


      
  N   

 $
@  #   &   
$

 
     
,       *   
 
      
+  H $>   
 
       


+        


        
    $
B 
     #   $ (  
              $
*   !" C           
     $     , $  
* !        B  B "B>   *$


 
     0   

" "%  ! (           * 

            K $ (   


         #     
 *    #     #  #  *
       #  
$
(      89: 3
5  *   BA  "
     $ (          
   $
@               
$ C          $
%!& "% 
! (    
*  
  
                 K $    
 #               
 *    B?$
(                "
    6      $
 %/  !  , #     
     &     6 
             ,   D   
  3
 5$ (    #      #   
  ,   # !    D     D     K
!  D  $
   #            
              $ (  !
                    
 F6 G       $
 0 ! 7#     , $    
           !   
>$           D       D     "   
 "   #  #  $ (      
        #     B4   #*$
+  "       B    % 
                     
$
'1( (   $ 
   !  >   *
"
$ 
  $
(         P 
      P 
 
  P
P$  *          
  P 


 

 

 

>$

%&   P          D    P

       


>$>

'%&   P          D    P

 >     1   0

  

  #

  

>$A

      P 


       

'%&   P  %&   P D    P



  P


P 

 


     
$ $ H >

%&  P       P D 
  P "   P
      P D P 
 
  P
P 
"
$ $ H >>
'%&  P       P D   P

  P


P 


(                $ B
'%&  P  %&  P D P     P
   $


 

 

 

C              
     &
  .         P P  P 

 *$ (   P  #         
  $
 ,    P            *&
>$?
'%&  P  ( %&  P
  # (  
 $
> (     #   
  
     
>$4

 
P


    $
@       F # G$ 7#   
         * 
>$J
            
 

 

 

 
     0   

<*

  

  

( )          $ ,          )  ) $
,     C )  
#     "  $
$
@    0            Q
       6   3 A5$ <*   6 
              
  P


  '%#  
 
P   D     3
 5 
 0 

*)
)
      



 P


"

 *      & *    +  +  *  #  
+
$ +   B  B4     

*)
)
      
>$I



 P 

$
       >4       "
   >I$
,             $
 

   
<& (  
  P 
 K P  P P $
 
6     P  

P D     

*)
)
%&  P



 P 


"

/ '%&  P        D $


 D   K  '%&  P  ( %&  P
  
 D  P  P    
  P  P$
  0   #     *     
  $              
  ,               
       *  >J$
  

#  >J           K     '"
)      




 

 













    
$ $

(    % ,$  ,$&   8"H 

         K  % ,$  % ,$   


               $
  

             D    

 D      

 

 >     1   0


$ $

H  >        


      
  D          D 


/  D      *    #   A  #         
   D        
 
  D      D 


   # 
>$
   D      D 


C   D  
           #$  
  D     D $ +  >    *  

  D 

  
D 


   $


@        "     K   $
( *         *        
 K$
  

! K        "          '"
O  
 P       
     #  
    O  K P
O
,O 
        
O 
    P 
 %&  P ,O P P
O
    P  
 P '%&  P  (%&  P (,O P
$ $ H   6    >I    *
     

) 
*) 



 P 
%&  P

$

H % >$>    
  
  )      
  

   K$ B      O  K     O


)  )K 
  

 K
$ (   O

*)K
)K
 K

%&  P


P 
A
$

(     %&  P ,O P
 P #  $
H % >$     P 

'%&  P  %&  P D   P
 ( %&  P D   ( %&  P D   P
 




 
     0   

    P P 
   $ H P P
%&  P ,O P 

'%&  P ( %&  P D   (O, P D   P
H P    P PO P
  (O, P D   P
 
 $
, >$     P P     P 

O
 P 
         P     P $ # P  P
  '%&  P   ( %&  P    *&   P   
  D   P   K $
=      K         $ B 
P   D   P   K $ (     
 $
  

! K        "          '"
              #  
      K  
     

      
  N  
>$

>$ 
      
  N
 
 

  
 D   P   (  )*
$ $ =         #     !
   #  K >
  >       $


K    
,    
K    $ C   


 
   
$
% O    PO 
    K   #  % >$?$
H      
   O $
( , >$    P  P   P 
      D
R
  P   K  '%&  P   ( %&  P $ ( P  P $ %  * P
  *  P  
'%&  P   ( %&  P 
 D   P    
@    K          
R  *  !    
  *$   #    P
R  !# D  P
R 
         P  P
R  R  D R$ 6 
K $ %       * R    P
PK PO $
K (  % >$?
  H      &    PR P$
K
    R (,OP
= >          $ B   
        (,OPK 
  !
(,O K
     R P
 


 

>

 >     1   0

C  #       R  N        R  N


  R

              $
K (   PR  PK PO  $ =
  @    PR  P$
% >$?
R  ( %&    P
R
'%&    P
R     
R   $ /   D   P
    D   P
R    H $ $ =     
  #  D   P
       $ (
R     
 D   P
= % >$A
R     
  P

R    PR  
 D   P
>$ 
R
R 8         PR   
 
  P

P$

PR  N  
>$ >
O
+   % >$?  PR  PK  P


     R (,O N    N  
>$ A
R  NP
R
>$ ?
     R (,OP
+    !    #

  R
PR D  
H > > 




           
             
 
>$ 4

  R
PR 
,    >  #
     R      R   
=       


     R      R 

8   > A > ?  > 4

     R  N  
      R  N
  R

( *             R  K $ / R  
   #  #  
 R       
 0 

 R      N  
>$ J
+          N      
 > J    $


 
     0   

- !%2!" C       #   "


 $ H   0          # 
#          ! 
      $ /     * 
    )           
    $
- !%2   2 "" (      
        *    &
   7# - 

   
         - 
 
   
 
 "
 
 
 K  
 K
"
(          *$
@   "        * 
      
        
(    #           
  N   
% $?  $ % $4  ( $J    E   "
  0        * $ B  
     #   !     $
%              
    # $
  

! K        "      #  
 
    K   
          
 .   




 

A$ 

     


$ $ H          


 K
   $
 $ 
      

A$
      
 $

 
 


A$>
      
 $  
@ K       


$        
8   A>  #     
     
   
      "$
6  / 
   K   
  K
 /    *
   K$


 >     1   0

%        $              K 


  D    "   *    $$
  
    
        
6 !  A>            $  $ B
    * .        K     K   
      . 
$  #

   
/
A$A


     K$ +  A AA    !





        
        





$

  
  


$

   

$
/
   $
@         $
  

# 
  
              
      D   


$ $ @        " $ H  "  
H $> 
 
     
 !#
A$?
    
  
+  >       
     #
  
       
C      0 
    
     0  +  A?
 #
  
          

A$4
   0$
7#   *     H A$ 


M        D      


 
     0   
h

(f0(xk0), h(xk0))

f0(x 0)+M h(x 0)

f0

  
  @

 0        M$ %  #         M
    $ /    
      M    
  
  M
    $ (
      D     

  
    D     

/      #

  
           
 
 A4      $
(    M   
#
    D  
   $
  

# &      
$ $ ,         K  K D 
$ (
     *       K D A    
    $ (
     " $
%    !    $ (0  !     


  
K K  $ = % $? K    $ B   

H 
     A        % A$$ 
   

K
      D
A  D  
  *  K D     $
   

(            

$ $ =      
K K " $ H %
$?  0           $


 >     1   0

C K 
        K     
   


 - K A 
$
C K 
 % A$            

  
         
C         !         
        
  
   
$
(0  !                 "


 
#$ (    
    
   
  %
A$>     $
-)  "!%,  "% C      
   $ (    )      
     $ C          
              
 $
( 0              0 
      $ C         
  *    )        
  $
               "
         
A$J            
    D        
/           #   A         
     $


  
K K             
K   

 
  $ /      AJ    K K& 
          % ,$ $
(        % >$A    &
  

          
 
       
  D     
 D       

 D 

 


$ $

H  >        


      
  D          D 


=  %      
      

     
 
 
  

        D 

D 

 
    D  

 D 

 





 
     0   

@       % >$A  

  D 

  
D  

 D 

 
   $
% >$?   '           
 % >$4$
(    % A$?            > 
 > >$            # PK *  
     > >   #$
%    >    % A$?&
R       
  P

R D 
  PR 
 
  D   P
R PR     
/   P
R D PR  
 , P
 , 
       K$ H    PK   ,PK  
 

R
    P  
  > >$
H       #   *  
  #     $
. %  3!% C          
    $ 6     
 
      D  D 
,1
 

H ?$     *     # #     
   $ ( *         $


The merit function f(x)+ h(x)

The forbidden region

constraint violation

6
4
2
0
2
4
6
1

7
6
5
4
3
2
1
0

objective

  
     
   

+         D


 

?  * 
          A $$     
   A$ @         # 
$

 >     1   0


The merit function f(x)+ h(x)

The forbidden region

constraint violation

6
4
2
0
2
4
6
1

7
6
5
4
3
2
1
0

objective

  


       

H ?$     


 ?      
# $
(  *   *     * $     
       *       
    $ ( *      *&    
 K              $ (   
          $ H    
      D  
    3
 5$


The forbidden region

The filter
8

constraint violation

6
4
2
0
2
4
6
1

7
6
5
4
3
2
1
0

objective

          


 

( *     "   


    $ /     
      *$ H ?$A     
         0 $
The forbidden region

The filter
8

constraint violation

6
4
2
0
2
4
6
1

7
6
5
4
3
2
1
0

objective

           


     

 
     0   
The forbidden region

The filter
8

constraint violation

6
4
2
0
2
4
6
1

7
6
5
4
3
2
1
0

objective

  
          

(       "    *  


 $ (      "$
,    "  A *      
     *$ (   *   *  $
The forbidden region

The filter
8

constraint violation

6
4
2
0
2
4
6
1

7
6
5
4
3
2
1
0

objective

   
            

%%3 & %%" $ !%"

%  &       *   A




 

           
    D       


            $


                    D    
    $
 

  K      K        
  K        +  K     '" &         K,
#            K
$ $ 6   !      K     $
  + "& %           K$ + 
     ##   *      K  K 
  $
 % "& 6     K  K $    
 !          K$
<*     K         
     M  $


 

 >     1   0

=         *     - 



    
  K
 -$         
          
  K
 -$
%       K $ (     
 
  D   K
     K $ 6    
 K
 -  *  
           
 H   K
           # 

             
    
(     K     
 
 K   K 
$
H       K  D  K   K   K     



K   
   
   D         
(      #     
 
 -$ H  

K  

K 
D
 
 -
   $
 

!                   
          K   #      
    K
$ $ 6   !  K       $    # 
  K   K$
H   "       !    
  K$ = *  
,$ 

   

  

B          !    $ 6 

O         
O$ +    "  
O  K     *  

O  K 

K  K 

(0         

K   O

K   K

C  
K   O

K   K
  O  K  !   "
   # $ ( #  K   !     
   $


 

 

 

 

 



 
     0   
 1  

A5B
  
      
       
 

         ".!  1' $ '$"' 2 
>!C 5:D7  <;E8;
A4B        !   '' "! ') 5::3
A<B    "    
         $   !#'
! ".! 5:7;
A8B   
    
 !"  #    
      

       "' 2! "" 7: F4666G  58:E
573
A3B    # $   
 !"  #     
    
       H!) ! ".! : F5:::G  7;;E:66
ADB #  
 $     %  #            
       )"' ".! 5:78 2  !    ($ $
  '& $   2$ 5:73  ;5 E 74
A;B  "&  !' ( )**   %!   $       
%&!   
         ' !  995:::9685
!")! '' $   0"   )#!$ !
&!!( +#!$  $ 5:::
A7B  "&  ( )**      
        ' 9
! I5;5 0)$ ,%( 0 !# "' 5::; %$ 4666
A:B   # !+ #  # " 
 # # ,-.       

         '   
         
"' 2! "" 78 F5:::G  5D5E466
A56B
 # # ,-. (     
 
'          
         H!) !# ".! !( $ '!
F4665G ! 
A55B
 # # ,-.  $  ! (      
      
 H!) !# ".! !( $ '! 568 F4666G  5<3E5D<
(     
        # $     $ 
A54B
".! $ !!  '! J ! $ > $ ) 4665 !

A5<B
 # # ,-.    (/  #         
   
        ' ! ) !# "' ,%( !#
" . 4665
A58B
 !"   (
 0&  )       ! 9
'  9 5:::
A53B $ 1+!2!'  "  # 
  )   
      ( 
  *  20  0 !# !") '' ,%( !# !!$! 5::5
A5DB
  ! 
   +  
       ,  -,    
   H!) ! $ "' 7 F5:D6G  575E45;

You might also like