 

 


 
           
         
           
            
           
            
           
            
     
              
           
          
           
          
       
              
              
           
           
          
           
          
          
          
            


          

   
        
       
          
        
         
          
        
        
        
         
    
         
           
           
            
             
      
        
  
  
  
  
          
           
          
       
           
             
             
          
  
              
             
            
           
              
            
              
             
            
   

           

          
    

 
 










 
 



     

           

            
            
           
             
           
   
          
           
         
            
          
          

          
            
          
     


         

          
          
  
  
  
  
  
  
           
          
   

    

          
          


               
          
        
              
           
      
        
              
 
 
          
           
             
          
          

            

 
     
   

          

     

            

           
          
  
            
         



             

            
   

           

          
           
      
          
             
         
            
         
            
           
     

           

  

           

        


         

          
            
 

           

    






             

  


          
       

       



              

          
             
           

             
            
   

 

 






    
 

      

            
          
              
   

   
          

             
           
 
    

               
          

                   
      


              

  

   

              
           

           

            
          
       
    

          

          
               

 
 
 

            

    

     

           
        
   

    

 
     
   
 
   
          

    

  
    
 
          
            
      
 
   
  
           
            
            
          
           
           


      

            
             
           
  
          
          
            
   




         

             
   

 

         

              
 
          
          
            
            
           
           


 
         
           
            
      



         

         
           
           
          
             
               
            
      



        

  
           
                
       
     
   

  

   
 
            
     
        
         
          
        
           
         
         
    
           
              
           
             
         




     

           
            
       





         

          
          
           
              
        
            
           
       

        
            
            
        
    
           

           

 

 

  

             
             
   

       

 



    
             
             
   

 
  

         

        
    



    

   




       



             
     

          

          
           
           


              
            
        
            
            
             
            
               
            




  

  


 


   

 

     

             
             
         
  

          

   






 


     
      

     
   
  
            
           
       
        
 

          

            
    



  

         

       

    




            
           
  
 
          


 

   

 

         

          
          
            
       
            
   



           

 

           
          



              
    



         


   

  

       

 
  


             
            
             
             
     

   

             
                
          
            
    

  

 
            
       

 

             


           

           
             
  
  
  
              
               
           
           
            
            
               
            
         
          
  

          



 

       

          

      




        

           
    
             
             
   

 
    
  
  

    



 





 

 


       






      

           

         
    
           
  

          


 

       



          

        
             
      

          
         
             
           
             
   
             

   
  

 
 
  

    













      

   

            
           
              
          
           
          
              
               
            
         
  

 
















         



    

         
        
           
            
         
           
           
          
 

  

            
           
  


  




     

 




 

          
            
      
   

  

            
          
           
      

  

      



 



  
  

            

           
             
            



 

  

         
          
            
              
          


        

           
       
         
            
             
        
         
             
                
 

  

            
          
            
            
            
             
        
           
           
             
             
  


           
 
          
              

           
 
            
              
            
         
              
             
 
   


            



 

      

     
      
          



 

       

          



 

          



 

             

            
         
             
           
            


           
  
     


 

            
   
     


 

           

     
    
            
        
        
 

 

 
         
           
      
           
           
             
          
          
     
          


 

         

  

         
           
      
         
     






         
      



     

  
  

  

          

 
          
         
           
          
         
          
           

         
            
          
     

   

         
          
        

                  
  
  

            

         
           
        





          

         

           



            
       
   



            

  



    




          

           
     

        

           
  



 

           

                  
           
           
           
       
   

    

           
 
             
   


  



   

             
          
          
   

              

          





             



  

                 

      

 
              



         

             
    
         
            
       


     

              

  

             
             

           

          
           
           
             
           
             
          
              
            
           
            
  


   
  
  





 

   

      

            
           
          
           
          
             
      

     

   
          
             
 
            
 
           
 
            
             
   

            

            


 

              

 

               

         

           

        

      




   









   


      

 

            

   

      
       

  

             

  



         

        



           

   

            
         
          

  First-order necessary conditions for a minimum

        

     

         

             



   



 

 


          

      

               

        

   

             

   

           
       

 
             
        
     
          
        
          
        

  Second-order necessary conditions for a minimum

            


   
            

  

                  

  
  

               

     

          



 

 

         

 

              

             
          

         

            

     

       



         



         



    

 

   

          

    

       

 

           

     

    

  

         

   

 
  

         

    
  



        

       

             
 

  Second-order necessary conditions for a maximum

            
 

   
           

  
              

            
            
              
             
             
           
            
        

  Second-order sufcient conditions for a minimum 

          

   
        

        



        

       



      

           

  Second-order sufcient conditions for a maximum 

          

   
        

    

            
            
         
      

              

  
 
         

        

           
  

          

   



           

  

      



    

        
      
    
        
          
           
           
          
         
          
            
            
            
               
         
      





             
    

        

      

  

       

    

 

           

   
         
               
 

        





            

  

           
          
          

  Characterization of symmetric matrices   

          
        

     

          

        

   

     

  Characterization of symmetric matrices via diagonalization

       

       

       
     
        
                
         
       

    



     

           
              
         
         
    
          
          
         






            

         

           

               
           
           
 

       



            

            
           
  



       

        

          
 
         
          


    

   

           

         

           

    

    



   

           

    

            

  Eigendecomposition of symmetric matrices

               
    

           

       
         
       

  
  

            

           
         
            
           
           
             
     

  Properties of matrices

          

               
    
  

               
       
 
               
      
               
        
 
          

            

 

             

         
 

  

     

  

           

        
   


            

         
           
                
    




   
   

          

       

 

  



      




  

        

      
                
  

     

  

         

         
       

 

            
      
            
           
          
             
                
     

           
   

 

           

   



   
    

    



        

      

  

       

    

          



         

      

           
        

  

    

         
        

    

          
          
             
           
            
           
          

 
            
          

     

           

             
              
               
         

 
               
          
  



  







 



    

      

           
          
 

            

            
          
          
              
      

  Convexity of linear combination of convex functions 

         

      

        

 
  

 


   
  




 


    

  



      

   



  Relation between convex functions and convex sets  

          

      

        

   


 


        

             

     

      

           

        
  

  Property of convex functions relating to gradient 

           

         

              
            
          
           



      

 

         



     



  

 

       



 





 



 

      

          

           
     

  Property of convex functions relating to the Hessian  

            
    

           

 



        

   

 

     

            
    

    

  

          

       

          

  Properties of strictly convex functions

               



      

               

        

             
       
           
            
           
         
   
          
           
          


       

 
 
 
 

           
   
       


        

      

   

         
      

       

        
        
  
   

         

    

            
  

  Relation between local and global minimizers in convex func-
tions            
          
         

         

      
            
     

  
  

 
          

            
    

  Existence of a global minimizer in convex functions 

              

         

   

       

 

              


       

     

            
         
              
                
            
         
 

  Location of maximum of a convex function   

            
          


               

            
          



   



 

 

 

           

 

      


             
  
           
 
             
 


         

   
  

      

      

       

           

   




        



 
     
         
       
 



 
     


         

        

 
     
         
         
    

           
         

       

 

      

       
  

           
          
         

          
  

  

            

          
 

           

       
           


        

        

     

          
       
      
 

 
 

 
           
             
          
           
          
     
          
         
            

           
        
             


      

            
          
        
          
           
     
    
    


            

             
             
           

          
            
            
              
             
            
             
          
             
    


  



       

          

          
              
           
       
 
          
           
      
             
           
           
     
      
      
          
    








 




      

            

         
      
          
           
              
           
         
            
            
           
           
           
            
  

           

      

          

             
           


                
       

           





 


 







      

        

              
         
        

            

           
            
            
     

  

            
          
            
      
    

 
              
    




 

        

 
                
  

             

                 
        




   
 



  
 



        

      








 




  

     

           

     

     

 

     

 




    

    

             

 

      



   

          

         
           

  

           
        
             
           
              
    

 
            
            
         
      
      

        

       



        

             
      

  

           
            
           
            
            
              
          
           
             

            
         
      

  Convergence of an algorithm      

          

            

           
        
           
           

              
            
             
               
            
             
                 
              
             
          
    

          


             
         



         

          
  
     



   

        



       

   



          

               
           
       
               



     



   

    




          

     



            
               
         

        

               

            
 
           
          
              
        
            

           
          

            

  

         
             
 

              
          
           
     

             

             
  

       


    






          

        

    

            
             
           

       





          

        

             
            
   

       



 



        

          



              

       

 

      








             

  

   

        
            
            
           
          
              
 
              
             
      



    

            

 

            
 
  
  

       

       

    

        

       

    

            

              



           

 
           
         
         
           


            

           
  

           

          

  
  

   

       

    

       

              
          


           

            
              
          
             
           
          
    
             
            
           
          
          
              
           
   
    


           
   
               
            
  
            


            
     

       

   
      
          
 
 


 


 


      

   
      
       
       
   
 

 

 
         
 
   
   
   
               
         
        
         
         
           
       
       
    



             

             
           

        
     
           
           
          


            

           

          
          
          
           
           
          

        
   
  
  
  
   
   
      
            
              
   
             
         
     

  

            
            
          
           
          
             
              
          
            
            
   
 
 
 
           
        
  

             
                 
            
        
 

 

 

 


 
 










 
 


               





  


 
 


             

           

         
        
      
            
       
            
         
               
             
      

           
      

          

            
         
    
  




 
 





  
 

     

  

    

              
            
       

    

      






 


 


 


 


         

      

            

              
             
            
             
            
             
             
 
  

           

     


             
    
  




             
         
           
         
         
    
           
            


 
 

 
 

   

          

         
 
        
            
           
       
              
       




 
 


 

 


 


 


 



     

           

             
            
            
            
            
            
      
            
            
            
           
          
            
            

           
            
           
  

        

     
      

     

          



       

          
   


          
        


             
        


            
  





 

             
            
 





 

 


     

 

 

  

           




 

 


       

 

  
   

           

        



            

 
              
        
  




 

 

       

   

 
     

          

   





          

              
          
             
          
      
          

   

 
   
 
   
 
  

  



 
 
   
    
         
     
 
     
        
     
               
          

  

            
             
             
          
         
              
             
         



 



  
       



     


     

  


  


 


 


 


 


 


    

           

             
           
             
       
   
            
            
        
         
             
        
         
   

     

          
           


     



        

          

    

 

              
             
         
           
             
        
        

   

 
   
 
   

 
 

  

    
         
     
 
    
  

  

  

 
    
 
     

   

        
             
        

          
 


            
           
            
          
          
               
          
         
 
            







 






  

 
    

 

         



          





       



         

         
            
  

              

            
             

            
         
           
    
         

    

 
   
 
 

 
 
     
       
 
   
    
    
   
   
    
      

          

        
          
             
      
           
               
      
            
           




   



           
             
   

  

  

            
           
           
             
         
 

             
  

  
           
            
    

 
  

  

       
           



          

           
           
           
            

              
             
     



            



 



 

      



             





            
  
         
           
 

   

           














           
         

    

 
      
 
 
      
  

 
        
       
          
   
 
 
       
 
   
 
   
   

            

             
              
          
             
          
            
          
             
              


       

          
             
          
             
        
          
         
            
           
             
         
           
            
    


         

   
 
 
 
              
            
             
          
           
 




             
              

         
        




        
                
 


       

      


  







           





     

             







     
             


              

           
           
         

      



         

               

             
           
    
          
  

      

 
     
 
 
 
  
 
         

       
     
 
  

 
 
 
  

   

    

         
 
  

  

          

 
    

           

                
            


            

              
  

            
           
      
           
         
            
         
             
      
           
           
         
          

   

          
           
         
             
           
             
      
           
           
  
   

           

            
          




  

          



            

              
     



           

              
     

              

               
             
              
  
           
          
              
      





             
          
           
            
              
           
            
           
              
            
              
          


  

 




 



  

   

    



         

           

            
           
            
          
    


  

  

 
 

    



  

 
 

    



          

    



   



  

           
        
            
     

  Convergence of inexact line search 

     
       
         
             
        
             
            
            
            
   
             
             
          


       

 
          
               
           
            
            
           
          



        

            
         
  

  

 

    

      

            

            

          

          
           
   

  

 

        
 

    

       



              
            
           
          
                
           
        

             
           
   

         



         

       
             
          
             
             
            
            
   
             
  

    

 
   
     
  
 
 
 
 
 
  

  

 



       

    
    

           

 
 
  
   
     
    
    
    
      
 
 
  
   
    
     
     
  
          
 
    

            

           
         
      


            

        
      
              
          
            
               
         
         
             
            
               
             
   
             
             
     


          
            
   
              
  
              
   
             
  
              

         
              
  
            
            


           
            

            

  

   

         

           
       
              
             

              
    
              
   
               
  
               
     
  

              
 
  

             

 
  

              
 
  

              
 

                    
 


        

   
 

          

 
           
          

       

         
      
           
      
         

      

        

       
             
      
           
    
           
     





      

  

     

    
     
            
         
          
 
      

          

 

 
 

 
             
         
    
          
         
           
             
            
             
                
          
            
          
             
          
         
          
         
            
            
            
   
         
             
  


  
  
  
           
 

  

   

 

   

           

              
 





         

    

            
   

            

              
              
              
    

 










 








     

           

               
      
      

  

           
        

     

            

         

 
    










     




 






      

           

         
            
         
    

            
            
          
            
        
                
       



         

       
          
         
  
   
 
     
 
 
    
 
           
 
   
 
   
    
      

   

           
             
          
     


           

   





         

        





 






       

    

           
           
   

    

      

 


         




          

 

           

           
              
         
        
         
         
           
           
     
             
          



  



     




            

        
           

      

 
     
  
 
 
 
 
  
 
   
 
   
 
   
    
      

              

         
            
           
          
   

 
           
               




  
  
           
              
         
    



             
              
         
  

            
            
           
         
             
            
              
            
            
      








        



          

             
               
            
            
          

 
           
           
            
           
           
      
        

         



        


          
         
               
                
   



  

            
          
          
             
  


    

            

      
             
 



   

     



          

     
        
         
             
           
         
          
           
      
            
            
          
          
           
          
   
            
               
             
                
             
     
           
            
           
            
               


          

           






           

                 
          
             
        
             
            
               
          
            
    
          


    

 
     
 
 
  
          
 
  
 
           
 
 
 
 
   
    
      
    

    

              
            
        
           
        
          
      



               

   
   

   

            
 
            
           
            
         
 
            

          

             
        
           
   



           

           
          




          

         
             
      
            
            
          
             
             



          

          
           
             
           

   

      

  

      



   

            
         


  
  
    



  
  



  
  

       

     

 
  
 
       
 
 
 
   
 
 
 
 
 

   
 
     
  


          
           
            
              
  
             
                


      

              
               

            

                 
          



             

               
        
         
          
            
 
    

       

  

            


 
      

 
       

 
   
 


 
























   

 
   







 




   


  

 


 

   
  

        

    

    

 

  

     



    

   

    

           
             
            
     


  

            
    

        

              

           



         

         
 
              
           
 
            
           


  
  

             
      
          



     


    
   
    

           



     

         



           



            
            
          

          

         
          
           
            
          
              
            
             
 
         


   

 
     
 
 
   
 
    
 
    
  
 
       
 
 
   
 
   
    

      

               
             
           
     


           

              
     
            
       
             
       


         



    

    

   

 

            

  

            

       

      

    

            

         
            
 
          
         
     

      

             
         
 
   



   

         
    
      
      
             
             
         
   



         

        

            
         
   



   

        

        

        

              
            
   



         

        
 
           

    

          

 
          
 
          
           
 
            
        
     
            
         
    
            
       
    
            
         
   
          

            
             
     

              
           
 
             
          
             
      
          
          
           


          
          
           
 

 

 
         
            
         
            
           
          
               

         
          
           
  
          
             
       
  
  
  
  
          
     


  

    



       

   

 
     
 
 
 
 
           

 
 
      
 
        
      

           

            
          
         
             
           
             
         
          
            
         
          


 
            
       
  

            

         

  

           

 



          
        
     

         



           
         

  Linear independence of conjugate vectors   

          
     

   

           



           

            
 

            

     

 

              
        

      


         
            
           
       



        

     

 


   

      



          

  
         
         
      

             

    
  

   

             
        
         




   

             

    

  Convergence of conjugate-directions method 

          
   

 

            

 





          
 

          

 


    




       



 

  

      



  


      



     



      

           

           
         
  
          
       

  Orthogonality of gradient to a set of conjugate directions

          


  

         




    
 
  

  

   




      

    

    

   

 
       
 
        
     


 
 



  

    



            
          
         
           
  

  

          
          
         
             
           
      
         
            
    

  Convergence of conjugate-gradient method

              
 

      










  

           

        




              
         

 
       

 

  



      

   



     

      

          

    

 


       




   



       



     

        



        



 

            
            
      

 

    



        



 
 

  

           

      
 

      




           
   



     

          



      

 


     



   



             

         

   

 
     
 
    
 
      


   

 
      
 
 


  

      

          

          
           

         
            
       
          
        
     
         
  









           

              

     
           
          

          
     
        
           


    

         
           
          
            
           
          
          


           
           
         
         
              
           
            
         
            
         
           
              
          
           
               

  

         
        
         
            
           
         
   
             
          

          




           
            
           
         

          

          
  

           

              
   
          
           
         
     
   
 
     
 
 
   
 
       
 
 
      
 
       
 
 


 
     

  

          
            
           
  
          
             
 

  Generation of conjugate directions in Powell’s method 

         


      



     

         



 

  


 





      

         





           



       
  

          

          

         
          
             
        
       
           

             

      





           
         
 
           

       

          
 

         

           

     





d


d 

 
d   

     




d 

d 

  

   

   


        

            
 
            
            
        
        
        

   

 
     





 
  

 
  
       
 
 
   

       



 
 
    
 
 
   




      

           
           
          
            
            
           
            
  
          
             
            
        
              
    


d
 
d


d   


d
 
 

d





          

            
            
              
         
          
                
           
             
           
          
           
           
      
        

    

             

          
  

            

            
           
             
              
              
            
  
           
            
           
         
         
   
               
    

  
  

           

         
      

              

    



                 
         
  

          



            




  

      

              
   
             
   
             
            
      

 



    

       





  

             
            
            
            
            
    
          
              
   
   
 
      





 
 
  
       
 


 
   

       



 
 


 
    
 
 
   
  

 
 
   
      

  

         
           
         
            
           
             
             
              
         
             
           
            
            
           
              
           
             
          
          
         
           
            
        
           
     
  











      




  

 









          


   

   

 

 

        

         

 

             
        

     





           





     


  



         



   

         



           



  





           

 



     

        



    




               
         
            
     
                
          
             
  
              



         

   



 
           


       

    
         

        
      
             
        

            
        
 
  

        

           

               
 
        
           

               
 
        
           

               

           
          
           
         
           
         
           
        
 

 

 
         
              
           
           
           
          
        
            
          
             
            
            
           
          
       
          
           
           
   
          
             


  
  
  


  
           
           

    

              



   

   

          

       



         

          





     
    

              
            
    

            
              
   
  


          
           
         
           
            
        
         

    

           
        

        

         

           

 

 

     

         







             
            
         
             
         
        
   




           

           
      



 

         


          

    

 
     
 
       
 
 
 
  
 
 
 
 
 
 
  

 
 
       
 
 
      
 
     
          
           
            
             
           
           
          
         
             
           
        

             
        



          
             

            
            
         

          
           
          
    

 


     



       

       

     

    

          
         
           
              
   
           
   
         
 
           
          
           
           
         



        

  

            

         

            

     



          

            
           
         
         

  

            
            
          
            
 

 

           
              
    



 



   



    



       

           



          

             
   

  Generation of inverse Hessian       

  

 

        

  

 




   

 

  


    
  



     

     







    

   

 

    



        

 

      



             



 
 


      



    

 
     
  
 
 
 
           
  
 
      
 
  

   

     
                
         
          
        
          
             
              
          
          
             
 
     

           

 

           
             
  

            

          
           
   

  

           
           
         
          
        
           
              


       



           

            


            

 
            
            
           

  Positive deniteness of  matrix     

          

        



        



      

           

      

  

      



       



         

          


    

      

     



       


  



          

            
      



          

 

            

     

     



         

          

    

             



             

             
        
          


               
      

  Conjugate directions in DFP method

                
       
   

 

 
 

 

            

 
 

       

         




    



               

     



          


  

       

        

     

    

 

      

 

      

          



          



 
 


       

    

 


      

 
           
    
 
  

     

 
 
   

        

        

         

           

          

           

     

            
          


         

 

  



      





    





 

      



            

 

  

         
           
              
    



                
     


            
    
     
     
       
      
          

 

            

     

  

            
        
          
            
             
             
   





            

 

   

           
           
   


  

            

  

      

               
            
            


  Properties of Broyden method      

             
        


   

           

          
           
         

           

           
    
         

   

           
           
           
    



           

         
              
            


           

   

     



               

          
             
       

 

     

  

   

             
           
       

         

           
  

       

  

   

        
             
           
            
             
 
    

 










    

   
  
 
       
 
        
    
 
  
   
 
       
     
 
   
 
  
     
    


   

      
      
     
 
   
  
     
   
       
      
     

       
 
 
      
  
 
      
   
       
          
   
     

          

            
            
           
         
             
               
            
            
          
          
         
           

          
          
  

               
         
            
             
           
           
           
         
            
           
           
             
           
            
           
     
             
          
           
          
  

   



      

     

             
           
           
                
             
          
         


          
               
           


        

              

           
           
            
             
          
            
             
              
              
            

               
             
             
             
             
             
           
   

         

      

           

            
         
  

          

            
               
             
             

            
           
           
            
            
            
           
           
          
              
           
        


           
 
           
      
             
 
             
              
          
           
      
              
      
          
                
    
               
 
             
     
           
     
            
            
              
  


            

         
             
         
              

           
 


            
       
          
          

     

            
         
        
 
            
        
     
            
      
        
            
       
      
            
         

          

          
            
         
       
     
  

            
        
      
            
      
         
            
       
       
           
          
   
          
            
          








           

          

           

          

           



             

         

          

        
         
        

           

 



           
     
            
 

 

 
           
            
             
            
            
           
          
            
           
    
           

          
          
          
            
        

  

         
 
 

             

  
 


        

             
          
              
 
            
            
             



            
       

          
 

             
            
             
          
      

  
             
            
              
           
            
          
          
             
          
       
 

             

  

 
 
 

   

  


     

              
         
           
            


  

         
           
             
          
      

          

     

  


           

       
         
         







          
   
     
 
     
 
  
 
         
      
 
        
       

           
            
            
               
          
            
          
     



           
          
  

            

          




     

 
 

             
     

           

       
       
    
             
           
          
           
         
          
  
    
 
    

 
  
 
       
   




 


 





 







 


 
         
    

            

  



            

        
           
           
           
        
  

             

     

        

    







             

 
 

            

     

 

            




          



          

           



   

 
 

  




      

      

 



          

 

            

          
  



            
           
  

         

     

 
       
   

             
     

           



   

          
          
            
         
                
          
             
              
             
             
          
            
          
        
              
            
            
         
              
        
          
        


            
     
           
    
          
         
              
            
    
            
              
    

 

            
           
        
           
 







    

              
  
  

 


   
   

  

 


   
   

  

     

             
           
              
           
          
              
          
          
           
            
             
              
            
         
          
         
     



           

            
         
               
            
       
          
 


      

     
     







        

     



         

               
             
          

      

 
        
 
      

        
     
  
       
  
 
    
  
  

 
         
      
 
      

    



   
      
          
          
          

      

 
      
    
      

        
     
  
       
  
 
    
  
 
       
   

 



 





 







 


 
      

    

   
      
         
            
         
            
           
           
 
        
                
             
  

             
            
          
          
              
         
         
                
              
            
            
      

 
           
            
  

 

 

        

             

              
 



  

    
   

            





 
  

         


      






           
           
            
          
            
         
           
       
            
         
           
            

  

           
            
              
              
              
            
           
           
           
            
           
                
  



          

           
   






          

             
          
            
            
     
           
         












        

            
     
         
              
                  
        
             
                
     

            

           
            
  
























      

       












      

           


  

            
     
         
              

          

 
           
   
         

            

          
               
         
          
              
           

  





      

       






















      

           


          

             
             
     

            
  
         
              
                
         
         
                
             
 

           

         
  





      

       












      

           


         

            
     
         
              

              
             
             
            
            
          
           
          
           
           
         
         
          
            
            
         
             
 
           
            
              
           
     
  



















      

       












      

           



            
      
            
        
            
               
           
 
            
         
          
         


       

            
   



           

   



           

           
 
  

          
    

 
 

             
       
       
       
          
  

 
 
 

             
       
       
       
          
  

 
 
 

             
       
       
       
 

  


 
         
          
        
             
        
  
         
        
              
       
         
           
           
         
      
            
          
           
              
           
             
           
         
            
        


          

          
       
    

  

 
          
            
            
      



               

              
              
           
               
             
          
         
               
         
              
           
             
         

  

             
             
     

               
         


    

         

              
        
          
             
          
    

    



        

      

  

            
                
       


      

     

       


         
    
 

          
         
          
 


        

             

          
              


       

      










              
              
           
            
    

           

    

 

              
     

    

               
             


  
 

    

           

             



       

          

 

          

     

          




        







            
          
       
          
           
           
             
               
             
             
            
          


   

          
          
              
                
        
              
               
             
             
           
         
         
          
               
          
           
            
    


  

  


  

  
 
             


   

  
 

  
 
  
          

       

 




 












 

 
              

             

        

          
         
          
    

     

      
          
              
             
               
 


     



  

  

  

  

  

  

  

  

  

  

             
            
           
           
    



 
 
  


  

 

 

 
 
 


   


 


     

          
             
                 
           
              
              
            
         
          
           
 
           
  
                
           
    
         
        
       
           
           
           
           


             

             
               
         
          
           
           

      

 

         

            
             
         




            
           
            
        
        



         

              
  

    

            
             

          
            

         
     

    

   
             

 

            
   



   

          
            


          
            
            
          
         
             
              
         
             
             
  
          
          
             
              
             
     



           

          

     

  






     





           

    

            
          
            
         


 

          

            
           
           
        
           
           
         
         
        

     



      



    
      



       

         

      


        

           
      
        
     

     


















 





 

       

            
      
               
         
        

   

 
     
 
 
  
 
      
     
  
    





 
 
 
          
         
 
 
 
 
   
    
      
         
       

 
       
   
            
 

        

             
        
          
            
           
            
             
         
          
           




 


 


 








 
 
 
        
  

         
           
 

          

        
             
           
            

           
            
         
     
             
              
          
            
             
          
          
          
          
  
             
             

                   
              
    

              
           
             
       
          
          
            
             
 
      
         
      
       
    
   
   
    
   

    

           
           
           
            
            
           
           
            
            
         
             
            
          
             
           
           
            
    




  

           

         
  


               



  

      

             
    



       

  

   

          
           
          
           
             
          
           
        
           
              
           
           
   



      

         
    

              

          
           

          
            
           
            
              
            
              
           
           
             
            
            
            
            
             
          
           

           
          
              




         



  

          
      


            

      



    





            
            
  

               
              
      

   

            
      



           







              


    



           

    

         



   

           
       



      





            
           
            



               
            
          
          
              


 
            
        





         
        
            
         


          


 

             
           
        



 



 













            
      

 
      



    

 

            

     



           

           
         
            
   

 

 

 

 

 

 
       
   

 

 

 

 

 

 
       
   

              
  

     

          
           
            
            


              
              
           
           
           

            
           

           
            
           
  

  

           
      



     



          

 
  

   



         

     

       

              
    



    

          
   












            
          
            
           
  

  

            
          
            
              
         
        
            
           
           
      
           
          








            

       



              
          
        
             
         
        
          
          
          
             
        

    

             
       
          
          
            
              
       
          
              
         
          
    

           
            
         
            

             
    

       

         


           
       
           
           
            
          
 
  
         
      
           
         





            
           
          
            
        

    
         
            
    
        

           
           


          

           
             
             
            
             
          
           
             
          
    

           
           
        
             
      
     
        

           
       
          
   
           
         





           

           
           
    














      















      























      




              
              


            
       
           
          
  
         
             
         

           

         
           
             
          
            
            
          
             
          
            
            
           
          
           
              
           
           
          
          
           
        


             
            

          
           
 
             
           

    

    












      






















     















     




              
            


              
                
   
            
            


     
          
             



          

       
            
          

     
             
      
           
      
          
      
           

         
        
      
         
      
    

            
      
          
          
 
          
    
         
      
 
          
         
  
             
      

            

            
      
            
          
      

 

  


 
          
          
         
            
       
            
          
              
        
           
               
         
 
       
          
            
         
          
       
             
        
           
         
        
         


           

          
           
              
         
            
           
               
         
    

 
    
            
    
 

   

 
           
           
     
         
             
            
 
               
          
         
       
        
      

  

    

 

    

          

     



              
      
  

            

          
           
               
           
              
         
             
              
         
              
           
      

           



        

         

            
            
              
           
      


    




           



            
  









 
 



 

        

           

           
         



         

           
             
   

  

    

  
             
            
          
             


        
               
             
            
          
            
              
    

     

     



       

   

              
          
             
         
  
               
             
        

              


      



           

             
   

         




  

           
             
           
   
  

 


          

               
    

  



  

  

     

         

            
     
            
              
           
        
           
            
             
          
           
           
           
           
       
           
             
               
             
              
          

           
          

 
   


          
 


 

 

         

        



  

         

 
   
          
           
            

            
           
          
            
              
    
             
 

       
       

    

          

       


 

             

             

     

           
        
         

         
           
          
          
          
         
         
 
         
          
            
            

           

        
    

           

   

          

           
    


  

            

 
  


         

            
          
 
         

 

  

        

     





          
  

 

    

         


    

             

 
  






             
     

  

          
          
           
  
 
  


           

           
           
           
           
        

  

           
            
            
          
            
        

  

  

 


         

            
           
         
            
           
          

    

             
           
              

       



 

      

          

              


           
             
             
              
          
            
           
             
            
    

            

     
           
     
            
          
           
            

   

            
        
  
           
           
          

  

   
   

 
  
 
           
         



        

         
           
             

     

    




      

   

         
           
           
 
 

   

            
       
              
             
             
     

            
            
           
              
               
              
        
             
          
            
           
     

       

         
   

    

     



  





         

 
   
           
 

         



        

          

             
         



     






          



       





         



              

       




   

          
            
           
           
           
             


         


    

 
  

     

             
          

 

  

        

           



           

   
              
           
             
             
         
     

  

  
  

        




         



            


           
            
            
    

          


 
  



           

          
          
          

  

     



          

          
      



         

 
    






     

          

  
           
 

         
           
          
      

        

              
          
       
         
   

    

              




            
            
           
             
   



          

          
    



            

         
          



 

   






            
    

  

           
            
            
         
       
             
            
           
             
            
          
         
          
         
 
           
           
  

  
        
    


      


            
       
        
         

      


            
             

      

        



         

           
  

              
         

 

         

          
           
           
            
    
    

  

      

 
   
             
             
     



           

   

 

              

         
       


    



     

             
          
           
        

            
       




          

             
           
    
           
            
           

         


 
            
   

      


        
     

      
           
              

         
 

       

           

     



            
         
 

    

 

           
            
             


        

 

           
            
        
        
 

    



 
     

           

      

        



         



            


  



             
           
 

     

            
           
          
            
       

           

           
           
           
      
            
             
              
            
           
           
           
           
   

              
             
    


 


 


  

        
      

         

             
            



           

      



            
          
             
        
           
           

 

             

        
  


  

           
            
          
 
           
       
            
          
   


 



  

  


 



 

        
     

          

  

             
               
           
            

          
 


 

          

           
    

 
  


  
 

  


       
       a b

 
  


   


 


       
 d

            

                


           
            
           
    



        

            
  


     




 
 



 





 T 

         

   

            
               
             
          
     

  

           
              
 

  First-order necessary conditions for a minimum, equality

constraints            
           
  
    

       



            


            

           
     



            
            
          
              
               
             
     

       

            
            
 

            
      

  

   



          







             

              


  

          
           
           
           
         
             
      

  

      

       



       



              

             
             
               
              
    

              

           

     



        

          
         
   

            
      



         

          
  

             
         
           
 
        
           
    

 

          

          




 


 
 

               
           
   





            

   

             

          
      

  Karush-Kuhn-Tucker conditions     

               
 
  
  
      
 



   
  
   

            
              
    

           

        
          
             
           
     



       



              



           
     

 

         

             
         
     



            

          
            

             

         
           
           
            
         
           
         
         
             




     


  

 
      

     
      
 

              
            

            








      


 

    

     

    

               
            

    
           

          

    
           

      



      

   
           


         



            

    
      


         



          

          

              


 

 
















      


          

  

        
               
 
              

           
           
 
    

   

         
              
            
            
       

         
     


               
          

            

             
              
      
           
    

  Second-order necessary conditions for a minimum, equality

constraints            
           
  
     

  

        




           
         
  

   



            

    

         


          

             
              
           
     
 
 
            



           
          
   

       
    

        



    

           
            



           

            
       
          
          
           

  Second-order necessary conditions for a minimum, general

constrained problem          
              

  
  
         

   

   
  

   

         
             
         
           
              
          


  

  Second-order sufcient conditions for a minimum, equality

constraints             
        
  
       

  
        

         

         

  

            
    

             

           

  Second-order sufcient conditions for a minimum, general

constrained problem         
    
   
   
             
        

     

   
    

  
            
  



          

          
  

                

          
       
           
   

  

      



             
      





  
 
          
        

     

 


             
      
        
         

      

 



            
          

           
    

          

    

           

            
           

 
            
          
          
          
           
           
           
    

            
            
             
  
 
   
 

        

              

  Globalness and convexity of minimizers in CP problems

               

              
             
     


                
       
      

           

          
           

             
      
  

       

      
           
           
           
      
       


             
          

  Sufciency of KKT conditions in CP problems   

           
          
            
 

         

           
  

         



  

             
        



   

            

     

              
       
    

 
           
          
            
            
           
            
             
          
            
          
 
           
              
      

  Duality in convex programming     

           
              

 




  

         

           
  

       

      

  


          

 

  



     

             
 

 

  



           
       

 

  




           
 
         
               
     
           
   
             
    
           
      
            
               
   
    

           
 
              
           
                
              
    
           
 
               
 


      



    

      

      

 


 
         

         
       



          

          
        
            
         
    


             

          
        
       
               
          
           
       
             


 



     

          
               
  
             
  
          
           
       
           
           
     

           

      

     
 
     






  
 

          
 
     

           

      
      
           
   

 



 

      




             
        

  




 

        

             
 
         
      
     
           
         
          

    

       



 
     

           


        
         

         

     

               
       
         

 

         

     

        
         
       


 

           

 

        

           

 



 

     


 

            
            
       
        
    



 

            
        
            
       
     

         

    



 

      

     

        

            
      

     

     

    


 
        
            
         

       

     

 

 
    

 
          
        
            
              
          
           
             
          
            
             
          
            
            
   
          
           
           
             
           
       


  

    
         

 
  


       

              
            
     
          
          
      
               
            
          
        

 
  
        
           

 
 

         


            
     
           
 

      


       

   

           

 
  

           
 
 
  

            
            
             
         
            
            
           
         
            
            
            
          

  

            
           
          

  Karush-Kuhn-Tucker conditions for standard-form LP prob-

lem                
           
  
  
       




   

            
           
     
            
           
           
          
             


              
            
          
            
              

     

 
  


             
           
            
     



          
             
             
            
         
       



 





  

      

           

    



       

        

            
           


          

            
             
         
    

  Necessary and sufcient conditions for a minimum in alter-

native-form LP problem          
                 
 
  
      










  

        

  

      

           
              
              
        
           
           
              
     

     


 
       

        

         









 




   

      

             
               
            
          



              

              
           
    

           

            


      

            
         
           
              
           
          
               
           
          
         
           
             

     

    
           
             
            
              
        
          

         
             
          
            
                
              
            
             




       



           
  
           
               
           
            
           
 



 


  



 

            

             

        
            
            

          
         
             
              
            


          

   

            

          
      
         





            
           
         






 





        

       

   

            
             
        
     



              
             
          
        

 


    



        

    

          

 
 
               
          

  Necessary and sufcient conditions for a minimum in alter-

native-form LP problem           
      

   

       



           

      




         

            
  Necessary and sufcient conditions for a minimum in standard-
form LP problem             
       
     
      

   

           
              
            
           
               
    
              
             
             
           
          
                 
               
                



             

            
         

       

            
            
       
             
      

         

      



            
             
             
             
           
              
 
           
             



        

          
   

           

        



               

       




          

          
    

         

            

          

              
            

           

   

       



        

             

     

       

     



          

      



  







          

           
             
             
    

        

 

  

           

           


          

    

        





 

          

 

    





 

            
      
       



  

 



         

   

              
              
             
               
             
             
             
           
          

             

        

       


         
       
           

         



   



            
   
 
  


              
   

          

             
         
           
          
 
 
          
          
            
     



            

         
           
            
            

       

 
       

       

             
     



         

           

   



            

  



               
             
              
              
            
         
             
            
   

     



           

         


   










         


    









         

            
             
           
          
             
     

        





       

  

    
            
        
              
             
         
    

  Existence of a vertex minimizer in alternative-form LP prob-

lem            
       

            

        



            

 

            
             
          
             
         
       

              
         


            

              


          




            
             
           
       



   

 

              
              
 

  Existence of a vertex minimizer in standard-form LP prob-

lem               
  

 
             
            
            
            
  

  Uniqueness of minimizer of alternative-form LP problem 

            

            

      

            



          

          
       

         

       

        

           


  Uniqueness of minimizer of standard-form LP problem 

              



           
            
            
         
        

           

              
       



           
          
            
     

           
              
             
             



  

      
             
              
             
             
           
         

  

          
            
         
             
              





            

   

       

            
              
            
              
   
        
    



             

      



               
     
       

        



            
      



            


 
             
           
   

           
  

            
      

          
          
         
             



           
 

 

           

            


           

          
   









      


            
         
             
           
               
            
           
          
           
  
        
     
 
      
 
 


 
           
        
 


 
       

 
   


   
 

           

 



     

 


       
     

           
   

            

      



              

      

           


             

          

             






     



    
           
         

          

   

            
       

 



  




    

             
  

    

     


 

       



            
     
          
         





 



 
 


      

       

            
         
       

            

     

      




            

         
       

         

 

          

             



  

           
          
            
           
             
            
             

             
             

        

             

           
             
          

 

            
            
    
         
            


           
           
           
          
          
         
           
             
     
             
           
   
             
           
          





              
          
           
         

        

     
 
         
 
 
 


 
         
  
 


 
       

 
     
           

 
   



 



  


 
 
         
 
     

     


 

   

        

          



           

  

            
  
             
 

   

      

    
              
            
           
            
           
          
       

            

       



          
          
     



             

         
            
         
  

  Linear independence of columns in matrix   

          


               
            
            


           



          
           
  




           

            
            



               

           
         
            
         
           
           
           
             
      



            

         


  

           

            
       
            
     
              
          
 
         

         

   


 

           

            
       

        

            

   

  



            

          
      

 



       

 



          



     

           
              
           
            
             
     
           
        



           

          


              
            
             
  

  



          
            
             
             
         
              
            
          
          
   

       

         

          
           
            
      



            

    




          
       

           

             
           
            
  
           
        

         

            
          
            
          
            
           
          
           
        
              
 



       



              
          
           
          
           
           
        

        

   
 
       
  
 
    
        
           
        
 
          
 
     
            
         
  
 
      
 
 
          
  
 
       
 
       

          

  
     
      

 

   



         

        

      



 

           


            

     







    

       



    



       

 

    

        



         

      

            

           
           
           
            
            
       

            

            
            
             
    

      

             
              
             

           
      



        



               
          
      
             
             
          
            
           
 
          
    
            
       

     



            

             
          
            
             

     

   

 
   
  

             
         
            
           
          
            
              
           

      

   

 
 

  

          

            
            
          
       

      

   

 
 

 

             
         
         
       

             
  

  

          
            
      

   

             
           
  

 

            
            
            
          

 

            
           
          
             


             

            
            
          
       
         
            
         
            
          
          
          
     
            
             
              
           
            
             
         
             
           
             
   




            

  

    

           
         



         

            
       

          

              
     
            
           
           
          
            
             
              
          

       

            
               
             
           
          

           
           
          
           


 

  


 

          

          
              
       
         
            
           

                 


             

       


            
 
           
 
               
   
            
                
  
              
     
             
     
                 
       
                
      
            
  


            
           
         
           
       
            
      
   
              
  

          
        
      
             
       
           
    
       

           

         
  
            
   
           
          
          
         
            
   
             
              
       
            

       

             
         
      
          


 
       
    
 


 



   

           
        
            
    
            

        


 



       


 



           

       


 



           
        
        

            

    
           
              
  
              
   
              
        
              
   
              
       
       


 



       



 



              
          
 
          
 
              
         
              
      
           
         
 

     


 

             

         
           
    
             
      
 

 
   

 
            
            
            
            
            
         
            
          
           
      
         
           
          
            
         
        
            
          
        
            
 


     

  
             
           
             
          
          

    

 
  


             
           

 

  



  

           

           
              
               
              
             
             
                
    



 


           
              
      

              
           
          
            
            
 

  Existence of a primal-dual solution   

         

             

         



            
         
           
          
 

  Strict feasibility of primal-dual solutions    

     
              
              
             


                

                
           
              
   

     





  
         

     





      



           
        



              
  

  

         
           
      

 
 


         

          


 
 

      

          

         
             
           
              
           
             
              
       
           
             
          
  


            
         
          
    

         


 

        








         







  



            
 




             
          
         
          
            
           
     
















  

 
 
 

      

      

   

           
         
          
 
            
           
          
         
         
            
            
            
      



      



              

    

           

        

     

 



             
        

            

   
           
            
         
              
             
             
            
    
          
            
            
      


 
            

 
  

           
    




           


      



            
           
   





            
            
         
           
   

          

             

         
        

          
            
 


        




        



       

  
 
         
     
 
 
      
 
      
 
   
 


       

 

           
 

        

       

             

        

    

    
    
    
    
      

    

  
          
            
       

 

  

          
              
              
           
             
             
             
            
                 
             
            
           
   
           
    
             

               
           
            

   

             
             
             
            
            
            

     



             
             
  


      
          

   

          
              
  



      


              
        
             
 
        
        
          


               
           
           
             
             
  
       

      

       

            
              
           
     


     

            
 
 

            
            
             
   
 
 

        
          
   


          
           
        
        

       

 
            
      


       


            
  

           

            

 
  
            
        


    





             
         
   
            
       
          
         

  
 

         

        
    


      

       




          

       

          

             
        
       

        

  
 
       
           
   
 
         
 
       
 
       
 
           
   
 
 
 
         
     
 
        
       

            


     

         
             
 
         
   

            
    

















  

 
 
  

      

   

           
            
           
            
        
      

      

   

            
            
         
            
       
  
            
         
          






 
           
         





         

 

      










            

           
        


          
             
        




          
               
           
            



    





     



      



       





       

             
         
            
  
      

      

  
 
      
          
 
       
  
 
      
 
 
         

             

           
          
            
           
             
            
            
        
           
           
     
             
         
          
            
          
          
           
       



             
   




      



   










      

      

 
     
          
 
       
  
 
      
 
 
          
     

         

   
   

               

              
        
      

        

  

      

              
             
             

            

          




    


          
    



         
  

      



         

   
        
   

         

   

 
        
           
              
            
             
        
       
              
              
        
            
         
  
       
        

       





              
            
             
      

             

      





       

          





           

              
         
           
            
        
     

    

      
 
       
          
 
       
  
 
      
 
 
          
     

         

   
   
   


               

   



        

         

             
           
     



















  

 
 
 

            

           




      

         

  

      

  

         
        
              
          
           
         
            
          

         

          
         
             
    
       
         
       
      
    
         
  








      










         







           



     

     






          

        
            
        
               
      
           
 
       
          
      
      

          

          
         
           
         
        
           
 





         
     



          

          
  



      

         







            

           
             
           
         
           
          
             
            
  

      

  
 
     
        
 
 
         

 
     
 
        

        

 
     
 
       
     
 
   
     

         

   
   
   
      


               
            

           
            
           
          
 
















 
  


 
 
 


             

              
       

           
           
      



            
     
            
     
         
             
       
               
       
             

                  
           
       
           
         
          
  
             
           
               
         
         
             
           
   
              
        
           
               
           
    
              
     


            
 
             
         
 
          
          
    
      

           
        
           
       
    
              
        
             
        
             
 
               
      
              
         
             
         
             
 
      

  
 

     

    

     
   


 


 

 
    
    
             
             
        
              
   
          
    
            
  
             
           
            
             
    

 

  

            
 
         
             
    
            
        
 
        
         
         
          
           
   
       



 
    
             
    

   

          
         
       


  
             






               

  
              
 
               
   
              
 
               
   
            


 

      

 
              
        
      
         
           
          
              
            
            
           
               
      
        
              
      
        
           
          
               
          
      
              
          
      
     

 
       
         

 

          
   
 

  



 
          
           
          
               
         
         
    
             
          
           
     
            
        
           
            
              
          
            
             
          

          
         
           
         


      

       

 
  
             
          
            



          

          
             
  

 





            

            



         



           

          
              
           
            
              
          
           
       


    

          

             
 

          

  


     



            
            
        





           

       



           

          
            
    

     

 

  




           

 





             

           

     

  





           

        




    



           

              
     
      

       

              
              
         

             
        




             
            
             
      


            
           
          

       

             
             
            
              
   


 
  
        
     

 
 

               
            
          
               
          

            
              
           
               
             
             
              
         

   

            
               
        


         


  

    
    



                

 

   

             
 
               
    
          
  




            
             
           
             
      

             

           
           
           
             
              
              
              
           
            
           
   


           

               
          
      
           
            
            

              
  
  
        
             
          
           
            
           




            

              
           

        
 
 
            
  
 
   
            
   
 
            
          
   
 
       
    

 
      
 
          
       
 
     

          
            
            
         

          
          

   

S






      

      

       

     






      

        

 

  



           

           
             
           
           



            
            
           
         
       
    

   

            
           
            
    

             
 

 
   
 
  
             
            

 

         
              
   
            
        
          
        
           
         
        
             
              
             
  


           

            
           
       

      

          
           
      


        

          
           

 
  


        

             

 
  


           
             


 
 


  
           
             
  



          

       
            
              
       
   

 
 

    

        

              
             
          
         
           
           



        

               
              
    

 

  

            
         



           

 


           

 

 



          
   
         
              
              
           
             



       


         
             
          
        
    
             
   





       

           
  





       

    



          

 

               
         



             

    
    

        










        

         

        

          

    
          



              
       











           



      

 
 
    
         
 
        
  
 
      
   
 
        
     

  

     
          
          
        
        
          
     

       









    

         



           
          
            
           
             
 









 

          

          
           
       

    

     
 
     
          
 
       
  
 
     
  
 
        
     


      

 

  



            
        
         
     

          

      
          

         

   

       

           
           
 
  


    

           

            
       
       
         
             
     

       

             
             

   

          
    

 


       

           
        
 
  






           

             



               
          




   

           

  
             
              
          
               
               
         

           
       




 

              
         
            
     




    



           

            
      
         
   


         

     



   

 




 

        

          
      
       
          
          
      
            
           
   


    

   
 
      
        
 
       
  
 
      
  
 
      
     

     

           
            
       
         
           
            
           


 
           
            
       
  
             
          
          
        
  

             
          
           
    

           

              
             
             
           
            
             
         



 

 

              

         

          
           
             
        
              
         
             
             
           
           
            

           
             
  
     
      
    


  

          

         
        

       

 
   
 
  
           
            
          

 
           

      



            
            
     
            
         
           
   



  

          


    



     

        

         

          
          
 
 
  


  



 
 


            
     

 

  



           

           

           
           
            


       

  
 
     
     
 
           
     
 
  
        
     

         

        
          
  
           
            
        
              
           
            
        
          
    

             

           
    



        

            

       

  
   
 
   
       
 
 
  
 
         
 

  

    

           
    
 
   
     
            
           


         

       



           

           





 
 

 
 

          

 

  

          
            
            
           
            
            
     



              
           
    




    

           

            
      
             

       
  
 
    
     
 
    
 
          
 
     
         
      

          

         

  

          




  

         

       
             
     



  



  

 S





 
R

       

       

   
  




            

        



        


    

  

        
            
         
           
           
             
         
          
             
            
          
           
            
     

      


       
            
            
          
   

            

             
          



          

           

 

 


      

             
       

         

         
     









    

 

 
           
            
     
 
          
            

           
            
      


    

       



      

           

       

 
         
      
     
 
     
 
         

 
      
     

       

            

         

     

             
 




          

           

      

 
 
 
 

      

            
  
 

   

       
             
               
             
             
             

              
           

  

            

         
       
              
    

          

        

              
        









             
             
           
             
           
          
             
          
      
          

           

 

  



            

            
              
            
  


       

 
          
     
     
 
           
 
       
  
   
 
      

         

 
   
 
          
   
 
         
 


     

           
           
 
    

           
        
            
          



          

          
           
       

         


               
   
           
               
              
        
              
  
               
         
               
       
          
           
              
    
              
   
            

            
    



      
  



  

          
     
         
 
    
 


 
 


 
           
    
         
 


 

 
 


 

 
    

 


 

 
 


 

 
            
               
             

            
              
 
              
 
             
         
           


 



    
 

              

      
      
  
 

        

        

        

               
            
             

            
      
           
             
  
     
     
      
  

          

         
        
           
      
          
           
          
         
            
     




   


 

            

          
      
             
   
             
           
        
   



     

   
        
           
        



 
   

             


  



         

               
           
 

  

 

 
         
             
           
        
          
            
           
            
      
         
         
          
          
   
            
           
            
           
         
         
            
           
           
           
    


     

   
          
    



      

      
 
   

          
            
             
             
             
         
      
 
         
      
 
  

          
          
             
            

            
   

        

        
            
     

 
  


             
        

 

  



              

            
              
         
        



            
            
                
        



      

       



              
           




         
    



           
          
          
            
     



 

        

 
  
   

         

             
             
        
          
            
          

 
 LP Problems          
             
      
   

 
  
     

              
         
       

   

      

 Convex QP Problems     

  

  
            

 

  



     

          
            
 

               
  


          

            
   


          

  


             

 
  


 




 Convex QP Problems with Quadratic Constraints     
 
 
   
        
          
             
           

 

  

 

              

            

 

         

          
   
 
  
          



         

              
            
           
             
              

     

     

  
           
               
              
         



              
             


               
 
           
  
             
            
     
        
        
           
          
             
              
  

  

         
              
            




 




         

          
              
            
         
          
             
            
              
           
           
           
            
       

  

               
           
            
        



 


 
             
 


 
  

     

          
     

        

            
          
           
          
          
     
         
       
        
            
         
          


  

            
           
              
          
      
       
      

 

         

           
            
          
         
    
       
     



     






  
 

    

       
   

 

           

            
           
       

   

    
        
           
    


 

        



            

       
         
            
           
          
        


     

       

 


              

         
            
        
   







          

         
              

   

         
    

 
 

            

             
       

  

             
             
        


         

          
           
      

  

         

 



             
         

  

          

              
           
        
         
        

         

       



       




       

          
   

    

           


   

     

      

 
 


 
     

       



 


 



  
             
        

       





             






             

            
         
          
            
            
              
              
       
           

   

       
      

 
         
       

      
         
 


 
       



    

 
        
  
    
   
 
        
 
     






  





     

               

           
      
         
     
          
         
         
    

         



       

     

        


          



           

 



          

      

 



        

            

      



  

          
 

 

         

     

 

  



     
            
             
 
        



          

         

          

        
          

            

      

  

           
          

              
              
        


            
        

 
            
 






             
    




           



            



               
       





    



     



           

      

 
         
       
          

 


 
       
  
 
     
      
        
       
   
 
     
      
 
    
 
    
     

           
 


             
       

 




             






            
    
     

     













         

          
          
 







          

      

          




        

            
      

      

           
            
           
          
          

   

              
         
              
             
     
          
  
 
    
 
             


            
          
             
  





      


     

              
           
             
    
           
 
  
   



            

           
   
     
            
           
          
             
    





          
            

  

     








        



  
  
 
          
            
          

          
  

          

      

        
            
          
      
       




       






         

         
     

            
             
         

     

 

 




           

            
           
        
         
          
            



          


  
  

           

          
   


      







          

         
          
       
            







       

          

           
          

 

    

 

            

 
  
           
        
       
             
          
           
             
        
            
              
        
              
     







       

           

           
          
            
         
       
         
     

       

    
 
  
 
        
     
 
          
        


 
     
    
     
         
  

             
             
          

           


     

          
      

           

    

 

  





        

     

  
      

 
  
  



           

            
            
        
           
          

 

  






           
          
            
            
       






 




         

 

  



            

         

  

              
        
            
          
           
        
          


     

      

        



    

          

  

         

           

 
          
     
     
   



          

  
   



        

   

   

    

              
           
            
            
            


           
      





   
           
           
         





       

           



           
  







  

      

     

       

           

            

            


    



              

            
        

           

 

  

             

            
           
           



             



          

       


    
     
   

          
        


 
              
 





        



     

 
           

       

   
 
         
   
    
      
 
        
 
      
 
       
     

    

 
  


        

       
         
      
   
           
         
 
        



     

          

          
   

          
   

           

        
        
     
            
  




          
          
    

       



        

           
    

   

   
              
           
              
   

         

 

            

            
            
    
             
        


     



  

  

            

        

       

 

  

 

       

            
            
            
           
            
           

             
          

 
  
 

         

             
  
  
 

           

   
 

  

              
         


        

             
         
  

  
     
     
 
  
          
           

          

          
 
  

            
     

  

 
  

              
             
   
     

             
           
   
 
  

    

          
              
            


    

           

 
            
         
 QP problems with quadratic constraints     
     

 
  

       
         
   



  



       

    
 
  


 Minimization of a sum of norms   
  


            

           

 

  


      




 




  



   

 
  

     

    

           
 

  



       

 

  



 Complex -norm approximation problem    

         
         
         
 



        

    
      
 

        



 

  



 

 
 




  



     

 
  


     

 Linear fractional problem       
 
 

   

 

             
            
              
     
     





        

 

   



       

            
  



         

 

  



    

      

    
  

  
  




        

      
       
             
 
 

  


 

  

           
 



       





            

             
  

             
           
           




           
             
           
    
       
     

          
           
     





           

           
      

    

          
             
          



         





 

  

 


          

            
           
          
             
        
      
             









           
   
         

      


 
        
 
       
    
 
     
  
 
   
 

 
     
     
  

          
   

      


 

          

     

 
  




             
             
         
            
        
       
   

      





      

            

   


        



        

           
          


           
       
           
    
             
  
             
          
             
         
              
            
            
      
             
         
     
          
               
 
               
     
               
 
              
             
  
             
     
             
      
              
           
             
           
    
     


            
     
  
      

         

 
               
     
         
     
           
         
      

         

        

  

           

            

        
       
             
        
          
   
          
    
 

   

           
    

         

      

          
  
         
            
        
        
        
                
   
          
 
            
         
           

           
   
       



 

      


      

             
     
             
   
           
 

         

         

           

           
 
 

  



 
           
           
              
         
       
         
          
          
           

            
           
           
      
            
           
       
  

    

         
              
              
        


     

   

 

   

        
          
             
           
         



     

             


     

             
         
       
          
      

       

  



              
        


    





 




             
            
           
   
      


          
         
 
  
            
             
              
        

          
         
           
            
            
  
           
           

               


           
           
             
             
        

             

   

 
  

            
         
 
           

        

 
 
       
 
         
 
           
   
 
      
       

        



 
    

        







        

    

          

             
    

         

           
    

          

       



     

            
      
 
   
         
           
            
           
    
  




   






 
       






    



         

 


           




 



           
   
 
  
               
           
      

          

       
   



           
          
              
             
          
            
          
           


            
  
            

        
 
 
      
 
    
 
       
 
 
           
   
 
      
       

          
   

            

   



 

         

          
    

          



            




        



        



   

           
               
             
      
          
           
               
            
            
            
            
             
         
           
             
           
           
          
            
          
       
         


      

         
            
       



              

             
     



         

        



             
          
             
            
           
              
         
            
        
              
         
        
        
          
            
        
 



              

         
        
    

           
  
            
           
            
     



           

          
          
                 
         
        
           
            

 


         


            
            
           
              
    

     

            
      



 




           

    

            
          
          
    



         





           
           
 

       

  
 
      
  
     
 
 
        

 
          
   
 
          
       
 
  
   
 
       
  
    

 
          

   
     

           
         
           
           
           
            
          
           
    

      

  

 
       
 
 
       
 

      


        
             
          
           

 
   
 


          

     






     

      

          
         













 


 


         

    

         

     

 

  



              

     

           

       
      





         

    
            
          
            
 
             
   



           


           
            
          
          
            


           

  



            

 

 



         



       

          












           



       

   
 
      
  
     
 
    

 
      
    
 
           
    
 
      
 
  
 
       
  
 
         

   
     

         
 

 





             
            
             
    
        
          
         

       



      

       
       

  

           
         
          
          
            


     

      

 

   

         
          
        
  
 

  



       

           
          
     

 

  

    

          

  

              






          





  
          




               
       
           
       


       

     



        

 



            
       
              
           
   







         
              
           
              
          

 

           


     


    

           





      

  
            
             
          
              


      

           
            
            
           
   

     



         

    
          
         
          
             

          
          




        

    
           
        
 

               



            
       
           
             
             
            
          
          
        
             
          
           
              
       
        
             
     
    



             

    
              
            
              
          
            
           
    

              
            
              
      



             

            
         
  

        

 
 
        
      
    
 
        
 
 
      
  
 
        
    
 
          
     

 
   


 
  
  
        
 
  
   
      
   
            
           
              
      

          

         
      
    

           

         

            
           



    

  



       

     

              
            
             
 
              
  



         



         

          
    
            
            
            
          
          
          
     
            
   



           

             
    
        


      

  
 
         
  
      
 
 
        
 
 
          
         
          
      
      
     

 
 
      
  
 
        
    
 
          
     
 
 
   
 
  
     
     
 
  
    
      
  
    

 

 

         

        



 

            
          

           
         
 





           
  

         

          
             
           

       

  
  
  
  
  


            
               
           
   
            
        
              
  
                
   
            
        
             
     
            
              

                
         
     
            
           

    

                

          
  
              
         
  
             
         
     


          
              
       
      



 

         



 

        

       



 





         

            
        
 

            
           
  
       


 

       



 
            
        
     


  
            


 


               
 

  
    



  

   
          
  
     

            

          
              
       
    



  

           
 

  


 
          
           
         
            
            
            
          
            
         
           
           
            
       
        
 
           
           
         
            
             
          
          
           
               
          


           
          
 

    

       
           
        
           
             
          
            
           
          
         

             

             
           





          
              
           
           
      
 
            
         
 
 

 
             
              
    

          

       
       




 
 
 
 
 

          

            
 
        
 
 

        

           
 






  



          

 

  



       

          
            
     

          
          
         
          
           

             
         
           
           

         

           
            
        
          
            
            
   
          
           
               
            

        

          
         
            
              
             
           
    
    





      

 




       
 

             
   

           




          



          
       
            
         

 

             
     
            

 


          

 

   

           
   





        

 

              

 

            
 

 


        

         
             


    


 
            
 
 
  
         
            
 

           

          
            
          

             
          
      






             

           
       
          
         
           
               
         
          
         
             
            
             
         
          
          
          


             
        
   


















      
















       












       



             
      
    

        

 
        
          
          
             
           
       
             
           
         
          
          
          
           
           
      
           
          
              
          
           
            
            
             
            
          
           
             
            
            
          
  
             
             
            
      
               











             

           
              


    

            
            
               
      


    
    

              
            
             
      

 

          

         



            
        

      

           
             
    

       

 

   

            





    



          


            
       
 

  


 

    




           

        

 

  


 
         
             
            
            
         

             
      
 




             
            

    

          

             
     






               
               
              
         
            
        
            
             
          
          
            
 

 

  








           
          
       

   

          
            
        


           

          
            
             
              
 

            
           
            
       
      
                

            
          
      






      

      
         
             
            
     
            
             
              
            
            
          

    

           

 

   

  

      

      

   

  

   

 

 
    
  

      

           
         
          
          
          
          
            
          
          
             
           
           















      










   




               
           
    

            
           
        

      

          
     




         

         
         
         
          
          
         


           
 



  

         
             
          
               
             
            
          
            




         

             









    

          

        



       

    

            
             
        
       

 

         

           
      



      

            
         
             
            
         
    

            
           
            
      
           
          
               
   
          
            
           
          

 
         
         
   


             
       
           
          
            
           
           
         

      

       



         



      



   



             

         
           
            
      

 



          

              



  
 

 
       


       
             
        
            


    

         

       
 

        

            
            
               
          



           
           
        
              
              


         

      

      



          
          
             
       




       

               
             
            
     
 

            
      


          
            
            
       

      

            
           
          
            
              
               
           
               
       
   

   

           
             
      
            
            


    














    












    












    


            
         


         





 

     



    

  

             
 
            
   

 

             

 

         



    



         

           
               



 

    

           
             
           
          
 

         

             


   

            
        
 
     



           

          

  

 
            



       

 





            
         
           
           
             

 

          

           
    



            

      

         
            
           
            
             
             
             
              
         
           
        
          
               
             

       

  
            
          
          
           

                
    














    













    












    


             
       











    














    













    


             
       
    

            
           
             
            
   

           
  

   

          
            
            
    

      


           
             
          
            





 


 






 


       

         
             
   

          
          
          
           
           
            
           
           
            
          
          
           
          
            
     
           
       


          
           
            
            
    

 





 

        






          

            
             
              
            
          






            
             
      








       

            
         
   



   

       

 
           
           
           
     
            
    



       

 
 
    

          



          








          

          



              

            
            
      

         

           
           
    

         




 

 
  

 

  

   


  

 

        

   

         

              
   

         
           
        
           
 
  


            
             
              
  

  
    



         

       

 
          
           
            
              
          

          



     



           
    

 


           

             
   





      

  



         

     
          
      
         

 
  


    

        
            
           
            



       

       

 
  
          
              

          
           
    

           
     

      

            


            
   

   





      

     


      
           
             
              
       




 




     

         
      
         
          
             
          
              
          
          
            
           
        
    

         

          
        
            
        
           
           
         
           
         
         
          
               
            
           
          

      

   
         
             
            
       

 

           

        
            
              
        
         
           
           
        



           

           


            

       



        

          
            
             
         

 

        

 





          

  



   
         
            
     
             
           
            
              
          
            
           
              
            
    

         

            
          
  

   

             
         
 



       



        

           
   

 

   

          
            
         
          
      

     


           
       

     

           
        

 


   

            
            
       
       



          

         
      
           
       

  

  

 
 

           

          

  

  
 

             
             

           

           
             
               
           
            
            
               
    

             

        




               
              
         
       
        
         
          
    

    





           

     

 

             
       

 
 

           

            
      

  

  

     

            
           
          


              
        
              
          





               
   

 

            
 
             
          
            
             
           
          
              
      

         



         

               
            
          

 

 
    

  

          
           
          
           
             
          
         
            
            
        
        
           
 

    

         
            
           
              
              
         
          
            
            
         
          

  

  

  

           
                
      

 

  




   

            
           
            
        
              
          
            
           
        



  


 

    



          

           
           
          
           
             
             
        
   



  

 

               
   
    

          
             
           
  
     



       



            

            
         





 

             

        
            
             
 
           
        

       

 
    
 
             
 
   
 
   
 
     

          

              
            


         

         
         
          
             
          
             
           
     

         
          
             
   

             
            
          
           
           
           
              
             
          
             
             

           
            
            
          
            
            
            
          

     

  
          
         
             
          
    








       


          

          
           
          
              
       
         
          
       
         



             
       














       









 




   



            


            

            
             
    

               
           
          
           
             


    




         

          
         
         
          
          
          
           
     
             
    

 

          

     
          
              
            
        
           

    

            

          
         
      

 
  

           

             
 


 

   




              
          
             
     

 
   

         
            
          
               
        

  

          
            
          
          
           
            
 

   

          
           
            
  


    





        

         
           
 

      



            

         
           
        
          
               
           
            

 
          
          
            



             
   


            

   

















          


             
 

               

            
           

         
           
         
           
              
           
        
  
            
             
              



           
 
            

    

             
          
            
              

             
         
               
             
               
               
             
            
       
         
               
        
            
          
             
               
     
              
            
 
              
           
 
              
             
          
              
   
           
          
           
          
              
          
   
            
         
            
            
 
            
          
             
 
           
   
 

            

                  
        
       
             
        
               
    


         
             

      
             
     
             
     
              
          
      
             
  
             
        
             
           

         
            
              
     
           
        

           
            
     
             
     
     

             

            
           
           
           
   
            
        
              







             

           
     
               
          
           
        
         
          
   
            
 
   

 
           
            
          
        
            
             
          

            
          
       
        
     
       
         
       
           
           
            
    


       

          



        

           
       
          
           
        
     
         
            
        
           
         
            
     

       

      

   


       



         

   

      

         



           
      

     

     



           

 

 

      

              



          

                
 
          
      

 

          

  

              

           



         

      

               

          
           
          
  
            
            
        
            
            
            

         

          

          
           
  

          

  


      

       

           
 



      

  

       
     
         



          



            
           

   

  
  

           




         

  

  
  

   

           
  

 
           
       



           

           
         
        
      
        
 




 





 
      

       

          
    
            
           
           


            
       
           
       
             
    

              

     

  

        

      

   

        



     



  

  




  

        
         
      
          
    

        
              
     

            
         
      
              

            
    
            
               

         
     
     
      

            

       
          
          
       
       
           
          
              
             
           
       





         

             
            
               
             
   
         
 



         



          



  
  

      

     
   

  
  

           

            

             

           
             
           
              
 
            
           
        
   

      

   

      

          

           
          
  

       


          
             
       
    
        
          
       

         

   

        

   

          

     





           

     


 
            
 


            

        



             
            
  
          
  
          
 



     

  
        



              

           
     



      

    

      

               
            
               
            
          
            
        
   
          

          

           
        

       

           
   


          


             
            
        
           
          

           
         


  

          

   



  

      

  

      

 

       


             
          



           


      

     

  

           
       
    






       



        




  

         
  





 
 
          
          
           
        
          
       
            






            
            
             

        
            
  






           

 
      

             



 
 

       

       
        




         
    







 
  



        



       

      



      



          

           


       

              
            
          
       

      

    

           



        

       







       


     
      

  

            
       
        
         
             
          
          

 



       

           

        
           
            




        
     
     

    



     

           

    


             

    

  

  

  

          

     

            
 

     

  
       
      





      

       

          

 


        





 


           
        

           

          

 

         

            
          
       






             

            
            
    
         
             


          

       
  





  
  

      









       

         
         
             

         

    

      

       

      

       

    

     



          

        


  

           
 

    
    
    
    

    
    

          

           
    


 


     



            

           
       
     
    
   

    

         

              
  
      

     

           

        

             
        



    

  

            

           



    



             
         





    

 

  
  
        



         

 
          
           
         
          
              
       
              
      





             
   

              
   
      

              
         
            
          


        

      
            
 
           
          
         
        
  

     

            
              
           
          
     
      

      



       

  

           
          
    
          
         




      

          
         
          
         

         

           
          
         
           




           

            
         

        

       

      

         

          

    

  

         
       


           
    
             
            
   
      



           



 



  



        

        
            
             
    



      

     



          

             
            


         

     


       

      



     

  

         

  

         
      

 
  

           


  
       

        

     
          
 


           
             
           
   

  

         


  
  

  

           



           
     

   

     

  

       

  

     

  



     

      





  

 

   

     

            
           
         



     

 

       



        

           
 
 
                  
           
        


           

  

       
       

           

 
         

  

 

         

       

           

              
           


     



        


       


      

         
          
  

           
             
      



       

        
        



               
             
      
           
               
              
            
            
           
            
            
      

         

           
  

            

    
    



     

               
        


     

 

 

     


          

           



      

 

              
      

      

             
               
             
         



    
           
       


      

        

          
          
            
           
         
             
          

 

          

            
         

 

          

        
  




                
   
              

            
                
   
            
 
   

 
        
             
          
            
             
            
          
       

 
           
           
           
         
               
               
        
         
       


             
 
           
               


  



   

 
 

             

       

        

            
          
          
              
            
          
           
       



        

              
            
               
            
      

              

           
   



           
          
        

  

            
           
            
              
 
    

 


 


 


 

          

      

              
       
   






            

            
              
     

        




            
           
          
   
          
            
    
         
           



           

      

  

              
             
    

 
      

       

 
    
             
          



      

             
             
    

  

           
              
             
           
       

 
              
          



              



             




       



           

     
         
    

         

              
   



      

  

          
     



        

          
          
           
           
      
             


                

      

     

          
       



           



    

           
        
           
          
            
                
            
   

        

           
             
              
          
 

           
              
  

    
    

               
          


  

 



 

          

     

             
        
  
             
     



             
            
          
            
       
           
          




  

      


  





             
           
            
           
               
             
    
             
              
    

   



 


 

 
  
 








           

           

          


          

             
            
          
             
           
           
              
            
 

              

            
         
        
       
        
              
     

          

         
    
             
            
            
            
             
            
            
         
             
            
           
         
              
        
              
           
      

         

             
           
            



              
              



          

            
         
              
           
              
   

 
          







      

           
           
             
          
           
           
         
              
              
               
           


 

 

  



 

 

  



         

   

            
          
            
         
           
           
          
          
          
              
              
           
              
      

 

 

   
 


 

 

    



          

      

     

    

            
 




             
    

           

          
           
     

        

   

             
              
           
          
 
          
              





 
  

             
       

      

    

              
             
            
         
       



          



        



              
             



          

           
    



          

           
          
       



           

    


          

          
    

   

           

       

           


            
          
              
        
             
     


           
 


   

    
    
      
      
     
     
      
     
      
    
  
       
         
       
   
    
    
      
  
         
     
      
     
     
    
      
     
    
         
      
     
      
    
       
    
   
  
  
 

     
     
      
 
     
       
         
       
    
    
   
     
   
     
    
      
     
     
     
        
      
        
    
   
  
   
   
   
   
 
   
  
        
     
   
   


    
   
  
   
 

   
   
  
  
  
   
    
   

       
    
         
      
    
    
    
      
       
       
     
       
        
     
      
    
  
 
    
    
    
        
    
        
        
     
 
       
    
  
     
     
    
    
        
        
 
    
    
        
     
      
      
   
   
     
       
   
  
       
  
      
   
           
       
        
    
     
         
 
 
       
      
      
  
    
   
   
         
   
  
      
    
     
     

    
       
    
    
    
     
  
       
    
  
    
    
    
     
    
    
     
     
  
      
         
     
      
       
     
 
  
 
  

 
  
    
  
  
  
  
  
  
  
 
 
       
     
       
     
     
        
    
     
    
      
       
      
      
   
    
   
       
     
          
     
    
        
     
 
      
  
        
   
       
          
        
    
       
     
     
    
     
  
      
   
    
   
    
    
        
     
  
       
    
       
        
     
     
     
   
     
     
 
        
    
   
    
    
      
       
      
    
    
     
   
     
     
  
     
      
  
    
        
      
      
    

    
        
    
      
    
   
      
    
      
       
   
         
        
          
    
       
     
   
       
   
          
      
        
     
         
      
      
        
      
      
       
    
       
      
     
   
       
     
    
      
        
    
     
      
         
       
   
   
      
     
     
            
     
      
      
     
     
 
    
   
    
    
   
    
     
      
  
     
      
  
    
     
      
 
         
       
      
        
   
    
    
     
     
   
  
  
   
  
 

 
   
  
  
  
 
   
      
    
 
  
 
   
       
   
    
   
       
    
  
      
         
    
   
     
           
    
       
   
  
    
    
    
        
     

        
        
      
      
      
     
       
       
    
     
      
        
  
    
    
    
    
     
    
       
      
     
  
      
   
    
     
   
     
       
    
     
    
        
       
        
       
         
        
   
     
       
  
     
      
   
       
     
       
      
   
      
     
        
     
       
     
 
    
         
     
      
      
        
      
         
    
            
    
      
      
  
      
     
     
     
      
    
  
   
         
         
     
     
      
  
  
    
  
  
 
    
   

  
   
 
  
 

    
   
     
    
  
  
  
     
   
     
        
  
      
    
    
      
        
      
       
       
       
       
    
        
   

        
      
   
   
      
    
     
    
   
     
     
      
   
    
   
  
     
         
     
   
  
         
      
       
    
  
 
   
    
       
    
    
       
        
         
     
 
      
       
        
   
          
       
  
     
      
      
  
     
  
   
        
     
   
       
    
   
    
 
    
    
    
  
    
  
    
    
      
    
         
     
   
       
  
    
        
       
       
    
    
        
        
    
        
     
      
   
      
    
      
      
   
       
   
         
     
     
       
    
     
        
   
      
     
       
   
    
        
  
    
   
  
        
   
  
   


    
      
          
    
       
    
        
         
  
  
    
        
       
       
  
        
      
       
  
       
     
   
   
       
  
 
       
     
    
        
  
   
  
        
       
        
   
      
      
  
      
    
     
        
  
   
      
    
     
             
    
        
      
     
    
   
     
 
     
   
   
   
    
     
  
  
   
    
     
       
        
   
     
    
      
   
        
   
        
       
      
   
      
  
   
    
  
   
  
   
     
 
  
    
 
  
     
  
  
   
 
  
    
 
    
    
    
   
     
   
        
       
    
   
     
     
     
     
      
       
      
    
    
  

          
         
  
      
   
      
     
 
         
        
    
      
    
        
      
    
     
     
 
 
  
  


  
  
 
 
   


 
   
   
  
   
   
 
  
    
   
 
        
    
    
    
    
        
       
      
   
     
           
    
      
      
       
    
      
        
     
    
      
    
    
        
     
      
 
   
    
       
    
         
      
  
     
      
   
      
            
      
     
       
     
     
      
   
      
    
     
   
    
      
    
   
  
     
  
  
   
 

 
   
   
   
 
  
   
   
  
 
      
      
 
 
        
   
        
     
    
          
      
 
     
   
   
       
    
    
       
   
      
  

     
  
     
   
    
      
       
     
       
       
      
    
     
      
      
    
      
    
          
    
      
       
  
     
     
  
   

  
 
    
 
  
   
 
  
  
  
      
 
   
 
     
    
 
   
  

     
  
 
  
 
      
  
     
    
      
       
     
       
        
      
    
      
   
      
        
     
      
   
 
        
  
        
    
     
            
  
     
        
   
     
 
       
    
      
         
 
  
   
     
     
      
   
      
     
   
         
  
     
   
      
       
   
   
   
        
 
      
       
         
      
    
  
    
    
       
       
   
    
     
    
       
       
  
      
      
    

            
  
      
         
  
   
     
    
     
    
      
        
       
       
        
      
   
             
   
   
        
       
       
       
   
     
      
     
     
    
  
   
    
  
  
   
  
  
    
 
 
 
 
       
 
 
       
  
        
  
     
    
  
    
    
   
   
    
        
       
   
    
     
  
 
     
      
       
     
     
      
     
        
      
     
    
     
   
      
      
   
     
   
       
      
    
       
    
        


  
    

  
 
   
    
 
 
   
  
 
 
 
 
   
  
  
  

  
      
  
 
    
 
    
   
     
     
 
     
     
    
       
      
 
       
       
  
   
      
      
    

    
    
     
       
   
      
     
          
    
    
      
   
       
    
       
       
   
       
    

        
   
  
   
 
    
    
   
 
   
  

 
    
  
  
   
  
  
 
  


    
  
     
   
    
        
    
  
      
    
    
       
          
      
     
        
    
       
         
     
       
        
  
      
         
 
         
    
    
     
    
     
      
      
  
         
      
  
    
    
     
   
   
    
    
  
    
         
        
   
  
    
      
  
 
   
    
 
  
  
 

  
 
  
 
 
  
   

  
  
 

     
    
      
    
   
        
      
       
    
    
     
   
         
     
       
          
      
      
     
  
 

     
       
     
   
       
  
    
    
          
     
        
     
  
      
   
    
     
     
       
  
      
      
   
   
    
   
   
      
       
    
  
  
 
  
   
  
  
  
  

  
  
 
 
   
     
   

     
  
    
       
      
     
    
    
       
        
        
    
     
        
  
        
      
  
 
   
           
  
          
      
     
    
      
   
       
  
   
     
   
     
    
    
    
       
    
    
     
    
          
     
    
         
  
    
           
   
     
     
      
     
       
           
       
        
  
    
   
       
       
     
    
       
       
       
    
     
          
  
       
       
    
    
  

   
      
    
     
      
   
    
        
      
      
    
       
      
      
     
     
        
     
    
     
           
       
  
       
         
      
  
           
  
      
       
      
    
       
     
       
    
        
          
    
      
   
  

    
   
    
 
 
  
     
  
    
 

 
  
 
  
    
       
   
    
  
 
     
             
    
   
     
       
  
     
          
 
     

  
    
       
Printed in the United States