Vector optimization

석 진 환
용어 정리

• Convex

• Regularization
• L1, L2
최적화 문제 표준적 형태

Q : What is optimal( 제일 좋은 ) vector x* in this primal problem?

Step 1. Existence
( Slater’s Condition )

Step 2. Where?
( KKT Condition )

Step 3. How?
( Backtracking Line Search, Gradient Descent, … )
example

Deep Neural Network

example
 선호 체계가 항상 명확한 것은 아니다.

확실한 것은 고등어 4마리와 2000원이 두 경우보다 더 좋다는 것!

짬뽕과 짜장면 중에 하나를 선택해야하는 순간..

Regularization term을 추가하는 이유

- 모수의 절대값을 줄이기 위함.

- 수리적 표현에 대해 고민해보자.

Standard form of “Vector optimization”

Proper cone은 부분적으로 대소 관계를 만들어준다.

‘(제일) 좋은’ 의 정의, Optimal and Pareto optimal

최고 와 최선의 차이
 Remark.

• Vector optimization 에서는 optimal(최적) point 를 찾기보다는

Pareto(최선) optimal 을 찾는 것이 적절하다.

• Pareto optimal value lies in the boundary of the set of achievable object values.

• Optimal point is Pareto optimal.

• Pareto optimal point 를 모두 찾자.

• 그 중에 Optimal point가 있다면 optimal value를 쉽게 알 수 있다.
Pareto optimal 을 찾는 방법 – Scalarization

이 방법으로 모든 pareto optimal

을 찾을 수 있는 것은 아니다.
• Lemma

𝐿𝑒𝑡 𝑆 𝑏𝑒 𝑎 𝑐𝑜𝑛𝑣𝑒𝑥 𝑠𝑒𝑡. 𝐹𝑜𝑟 𝑎𝑛𝑦 𝑚𝑖𝑛𝑖𝑚𝑎𝑙 𝑒𝑙𝑒𝑚𝑒𝑛𝑡 𝑋 𝑜𝑓 𝑆,

𝑇ℎ𝑒𝑟𝑒 𝑒𝑥𝑖𝑠𝑡𝑠 𝑎 𝑛𝑜𝑛𝑧𝑒𝑟𝑜 𝜆 ≽<∗ 0 𝑠𝑢𝑐ℎ 𝑡ℎ𝑎𝑡 𝑋 𝑚𝑖𝑛𝑖𝑚𝑖𝑧𝑒𝑠 𝜆@ 𝑧 𝑜𝑣𝑒𝑟 𝑧 ∈ 𝑆.
pf ) easy

• Proposition
𝐹𝑜𝑟 𝐶𝑜𝑛𝑣𝑒𝑥 𝑣𝑒𝑐𝑡𝑜𝑟 𝑜𝑝𝑡𝑖𝑚𝑖𝑧𝑎𝑡𝑖𝑜𝑛 𝑝𝑟𝑜𝑏𝑙𝑒𝑚, for every Pareto optimal point 𝑥 RS
, 𝑡ℎ𝑒𝑟𝑒 𝑖𝑠 𝑎 𝑛𝑜𝑛𝑧𝑒𝑟𝑜 𝜆 ≽<∗ 0 𝑠𝑢𝑐ℎ 𝑡ℎ𝑎𝑡 𝑥 RS 𝑚𝑖𝑛𝑖𝑚𝑖𝑧𝑒𝑠 𝑡ℎ𝑒 𝑠𝑐𝑎𝑙𝑎𝑟𝑖𝑧𝑒𝑑 𝑝𝑟𝑜𝑏𝑙𝑒𝑚.

• Remark!
• Optimal of the scalarized problem ⟶ Pareto optimal ⋯ 𝜆 ≻<∗ 0
• Pareto optimal ⟶ Optimal of the scalarized problem ⋯ 𝜆 ≽<∗ 0

초과인지 이상인지는 실무적으로 별 문제 아니다 !!

지금까지 한 것들을 정리를 하면
1. 선호 체계 불확실 할 수 있다.

2. Vector optimization

3. Optimal? No! Pareto optimal !

4. 어떻게? Scalarization !

5. 왜? Proposition에 의해 !
 Application

• Regularized least squares

• Smoothing regularization
• Reconstruction, smoothing and de-noising
 Application

• Regularized least squares

• Smoothing regularization
• Reconstruction, smoothing and de-noising
Regularized least squares

A : data set, b : label 가 주어지고 선형회귀를 했을때, 적당한 적당한 parameter 𝑥 를 찾는 문제

𝐴𝑖𝑚 ∶ 𝑓𝑖𝑛𝑑 𝑥 𝑡ℎ𝑎𝑡 𝑔𝑖𝑣𝑒𝑠 𝑎 𝑔𝑜𝑜𝑑 𝑓𝑖𝑡 𝑎𝑛𝑑 𝑡ℎ𝑎𝑡 𝑖𝑠 𝑛𝑜𝑡 𝑡𝑜𝑜 𝑙𝑎𝑟𝑔𝑒

이 문제의 Pareto optimal을 찾는 법??

Scalarization !!
Recall : Pareto optimal 을 찾는 방법 – Scalarization

이 방법으로 모든 pareto optimal

을 찾을 수 있는 것은 아니다.
Regularized least squares

극소점 ∶ 미분해서 0이 되는 점

𝜆[ 와 𝜆\ 의 비율을 다르게해서 다른 결과를 만들 수 있다.

- Fitting 을 우선시할지
- Regularization 을 우선시 할지 𝜇 ≫ 1
 Application

• Regularized least squares

• Smoothing regularization
• Reconstruction, smoothing and de-noising
Smoothing regularization
• 일반적인 Regularization의 응용.
• 𝑚𝑖𝑛𝑖𝑚𝑖𝑧𝑒 (𝐿 𝐴, 𝒙, 𝑏 , ∥ 𝒙 ∥)

• 𝒙 가 시간에 따른 변수일 때
• (ex, 𝑥d : [0, 1]을 n분할 했을 때, i/n 시점의 온도)

• | 𝒙 | 대신에 | 𝐷𝒙 | 를 넣는다.
• 𝐷𝑥 : 𝑥 의 변동성이나 매끄러운 정도를 측정하는 함수
Smoothing regularization

∆𝑥 d = i번째 시점의 곡률의 근사값

 𝛿=0
𝜇 = 0.005

𝛿=0
𝜇 = 0.05

𝛿 = 0. 3
𝜇 = 0.05
𝛿 가 커질수록 smoothing 해지고
𝜇 가 커질수록 input의 크기가 작아진다.
 Application

• Regularized least squares

• Smoothing regularization
• Reconstruction, smoothing and de-noising
Reconstruction, smoothing and de-noising
• 𝑥 ∶ 𝑠𝑖𝑔𝑛𝑎𝑙 𝑟𝑒𝑝𝑟𝑒𝑠𝑒𝑛𝑡𝑒𝑑 𝑏𝑦 𝑎 𝑣𝑒𝑐𝑡𝑜𝑟 𝑖𝑛 ℝm
• 𝒙 = 𝑥[ , 𝑥\ , … , 𝑥m , 𝑥d = 𝑥d (𝑡)
• Assume that 𝒙 usually doesn’t vary rapidly.
• e.g. audio signal or video.

• 𝑥oSp = 𝑥 + 𝑣, 𝑣 ∶ 𝑛𝑜𝑖𝑠𝑒

• 원래 신호(𝑥)에 노이즈(𝑣)가 섞인 신호(𝑥oSp ) 를 샘플링 했을 때, 원래 신호(𝑥) 가 무엇인지

추정하고 싶다.
• 𝑤𝑒 𝑤𝑎𝑛𝑡 𝑡𝑜 𝑒𝑠𝑡𝑖𝑚𝑎𝑡𝑒 𝑥s 𝑜𝑓 𝑡ℎ𝑒 𝑜𝑟𝑖𝑔𝑖𝑛𝑎𝑙 𝑠𝑖𝑔𝑛𝑎𝑙 𝑥, 𝑔𝑖𝑣𝑒𝑛 𝑡ℎ𝑒 𝑐𝑜𝑟𝑟𝑢𝑝𝑡𝑒𝑑 𝑠𝑖𝑔𝑛𝑎𝑙 𝑥oSp .
Reconstruction, smoothing and de-noising

𝜙 ∶ 𝑟𝑒𝑔𝑢𝑙𝑎𝑟𝑖𝑧𝑎𝑡𝑖𝑜𝑛 𝑓𝑢𝑛𝑐𝑡𝑖𝑜𝑛 𝑜𝑟 𝑠𝑚𝑜𝑜𝑡ℎ𝑖𝑛𝑔 𝑜𝑏𝑗𝑒𝑐𝑡𝑖𝑣𝑒

𝜙 𝑚𝑒𝑎𝑠𝑢𝑟𝑒𝑠 𝑟𝑜𝑢𝑔ℎ𝑛𝑒𝑠𝑠 𝑜𝑟 𝑙𝑎𝑐𝑘 𝑜𝑓 𝑠𝑚𝑜𝑜𝑡ℎ𝑛𝑒𝑠𝑠 𝑜𝑓 𝑥s + convex
Reconstruction, smoothing and de-noising
Reconstruction, smoothing and de-noising
Reconstruction, smoothing and de-noising
Rapid variation이 있는 경우
끝.