Welcome to Scribd. Sign in or start your free trial to enjoy unlimited e-books, audiobooks & documents.Find out more
Download
Standard view
Full view
of .
Look up keyword
Like this
3Activity
0 of .
Results for:
No results containing your search query
P. 1
機械学習における連続最適化の新しいトレンド

機械学習における連続最適化の新しいトレンド

Ratings: (0)|Views: 4,141|Likes:
Published by Ryota Tomioka
従来,機械学習における連続最適化の利用は,解きたい問題を線形計画,2次計画,半正定値計画など,特定の標準形に帰着させることによって内点法などの既存の高性能なソルバーを言わばブラックボックスとして使おうというものであった.一方ここ数年,スパース信号復元や圧縮センシングの流行とともに信号処理の分野でこれらの枠組みにこだわらない最適化手法が盛んに研究されている.この発表ではこの代表例として,拡張ラグランジュ法,双対分解,Forward-
Backward Splitting 法,ADMM法などを取り上げ,応用例を紹介するとともにそれらの関係を議論する.これらの手法は1960年代から70年代に最適化業界で盛んに研究された古い手法であるが,実装が単純で並列化可能であり,また,問題の性質(スパース性など)をよりよく捉えたアルゴリズムとなるため信号処理だけでなく,多くの機械学習の問題に適用可能であると考えられる.時間があれば講演者が最近扱ったマルチカーネル学習やテンソル分解へのこれらの方法の適用についても話したい.
従来,機械学習における連続最適化の利用は,解きたい問題を線形計画,2次計画,半正定値計画など,特定の標準形に帰着させることによって内点法などの既存の高性能なソルバーを言わばブラックボックスとして使おうというものであった.一方ここ数年,スパース信号復元や圧縮センシングの流行とともに信号処理の分野でこれらの枠組みにこだわらない最適化手法が盛んに研究されている.この発表ではこの代表例として,拡張ラグランジュ法,双対分解,Forward-
Backward Splitting 法,ADMM法などを取り上げ,応用例を紹介するとともにそれらの関係を議論する.これらの手法は1960年代から70年代に最適化業界で盛んに研究された古い手法であるが,実装が単純で並列化可能であり,また,問題の性質(スパース性など)をよりよく捉えたアルゴリズムとなるため信号処理だけでなく,多くの機械学習の問題に適用可能であると考えられる.時間があれば講演者が最近扱ったマルチカーネル学習やテンソル分解へのこれらの方法の適用についても話したい.

More info:

Published by: Ryota Tomioka on Jan 22, 2011
Copyright:Attribution Non-commercial

Availability:

Read on Scribd mobile: iPhone, iPad and Android.
download as PDF, TXT or read online from Scribd
See more
See less

03/09/2013

pdf

text

original

 
機械学習における連続最適化の新しいトレンド
1
共同研究者
:
1
杉山
2
1
東京大学
2
東京工業大学
2011-01-20 @ NEC
(
東大
) 1 / 66
 
イントロ
Outline
1
イントロ
2
準備
3
手法
1: Prox
作用素
4
手法
2: Legendre
変換
5
手法
3: Operator Splitting
6
まとめ
7
Appendix
(
東大
) 2 / 66
 
イントロ
標準形はお好き?
例)線形計画
(LP)
主問題
(P) min
,
s
.
t
.
Ax 
=
,
0
.
双対問題
(D) max
,
s
.
t
.
A
.
2
次計画
(QP)
2
次錐計画
(SOCP)
,半正定値計画
(SDP)
etc...
良い点:既存の(ある程度)高性能なソルバーが利用できる.悪い点:問題のモデル化に制限,問題の書き換えが必要.
(
東大
) 3 / 66

Activity (3)

You've already reviewed this. Edit your review.
1 hundred reads
1 thousand reads

You're Reading a Free Preview

Download
scribd
/*********** DO NOT ALTER ANYTHING BELOW THIS LINE ! ************/ var s_code=s.t();if(s_code)document.write(s_code)//-->