« 最小2乗法とスパース・モデリング | トップページ

2018年11月23日 (金)

スパース・モデリングは LASSO だけではない

最小二乗法に端を発して(最小二乗法の心)スパース・モデリングに話しが展開して行った(最小2乗法とスパース・モデリング)わけですが、インターネットを検索していたら、面白そうな解説記事を見つけました。

今日からできるスパースモデリング

スパース・モデリングは LASSO しか知らなかったのですが、この解説によると他にも有るようです。 LASSO はデータにノイズが有る場合の手法で、最小二乗法を使用しつつスパース化するというものです。別のカテゴリーとして、劣決定系の方程式に対して、その方程式を厳密に満たす解のうちスパースなものを見つけるというのも有るそうです。その辺りのことが記事の始めの方で説明されています。なお、劣決定系とは、変数の個数が方程式の個数より多く、一意な解が得られない方程式系を言います。

スパース化の説明で下図のようなものを見ることがあります。記事によって、左図の場合もあれば右図の場合もあります。両図は「何が違うのか」「どちらが正しいのか」、違いが解らなかったのですが、上記解説記事で解りました。

LASSO 最小二乗推定値
\(\beta_1\)
\(\beta_2\)
\(l_1\)ノルム最小化
\(\beta_1\)
\(\beta_2\)

左の \(l_1\) ノルム最小化の図では劣決定系を扱っています。緑線が解の集合になっており、線型方程式を考えているので、緑線は直線で描かれています。解集合のうちで \(l_1\) ノルムが小さいもの(緑線と青線の接点)が求める \(\boldsymbol\beta\) の値になっています。

一方、右の LASSO の図では、ノルムをある値以下に制限し、その値以下で最小二乗推定値に近いパラメータを求めています。ちなみに、緑線が円ではなく楕円になっているものも見かけますが、その違いは判りません。

この辺はまだ解説記事の序の口で、この後には、ベイズ推定(確率に関する話し)、スパース・モデリングの解法等々とその先は長く、私は理解できていません。 66 ページも有って、読むのも大変です。とにかく、スパース・モデリングを一通り勉強するのには良さそうです。

その記事には目次が無いので、ここに作ってみました。やっぱり、これを読むのは大変です。

ページ  項目
31 目標
32 圧縮センシングの基礎
32.1 連立方程式
42.2 解選択
42.3 L1 再構成
62.4 直観的な理解
72.5 圧縮センシング
102.6 ノイズ有り圧縮センシング
112.7 ベイズ推定との関係
123 圧縮センシングの実践
133.1 そもそもスパースな解ってなんだろう?
133.2 観測過程
143.3 再構成アルゴリズム
16 FISTA
17 メジャライザーの最小値は、必ず g(y) を下回る
19 Bregman 反復法
23 拡張 Lagrangian 法
25 拡張ラグランジュ法による基底追跡
26 ADMM
194 圧縮センシング実装編
294.1 ISTA の実装
314.2 ADMM の実装
325 圧縮センシングと情報統計力学
325.1 スピン系の統計力学
355.2 基底追跡の性能評価
35 熱力学的諸量の計算
37 レプリカ対称解の過程と内部エネルギーの評価
38 エントロピーの評価
415.3 近似メッセージ伝搬法
41 確率的推論に利用される近似手法
46 LASSO に対する近似的メッセージ伝搬法
475.4 状態発展法
486 ボルツマン機械学習
486.1 問題設定
496.2 最尤法
516.3 ボルツマン機械学習の学習方法
51 平均場近似
52 疑似最尤法
53 マルコフ連鎖モンテカルロ法
54 最小確率流法
566.4 更なる複雑度へ
57 期待値最大化法
58 制限ありボルツマン機械
59 コントラスティブ・ダイバージェンス法
606.5 スパースな相関推定
616.6 意外に難しい多次元ガウス分布におけるスパース相関推定
65参考文献

« 最小2乗法とスパース・モデリング | トップページ

サイエンス」カテゴリの記事

コメント

コメントを書く

(ウェブ上には掲載しません)

トラックバック

この記事のトラックバックURL:
http://app.cocolog-nifty.com/t/trackback/584699/67409748

この記事へのトラックバック一覧です: スパース・モデリングは LASSO だけではない:

« 最小2乗法とスパース・モデリング | トップページ