« 最小二乗法の心 | トップページ | OSK でマルチスレッド »

2018年6月17日 (日)

最小二乗法の心(2)

前回のブログ を書いた後、最小二乗法について検索してみました。

正規方程式

前記事にも追記していますが、あの「デタラメな」解法には裏付けがあり、式 (1) は正規方程式と呼ばれるものとのことです。

\[ {}^t\!X\boldsymbol{y} = {}^t\!XX\boldsymbol{\alpha} \tag{1} \]

正規方程式は次のように求まります。式 (2) のように両辺が必ずしも一致していない時に近似解を求めることを考えます。

\[ \boldsymbol{y} \fallingdotseq X\boldsymbol{\alpha} \tag{2} \]

式 (2) の両辺の差(の二乗)は式 (3) になります。

\[\begin{align} \|X\boldsymbol{\alpha} - \boldsymbol{y}\|^2 &= ({}^t\!\boldsymbol{\alpha}{}^t\!X - {}^t\!\boldsymbol{y})(X\boldsymbol{\alpha} - \boldsymbol{y})\\ &= {}^t\!\boldsymbol{\alpha}{}^t\!XX\boldsymbol{\alpha} - 2\ {}^t\!\boldsymbol{\alpha}{}^t\!X\boldsymbol{y} +{}^t\!\boldsymbol{y}\boldsymbol{y} \tag{3} \end{align}\]

式 (3) が最小となる時、即ち式 (3) を \(\boldsymbol{\alpha}\) で微分したものが \(0\) となる時、正規方程式 (1) が導かれます。なお、 \(\boldsymbol{\alpha}\) での微分とは勾配( \(\alpha\) による \(\operatorname{grad}\) )のことです。

距離(の2乗)を最小にしたら?

最小二乗法は y 方向の誤差(の2乗)が最小になるような直線を決定するわけですが、データと直線との距離(の2乗)が最小になるように直線を決定してはどうかという件について、幾つか記事が有りました。特に 相関係数に関する一考察 に詳しい考察が有ります。その記事では \(x\),\(y\) の入れ替えやデータの回転に対する回帰直線の性質を考察しています。それらについては、重要性が理解できなかったのですが、終わりの方で、直線との距離(の2乗)が最小になるような直線は「多変量解析の主成分分析に対応しているようである」と有ったのに興味が惹かれました。

他の記事で、最小二乗法で求めた回帰直線の特徴として、以下のことが記されていました。

  • 誤差の平均は \(0\)
  • 分散が最小になる

この特徴が、直線との距離(の2乗)が最小になるような直線の場合はどうなるのか興味が有りますが、自力で解決するのはチョット・・・。

最後に、直線 \(y=ax+b\) とデータ \((x_i,\ y_i)\) との距離の2乗を書いておきます。これが最小になる直線が気になるのでした。

\[ \sum\frac{(y_i - ax_i - b)^2}{(a^2 + 1)} \]

« 最小二乗法の心 | トップページ | OSK でマルチスレッド »

サイエンス」カテゴリの記事

コメント

コメントを書く

(ウェブ上には掲載しません)

トラックバック

この記事のトラックバックURL:
http://app.cocolog-nifty.com/t/trackback/584699/66840273

この記事へのトラックバック一覧です: 最小二乗法の心(2):

« 最小二乗法の心 | トップページ | OSK でマルチスレッド »