logo
ホーム •  受験生の本棚 •  受験生の広場 •  サイト内検索 • 
 メインメニュー
 ログイン
ユーザー名:

パスワード:


パスワード紛失

切り抜き詳細

発行日時
2017-3-15 22:45
見出し
統計的学習とは何か
リンクURL
http://blog.livedoor.jp/actuaryjp/archives/8829084.html 統計的学習とは何かへの外部リンク
記事詳細
An Introduction to Statistical Leaningの第2章の要約です。

2.1 統計的学習とは何か

Yを目的変数、X=(X1, X2, ..., Xp)を予測変数とし、Y=f(X)+ε を考える。統計的学習は、fを推定する一連のアプローチのことである。

2.1.1 なぜfを推定するのか

それは、予測(prediction)と推論(inference)のためである。
多くのケースにおいて、Xは簡単に手に入り、Yは難しい。このような場合、Xからfを用いてYを予測する。Yの予測の正確性は、削減可能な誤差(reducible error)と削減不能な誤差(irreducible error)に依存する。完全なfを推定することはできないが、最も適切な統計的学習の技術を使うことで、fの精度を向上させることができる。これが削減可能な誤差である。一方、Yはεを含むので、fの精度を上げたとしても誤差が残る。これが、削減不能な誤差である。本書では、削減可能な誤差を最小化するためのfの推定方法にフォーカスする。
また、X1, X2,...,Xpが変化したときにYがどのように影響するのかに興味があることもある。この場合の目標は、Yの予測ではなく、XとYの間の関係性を理解することにある。つまり、「どの予測変数が目的変数と関連するのか」「個々の予測変数と目的変数の関係性は」「個々の予測変数と目的変数の関係は線形式を用いて十分にようやくできるか」にこたえる必要がある。
最終的な目標が、予測なのか推論なのか、もしくはその組み合わせなのか。状況に応じて、fを推定する異なる手法が用いられる。

2.1.2 どのようにfを推定するのか

パラメトリックとノンパラメトリック。
パラメトリックの場合、2ステップのモデルベースのアプローチとなる。まず、fの関数形式を決める。例えば、線形回帰。次に、訓練データを用いてモデルをフィットする。線形回帰であれば、パラメータ推定のこと。
ノンパラメトリックの場合、明示的な関数形式でfを表現しない。その分、パラメトリックアプローチよりも潜在的に予測精度は向上する。一方、fを正確に予測するには大量の観測値が必要となるというデメリットもある。

2.1.3 予測精度とモデルの解釈可能性のトレードオフ

線形回帰はフレキシブルなモデルではないが、解釈は簡単である。ラッソは線形モデルに依拠しているが、パラメータの推定方法が違う。その推定手順は制限的であり、線形回帰よりもフレキシブルではないが、解釈しやすい。一般化加法モデル(GAM)は、線形モデルを非線形の関係まで許容するように拡張したモデルであり、線形回帰よりもよりフレキシブルである。最後に、バギング、ブースティング、サポートベクターマシーンは完全な非線形のモデルである。
推論が目標の場合、簡単で比較的フレキシブルでない統計的学習手法を用いることにメリットがある。一方、予測にしか興味がない場合は、最もフレキシブルなモデルを使うことがベストであると考えるかもしれないが、驚くことにいつもそうとは限らない。あまりフレキシブルでない方法を用いてより正確な予測ができることもある。これは、直観に反するように一見思えるが、潜在的なオーバーフィッティングの問題と関係している。

2.1.4 教師ありと教師なしの学習

以上は、教師あり学習の説明。すなわち、個々のXの観測値に関連するYの観測値があるケースである。
一方、教師なし学習はもっとチャレンジングな状況であり、Yの観測値が存在しないケース。このような状況では線形回帰を用いることはできない。でも、Xの観測値の間の関係性を理解することはできる。これらの手法をクラスタリングと呼ぶ。クラスタリングの目的は、Xの観測値を異なるグループに分割できるか否かを確かめることにある。

2.1.5 回帰と分類の問題

変数は、定量的もしくは定性的(カテゴリカル)で特徴づけできる。定量的な応答変数の場合は回帰問題、定性的な応答変数の場合は分類問題とする傾向がある。


Powered by XOOPS Cube 2.1© 2001-2006 XOOPS Cube Project
Theme designed by OCEAN-NET