2005年01月22日

ベイズ推定、MAP推定、最尤推定

データXが与えられたとき、その確率変数xの分布P(x|X)を推定する問題を考える。・ベイズ推定
パラメータをΘとし、
P(x|X)=∫P(x,Θ|X)dΘ=∫P(x|Θ,X)P(Θ|X)dΘ=∫P(x|Θ)P(Θ|X)dΘ
で推定する。パラメータも確率変数と考えている。
事後確率P(Θ|X)はベイズの定理より
P(Θ|X)=P(Θ)P(X|Θ)/∫P(Θ)P(X|Θ)dΘ
で得ることができる。
P(Θ)は事前確率、P(X|Θ)は尤度、∫P(Θ)P(X|Θ)dΘ=P(X)はエビデンスと呼ばれる。

・MAP推定
ベイズ推定ではパラメータに関する積分が必要であり、計算が困難である。
そこで、パラメータ分布P(Θ|X)をモード(最頻値)以外は0であると近似すると、
P(x|X)=∫P(x|Θ)P(Θ|X)dΘ≒P(x|Θmap)
となり、積分しなくてもすむ。ここで
Θmap=argmaxP(Θ|X)=argmaxP(X|Θ)P(Θ)
である。この推定法をMAP推定(Maximum A Posteriori:最大事後確率)と言う。

・最尤推定
パラメータを尤度が最も高くなるものを選んだとき、つまり
Θml=argmaxP(X|Θ)
としたとき、
P(x|X)≒P(x|Θml)
となる。最尤推定は最も簡単な方法であるが、
与えられたデータのみでパラメータ推定をするため、
(特にデータ数が少ない場合)過学習をおこしやすい。
一方ベイズ推定、MAP推定は事前確率P(Θ)を使うため、一般に汎化性能が高い。

ベイズ統計学入門
ベイズ統計学入門

データ学習アルゴリズム
データ学習アルゴリズム



posted by xi at 17:31 | Comment(0) | TrackBack(0) | 機械学習
この記事へのコメント
コメントを書く
お名前:

メールアドレス:

ホームページアドレス:

コメント:

この記事へのTrackBack URL
http://blog.seesaa.jp/tb/1656057
×

この広告は1年以上新しい記事の投稿がないブログに表示されております。