2005年01月24日

指数型分布族は最尤推定で解析的に唯一解を求めることができる

互いに独立で同一の指数型分布族(exponential family)の分布に従う(iid:independent identically disributed)データの最尤推定は、唯一の解を持ち、解析的に解くことができる。

指数型分布族は
P(x|Θ)=exp(A(x)+T(x)'Θ-K(Θ))
と書くことができる確率分布で、正規分布、多項分布、指数分布などが含まれる。

指数型分布族の対数尤度は
logP(D|Θ)=ΣA(x)+(ΣT(x))'Θ-N*K(Θ)
となる。
最尤推定値は対数尤度logP(D|Θ)をΘで微分して0と置けばよく、そのとき
dK(Θ)/dΘ=1/N*ΣT(x)・・・(1)
となる。K(Θ)は凸であるため、唯一の解を求めることができる。

K(Θ)は∫P(x|Θ)dx=1を満たすΘの関数で、積率母関数である。
積率母関数とは、モーメント(積率)を生成するための関数である。
http://www.aandt.co.jp/jpn/qc/basic/bokansu.htm
積率母関数を二階微分したときに得られる2次モーメントは
(半)正定値の共分散行列であり、
K(Θ)の凸性はこのことからも確認できる。

統計量T(x)はP(D|T(x),Θ)がΘに依存しないとき十分性を持つと言う。
式(1)より、最尤推定でΘはT(x)で求められるため、
P(D|T(x),Θ)はΘに依存せず、T(x)は十分統計量と呼ばれる。

機械学習の本
The Elements of Statistical Learning:Data Mining, Inference, and Prediction


posted by xi at 00:00 | Comment(0) | TrackBack(1) | 機械学習
この記事へのコメント
コメントを書く
お名前:

メールアドレス:

ホームページアドレス:

コメント:

この記事へのトラックバック

日経平均が12000円を超える確率はどうやって計算するのでしょうか?
Excerpt: 以前質問があったので簡単に答えます。 まず、ファイナンスではリターンは正規分布に従うと言う仮定を良く使います。理由は簡単で、実際にヒストリカルのリターンを調べると正規分布に良く乗っているし、正規..
Weblog: 投資銀行での理系のキャリア
Tracked: 2005-03-19 21:26
×

この広告は1年以上新しい記事の投稿がないブログに表示されております。