めもめも

このブログに記載の内容は個人の見解であり、必ずしも所属組織の立場、戦略、意見を代表するものではありません。

Bayes統計における「事後分布を用いた周辺確率」と「サンプル事象による条件付き確率」の関係

未知のパラメーターθを持つ確率モデル p(t|θ) において、独立試行サンプル D = \{t_1, t_2,..., t_N\} を元にした事後分布 p(θ|D) を求めた後、事後分布の重みで周辺化した確率（次式）を計算して、これを事象tの予測モデルとすることがあります。

\tilde{p}(t)\,:= \int{p(t|\theta)p(\theta|D)d\theta}

一方、パラメーターθを導入せずに、サンプル事象による条件付き確率（次式）を直接に計算して、事象tの予測モデルとする事も可能です。

p(t|D)\, := \frac{p(t,D)}{p(D)}

この2つにはどのような関係があるのでしょうか？　先に「独立試行サンプル」と表現したように、各サンプルの取得が独立事象である場合、つまり、次式が成立する場合に、上記の2つは同じものになります。

p(t,D|\theta) = p(t|\theta)p(D|\theta)

（証明）

一般的なsum ruleより、

p(t|D)\,= \int p(t|\theta,D)p(\theta|D)d\theta

ここで、

p(t|\theta,D) = \frac{p(t,\theta,D)}{p(\theta,D)} = \frac{p(t,D|\theta)p(\theta)}{p(\theta,D)} = \frac{p(t|\theta)p(D|\theta)p(\theta)}{p(\theta,D)} (∵ 独立試行の仮定）

= \frac{p(t|\theta)p(D,\theta)}{p(\theta,D)} = p(t|\theta)

これを上記に代入して、

p(t|D)\,= \int p(t|\theta)p(\theta|D)d\theta