Bayes Modelのパラメータ推定（覚書）

1回の実験データによる事後分布の計算

$p(\mathbf{x}|\theta)$ : 未知のパラメータθを含むモデル。実験データを元にしてθの確率分布を洗練させることが目標。

$p_0(\theta)$ : 事前分布（Prior distribution）。実験データを取得する前のθの想定確率分布。

$\mathbf{x'}$ : 取得した実験データ。

$p_1(\theta)=\frac{p(\mathbf{x'}|\theta)p_0(\theta)}{\int{p(\mathbf{x'}|\theta)p_0(\theta)d\theta}}$ : 事後分布（Posterior distribution）。実験データを元に洗練させた確率分布。

$E[f]=\int\int{f(\mathbf{x})p(\mathbf{x}|\theta)p_1(\theta)d\theta d\mathbf{x}}$ : Posterior distributionに基づく期待値

Bayes Modelでは、パラメータθは本質的に確率分布を持っていると理解することが必要。並行宇宙的にすべての可能な世界全体の中で、それぞれの世界の実現確率を絞り込んでいく発想。

なお、事前分布は恣意的に与えられることを考えると、事前分布もモデルの一部と考えられる。つまり、下記の「並行宇宙全体の確率分布」を決めることがモデルの選択に相当すると考えても良い。

$p(\theta,\mathbf{x})=p(\mathbf{x}|\theta)p_0(\theta)$

複数回の実験データによる事後分布の計算

$\mathbf{x'}$ : 取得した実験データ。その１。
$\mathbf{x''}$ : 取得した実験データ。その２。

これらは独立な試行とする。つまり、 $p(\mathbf{x'',x'}|\theta)=p(\mathbf{x''}|\theta)p(\mathbf{x'}|\theta)$

この時、直接計算すると、次が成立する。

$p_1(\theta)=\frac{p(\mathbf{x'}|\theta)p_0(\theta)}{\int{p(\mathbf{x'}|\theta)p_0(\theta)d\theta}}$
$p_2(\theta)=\frac{p(\mathbf{x'',x'}|\theta)p_0(\theta)}{\int{p(\mathbf{x'',x'}|\theta)p_0(\theta)d\theta}}=\frac{p(\mathbf{x''}|\theta)p_1(\theta)}{\int{p(\mathbf{x''}|\theta)p_1(\theta)d\theta}}$