読者です 読者をやめる 読者になる 読者になる

めもめも

このブログに記載の内容は個人の見解であり、必ずしも所属組織の立場、戦略、意見を代表するものではありません。

Bayes Modelのパラメータ推定(覚書)

1回の実験データによる事後分布の計算

p(\mathbf{x}|\theta) : 未知のパラメータθを含むモデル。実験データを元にしてθの確率分布を洗練させることが目標。

p_0(\theta) : 事前分布(Prior distribution)。実験データを取得する前のθの想定確率分布。

\mathbf{x'} : 取得した実験データ。

p_1(\theta)=\frac{p(\mathbf{x'}|\theta)p_0(\theta)}{\int{p(\mathbf{x'}|\theta)p_0(\theta)d\theta}} : 事後分布(Posterior distribution)。実験データを元に洗練させた確率分布。

E[f]=\int\int{f(\mathbf{x})p(\mathbf{x}|\theta)p_1(\theta)d\theta d\mathbf{x}} : Posterior distributionに基づく期待値

Bayes Modelでは、パラメータθは本質的に確率分布を持っていると理解することが必要。並行宇宙的にすべての可能な世界全体の中で、それぞれの世界の実現確率を絞り込んでいく発想。

なお、事前分布は恣意的に与えられることを考えると、事前分布もモデルの一部と考えられる。つまり、下記の「並行宇宙全体の確率分布」を決めることがモデルの選択に相当すると考えても良い。

p(\theta,\mathbf{x})=p(\mathbf{x}|\theta)p_0(\theta)

複数回の実験データによる事後分布の計算

\mathbf{x'} : 取得した実験データ。その1。
\mathbf{x''} : 取得した実験データ。その2。

これらは独立な試行とする。つまり、p(\mathbf{x'',x'}|\theta)=p(\mathbf{x''}|\theta)p(\mathbf{x'}|\theta)

この時、直接計算すると、次が成立する。

p_1(\theta)=\frac{p(\mathbf{x'}|\theta)p_0(\theta)}{\int{p(\mathbf{x'}|\theta)p_0(\theta)d\theta}}
p_2(\theta)=\frac{p(\mathbf{x'',x'}|\theta)p_0(\theta)}{\int{p(\mathbf{x'',x'}|\theta)p_0(\theta)d\theta}}=\frac{p(\mathbf{x''}|\theta)p_1(\theta)}{\int{p(\mathbf{x''}|\theta)p_1(\theta)d\theta}}

つまり、独立な実験データにより、事後分布を逐次的に洗練していくことが可能。