めもめも

このブログに記載の内容は個人の見解であり、必ずしも所属組織の立場、戦略、意見を代表するものではありません。

確率変数の測度の導出

すいません。。。。趣味のメモになってます。

定義

確率空間 (\mathcal{E},\mathcal{B},P) の上の確率変数 X から誘導される可測空間 (\mathcal{X},\mathcal{A}) を考える。

X : \begin{cases}\mathcal{E} \to \mathcal{X} \\ e \mapsto X(e) \end{cases}

\forall{A} \in \mathcal{A}; X^{-1}(A) \in \mathcal{B}

この時、(\mathcal{X},\mathcal{A}) に誘導される確率(測度)を次式で定義する。

P_{X}(A) := P(X^{-1}(A))

定理

\int_A {f(x)\,dP_X(x)} = \int_{X^{-1}(A)}f(X(e))\,dP(e)

証明は次の通り:

f(x) A_0 \subset A の指示関数、すなわち、

 f(x) = \begin{cases} 1 (x \in A_0) \\ 0 (x \notin A_0) \end{cases}

の場合を考えると、

 \mbox{(LHS)} = \int_{A_0}{dP_X(x)} = P_X(A_0) = P(X^{-1}(A_0))
 \mbox{(RHS)} = \int_{X^{-1}(A_0)}{dP(e)} = P(X^{-1}(A_0))

で、自明に一致する。従って、ルベーグ積分の定義(指示関数の極限)より、任意の可積分関数について成立する。

ルベーグ測度による積分

可測空間 (\mathcal{X},\mathcal{A}) 上のルベーグ測度(連続空間の場合)、もしくは、数え上げ測度(離散空間の場合)を \mu として、 P << \mu(絶対連続)の場合、Radon–Nikodymの定理から、確率密度 p(x) が存在する。

 P_X(A) = \int_A{p(x)\,d\mu(x)}

特に、関数 f(x) の期待値が、次のように、確率密度による積分に帰着することが分かる。

 E(f) := \int{f(X(e))\,dP(e)} = \int{f(x)\,dP_X(x)} = \int{f(x)p(x)\,d\mu(x)}

条件付き確率の定義

定義域を制限した確率空間 (\mathcal{E},X^{-1}(\mathcal{A}),P) を考えると、可測区間  \mathcal{S} := (\mathcal{E},X^{-1}(\mathcal{A})) の測度  \nu は次式で表される。

 \nu(X^{-1}(A)) \,:= \int_{X^{-1}(A)}dP(e)

一方、 \mathcal{B} 上の可測関数  f(e) を用いて、同じ空間  \mathcal{S} に、新たな測度  \nu' が次式で定義できる。

 \nu'(X^{-1}(A)) \,:= \int_{X^{-1}(A)}f(e)\,dP(e)

この時、 \nu' << \nu なので、Radon–Nikodymの定理から、 \mathcal{S} 上の可測関数  f_0(e) が存在して、次式が成り立つ。

 \nu'(X^{-1}(A)) \,:= \int_{X^{-1}(A)}f(e)\,dP(e) =  \int_{X^{-1}(A)}f_0(e)\,dP(e)

 f_0(e) は、 \mathcal{S} := (\mathcal{E},X^{-1}(\mathcal{A})) 上で可測なので、その値は、 x \in \mathcal{A} のみに依存する。
つまり、 f_0(e) = g(x(e)) を満たす  g(x) が存在して、

 E[f|X=x] \,:= g(x)

と定義すると、先の定理より、次式が成り立つ。

 \int_{X^{-1}(A)}{f(e)\,dP(e)} = \int_A{E[f|X=x]\,dP_X(x)}

特に、 f(e) = 1_B(e)B \in \mathcal{B} の指示関数)の場合を考えて、

 Q_x(B) \,:= E[1_B|X=x]

を条件付き確率と呼ぶ。この時、次式が成立する。

 P(B) = \int{1_B\,dP(e)} = \int{Q_x(B)\,dP_X(x)}

独立変数に対する条件付き確率の例

 R^2 上の確率分布  dP = p(x,y)dx\,dy に対して、確率変数  Y=y から誘導される確率を考えると、

 P_Y(y \in A) = P(x \in (-\infty,\infty),\,y \in A) = \int_A{ \left\{ \int_{-\infty}^\infty p(x,y)\,dx \right\}\,dy}

つまり、Marginal Distribution を

 p_Y(y) \,:= \int_{-\infty}^\infty {p(x,y)\,dx}

で定義して、

 dP_Y(y) = p_Y(y)dy

となる。

一方、この時、

 P(B) = \int{1_B p(x,y)\,dx\,dy} = \int{ \left\{ \int_{-\infty}^\infty {1_B\frac{p(x,y)}{p_Y(y)}\,dx} \right\} \,dP_Y(y)}

となるので、条件付き確率は次式に一致することが分かる。

 Q_y(B) = \int_{-\infty}^\infty {1_B\frac{p(x,y)}{p_Y(y)}\,dx}