「シャノン＝ハートレーの定理」の簡易的な導出

（参考）シャノン＝ハートレーの定理

周波数 $W$ の信号を1秒間入力したとして、その入力波をフーリエ級数に展開すると（正弦部分と余弦部分をあわせて） $2W$ 個の一次独立な基底波 $\{\phi_n(t)\}_{n=1}^{2W}$ に分解することができます。したがって、

　 $x(t) = \sum_{n=1}^{2W} x_n\phi_n(t)$ 　――― (1)

と分解して、この1秒間の信号に対して、 $2W$ 次元の実数ベクトル $\{x_n\}_{n=1}^{2W}$ の情報を乗せることが可能です。以下、 $N := 2W$ とします。

また、一次独立な基底波は、次の直行関係を満たします。

　 $\int_0^1 \phi_n(t)\phi_m(t)\,dt = \delta_{nm}$ 　――― (2)

ただし、振幅が大きくなると消費電力も大きくなるので、最大消費電力 $P$ によって振幅の上限が決まります。 $T$ 秒間の総電力について考えると次式が成り立ちます。

　 $\int_0^T \{x(t)\}^2\,dt \le PT$

ここで、 $T=1$ として、(1)(2)を利用すると、次式が得られます。

　 $\sum_{n=1}^Nx_n^2 \le P$

つまり、この信号に対する入力は、半径 $\sqrt{P}$ の $N$ 次元球の中のベクトル値になります。

仮にこの信号に一切のノイズが乗らない、つまり、入力したベクトル値が正確に出力値として観測されると仮定すると、実数ベクトルは無限個の状態を表現できるので（実数は連続ですから）、この信号は無限の転送容量を持つことになります。

しかしながら、現実の信号にはノイズが乗るので、そうは行きません。入力ベクトルに対して、出力ベクトルは、各成分について独立な分散 $\sigma^2$ のノイズが乗っかると仮定します。これは言い換えると、次の事実を表します。

・入力信号は、半径 $\sqrt{P}$ の $N$ 次元球の中のベクトル値ですが、出力信号は、ノイズの分だけ半径が広がって、半径 $\sqrt{P+N\sigma^2}$ の $N$ 次元球を構成します。

・特定の入力ベクトルに対して、出力ベクトルは、半径 $\sqrt{N\sigma^2}$ の球体に広がります。

※入力ベクトルの各成分に乗るノイズを $\epsilon_n$ とすると、各成分のノイズは独立であることから、出力ベクトルの「大きさ^2」の期待値は次のように計算されます。これから出力ベクトルの広がりの半径が分かります。

　 $E\left[\sum_{n=1}^N(x_n+\epsilon_n)^2\right] = \sum_{n=1}^N \left(E\left[x_n^2\right]+E\left[\epsilon_n^2\right]\right)=|x|^2+N\sigma^2$

したがって、それぞれの出力ベクトルを相互に識別可能にしようとすると、その最大個数は、「半径 $\sqrt{P+N\sigma^2}$ の $N$ 次元球の中に半径 $\sqrt{N\sigma^2}$ の球体を何個つめられるか？」で決まります。 $N$ 次元球の体積の公式で計算すると、その数 $S$ は、次になります。