加算性白色ガウス雑音

加算性白色ガウス雑音 （かさんせいはくしょくがうすざつおん、Additive white Gaussian noise、AWGN) は自然界で発生する多数のランダム過程の効果を模倣する目的で、情報理論で用いられる基本的ノイズモデル。その修飾語は固有の特性を表している。

加算性(additive) とは対象システムに本質的に備わっているであろう雑音に加算されることを意味する。
白色(White) とは対象システムにおける周波数帯域全域にわたって均一なパワーを持つことを意味する。これは可視光域の全ての波長の光を均一に放射する物体が白色に見えることになぞらえている。
ガウス(Gaussian) とは時間領域における雑音の値が平均が0の正規分布にしたがうことを意味する。

広域帯の雑音は、導体中の原子の熱振動（熱雑音もしくはジョンソン・ナイキスト・ノイズと呼ばれる）などの多くの自然発生源、ショットノイズ、地球や他の温かい物体による黒体輻射、太陽などによる天体源によるものである。確率論における中心極限定理は、多くのランダム過程の総和が正規分布（ガウス分布）になる傾向にあることを示している。

AWGNは、通信に対する唯一の障害が、一定のスペクトル密度（帯域幅1ヘルツ毎のワットで表される）及びガウス分布の振幅を持つ広帯域もしくは白色の雑音の線形加算である通信路のモデルとして用いられる。このモデルは、フェージング、周波数選択性、干渉 (通信)、非線形性、分散 (光学)を考慮に入れていない。しかし、これらの他の現象を考慮する前に、系の基本的な振る舞いについての洞察を得るために有益な、単純で扱いやすい数学的なモデルである。

AWGNは多くの衛星と深宇宙通信の繋がりのいいモデルである。マルチパス、地形による遮断、干渉などの理由から、殆どの陸上における繋がりに対してはいいモデルではない。しかし、地上経路のモデリングにおいては、現代の無線システムが地上で運用しているときに遭遇するマルチパス、地形による遮断、干渉、地面クラッタ、自己干渉に加え、研究中である通信路の背景雑音をシミュレートするために一般的に使用されている。

通信路容量

AWGNの通信路は離散時間の事象の添え字 $i$ とする一連の出力 $Y_{i}$ により表される。 $Y_{i}$ は入力 $X_{i}$ と雑音 $Z_{i}$ の和である。 $Z_{i}$ は独立同分布であり、平均0、分散 $N$ の正規分布から得られるものである。さらに $Z_{i}$ は $X_{i}$ と相関しないと仮定される。

Z_{i}\sim {\mathcal {N}}(0,N)\,\!

Y_{i}=X_{i}+Z_{i}.\,\!

雑音nが0ではなく、 $X_{i}$ が十分に制約されない限り、通信路の容量は無限である。入力に対する最も一般的な制約は、いわゆる「パワー」制約であり、通信路を介して送信されるコード名 $(x_{1},x_{2},\dots ,x_{k})$ に対して必要なものである。

{\frac {1}{k}}\sum _{i=1}^{k}x_{i}^{2}\leq P,

ここで $P$ は最大の通信路容量を表す。よって、パワーが制限された通信路の容量は以下になる。

C=\max _{f(x){\text{ s.t. }}E\left(X^{2}\right)\leq P}I(X;Y)\,\!

$f(x)$ は $X$ の分布である。 $I(X;Y)$ を展開し、微分エントロピーの観点から書くと以下の式になる。

{\begin{aligned}I(X;Y)=h(Y)-h(Y|X)&=h(Y)-h(X+Z|X)&=h(Y)-h(Z|X)\end{aligned}}\,\!

しかし $X$ と $Z$ は独立である。よって

I(X;Y)=h(Y)-h(Z)\,\!

となる。ガウスの微分エントロピーを評価すると

h(Z)={\frac {1}{2}}\log(2\pi eN)\,\!

となる。 $X$ と $Z$ は独立で、それらの和が $Y$ になるから、:

E(Y^{2})=E((X+Z)^{2})=E(X^{2})+2E(X)E(Z)+E(Z^{2})=P+N\,\!

この範囲より、微分エントロピーの性質を推測すると

h(Y)\leq {\frac {1}{2}}\log(2\pi e(P+N))\,\!

となる。よって通信路の容量は相互情報量における達成可能な最大の境界で与えられ、

I(X;Y)\leq {\frac {1}{2}}\log(2\pi e(P+N))-{\frac {1}{2}}\log(2\pi eN)\,\!

$I(X;Y)$ は

X\sim {\mathcal {N}}(0,P)\,\!

のときに最大となり、このとき通信路容量 $C$ は以下となる。

C={\frac {1}{2}}\log \left(1+{\frac {P}{N}}\right)\,\!

通信路容量と球充填

$1$ から $M$ の範囲の指数を持つ通信路を介してメッセージを送るとする。この指数は識別が可能なメッセージの数を表している。 $M$ 個のメッセージを $n$ ビットにエンコードすると、レート $R$ は次のように定義される。

R={\frac {\log M}{n}}\,\!

レートは、もし $n$ が無限大に近づくにつれて誤差の最大確率が0になるようなコードの並びが存在すれば、実現できると考えられる。容量 $C$ は実現可能な最大のレートである。雑音レベルが $N$ のAWGNの通信路を通して送信された長さ $n$ の符号を考える。受信したとき、符号ベクトルの分散は $N$ であり、平均は送信された符号である。そのベクトルは送信された符号周りの半径 ${\sqrt {n(N+\epsilon )}}$ の球に含まれる確率が非常に高い。受信した全てのメッセージをこの球を中心として符号に写像することによりデコードするとき、受信したベクトルが球の外にある場合エラーが発生するが、これはほとんど起こらないことである。

各符号ベクトルは、それに復号される受信符号ベクトルの関連する球を持ち、このような球は符号を一意に写像しなくてはならない。よって、これらの球は交差してはならないため、球充填の問題に差し当たる。いくつの異なる符号が、 $n$ ビットの符号ベクトルに充填できるだろうか？受信されたベクトルは、最大エネルギー $n(P+N)$ を有する。したがって半径が ${\sqrt {n(P+N)}}$ の球を占有する必要がある。それぞれの符号の球の半径は ${\sqrt {nN}}$ である。n次元での球の体積は $r^{n}$ に正比例するので、送信電力で我々の球に充填することができる、一意に復号可能な球体の最大数Pは

{\frac {(n(P+N))^{\frac {n}{2}}}{(nN)^{\frac {n}{2}}}}=2^{{\frac {n}{2}}\log(1+P/N)}\,\!

となる。この議論によりレートRは ${\frac {1}{2}}\log(1+P/N)$ 以下になる。

達成可能性

この節では最後の節からのレート上限の達成可能性について述べる。

エンコーダーにもデコーダーにも知られた暗号表は長さn、独立同一分布で正規分布、分散 $P-\epsilon$ 平均0の符号を選ぶことにより生成される。nが大きくなると、コードブックの実験的な分散はその分布の分散に非常に近くなり、それにより確率的にパワー制約を破るのを回避する。

受け取られたメッセージは、コードブックに書かれている一意に結びついた典型的なメッセージへと復号される。もし、そのようなメッセージが存在しない、もしくは、パワー制約に違反する場合、複合エラーが宣言される。

$X^{n}(i)$ はメッセージ $i$ のコード名、 $Y^{n}$ は is, as before the received vector.3つの出来事を定義する。

出来事 $U$ :受け取ったメッセージのパワーが $P$ よりも大きい。
出来事 $V$ :送受信されたコード名は結びついて典型的なものではない。
出来事 $E_{j}$ : $(X^{n}(j),Y^{n})$ は $A_{\epsilon }^{(n)}$ の中にあり, $i\neq j$ となる典型的なセット、つまり、間違ったコード名が受信したベクトルと結びついて典型的である。

したがって、エラーは $U$ 、 $V$ 、 $E_{i}$ のいずれかが起きた時に生じる。多数のものを扱う法則により、nが無限に近づくにつれて $P(U)$ は0に収束し、漸近等分割性を結びつけることにより、 $P(V)$ に同じものが適用できる。よって十分に大きい $n$ では、 $P(U)$ と $P(V)$ はともに $\epsilon$ より小さくなる。 $i\neq j$ において、 $X^{n}(i)$ and $X^{n}(j)$ が独立であるので、 $X^{n}(i)$ と $Y^{n}$ も独立であるとわかる。よって漸近等分割性を結びつけることにより、 $P(E_{j})=2^{-n(I(X;Y)-3\epsilon )}$ となる。これにより、エラー確率 $P_{e}^{(n)}$ が計算でき、

{\begin{aligned}P_{e}^{(n)}&\leq P(U)+P(V)+\sum _{j\neq i}P(E_{j})\\&\leq \epsilon +\epsilon +\sum _{j\neq i}2^{-n(I(X;Y)-3\epsilon )}\\&\leq 2\epsilon +(2^{nR}-1)2^{-n(I(X;Y)-3\epsilon )}\\&\leq 2\epsilon +(2^{3n\epsilon })2^{-n(I(X;Y)-R)}\\&\leq 3\epsilon \end{aligned}}

となる。よって、nが無限大に近づくことにより、 $P_{e}^{(n)}$ は0に収束し、 $R<I(X;Y)-3\epsilon$ となる。それゆえ、前に導出した容量に任意に近いレートRの符号が存在する。

符号化定理の逆

ここで、容量 $C={\frac {1}{2}}\log(1+{\frac {P}{N}})$ より上のレートは達成できないことを示す。

コードブックに対してパワー制約を満たし、さらにメッセージが一様分布に従うと仮定する。 $W$ を入力メッセージ、 ${\hat {W}}$ を出力メッセージとする。すると、情報は以下のように流れる。

$W\longrightarrow X^{(n)}(W)\longrightarrow Y^{(n)}\longrightarrow {\hat {W}}$

ファノの不等式を利用して

$H(W|{\hat {W}})\leq 1+nRP_{e}^{(n)}=n\epsilon _{n}$ ここで $\epsilon _{n}\rightarrow 0$ のとき $P_{e}^{(n)}\rightarrow 0$

$X_{i}$ を指数iのコード名の符号化されたメッセージとすると、

{\begin{aligned}nR&=H(W)\\&=I(W;{\hat {W}})+H(W|{\hat {W}})\\&\leq I(W;{\hat {W}})+n\epsilon _{n}\\&\leq I(X^{(n)};Y^{(n)})+n\epsilon _{n}\\&=h(Y^{(n)})-h(Y^{(n)}|X^{(n)})+n\epsilon _{n}\\&=h(Y^{(n)})-h(Z^{(n)})+n\epsilon _{n}\\&\leq \sum _{i=1}^{n}h(Y_{i})-h(Z^{(n)})+n\epsilon _{n}\\&\leq \sum _{i=1}^{n}I(X_{i};Y_{i})+n\epsilon _{n}\end{aligned}}

$P_{i}$ を指数iのコード名の平均パワーとすると、

P_{i}={\frac {1}{2^{nR}}}\sum _{w}x_{i}^{2}(w)\,\!

ここで合計は全ての入力メッセージ $w$ より大きい。 $X_{i}$ と $Z_{i}$ は独立なので、 $Y_{i}$ のパワーの期待値は雑音レベルが $N$ のとき、

E(Y_{i}^{2})=P_{i}+N\,\!

そして、もし $Y_{i}$ が正規分布とすると、以下の式を得る。

h(Y_{i})\leq {\frac {1}{2}}\log {2\pi e}(P_{i}+N)\,\!

よって

{\begin{aligned}nR&\leq \sum (h(Y_{i})-h(Z_{i}))+n\epsilon _{n}\\&\leq \sum \left({\frac {1}{2}}\log(2\pi e(P_{i}+N))-{\frac {1}{2}}\log(2\pi eN)\right)+n\epsilon _{n}\\&=\sum {\frac {1}{2}}\log(1+{\frac {P_{i}}{N}})+n\epsilon _{n}\end{aligned}}

xの凹（下向き）関数である $\log(1+x)$ にジェンセンの等式を適用すると、以下の式が得られる。

{\frac {1}{n}}\sum _{i=1}^{n}{\frac {1}{2}}\log \left(1+{\frac {P_{i}}{N}}\right)\leq {\frac {1}{2}}\log \left(1+{\frac {1}{n}}\sum _{i=1}^{n}{\frac {P_{i}}{N}}\right)\,\!

各コード名はそれぞれパワー制約を満たすため、平均もパワー制約を満たす。上の不等式を簡単にすると、

{\frac {1}{2}}\log \left(1+{\frac {1}{n}}\sum _{i=1}^{n}{\frac {P_{i}}{N}}\right)\leq {\frac {1}{2}}\log \left(1+{\frac {P}{N}}\right)\,\!

よって、全体を合わせると $R\leq {\frac {1}{2}}\log \left(1+{\frac {P}{N}}\right)+\epsilon _{n}$ となる。したがって $R$ は $\epsilon _{n}\rightarrow 0$ のとき、前に導出した容量よりも幾分か小さい値でなくてはならない。

時間領域における効果

シリアルデータ通信においては、ランダムジッタ（RJ）に起因するタイミング誤差をモデル化するためにAWGNの数学モデルが使われる。

右のグラフは、AWGNに関連したタイミングエラーの一例を示している。変数Δtはゼロ交差における不確実性を表す。AWGNの振幅が増加するにつれ、SN比が減少する。結果として不確実性Δtが増加する^[1]。

AWGNの影響を受けると、入力が正弦波で出力が狭帯域フィルタによる出力である、正もしくは負の方向へ進むゼロ交差の平均回数は以下のようになる。

{\frac {\mathrm {positive\ zero\ crossings} }{\mathrm {second} }}={\frac {\mathrm {negative\ zero\ crossings} }{\mathrm {second} }}

=f_{0}{\sqrt {\frac {\mathrm {SNR} +1+{\frac {B^{2}}{12f_{0}^{2}}}}{\mathrm {SNR} +1}}}

このとき

f₀はフィルタの中心周波数
Bはフィルタの帯域幅
SNRは線形項における信号対雑音電力比

フェーザ領域における効果

現代の通信システムでは、帯域制限されたAWGNは無視できない。フェーザ領域で帯域制限されたAWGNをモデル化すると、統計的解析により、実部および虚部の振幅はガウス分布モデルに従う独立変数であることが分かる。これらを結びつけると、合成したフェーザの位相は0から2πまで均一に分布している一方、大きさはレイリー分布のランダム変数である。

右のグラフは、帯域制限されたAWGNがコヒーレントキャリア信号にどのように影響するかの一例を示している。ノイズベクトルの瞬時応答は正確に予測することはできないが、時間平均応答は統計的に予測することができる。グラフに示されている通り、我々はノイズフェーザの約38%は1σ円内に存在することを確信をもって予測することができる。約86%は2σ円内、約98%は3σ円内に存在する^[1]。

参考文献

^ ^a ^b McClaning, Kevin, Radio Receiver Design, Noble Publishing Corporation

[rrd-1] McClaning, Kevin, Radio Receiver Design, Noble Publishing Corporation

[1]