マスター方程式とエルゴード性

今、系が有限個の状態$N$からなる場合を考える。 系の発展を表すために、時間 $t$ を導入する。 物理的な時間と一致する必要はなく、シミュレーションの過程を 記述するために手で入れたものと考えてよい。 系が時刻 $t$ において状態 $i$ にある確率を、$P_i(t)$ とすると、確率の保存より、

$$\sum_i P_i(t) = 1$$ (57)

を満たす。 Markov 過程に対して、時刻 $t+\Delta t$ (1ステップ後) での状態 $i$ が出現する確率は、 次のマスター方程式と呼ばれる関係式で記述される。

$$P_i(t+\Delta t) = P_i(t) - \sum_{j\neq i} P_i(t) w_{i\righ... ... \Delta t + \sum_{j\neq i} P_j(t) w_{j\rightarrow i} \Delta t$$ (58)

$w_{i\rightarrow j}$ は単位時間あたりに状態$i$から状態$j$ に遷移する確率を表す。 Eq. (58)の右辺第2項は状態$i$から他の$(N-1)$個 の状態へ遷移する過程、右辺第3項は他の$(N-1)$個の状態から状態$i$ へ遷移してくる過程を表す。

行列形式では、Eq. (58)は次のように表される。

$$\vec{P}(t+\Delta t) = L \vec{P}(t)$$ (59)

ここで、$\vec{P}(t)$は$P_i(t)$を成分に持つ$N$次元ベクトル、 $L$は$N \times N$行列で、次のような成分を持つ。

$$L_{ij} = w_{j\rightarrow i} \Delta t \hspace{0.5cm} (i\neq j)$$ (60)

$$L_{ii} = 1 - \sum_{j\neq i} w_{i\rightarrow j} \Delta t$$ (61)

確率の保存より、

$$\sum_i L_{ij} = 1$$ (62)

である。 遷移確率の意味から、

$$L_{ij} \geq 0$$ (63)

でなければならない。 この二つの条件を満たす行列$L$は確率行列と呼ばれている。 $s$ ステップ進んだ時、系の確率分布は、

$$\vec{P}(t+ s \Delta t) = L^s \vec{P}(t)$$ (64)

で与えられる。

$s\rightarrow \infty$の極限を考える。 このとき、確率分布がある一定の分布、$P^{(eq)}$ に収束するようなMarkov過程を、定常Markov過程と呼ぶ。

$$\lim_{s\rightarrow \infty} L^s \vec{P}(t) = \vec{P}^{(eq)}$$ (65)

この時、

$$L \vec{P}^{(eq)} = \vec{P}^{(eq)}$$ (66)

が成り立つ。

$L$ の固有値に対して、次のようなことが成り立つ[3]。 $L$の固有値 $\lambda_i$ ($i=1,...,N$) について、 $\vert\lambda_i\vert\leq 1$ が成り立つ。 また、$\lambda_i=1$ が常に確率行列 $L$ の固有値であることも 示すことができる。 このことと、Eq. (65)から、 $\vec{P}^{(eq)}$ が、$L$の固有値1の(右)固有ベクトルであることがわかる。 もしもこの固有値1に対応する状態が非縮退ならば、定常分布 $\vec{P}^{(eq)}$ がユニークに存在することになり、定常Markov過程が実現される。

ある値よりも大きなステップ数$s$について、$L^s$のすべての 成分が正の値を持つとき、既出の Perron-Frobenius の定理によって、 $L$の最大固有値は非縮退であり、その他の固有値は $\vert\lambda\vert<1$ となることが証明できる。 この条件は、有限のステップ数で、任意の状態から任意の状態への 遷移が可能であることを意味する。 この性質を「エルゴード性」と呼ぶ。