齐次马氏链的概率计算与遍历性分析

问题描述：

考虑一个具有三个状态 0，1，2 的齐次马氏链 Xₙ, n≥0，其一步转移概率矩阵为：

P = ( 3/4 1/4 0 1/4 1/2 1/4 0 1/4 3/4)

初始分布为 pᵢ(0) = P{X₀ = i} = 1/3，i = 0, 1, 2。

求解：

(1) P{X₀ = 1, X₃ = 1}

要计算 P{X₀ = 1, X₃ = 1}，我们需要计算从状态 1 出发，经过 3 步后回到状态 1 的概率。

首先计算 P 的三次方：

P^3 = P * P * P = ( 41/108 25/54 13/108 )( 25/54 19/36 25/54 )( 13/108 25/54 41/108 )

因此，P{X₀ = 1, X₃ = 1} = (pᵢ(0) * P^3)[1] = 25/54。

(2) X₃ 的分布律

X₃ 的分布律表示经过 3 步后，该链处于各个状态的概率分布。

由上述 P^3 的计算结果可知，X₃ 的分布律为 [41/108, 19/36, 41/108]。

(3) 该链是否遍历？

该链是遍历的，因为从任意一个状态出发，经过有限步骤即可到达其他所有状态。由于该链是有限状态空间的齐次马尔科夫链，所以存在极限分布。

求解极限分布：

要求解极限分布，可以计算矩阵 P 的特征向量对应于特征值 1 的归一化解。特征向量对应的极限分布即为所求。

通过计算可以得到，极限分布为 [1/4, 1/2, 1/4]。

结论：

本文分析了一个具有三个状态的齐次马氏链，计算了特定转移概率、状态分布律以及极限分布，并通过分析状态转移图确认该链具有遍历性。