\documentclass[全部作业]{subfiles} \input{mysubpreamble} \begin{document} \setcounter{chapter}{3} \section{《随机过程》4月8日作业} \begin{enumerate} \questionandanswerSolution[]{ 设马氏链$X$的状态空间为$S=\{ 0,1,2,3,4 \}$，一步转移概率矩阵为 $$ \begin{bmatrix} \frac{1}{3} & \frac{2}{3} & 0 & 0 & 0 \\ 0 & \frac{1}{3} & \frac{1}{3} & \frac{1}{3} & 0 \\ \frac{3}{4} & \frac{1}{4} & 0 & 0 & 0 \\ 0 & 0 & 0 & 0 & 1 \\ 0 & 0 & 0 & \frac{1}{2} & \frac{1}{2} \\ \end{bmatrix} $$ 试写出状态空间$S$中的所有互通类，判断它们是否是本质类，并说明理由。 }{ \begin{multicols}{2} \includexopp[1.5]{7.1.1} 首先画出示意图，之后即可看出互通类为 $$ \{ 0,1,2 \}, \{ 3,4 \} $$ 其中由于$1 \to 3$而$3 \not \to 1$，所以$\{ 0,1,2 \}$不是本质类。 而$3 \to 4$且$4 \to 3$，所以$\{ 3,4 \}$是本质类。 \end{multicols} } \questionandanswerProof[]{ 在马氏链中，假设$i \leftrightarrow j$且它们的周期为$d$。证明：若$p_{ij}^{(n)}>0$且$p_{ij}^{(m)}>0$，则必有$d | (n-m)$。 }{ 由于$i \leftrightarrow j$，则可设$p_{ji}^{(x)}>0$，所以 $$ p_{ii}^{(n+x)}\geqslant p_{ij}^{(n)}p_{ji}^{(x)}>0, \quad p_{ii}^{(m+x)}\geqslant p_{ij}^{(m)}p_{ji}^{(x)}>0 $$ 又由于$i$的周期为$d$，所以$d|(n+x)$, $d|(m+x)$，则根据整除的性质，有$d|(n-m)$。 } \questionandanswerProof[]{ 证明：在马氏链中，若状态$j$非常返，则对任意状态$i$，有$\displaystyle \lim_{n \to \infty} p_{ij}^{(n)}=0$。 }{ 设状态空间为$S$。因为状态$j$非常返，所以$\displaystyle \sum_{n=1}^{\infty} p_{ii}^{(n)}<\infty$。 若$j \to i$，则$\exists m >0, \ \ \text{s.t.} \ p_{ji}^{(m)}>0$，所以 $$ \infty > \sum_{n=1}^{\infty} p_{jj}^{(n)} \geqslant \sum_{n=m}^{\infty} p_{jj}^{(n)} = \sum_{n=m}^{\infty} \sum_{k\in S}^{n} p_{jk}^{(m)}p_{kj}^{(n-m)} \geqslant \sum_{n=m}^{\infty} p_{ji}^{(m)}p_{ij}^{(n-m)} = p_{ji}^{(m)} \sum_{n=m}^{\infty} p_{ij}^{(n-m)} $$ 因为$p_{ji}^{(m)}>0$，所以上式可化为$\displaystyle \sum_{n=m}^{\infty} p_{ij}^{(n-m)} = \sum_{n=0}^{\infty} p_{ij}^{(n)}<\infty$。 从而级数$\displaystyle \sum_{n=0}^{\infty} p_{ij}^{(n)}$收敛 $\implies \displaystyle \lim_{n \to \infty} p_{ij}^{(n)}=0$ 若$j \not \to i$，则不会了。 } \questionandanswerProof[]{ 证明：在马氏链中，若状态$j$为吸收态，则对任意状态$i$，有$\displaystyle \lim_{n \to \infty}p_{ij}^{(n)}=f_{ij}$。 }{ 由于$j$为吸收态，所以$\forall i=1,2, \cdots ,n,\ p_{jj}^{(i)}=1$，所以 $$ \lim_{n \to \infty} p_{ij}^{(n)} = \lim_{n \to \infty} \sum_{k=1}^{n} p_{jj}^{(n-k)} f_{ij}^{(k)} = \lim_{n \to \infty} \sum_{k=1}^{n} f_{ij}^{(k)} = \sum_{k=1}^{\infty} f_{ij}^{(k)} = f_{ij} $$ } \questionandanswerProof[]{ 证明：元素有限的本质类必是常返类。 }{ 设本质类$S = \{ s_1,s_2, \cdots ,s_n \}$，则对于$\forall i=1,2, \cdots ,n$，令$S_i = \{ s_j\ :\ p_{s_i s_j}^{(1)}>0 \}$（即把所有$s_i$一步可达的$s_j$都取出来组成$S_i$）。由于$S$是本质类，所以当$s_i \to s_j$时有$s_j \to s_i$，设$s_j \to s_i$的首次到达需要的步数为$m_j$则 $$ \sum_{n=1}^{\infty} p_{s_i s_i}^{(n)} \geqslant \sum_{n=1}^{\infty} \sum_{s_j\in S_i} p_{s_i s_j}^{(1)} p_{s_j s_i}^{(m_j)} $$ 由于 $\displaystyle \sum_{s_j\in S_i} p_{s_i s_j}^{(1)} p_{s_j s_i}^{(m_j)}$有限且为定值，可以设为$\varepsilon$ ($\varepsilon>0$)，则 $$ \sum_{n=1}^{\infty} p_{s_i s_i}^{(n)} \geqslant \lim_{n \to \infty}n \varepsilon =\infty $$ 所以$S$是常返类。 } \questionandanswerProof[]{ 证明：平面格点上的简单对称随机游动（指每一步向四个方向挪动的概率都是$\dfrac{1}{4}$，且各步独立）常返。 }{ 设$\uparrow, \downarrow, \leftarrow, \rightarrow$分别表示向上下左右挪动一步，对于任意状态$i$（即任意一个格点）， $$ \begin{aligned} p_{ii}^{(4n+2)}&=p_{\uparrow}^{(1)}p_{\downarrow}^{(4n+1)} +p_{\rightarrow}^{(1)}p_{\leftarrow}^{(4n+1)} +p_{\downarrow}^{(1)}p_{\uparrow}^{(4n+1)}+p_{\leftarrow}^{(1)}p_{\rightarrow}^{(4n+1)} \\ &=\frac{1}{4} p_{\downarrow}^{(4n+1)}+\frac{1}{4}p_{\leftarrow}^{(4n+1)} + \frac{1}{4}p_{\uparrow}^{(4n+1)}+\frac{1}{4}p_{\rightarrow}^{(4n+1)} \\ \end{aligned} $$ 对于$p_{\downarrow}^{(4n+1)}$，可以理解为向下挪动了$n+1$步，向其它三个方向挪动了$n$步，所以$p_{\downarrow}^{(4n+1)}=\mathrm{C}_{4n+1}^{n}\mathrm{C}_{3n+1}^{n}\mathrm{C}_{2n+1}^{n} \left( \frac{1}{4} \right) ^{4n+1}$。 $p_{\leftarrow}^{(4n+1)}, p_{\uparrow}^{(4n+1)}, p_{\rightarrow}^{(4n+1)}$同理。因此 $$ \text{上式}=\frac{1}{4} \times 4\left( \mathrm{C}_{4n+1}^{n}\mathrm{C}_{3n+1}^{n}\mathrm{C}_{2n+1}^{n} \left( \frac{1}{4} \right) ^{4n+1} \right) $$ 所以 $$ \sum_{n=1}^{\infty} p_{ii}^{(n)} \geqslant \sum_{n=1}^{\infty} p_{ii}^{(4n+1)} = \sum_{n=1}^{\infty} \mathrm{C}_{4n+1}^{n}\mathrm{C}_{3n+1}^{n}\mathrm{C}_{2n+1}^{n} \left( \frac{1}{4} \right) ^{4n+1} =\infty $$ % $$ % \binom{4n+1}{n}\binom{3n+1}{n}\binom{2n+1}{n} \left( \frac{1}{4} \right) ^{4n+1} = \frac{2^{- 8 n} \Gamma(4 n + 2)}{4 \Gamma^{3}(n + 1) \Gamma(n + 2)} % $$ % $$ % \left\{ \frac{2}{0}2/4\ \middle|\ \right\} % \sum_{n=1}^{\infty} (\binom{4n+1}{n}\binom{3n+1}{n}\binom{2n+1}{n} \left( \frac{1}{4} \right) ^{4n+1}) = \frac{{{}_{3}F_{2}(\begin{matrix} \frac{1}{2}, \frac{3}{4}, \frac{5}{4} \\ 1, 2 \end{matrix}\middle| {1})}}{4} - \frac{1}{4} % $$ 所以状态$i$常返，从而任意一个格点均常返。 } \questionandanswerProof[]{ 设$X=\{ X_n\ :\ n \in \mathbb{N} \}$是不可约常返马氏链。对$j\in S$，定义$\tau_j^{(0)}=0$，并对$k\in \mathbb{Z}^{+}$递归定义$\tau_j^{(k)}=\inf \left\{ n>\tau_j^{(k-1)}\ :\ X_n=j \right\}$。然后对$k\in \mathbb{Z}^{+}$定义$W_j^{(k)}=\tau_j^{(k)}-\tau_j^{(k-1)}$。证明：$\left\{ W_j^{(k)}\ :\ k\in \mathbb{Z}^{+} \right\}$相互独立，且当$k\geqslant 2$时分布相同。 }{ 设初始状态为$i$，对于$\forall k\geqslant 2$， $$ \begin{aligned} &P\left( W_j^{(k)}=y \right) = P\left( \tau_j^{(k)}-\tau_j^{(k-1)}=y \right) \\ &=\sum_{x=0}^{\infty} P\left(\tau_j^{(k)}=x+y, \tau_j^{(k-1)}=x\right) \\ &=\sum_{x=0}^{\infty} P\left( \tau_j^{(k)}=x+y \middle| \tau_j^{(k-1)}=x \right) P\left( \tau_j^{(k-1)}=x \right) \\ &=\sum_{x=0}^{\infty} f_{jj}^{(y)} \sum_{x_1+x_2+ \cdots +x_{k-1}=x} f_{ij}^{(x_1)} f_{jj}^{(x_2)}\cdots f_{jj}^{(x_{k-1})} \\ &=\sum_{x=0}^{\infty} \sum_{x_1+x_2+ \cdots +x_{k-1}=x} f_{ij}^{(x_1)}f_{jj}^{(x_2)}\cdots f_{jj}^{(x_{k-1})}f_{jj}^{(y)} \\ \end{aligned} $$ 后面不会了。 } \questionandanswerProof[]{ 证明：在马氏链中，对任意$i,j,k \in S$，有$f_{ik}\geqslant f_{ij}f_{jk}$。 }{ 对任意$i,j,k \in S$， $$ f_{ik}=\sum_{n=1}^{\infty} f_{ik}^{(n)}=\sum_{n=1}^{\infty} \sum_{a\in S} \sum_{b=1}^{n} p_{ia}^{(b)}f_{ak}^{(n-b)} $$ $$ f_{ij}f_{jk} = \left( \sum_{n=1}^{\infty} f_{ij}^{(n)} \right) \left( \sum_{n=1}^{\infty} f_{jk}^{(n)} \right) =\left( \sum_{n=1}^{\infty} \sum_{a\in S} \sum_{b=1}^{n} p_{ia}^{(b)}f_{aj}^{(n-b)} \right) \left( \sum_{n=1}^{\infty} \sum_{a\in S} \sum_{b=1}^{n} f_{ja}^{(b)}f_{ak}^{(n-b)} \right) $$ 实在是不会了。 } \end{enumerate} \end{document}