\documentclass[全部作业]{subfiles}
\input{mysubpreamble}
\begin{document}
\setcounter{chapter}{3}
\section{《随机过程》4月8日作业}
\begin{enumerate}
    \questionandanswerSolution[]{
        设马氏链$X$的状态空间为$S=\{ 0,1,2,3,4 \}$，一步转移概率矩阵为
        $$
        \begin{bmatrix}
        \frac{1}{3} & \frac{2}{3} & 0 & 0 & 0 \\
        0 & \frac{1}{3} & \frac{1}{3} & \frac{1}{3} & 0 \\
        \frac{3}{4} & \frac{1}{4} & 0 & 0 & 0 \\
        0 & 0 & 0 & 0 & 1 \\
        0 & 0 & 0 & \frac{1}{2} & \frac{1}{2} \\
        \end{bmatrix}
        $$
        试写出状态空间$S$中的所有互通类，判断它们是否是本质类，并说明理由。
    }{
        \begin{multicols}{2}
            \includexopp[1.5]{7.1.1}
            首先画出示意图，之后即可看出互通类为
            $$
            \{ 0,1,2 \}, \{ 3,4 \}
            $$

            其中由于$1 \to 3$而$3 \not \to 1$，所以$\{ 0,1,2 \}$不是本质类。

            而$3 \to 4$且$4 \to 3$，所以$\{ 3,4 \}$是本质类。
        \end{multicols}
    }
    \questionandanswerProof[]{
        在马氏链中，假设$i \leftrightarrow j$且它们的周期为$d$。证明：若$p_{ij}^{(n)}>0$且$p_{ij}^{(m)}>0$，则必有$d | (n-m)$。
    }{
        由于$i \leftrightarrow j$，则可设$p_{ji}^{(x)}>0$，所以
        $$
        p_{ii}^{(n+x)}\geqslant p_{ij}^{(n)}p_{ji}^{(x)}>0, \quad p_{ii}^{(m+x)}\geqslant p_{ij}^{(m)}p_{ji}^{(x)}>0
        $$
        又由于$i$的周期为$d$，所以$d|(n+x)$, $d|(m+x)$，则根据整除的性质，有$d|(n-m)$。
    }
    \questionandanswerProof[]{
        证明：在马氏链中，若状态$j$非常返，则对任意状态$i$，有$\displaystyle \lim_{n \to \infty} p_{ij}^{(n)}=0$。
    }{
        设状态空间为$S$。因为状态$j$非常返，所以$\displaystyle \sum_{n=1}^{\infty} p_{ii}^{(n)}<\infty$。

        若$j \to i$，则$\exists m >0, \ \ \text{s.t.} \ p_{ji}^{(m)}>0$，所以
        $$
        \infty > \sum_{n=1}^{\infty} p_{jj}^{(n)} \geqslant  \sum_{n=m}^{\infty} p_{jj}^{(n)} = \sum_{n=m}^{\infty} \sum_{k\in S}^{n} p_{jk}^{(m)}p_{kj}^{(n-m)} \geqslant \sum_{n=m}^{\infty} p_{ji}^{(m)}p_{ij}^{(n-m)} = p_{ji}^{(m)} \sum_{n=m}^{\infty} p_{ij}^{(n-m)} 
        $$
        因为$p_{ji}^{(m)}>0$，所以上式可化为$\displaystyle \sum_{n=m}^{\infty} p_{ij}^{(n-m)} = \sum_{n=0}^{\infty} p_{ij}^{(n)}<\infty$。
        从而级数$\displaystyle \sum_{n=0}^{\infty} p_{ij}^{(n)}$收敛 $\implies \displaystyle \lim_{n \to \infty} p_{ij}^{(n)}=0$

        若$j \not \to i$，则不会了。
    }
    \questionandanswerProof[]{
        证明：在马氏链中，若状态$j$为吸收态，则对任意状态$i$，有$\displaystyle \lim_{n \to \infty}p_{ij}^{(n)}=f_{ij}$。
    }{
        由于$j$为吸收态，所以$\forall i=1,2, \cdots ,n,\ p_{jj}^{(i)}=1$，所以
        $$
        \lim_{n \to \infty} p_{ij}^{(n)} = \lim_{n \to \infty} \sum_{k=1}^{n} p_{jj}^{(n-k)} f_{ij}^{(k)} = \lim_{n \to \infty} \sum_{k=1}^{n} f_{ij}^{(k)} = \sum_{k=1}^{\infty} f_{ij}^{(k)} = f_{ij}
        $$
    }
    \questionandanswerProof[]{
        证明：元素有限的本质类必是常返类。
    }{
        设本质类$S = \{ s_1,s_2, \cdots ,s_n \}$，则对于$\forall i=1,2, \cdots ,n$，令$S_i = \{ s_j\ :\ p_{s_i s_j}^{(1)}>0 \}$（即把所有$s_i$一步可达的$s_j$都取出来组成$S_i$）。由于$S$是本质类，所以当$s_i \to s_j$时有$s_j \to s_i$，设$s_j \to s_i$的首次到达需要的步数为$m_j$则
        $$
        \sum_{n=1}^{\infty} p_{s_i s_i}^{(n)} \geqslant \sum_{n=1}^{\infty} \sum_{s_j\in S_i} p_{s_i s_j}^{(1)} p_{s_j s_i}^{(m_j)}
        $$
        由于 $\displaystyle \sum_{s_j\in S_i} p_{s_i s_j}^{(1)} p_{s_j s_i}^{(m_j)}$有限且为定值，可以设为$\varepsilon$ ($\varepsilon>0$)，则
        $$
        \sum_{n=1}^{\infty} p_{s_i s_i}^{(n)} \geqslant \lim_{n \to \infty}n \varepsilon =\infty
        $$
        所以$S$是常返类。
    }
    \questionandanswerProof[]{
        证明：平面格点上的简单对称随机游动（指每一步向四个方向挪动的概率都是$\dfrac{1}{4}$，且各步独立）常返。
    }{
        设$\uparrow, \downarrow, \leftarrow, \rightarrow$分别表示向上下左右挪动一步，对于任意状态$i$（即任意一个格点），
        $$
        \begin{aligned}
            p_{ii}^{(4n+2)}&=p_{\uparrow}^{(1)}p_{\downarrow}^{(4n+1)} +p_{\rightarrow}^{(1)}p_{\leftarrow}^{(4n+1)} +p_{\downarrow}^{(1)}p_{\uparrow}^{(4n+1)}+p_{\leftarrow}^{(1)}p_{\rightarrow}^{(4n+1)} \\
            &=\frac{1}{4} p_{\downarrow}^{(4n+1)}+\frac{1}{4}p_{\leftarrow}^{(4n+1)} + \frac{1}{4}p_{\uparrow}^{(4n+1)}+\frac{1}{4}p_{\rightarrow}^{(4n+1)} \\
        \end{aligned}
        $$
        对于$p_{\downarrow}^{(4n+1)}$，可以理解为向下挪动了$n+1$步，向其它三个方向挪动了$n$步，所以$p_{\downarrow}^{(4n+1)}=\mathrm{C}_{4n+1}^{n}\mathrm{C}_{3n+1}^{n}\mathrm{C}_{2n+1}^{n} \left( \frac{1}{4} \right) ^{4n+1}$。
        $p_{\leftarrow}^{(4n+1)}, p_{\uparrow}^{(4n+1)}, p_{\rightarrow}^{(4n+1)}$同理。因此
        $$
        \text{上式}=\frac{1}{4} \times  4\left( \mathrm{C}_{4n+1}^{n}\mathrm{C}_{3n+1}^{n}\mathrm{C}_{2n+1}^{n} \left( \frac{1}{4} \right) ^{4n+1} \right) 
        $$
        所以
        $$
        \sum_{n=1}^{\infty} p_{ii}^{(n)} \geqslant \sum_{n=1}^{\infty} p_{ii}^{(4n+1)} = \sum_{n=1}^{\infty} \mathrm{C}_{4n+1}^{n}\mathrm{C}_{3n+1}^{n}\mathrm{C}_{2n+1}^{n} \left( \frac{1}{4} \right) ^{4n+1} =\infty
        $$
        % $$
        % \binom{4n+1}{n}\binom{3n+1}{n}\binom{2n+1}{n} \left( \frac{1}{4} \right) ^{4n+1} = \frac{2^{- 8 n} \Gamma(4 n + 2)}{4 \Gamma^{3}(n + 1) \Gamma(n + 2)}
        % $$
        % $$
        % \left\{ \frac{2}{0}2/4\ \middle|\  \right\}
        % \sum_{n=1}^{\infty} (\binom{4n+1}{n}\binom{3n+1}{n}\binom{2n+1}{n} \left( \frac{1}{4} \right) ^{4n+1}) = \frac{{{}_{3}F_{2}(\begin{matrix} \frac{1}{2}, \frac{3}{4}, \frac{5}{4} \\ 1, 2 \end{matrix}\middle| {1})}}{4} - \frac{1}{4} 
        % $$
        所以状态$i$常返，从而任意一个格点均常返。
    }
    \questionandanswerProof[]{
        设$X=\{ X_n\ :\ n \in \mathbb{N} \}$是不可约常返马氏链。对$j\in S$，定义$\tau_j^{(0)}=0$，并对$k\in \mathbb{Z}^{+}$递归定义$\tau_j^{(k)}=\inf \left\{ n>\tau_j^{(k-1)}\ :\ X_n=j \right\}$。然后对$k\in \mathbb{Z}^{+}$定义$W_j^{(k)}=\tau_j^{(k)}-\tau_j^{(k-1)}$。证明：$\left\{ W_j^{(k)}\ :\ k\in \mathbb{Z}^{+} \right\}$相互独立，且当$k\geqslant 2$时分布相同。
    }{
        设初始状态为$i$，对于$\forall k\geqslant 2$，
        $$
        \begin{aligned}
            &P\left( W_j^{(k)}=y \right) = P\left( \tau_j^{(k)}-\tau_j^{(k-1)}=y \right)  \\
            &=\sum_{x=0}^{\infty} P\left(\tau_j^{(k)}=x+y, \tau_j^{(k-1)}=x\right) \\
            &=\sum_{x=0}^{\infty} P\left( \tau_j^{(k)}=x+y \middle| \tau_j^{(k-1)}=x \right) P\left( \tau_j^{(k-1)}=x \right)  \\
            &=\sum_{x=0}^{\infty} f_{jj}^{(y)} \sum_{x_1+x_2+ \cdots +x_{k-1}=x} f_{ij}^{(x_1)} f_{jj}^{(x_2)}\cdots f_{jj}^{(x_{k-1})} \\
            &=\sum_{x=0}^{\infty} \sum_{x_1+x_2+ \cdots +x_{k-1}=x} f_{ij}^{(x_1)}f_{jj}^{(x_2)}\cdots f_{jj}^{(x_{k-1})}f_{jj}^{(y)} \\
        \end{aligned}
        $$
        后面不会了。
    }
    \questionandanswerProof[]{
        证明：在马氏链中，对任意$i,j,k \in S$，有$f_{ik}\geqslant f_{ij}f_{jk}$。
    }{
        对任意$i,j,k \in S$，
        $$
        f_{ik}=\sum_{n=1}^{\infty} f_{ik}^{(n)}=\sum_{n=1}^{\infty} \sum_{a\in S} \sum_{b=1}^{n} p_{ia}^{(b)}f_{ak}^{(n-b)}
        $$
        $$
        f_{ij}f_{jk} = \left( \sum_{n=1}^{\infty} f_{ij}^{(n)} \right) \left( \sum_{n=1}^{\infty} f_{jk}^{(n)} \right) =\left( \sum_{n=1}^{\infty} \sum_{a\in S} \sum_{b=1}^{n} p_{ia}^{(b)}f_{aj}^{(n-b)} \right) \left( \sum_{n=1}^{\infty} \sum_{a\in S} \sum_{b=1}^{n} f_{ja}^{(b)}f_{ak}^{(n-b)} \right) 
        $$
        实在是不会了。
    }
\end{enumerate}
\end{document}