\documentclass[全部作业]{subfiles}
\input{mysubpreamble}
\begin{document}
\setcounter{chapter}{3}
\setcounter{section}{3}
\section{练习题\thesection}
\begin{enumerate}
    \questionandanswerProof[1]{
        对有限状态马氏链$X$，证明 (1) $X$没有状态零常返，(2)若$X$不可约，那么$X$是正常返的。
    }{
        假设状态$i$零常返，则$f_{ii}=1, m_{ii}=+\infty$，又由于$m_{ii}=f_{ii}+\sum_{j\neq i} p_{ij} f_{ji}$。根据性质3.2.19，因为$i$常返且$i \to j$，所以$f_{ji} =1$，从而$+\infty = 1+\sum_{j\neq i} p_{ij}$，而$\sum_{j\neq i} p_{ij} $为有限个有限的数求和，所以不可能为$+\infty$，产生矛盾，所以状态$i$不是零常返，即$X$没有状态零常返。

        若$X$不可约，则$X$是本质类，又因为$X$的状态有限，所以$X$是常返类；又因为$X$没有状态零常返，所以$X$是正常返的。
    }
    \questionandanswerSolution[3]{
        设$X$是一个不可约非常返的马氏链，令
        $$
        l_j = \sup \{ n\geqslant 0, X_n=j, X_k \neq j, k>n \},
        $$
        即$l_j$是$X$最后一次到达状态$j$的时间。假定$X$从$j$出发，求$l_j$的分布和均值。
    }{
        $$
        P(l_j = n) = P_j(X_n=j, X_k \neq j, \forall k>n) = p_{jj}^{(n)} \cdot \sum_{k\neq j} e_{jk}
        $$
        $$
        E(l_j) = \sum_{n=1}^{\infty} n P(l_j=n) = \sum_{n=1}^{\infty} n p_{jj}^{(n)} \sum_{k\neq j} e_{jk}
        $$
    }
    \questionandanswerSolution[4]{
        设$X$的转移概率矩阵为$\begin{bmatrix}
        0 & 1 & 0 \\
        \frac{1}{4} & \frac{1}{2} & \frac{1}{4} \\
        0 & 1 & 0 \\
        \end{bmatrix}$，求$X$的平稳分布。
    }{
        设$M = (\pi_1, \pi_2, \pi_3)$，$P$为转移概率矩阵，则根据$M=MP$以及$\pi_1+\pi_2+\pi_3=1$可以列出方程组如下：
        $$
        \begin{cases}
        \pi_1=\frac{1}{4}\pi_2 \\
        \pi_2=\pi_1+\frac{1}{2}\pi_2+\pi_3 \\
        \pi_3=\frac{1}{4}\pi_2 \\
        \pi_1+\pi_2+\pi_3=1 \\
        \end{cases}
        $$
        解得$(\pi_1,\pi_2,\pi_3)=\left(\frac{1}{6},\frac{2}{3},\frac{1}{6}\right)$，此即为$X$的平稳分布。
    }
    \questionandanswerSolution[5]{
        一个月后小明有两天假期,他就打算只要假期里有一天的天气晴朗就出去
旅行. 为此他查阅了气象资料,发现每日天气晴朗(0)与非晴朗(1)之间的
变化可以近似用时齐马氏链来刻画,转移概率矩阵为$\begin{pmatrix}
\frac{1}{2} & \frac{1}{2} \\
\frac{1}{4} & \frac{3}{4} \\
\end{pmatrix}$。试估计小明能出去旅行的概率。
    }{
        设这两天假期的天气为$X_0$和$X_1$，状态空间为$S=\{ 0,1 \}$，则小明能出去旅行的概率为
        $$
\begin{aligned}
P(X_0=0)+P(X_0=1, X_1=0) & = P(X_0=0)+P(X_0=1)P(X_1=0|X_0=1)  \\
& = P(X_0=0)+P(X_0=1)p_{10}  \\
\end{aligned}
        $$

        由于每日天气之间的变化可以近似用时齐马氏链来刻画，且天气是一个稳定的系统，所以可以认为天气的初始分布为平稳分布，即$P(X_0=0)$和$P(X_0=1)$可以使用平稳分布的概率来计算。

        设$M=(\pi_1,\pi_2)$，$P$为转移概率矩阵，则根据$M=MP$以及$\pi_1+\pi_2=1$可以列出方程组如下：
        $$
        \begin{cases}
        \pi_0=\frac{1}{2}\pi_0+\frac{1}{4}\pi_1 \\
        \pi_1=\frac{1}{2}\pi_0+\frac{3}{4}\pi_1 \\
        \pi_0+\pi_1=1 \\
        \end{cases}
        $$
        解得$(\pi_0,\pi_1)=\left( \frac{1}{3},\frac{2}{3} \right) $，此即为天气的平稳分布，所以$P(X_0=0)=\frac{1}{3}$, $P(X_0=1)=\frac{2}{3}$，所以小明能出去旅行的概率为$\displaystyle \frac{1}{3}+\frac{2}{3}\times \frac{1}{4} = \frac{1}{2}$。
    }
    \questionandanswerSolution[6]{
        某人有$M$把伞并在办公室和家之间往返：出门上班时下雨并家里有伞就
带把伞去办公室；下班回家时下雨且办公室有伞就带把伞回家。其它时候
都不带伞。假设每天上下班时是否下雨是独立同分布的，下雨的概率为$p$，
不下雨的概率为$1-p$，问此人出门上班时碰到下雨且没有雨伞的概率。
    }{
        设$X=\{ X_i\ :\ i \in \mathbb{Z} \}$表示某天上班之前家里的伞的数量，则显然$X$是时齐马氏链。为了求出转移概率矩阵，可以梳理出下表：
        \begin{center}
            \begin{tabular}{ccccc}
            \toprule
            上班 & \multicolumn{2}{c}{下雨} & \multicolumn{2}{c}{不下雨} \\
            \midrule
            下班 & 下雨 & 不下雨 & 下雨 & 不下雨 \\
            \midrule
            概率 & $p^{2}$ & $p(1-p)$ & $p(1-p)$ & $(1-p)^{2}$ \\
            $X$的变化 & $0$ & $-1$ & $+1$ & $0$ \\
            \bottomrule
            \end{tabular}
        \end{center}
        需要注意的是，$0$和$M$为$X$的边界，即当$X=0$时不能再减少，当$X=M$时不能再增加，所以转移概率矩阵为：
        $$
        P = \begin{bmatrix}
        1-p+p^{2} & p(1-p) & 0 & \cdots & 0 & 0 & 0 \\
        p(1-p) & p^{2}+(1-p)^{2} & p(1-p) & \cdots & 0 & 0 & 0 \\
        0 & p(1-p) & p^{2}+(1-p)^{2} & \cdots & 0 & 0 & 0 \\
        \vdots & \vdots & \vdots & \ddots & \vdots & \vdots & \vdots \\
        0 & 0 & 0 & \cdots & p^{2}+(1-p)^{2} & p(1-p) & 0 \\
        0 & 0 & 0 & \cdots & p(1-p) & p^{2}+(1-p)^{2} & p(1-p) \\
        0 & 0 & 0 & \cdots & 0 & p(1-p) & 1-p+p^{2} \\
        \end{bmatrix}
        $$
        根据$\begin{bmatrix}
        \pi_0 & \pi_1 & \cdots & \pi_{M} \\
        \end{bmatrix}P = \begin{bmatrix}
        \pi_0 & \pi_1 & \cdots & \pi_{M} \\
        \end{bmatrix}$以及$\pi_0+\pi_1+ \cdots +\pi_{M}=1$可以解得
        $$
        \pi_0=\pi_1=\cdots=\pi_{M}=\frac{1}{M+1}
        $$
        （直观上这么复杂的一个系统，竟然处于任何一个状态的概率都是相同的！）

        此即为$X$的平稳分布，所以$P(X=0) = \dfrac{1}{M+1}$。
        $$
        P(\text{此人出门上班时碰到下雨且没有雨伞}) = p P(X=0) = \frac{p}{M+1}
        $$
    }
    \questionandanswer[7]{
        设$X$的状态空间$S=\mathbb{N}$，对任意$n\geqslant 0$，转移概率$p_{n,n+1}=p_{n}$, $p_{n,0}=1-p_n$，其中$p_n\in (0,1)$。求
    }{}
    \begin{enumerate}
        \questionandanswerSolution[]{
            能保证$0$是常返状态的条件；
        }{
            只需要考虑$f_{00} = \sum_{n=1}^{\infty} f_{00}^{(n)}=1$的条件。由于
            $$
            \begin{cases}
            f_{00}^{(1)}=p_{00}=1-p_0 \\
            f_{00}^{(2)}=p_{01} p_{10} = p_0(1-p_1)=p_0-p_0p_1 \\
            f_{00}^{(3)}=p_{01}p_{12}p_{20}=p_0p_1(1-p_2)=p_0p_1-p_0p_1p_2 \\
            \cdots \\
            \end{cases}
            $$
            所以 $\displaystyle \sum_{n=0}^{m} f_{00}^{(n)}=1-\prod_{n=0}^{m-1} p_{i}$, \quad $\displaystyle \sum_{n=0}^{\infty} f_{00}^{(n)}= \lim_{m \to \infty} \sum_{n=0}^{m} f_{00}^{(n)}=\lim_{m \to \infty}\left( 1- \prod_{n=0}^{m-1} p_{i} \right)  = 1$，所以能保证$0$是常返状态的条件为
            $$
            \prod_{n=0}^{\infty} p_i = 0, \quad \text{即}\ p_0p_1p_2\cdots = 0
            $$
        }
        \questionandanswerSolution[]{
            能保证$0$是正常返状态的条件；
        }{
            $0$是正常返状态即$m_{00}<\infty$，所以
            $$
            \begin{cases}
            m_{00} = 1+p_0 m_{10} <\infty \implies p_0 = 0 \text{或} m_{10}<\infty \\
            m_{10} = 1+p_1m_{20}<\infty \implies p_1=0\text{或} m_{20}<\infty \\
            m_{20}=1+p_2m_{30}<\infty \implies p_2=0 \text{或}m_{30}<\infty \\
            \cdots \\
            \end{cases}
            $$
            所以能保证$0$是正常返状态的条件为$\exists n_0 \in \mathbb{N}, \ \ \text{s.t.} \ p_{n_0}=0$。也就是当$p_0, p_1,p_2, \cdots $中首次出现$0$的时候，在这个$0$前面的部分构成有限状态的本质类，从而构成正常返类，从而$0$是正常返状态。
        }
        \questionandanswerSolution[]{
            平稳分布。
        }{
            转移概率矩阵为
            $$
            P = \begin{bmatrix}
            1-p_0 & p_0 & 0 & 0 & \cdots \\
            1-p_1 & 0 & p_1 & 0 & \cdots \\
            1-p_2 & 0 & 0 & p_2 & \cdots \\
            \vdots & \vdots & \vdots & \vdots & \ddots \\
            \end{bmatrix}
            $$
            根据$\begin{bmatrix}
            \pi_0 & \pi_1 & \pi_2 & \cdots \\
            \end{bmatrix} P = \begin{bmatrix}
            \pi_0 & \pi_1 & \pi_2 & \cdots \\
            \end{bmatrix}$以及$\pi_0+\pi_1+\pi_2+ \cdots =1$可以解得
            $$
            \begin{cases}
            \pi_0=\frac{1}{1+p_0+p_0p_1+p_0p_1p_2+ \cdots } \\
            \pi_1=\frac{p_0}{1+p_0+p_0p_1+p_0p_1p_2+ \cdots } \\
            \pi_2=\frac{p_0p_1}{1+p_0+p_0p_1+p_0p_1p_2+ \cdots } \\
            \cdots \\
            \end{cases}
            $$
            即 $\forall i\in \mathbb{N}, \ \displaystyle \pi_i = \frac{\prod_{j=1}^{i} p_i}{\sum_{n=1}^{\infty} \prod_{j=1}^{n} p_i}$，此即为$X$的平稳分布。
        }
    \end{enumerate}
    \questionandanswer[8]{
        设$X$的转移概率满足：对任意$i,j \in S=\mathbb{N}, p_{i,i}=\lambda_i+(1-\lambda_i)u_i$；而$i\neq j$时，$p_{i,j}=(1-\lambda_i)u_j$，其中$u_j>0$，$\displaystyle \sum_{j=0}^{\infty} u_j=1, 0<\lambda_i<1$。证明
    }{}
    \begin{enumerate}
        \questionandanswerProof[]{
            $X$是常返的；
        }{
            首先写出转移概率矩阵：
            $$
            P=\begin{bmatrix}
            \lambda_0+(1-\lambda_0)u_0 & (1-\lambda_0)u_1 & (1-\lambda_0)u_2 & \cdots \\
            (1-\lambda_1)u_0 & \lambda_1+(1-\lambda_1)u_1 & (1-\lambda_1)u_2 & \cdots \\
            (1-\lambda_2)u_0 & (1-\lambda_2)u_1 & \lambda_2+(1-\lambda_2)u_2 & \cdots \\
            \vdots & \vdots & \vdots & \vdots \\
            \end{bmatrix}
            $$
            观察后可以发现
            $$
            P=\begin{bmatrix}
            1-\lambda_0 \\
            1-\lambda_1 \\
            1-\lambda_2 \\
            \vdots \\
            \end{bmatrix} \begin{bmatrix}
            u_0 & u_1 & u_2 & \cdots \\
            \end{bmatrix} + \operatorname{diag}(\lambda_0,\lambda_1,\lambda_2, \cdots )
            $$
            所以$\forall i \in \mathbb{N}, p_{ii}^{(n)}=P^{n}(i, i)$，计算后可以发现$n \to \infty$时，$p_{ii}^{(n)}$不以$0$为极限，所以$i$常返，从而$X$是常返的。
        }
        \questionandanswerProof[]{
            $X$是正常返当且仅当$\displaystyle \sum_{i=0}^{\infty} \frac{u_i}{1-\lambda_i}<\infty$。
        }{
            $\forall i \in \mathbb{N}$，由于$X$常返，所以$f_{ii}=1$，从而有
            $$
            \begin{aligned}
                X_i \text{正常返} &\iff m_{ii}=f_{ii}+\sum_{j\neq i} p_{ij} m_{ji} = 1+\sum_{j\neq i} (1-\lambda_i)u_j m_{ji}<\infty \\
                &\iff\forall j \in \mathbb{N}, (1-\lambda_i)u_j <\infty \\
            \end{aligned}
            $$
            对$i$求和可知上式$\iff \displaystyle \sum_{i=0}^{\infty} \frac{u_i}{1-\lambda_i}<\infty$，因此$X$是正常返当且仅当$\displaystyle \sum_{i=0}^{\infty} \frac{u_i}{1-\lambda_i}<\infty$。
        }
    \end{enumerate}
    \questionandanswerProof[10]{
        设不可约正常返马氏链$X$的转移概率矩阵为$(p_{i,j})_{i,j \in S}$，$\pi=(\pi_i, i \in S)$为平稳分布。令$Y_n=(X_n,X_{n+1})$。证明$Y=\{ Y_n\ ;\ n\geqslant 0 \}$是状态空间为$\mathcal{M} = \{ (i,j)\ ;\ i,j \in S, p_{i,j} >0 \}$的不可约正常返马氏链，平稳分布为$(\pi_i p_{i,j}, (i,j) \in \mathcal{M})$。
    }{
        因为$X$是不可约正常返马氏链，所以$\forall i,j,k,l \in S \text{且满足} p_{ij}>0, p_{kl}>0$（即 $\forall (i,j), (k,l) \in \mathcal{M}$）， $\exists n_0 \in \mathbb{N}, \ \ \text{s.t.} \ p_{ik}^{(n_0)} >0$，从而
        $$
        p_{(i,j)(k,l)}^{(n_0)} = p_{ik}^{(n_0)} p_{kl}>0
        $$
        即$Y$的任意两个状态都可互通，所以$Y$是不可约的。

        因为$X$是正常返的，所以对于$\forall (i,j)\in \mathcal{M}$， $\sum_{n=1}^{\infty} p_{ii}^{(n)}<\infty$，所以
        $$
        p_{(i,j)(i,j)}^{(n)} = p_{ii}^{(n)} p_{ij} \implies \sum_{n=1}^{\infty} p_{(i,j)(i,j)}^{(n)} = \sum_{n=1}^{\infty} p_{ii}^{(n)} p_{ij} <\infty
        $$
        所以$Y$是正常返的。

        因为$\pi=(\pi_i, i \in S)$为$X$的平稳分布，所以对于$\forall (i,j), (j,k)\in \mathcal{M}$，$\pi_i p_{ij} = \pi_j$，所以
        $$
        \pi_i p_{ij} p_{(i,j)(j,k)} = \pi_i p_{ij} p_{jk} = \pi_j p_{jk}
        $$
        所以$(\pi_i p_{ij}, (i,j) \in \mathcal{M})$为$Y$的平稳分布。
    }
\end{enumerate}
\end{document}