\documentclass[全部作业]{subfiles}
\input{mysubpreamble}
\begin{document}
\setcounter{chapter}{4}
\section{练习题\thesection}
\begin{enumerate}
    \questionandanswerSolution[2]{
        总共$m$个白球和$m$个黑球分别放在A,B两个坛子中，每个坛子有$m$个球，每次从这两个坛子中各随机地取一个球并把它们交换后放回。以$X_n$表示经过$n$次后A坛中黑球个数。求$X_n$的平稳分布。
    }{
        当$X=i$时，此时的球的数量为 \qquad 
        \begin{tabular}{ccc}
        \toprule
           & A & B \\
        \midrule
         黑 & $i$ & $m-i$ \\
         白 & $m-i$ & $i$ \\
        \bottomrule
        \end{tabular}

        则下一时刻的情况为
        \begin{center}
            \begin{tabular}{ccccc}
            \toprule
               & A黑B黑 & A白B白 & A黑B白 & A白B黑 \\
               \midrule
             概率 & $\frac{i(m-i)}{m^{2}}$ & $\frac{i(m-i)}{m^{2}}$ & $\frac{i^{2}}{m^{2}}$ & $\frac{(m-i)^{2}}{m^{2}}$ \\
              $X$的变化 & $0$ & $0$ & $-1$ & $+1$ \\
            \bottomrule
            \end{tabular}
        \end{center}

        所以一步转移概率为 $p_{i,i-1}=\frac{i^{2}}{m^{2}}$, $p_{i,i+1}=\frac{(m-i)^{2}}{m^{2}}$, $p_{ii} = \frac{2i(m-i)}{m^{2}}$。

        根据细致平衡条件，$\pi_i p_{i,i-1} = \pi_{i-1} p_{i-1, i}$，可得 $\pi_i \frac{i^{2}}{m^{2}}=\frac{(m-i+1)^{2}}{m^{2}} \pi_{i-1}$，所以$\frac{\pi_i}{\pi_{i-1}} = \frac{(m-i+1)^{2}}{i^{2}}$。所以
        $$
        \pi_j = \pi_0 \prod_{i=0}^{j} \frac{\pi_i}{\pi_{i-1}}  = \pi_0 \prod_{i=0}^{j} \frac{(m-i+1)^{2}}{i^{2}} = \pi_0 \left( \mathrm{C}_{m}^{j} \right) ^{2}
        $$
        根据
        $$
        \sum_{j=0}^{m} \left( \mathrm{C}_{m}^{j} \right) ^{2} \pi_0 = 1
        $$
        可得$\pi_0 = \frac{1}{\sum_{j=0}^{m} \left( \mathrm{C}_{m}^{j} \right) ^{2}}$，所以$\pi_j = \frac{(\mathrm{C}_{m}^{j})^{2}}{\sum_{j=0}^{m} (\mathrm{C}_{m}^{j})^{2}}$。所以$X_n$的平稳分布为
        $$
        \left\{ \frac{\left( \mathrm{C}_{m}^{j} \right) ^{2}}{\sum_{j=0}^{m} \left( \mathrm{C}_{m}^{j} \right) ^{2}}\ \middle|\ j=0,1, \cdots ,m \right\}
        $$
    }
    \questionandanswerProof[3]{
        证明当$q>p$时带一个反射壁的简单随机游动是可逆的，并由此求$m_{00}$。
    }{
        题目中只交代了带一个反射壁，没说反射壁在左侧还是右侧，根据后面要求的$m_{00}$来看，这里就认为在$0$的左侧吧。
        首先写出转移概率$p_{01} = 1$, $\forall i \in \mathbb{N}^{+}$, $p_{i,i+1}=p$, $p_{i, i-1}=p$。根据细致平衡条件，$\pi_{i}p_{i,i+1}=\pi_{i+1}p_{i+1,i}$，所以
        $$
        \pi_1 q = \pi_0 \cdot 1, \qquad \forall i \in \mathbb{N}^{+}, \pi_i p =\pi_{i+1}q
        $$
        所以
        $$
        \pi_0 = \pi_1 q, \qquad \forall i \in \mathbb{N}^{+}, \pi_{i+1} = \frac{p}{q} \pi_i
        $$
        所以$\displaystyle \forall  j \in \mathbb{N}^{+}, \pi_j = \pi_1\prod_{i=1}^{j-1} \frac{p}{q}$，再根据$\displaystyle \sum_{j=0}^{\infty} \pi_j = 1$可得
        $$
        1 = \left( \sum_{j=1}^{\infty} \left( \frac{p}{q} \right)^{j-1} +q \right) \pi_1 = \left( \frac{1}{1-\frac{p}{q}} + q\right)  \pi_1 = \frac{q^{2}-pq+q}{q-p} \pi_1
        $$
        所以$\displaystyle \pi_1 = \frac{q-p}{q^{2}-qp+q}$，$\displaystyle \pi_0 = \pi_1q = \frac{q-p}{q-p+1}$。
        所以
        $\displaystyle m_{00} = \frac{1}{\pi_0} = \frac{q-p+1}{q-p}$。
    }
    \questionandanswerProof[4]{
        若$X$的转移概率矩阵为$(p_{i,j})$，$\pi=(\pi_i, i \in S)$是$X$的可逆分布。证明对任意$n\geqslant 1$，$\pi_i p_{ij}^{(n)} = \pi_j p_{ji}^{(n)}$。
    }{
        对$n$进行数学归纳法，当$n=1$时，由于$pi$是$X$的可逆分布，根据可逆分布的定义可知成立。
        
        当$n > 1$时，假设$n-1$时结论成立，即$\pi_i p_{ij}^{(n-1)} = \pi_j p_{ji}^{(n-1)}$，则对于$n$，
        $$
        \begin{aligned}
        \pi_i p_{ij}^{(n)} &= \pi_i \sum_{k \in S} p_{ik}^{(n-1)} p_{kj} = \sum_{k \in S} \pi_i p_{ik}^{(n-1)} p_{kj} = \sum_{k \in S} \pi_k p_{ki}^{(n-1)} p_{kj} \\
        &=\sum_{k \in S} \pi_k p_{kj} p_{ki}^{(n-1)} = \sum_{k \in S} \pi_j p_{jk} p_{ki}^{(n-1)} = \pi_j p_{ji}^{(n)} \\
        \end{aligned}
        $$
        所以对任意$n \geqslant 1$，$\pi_i p_{ij}^{(n)} =\pi_j p_{ji}^{(n)}$。
    }
    \questionandanswer[5]{
        设不可约马氏链$X$的转移概率矩阵$\textbf{P}$是双随机的，即每行元素之和为1，每列元素之和也为1。证明
    }{}
    \begin{enumerate}
        \questionandanswerProof[]{
            $X$是正常返的当且仅当$X$是有限状态马氏链；
        }{
            “$\impliedby $”：由于$P$是双随机的，且状态有限，所以离散均匀分布为$X$的平稳分布，又因为$X$不可约，所以$X$是正常返的。

            “$\implies $”：由于$X$是正常返的，所以$X$存在唯一的平稳分布。由于$P$是双随机的，所以$(1,1,1, \cdots )$是一个不变测度。又因为平稳分布是不变测度的倍数且唯一，即$\exists a>0, \ \ \text{s.t.} \ (a,a,a, \cdots )$是平稳分布，所以$a+a+a+ \cdots  =1$，所以$X$一定是有限状态马氏链。
        }
        \questionandanswerProof[]{
            $X$是可逆的当且仅当$\textbf{P}$是有限阶的对称矩阵。
        }{
            “$\impliedby $”：由于$P$是有限阶的对称矩阵，设为$n$阶，即$P = (p_{ij})_{n\times n}$，则$\forall i,j =1,2, \cdots ,n$，$p_{ij} =p_{ji}$，所以当$\pi = (\frac{1}{n},\frac{1}{n}, \cdots , \frac{1}{n})$时，$\pi_i p_{ij} = \pi_j p_{ji}$，即$\pi$满足细致平衡条件，从而$\pi$是$X$的可逆分布，所以$X$是可逆的。

            “$\implies $”：因为$X$是可逆的且不可约，所以$X$正常返，根据上一小题的结论，$X$状态有限（设为$n$个状态），且平稳分布为$\pi=(\frac{1}{n},\frac{1}{n}, \cdots ,\frac{1}{n})$。根据细致平衡条件有$\forall i, j = 1,2, \cdots , \pi_i p_{ij} = \pi_j p_{ji}$，又因为$\pi_i =\pi_j$，所以$p_{ij}=p_{ji}$，即$P$是有限阶的对称矩阵。
        }
    \end{enumerate}
    \questionandanswerProof[6]{
        若对任意$i, j \in S$，$p_{ij}>0$，那么以$\left( p_{i,j} \right) _{i,j \in S}$为转移概率矩阵的正常返马氏链是可逆的当且仅当对任意的$i,j,k \in S$，$p_{ij} p_{jk} p_{ki} = p_{ik} p_{kj} p_{ji}$。
    }{
        “$\implies $”：根据定理4.1.4，从任意一状态触发回到改状态的路径与它的反向路径有相同的概率，所以$p_{ij} p_{jk} p_{ki} = p_{ik} p_{kj} p_{ji}$。

        “$\impliedby $”：
    }
    \questionandanswer[8]{
        给定整数$N>1$。设$X=\{ X_n\ :\ n=0,1, \cdots ,N \}$是转移概率矩阵为$P=\left( p_{ij} \right) _{i,j \in S}$的时齐马氏链。对任意$n = 0,1, \cdots ,N$，定义$Y_n = X_{N-n}$。
    }{}
    \begin{enumerate}
        \questionandanswerProof[]{
            证明：$Y=\{ Y_n\ :\ n=0,1, \cdots ,N \}$是马氏链，但未必时齐。
        }{
            $$
            \begin{aligned}
            &\forall n = 0,1, \cdots ,N-1,\quad  i_0, i_1, \cdots i_{N} \in S, \\
            &P(Y_{n+1}=i_{n+1}|Y_n=i_{n}, \cdots , Y_0=0) \\
            =&P(X_{N-n-1}=i_{n+1}|X_{N-n}=n, \cdots , X_{N}=0) \\
            =& \frac{P(X_{N-n-1}=i_{n+1}, X_{N-n}=i_n, \cdots , X_{N}=0)}{P(X_{N-n}=i_n, \cdots ,X_{N}=0)} \\
            =& \frac{P(X_{N-n-1}=i_{n+1}) P(X_{N-n}=i_n|X_{N-n-1}=i_{n+1})\cdots P(X_{N}=i_0|X_{N-1}=i_1)}{P(X_{N-n}=i_{N-n})P(X_{N-n+1} =i_{n-1}|X_{N-n}=i_{n})\cdots P(X_{N}=i_0| X_{N-1}=i_1)} \\
            =&\frac{P(X_{N-n-1}=i_{n+1})P(X_{N-n}=i_{n}|X_{N-n-1}=i_{n+1})}{P(X_{N-n}=i_{n})} \\
            =&P(X_{N-n-1}=i_{n+1}|X_{N-n}=i_{n}) \\
            =&P(Y_{n+1}=i_{n+1}|Y_{n}=i_{n}) \\
            \end{aligned}
            $$
            所以$Y$是马氏链，但未必时齐。
        }
        \questionandanswerProof[]{
            证明：当$X$的初始分布是$X$的平稳分布时，$Y$是时齐马氏链。并写出$Y$的一步转移概率。
        }{
            设$X$的平稳分布为$\pi=\{ \pi_i\ ;\ i \in S \}$，则
            $$
            p'_{ij} = P(Y_{n+1}=j|Y_{n}=i) = \frac{P(X_{N-n-1}=j)P(X_{N-n}=i|X_{N-n-1}=j)}{P(X_{N-n}=i)} = \frac{\pi_{j} p_{ji}}{\pi_{i}}
            $$
            这就是$Y$的一步转移概率，并且与$n$无关，所以$Y$是时齐马氏链。
        }
        \questionandanswerProof[]{
            证明：当$X$的初始分布是$X$的可逆分布时，两个过程$X$与$Y$同分布。
        }{
            设$X$的初始分布是$\mu$，也是$X$的可逆分布。由于$X$的可逆分布必定是$X$的平稳分布，所以由上一小题，$\displaystyle p'_{ij} = \frac{\mu_j p_{ji}}{\mu_i} = \frac{\mu_i p_{ij}}{\mu_{i}} = p_{ij}$，所以$Y$的一步转移概率与$X$相同，所以$X$与$Y$同分布。
        }
    \end{enumerate}
\end{enumerate}
\end{document}
