\documentclass[全部作业]{subfiles} \input{mysubpreamble} \begin{document} \setcounter{chapter}{4} \section{练习题\thesection} \begin{enumerate} \questionandanswerSolution[2]{ 总共$m$个白球和$m$个黑球分别放在A,B两个坛子中，每个坛子有$m$个球，每次从这两个坛子中各随机地取一个球并把它们交换后放回。以$X_n$表示经过$n$次后A坛中黑球个数。求$X_n$的平稳分布。 }{ 当$X=i$时，此时的球的数量为 \qquad \begin{tabular}{ccc} \toprule & A & B \\ \midrule 黑 & $i$ & $m-i$ \\ 白 & $m-i$ & $i$ \\ \bottomrule \end{tabular} 则下一时刻的情况为 \begin{center} \begin{tabular}{ccccc} \toprule & A黑B黑 & A白B白 & A黑B白 & A白B黑 \\ \midrule 概率 & $\frac{i(m-i)}{m^{2}}$ & $\frac{i(m-i)}{m^{2}}$ & $\frac{i^{2}}{m^{2}}$ & $\frac{(m-i)^{2}}{m^{2}}$ \\ $X$的变化 & $0$ & $0$ & $-1$ & $+1$ \\ \bottomrule \end{tabular} \end{center} 所以一步转移概率为 $p_{i,i-1}=\frac{i^{2}}{m^{2}}$, $p_{i,i+1}=\frac{(m-i)^{2}}{m^{2}}$, $p_{ii} = \frac{2i(m-i)}{m^{2}}$。 根据细致平衡条件，$\pi_i p_{i,i-1} = \pi_{i-1} p_{i-1, i}$，可得 $\pi_i \frac{i^{2}}{m^{2}}=\frac{(m-i+1)^{2}}{m^{2}} \pi_{i-1}$，所以$\frac{\pi_i}{\pi_{i-1}} = \frac{(m-i+1)^{2}}{i^{2}}$。所以 $$ \pi_j = \pi_0 \prod_{i=0}^{j} \frac{\pi_i}{\pi_{i-1}} = \pi_0 \prod_{i=0}^{j} \frac{(m-i+1)^{2}}{i^{2}} = \pi_0 \left( \mathrm{C}_{m}^{j} \right) ^{2} $$ 根据 $$ \sum_{j=0}^{m} \left( \mathrm{C}_{m}^{j} \right) ^{2} \pi_0 = 1 $$ 可得$\pi_0 = \frac{1}{\sum_{j=0}^{m} \left( \mathrm{C}_{m}^{j} \right) ^{2}}$，所以$\pi_j = \frac{(\mathrm{C}_{m}^{j})^{2}}{\sum_{j=0}^{m} (\mathrm{C}_{m}^{j})^{2}}$。所以$X_n$的平稳分布为 $$ \left\{ \frac{\left( \mathrm{C}_{m}^{j} \right) ^{2}}{\sum_{j=0}^{m} \left( \mathrm{C}_{m}^{j} \right) ^{2}}\ \middle|\ j=0,1, \cdots ,m \right\} $$ } \questionandanswerProof[3]{ 证明当$q>p$时带一个反射壁的简单随机游动是可逆的，并由此求$m_{00}$。 }{ 题目中只交代了带一个反射壁，没说反射壁在左侧还是右侧，根据后面要求的$m_{00}$来看，这里就认为在$0$的左侧吧。 首先写出转移概率$p_{01} = 1$, $\forall i \in \mathbb{N}^{+}$, $p_{i,i+1}=p$, $p_{i, i-1}=p$。根据细致平衡条件，$\pi_{i}p_{i,i+1}=\pi_{i+1}p_{i+1,i}$，所以 $$ \pi_1 q = \pi_0 \cdot 1, \qquad \forall i \in \mathbb{N}^{+}, \pi_i p =\pi_{i+1}q $$ 所以 $$ \pi_0 = \pi_1 q, \qquad \forall i \in \mathbb{N}^{+}, \pi_{i+1} = \frac{p}{q} \pi_i $$ 所以$\displaystyle \forall j \in \mathbb{N}^{+}, \pi_j = \pi_1\prod_{i=1}^{j-1} \frac{p}{q}$，再根据$\displaystyle \sum_{j=0}^{\infty} \pi_j = 1$可得 $$ 1 = \left( \sum_{j=1}^{\infty} \left( \frac{p}{q} \right)^{j-1} +q \right) \pi_1 = \left( \frac{1}{1-\frac{p}{q}} + q\right) \pi_1 = \frac{q^{2}-pq+q}{q-p} \pi_1 $$ 所以$\displaystyle \pi_1 = \frac{q-p}{q^{2}-qp+q}$，$\displaystyle \pi_0 = \pi_1q = \frac{q-p}{q-p+1}$。 所以 $\displaystyle m_{00} = \frac{1}{\pi_0} = \frac{q-p+1}{q-p}$。 } \questionandanswerProof[4]{ 若$X$的转移概率矩阵为$(p_{i,j})$，$\pi=(\pi_i, i \in S)$是$X$的可逆分布。证明对任意$n\geqslant 1$，$\pi_i p_{ij}^{(n)} = \pi_j p_{ji}^{(n)}$。 }{ 对$n$进行数学归纳法，当$n=1$时，由于$pi$是$X$的可逆分布，根据可逆分布的定义可知成立。 当$n > 1$时，假设$n-1$时结论成立，即$\pi_i p_{ij}^{(n-1)} = \pi_j p_{ji}^{(n-1)}$，则对于$n$， $$ \begin{aligned} \pi_i p_{ij}^{(n)} &= \pi_i \sum_{k \in S} p_{ik}^{(n-1)} p_{kj} = \sum_{k \in S} \pi_i p_{ik}^{(n-1)} p_{kj} = \sum_{k \in S} \pi_k p_{ki}^{(n-1)} p_{kj} \\ &=\sum_{k \in S} \pi_k p_{kj} p_{ki}^{(n-1)} = \sum_{k \in S} \pi_j p_{jk} p_{ki}^{(n-1)} = \pi_j p_{ji}^{(n)} \\ \end{aligned} $$ 所以对任意$n \geqslant 1$，$\pi_i p_{ij}^{(n)} =\pi_j p_{ji}^{(n)}$。 } \questionandanswer[5]{ 设不可约马氏链$X$的转移概率矩阵$\textbf{P}$是双随机的，即每行元素之和为1，每列元素之和也为1。证明 }{} \begin{enumerate} \questionandanswerProof[]{ $X$是正常返的当且仅当$X$是有限状态马氏链； }{ “$\impliedby $”：由于$P$是双随机的，且状态有限，所以离散均匀分布为$X$的平稳分布，又因为$X$不可约，所以$X$是正常返的。 “$\implies $”：由于$X$是正常返的，所以$X$存在唯一的平稳分布。由于$P$是双随机的，所以$(1,1,1, \cdots )$是一个不变测度。又因为平稳分布是不变测度的倍数且唯一，即$\exists a>0, \ \ \text{s.t.} \ (a,a,a, \cdots )$是平稳分布，所以$a+a+a+ \cdots =1$，所以$X$一定是有限状态马氏链。 } \questionandanswerProof[]{ $X$是可逆的当且仅当$\textbf{P}$是有限阶的对称矩阵。 }{ “$\impliedby $”：由于$P$是有限阶的对称矩阵，设为$n$阶，即$P = (p_{ij})_{n\times n}$，则$\forall i,j =1,2, \cdots ,n$，$p_{ij} =p_{ji}$，所以当$\pi = (\frac{1}{n},\frac{1}{n}, \cdots , \frac{1}{n})$时，$\pi_i p_{ij} = \pi_j p_{ji}$，即$\pi$满足细致平衡条件，从而$\pi$是$X$的可逆分布，所以$X$是可逆的。 “$\implies $”：因为$X$是可逆的且不可约，所以$X$正常返，根据上一小题的结论，$X$状态有限（设为$n$个状态），且平稳分布为$\pi=(\frac{1}{n},\frac{1}{n}, \cdots ,\frac{1}{n})$。根据细致平衡条件有$\forall i, j = 1,2, \cdots , \pi_i p_{ij} = \pi_j p_{ji}$，又因为$\pi_i =\pi_j$，所以$p_{ij}=p_{ji}$，即$P$是有限阶的对称矩阵。 } \end{enumerate} \questionandanswerProof[6]{ 若对任意$i, j \in S$，$p_{ij}>0$，那么以$\left( p_{i,j} \right) _{i,j \in S}$为转移概率矩阵的正常返马氏链是可逆的当且仅当对任意的$i,j,k \in S$，$p_{ij} p_{jk} p_{ki} = p_{ik} p_{kj} p_{ji}$。 }{ “$\implies $”：根据定理4.1.4，从任意一状态触发回到改状态的路径与它的反向路径有相同的概率，所以$p_{ij} p_{jk} p_{ki} = p_{ik} p_{kj} p_{ji}$。 “$\impliedby $”： } \questionandanswer[8]{ 给定整数$N>1$。设$X=\{ X_n\ :\ n=0,1, \cdots ,N \}$是转移概率矩阵为$P=\left( p_{ij} \right) _{i,j \in S}$的时齐马氏链。对任意$n = 0,1, \cdots ,N$，定义$Y_n = X_{N-n}$。 }{} \begin{enumerate} \questionandanswerProof[]{ 证明：$Y=\{ Y_n\ :\ n=0,1, \cdots ,N \}$是马氏链，但未必时齐。 }{ $$ \begin{aligned} &\forall n = 0,1, \cdots ,N-1,\quad i_0, i_1, \cdots i_{N} \in S, \\ &P(Y_{n+1}=i_{n+1}|Y_n=i_{n}, \cdots , Y_0=0) \\ =&P(X_{N-n-1}=i_{n+1}|X_{N-n}=n, \cdots , X_{N}=0) \\ =& \frac{P(X_{N-n-1}=i_{n+1}, X_{N-n}=i_n, \cdots , X_{N}=0)}{P(X_{N-n}=i_n, \cdots ,X_{N}=0)} \\ =& \frac{P(X_{N-n-1}=i_{n+1}) P(X_{N-n}=i_n|X_{N-n-1}=i_{n+1})\cdots P(X_{N}=i_0|X_{N-1}=i_1)}{P(X_{N-n}=i_{N-n})P(X_{N-n+1} =i_{n-1}|X_{N-n}=i_{n})\cdots P(X_{N}=i_0| X_{N-1}=i_1)} \\ =&\frac{P(X_{N-n-1}=i_{n+1})P(X_{N-n}=i_{n}|X_{N-n-1}=i_{n+1})}{P(X_{N-n}=i_{n})} \\ =&P(X_{N-n-1}=i_{n+1}|X_{N-n}=i_{n}) \\ =&P(Y_{n+1}=i_{n+1}|Y_{n}=i_{n}) \\ \end{aligned} $$ 所以$Y$是马氏链，但未必时齐。 } \questionandanswerProof[]{ 证明：当$X$的初始分布是$X$的平稳分布时，$Y$是时齐马氏链。并写出$Y$的一步转移概率。 }{ 设$X$的平稳分布为$\pi=\{ \pi_i\ ;\ i \in S \}$，则 $$ p'_{ij} = P(Y_{n+1}=j|Y_{n}=i) = \frac{P(X_{N-n-1}=j)P(X_{N-n}=i|X_{N-n-1}=j)}{P(X_{N-n}=i)} = \frac{\pi_{j} p_{ji}}{\pi_{i}} $$ 这就是$Y$的一步转移概率，并且与$n$无关，所以$Y$是时齐马氏链。 } \questionandanswerProof[]{ 证明：当$X$的初始分布是$X$的可逆分布时，两个过程$X$与$Y$同分布。 }{ 设$X$的初始分布是$\mu$，也是$X$的可逆分布。由于$X$的可逆分布必定是$X$的平稳分布，所以由上一小题，$\displaystyle p'_{ij} = \frac{\mu_j p_{ji}}{\mu_i} = \frac{\mu_i p_{ij}}{\mu_{i}} = p_{ij}$，所以$Y$的一步转移概率与$X$相同，所以$X$与$Y$同分布。 } \end{enumerate} \end{enumerate} \end{document}