248 lines
12 KiB
TeX
248 lines
12 KiB
TeX
\documentclass[全部作业]{subfiles}
|
||
\input{mysubpreamble}
|
||
\begin{document}
|
||
\setcounter{chapter}{3}
|
||
\setcounter{section}{3}
|
||
\section{练习题\thesection}
|
||
\begin{enumerate}
|
||
\questionandanswerProof[1]{
|
||
对有限状态马氏链$X$，证明 (1) $X$没有状态零常返，(2)若$X$不可约，那么$X$是正常返的。
|
||
}{
|
||
假设状态$i$零常返，则$f_{ii}=1, m_{ii}=+\infty$，又由于$m_{ii}=f_{ii}+\sum_{j\neq i} p_{ij} f_{ji}$。根据性质3.2.19，因为$i$常返且$i \to j$，所以$f_{ji} =1$，从而$+\infty = 1+\sum_{j\neq i} p_{ij}$，而$\sum_{j\neq i} p_{ij} $为有限个有限的数求和，所以不可能为$+\infty$，产生矛盾，所以状态$i$不是零常返，即$X$没有状态零常返。
|
||
|
||
若$X$不可约，则$X$是本质类，又因为$X$的状态有限，所以$X$是常返类；又因为$X$没有状态零常返，所以$X$是正常返的。
|
||
}
|
||
\questionandanswerSolution[3]{
|
||
设$X$是一个不可约非常返的马氏链，令
|
||
$$
|
||
l_j = \sup \{ n\geqslant 0, X_n=j, X_k \neq j, k>n \},
|
||
$$
|
||
即$l_j$是$X$最后一次到达状态$j$的时间。假定$X$从$j$出发，求$l_j$的分布和均值。
|
||
}{
|
||
$$
|
||
P(l_j = n) = P_j(X_n=j, X_k \neq j, \forall k>n) = p_{jj}^{(n)} \cdot \sum_{k\neq j} e_{jk}
|
||
$$
|
||
$$
|
||
E(l_j) = \sum_{n=1}^{\infty} n P(l_j=n) = \sum_{n=1}^{\infty} n p_{jj}^{(n)} \sum_{k\neq j} e_{jk}
|
||
$$
|
||
}
|
||
\questionandanswerSolution[4]{
|
||
设$X$的转移概率矩阵为$\begin{bmatrix}
|
||
0 & 1 & 0 \\
|
||
\frac{1}{4} & \frac{1}{2} & \frac{1}{4} \\
|
||
0 & 1 & 0 \\
|
||
\end{bmatrix}$，求$X$的平稳分布。
|
||
}{
|
||
设$M = (\pi_1, \pi_2, \pi_3)$，$P$为转移概率矩阵，则根据$M=MP$以及$\pi_1+\pi_2+\pi_3=1$可以列出方程组如下：
|
||
$$
|
||
\begin{cases}
|
||
\pi_1=\frac{1}{4}\pi_2 \\
|
||
\pi_2=\pi_1+\frac{1}{2}\pi_2+\pi_3 \\
|
||
\pi_3=\frac{1}{4}\pi_2 \\
|
||
\pi_1+\pi_2+\pi_3=1 \\
|
||
\end{cases}
|
||
$$
|
||
解得$(\pi_1,\pi_2,\pi_3)=\left(\frac{1}{6},\frac{2}{3},\frac{1}{6}\right)$，此即为$X$的平稳分布。
|
||
}
|
||
\questionandanswerSolution[5]{
|
||
一个月后小明有两天假期,他就打算只要假期里有一天的天气晴朗就出去
|
||
旅行. 为此他查阅了气象资料,发现每日天气晴朗(0)与非晴朗(1)之间的
|
||
变化可以近似用时齐马氏链来刻画,转移概率矩阵为$\begin{pmatrix}
|
||
\frac{1}{2} & \frac{1}{2} \\
|
||
\frac{1}{4} & \frac{3}{4} \\
|
||
\end{pmatrix}$。试估计小明能出去旅行的概率。
|
||
}{
|
||
设这两天假期的天气为$X_0$和$X_1$，状态空间为$S=\{ 0,1 \}$，则小明能出去旅行的概率为
|
||
$$
|
||
\begin{aligned}
|
||
P(X_0=0)+P(X_0=1, X_1=0) & = P(X_0=0)+P(X_0=1)P(X_1=0|X_0=1) \\
|
||
& = P(X_0=0)+P(X_0=1)p_{10} \\
|
||
\end{aligned}
|
||
$$
|
||
|
||
由于每日天气之间的变化可以近似用时齐马氏链来刻画，且天气是一个稳定的系统，所以可以认为天气的初始分布为平稳分布，即$P(X_0=0)$和$P(X_0=1)$可以使用平稳分布的概率来计算。
|
||
|
||
设$M=(\pi_1,\pi_2)$，$P$为转移概率矩阵，则根据$M=MP$以及$\pi_1+\pi_2=1$可以列出方程组如下：
|
||
$$
|
||
\begin{cases}
|
||
\pi_0=\frac{1}{2}\pi_0+\frac{1}{4}\pi_1 \\
|
||
\pi_1=\frac{1}{2}\pi_0+\frac{3}{4}\pi_1 \\
|
||
\pi_0+\pi_1=1 \\
|
||
\end{cases}
|
||
$$
|
||
解得$(\pi_0,\pi_1)=\left( \frac{1}{3},\frac{2}{3} \right) $，此即为天气的平稳分布，所以$P(X_0=0)=\frac{1}{3}$, $P(X_0=1)=\frac{2}{3}$，所以小明能出去旅行的概率为$\displaystyle \frac{1}{3}+\frac{2}{3}\times \frac{1}{4} = \frac{1}{2}$。
|
||
}
|
||
\questionandanswerSolution[6]{
|
||
某人有$M$把伞并在办公室和家之间往返：出门上班时下雨并家里有伞就
|
||
带把伞去办公室；下班回家时下雨且办公室有伞就带把伞回家。其它时候
|
||
都不带伞。假设每天上下班时是否下雨是独立同分布的，下雨的概率为$p$，
|
||
不下雨的概率为$1-p$，问此人出门上班时碰到下雨且没有雨伞的概率。
|
||
}{
|
||
设$X=\{ X_i\ :\ i \in \mathbb{Z} \}$表示某天上班之前家里的伞的数量，则显然$X$是时齐马氏链。为了求出转移概率矩阵，可以梳理出下表：
|
||
\begin{center}
|
||
\begin{tabular}{ccccc}
|
||
\toprule
|
||
上班 & \multicolumn{2}{c}{下雨} & \multicolumn{2}{c}{不下雨} \\
|
||
\midrule
|
||
下班 & 下雨 & 不下雨 & 下雨 & 不下雨 \\
|
||
\midrule
|
||
概率 & $p^{2}$ & $p(1-p)$ & $p(1-p)$ & $(1-p)^{2}$ \\
|
||
$X$的变化 & $0$ & $-1$ & $+1$ & $0$ \\
|
||
\bottomrule
|
||
\end{tabular}
|
||
\end{center}
|
||
需要注意的是，$0$和$M$为$X$的边界，即当$X=0$时不能再减少，当$X=M$时不能再增加，所以转移概率矩阵为：
|
||
$$
|
||
P = \begin{bmatrix}
|
||
1-p+p^{2} & p(1-p) & 0 & \cdots & 0 & 0 & 0 \\
|
||
p(1-p) & p^{2}+(1-p)^{2} & p(1-p) & \cdots & 0 & 0 & 0 \\
|
||
0 & p(1-p) & p^{2}+(1-p)^{2} & \cdots & 0 & 0 & 0 \\
|
||
\vdots & \vdots & \vdots & \ddots & \vdots & \vdots & \vdots \\
|
||
0 & 0 & 0 & \cdots & p^{2}+(1-p)^{2} & p(1-p) & 0 \\
|
||
0 & 0 & 0 & \cdots & p(1-p) & p^{2}+(1-p)^{2} & p(1-p) \\
|
||
0 & 0 & 0 & \cdots & 0 & p(1-p) & 1-p+p^{2} \\
|
||
\end{bmatrix}
|
||
$$
|
||
根据$\begin{bmatrix}
|
||
\pi_0 & \pi_1 & \cdots & \pi_{M} \\
|
||
\end{bmatrix}P = \begin{bmatrix}
|
||
\pi_0 & \pi_1 & \cdots & \pi_{M} \\
|
||
\end{bmatrix}$以及$\pi_0+\pi_1+ \cdots +\pi_{M}=1$可以解得
|
||
$$
|
||
\pi_0=\pi_1=\cdots=\pi_{M}=\frac{1}{M+1}
|
||
$$
|
||
（直观上这么复杂的一个系统，竟然处于任何一个状态的概率都是相同的！）
|
||
|
||
此即为$X$的平稳分布，所以$P(X=0) = \dfrac{1}{M+1}$。
|
||
$$
|
||
P(\text{此人出门上班时碰到下雨且没有雨伞}) = p P(X=0) = \frac{p}{M+1}
|
||
$$
|
||
}
|
||
\questionandanswer[7]{
|
||
设$X$的状态空间$S=\mathbb{N}$，对任意$n\geqslant 0$，转移概率$p_{n,n+1}=p_{n}$, $p_{n,0}=1-p_n$，其中$p_n\in (0,1)$。求
|
||
}{}
|
||
\begin{enumerate}
|
||
\questionandanswerSolution[]{
|
||
能保证$0$是常返状态的条件；
|
||
}{
|
||
只需要考虑$f_{00} = \sum_{n=1}^{\infty} f_{00}^{(n)}=1$的条件。由于
|
||
$$
|
||
\begin{cases}
|
||
f_{00}^{(1)}=p_{00}=1-p_0 \\
|
||
f_{00}^{(2)}=p_{01} p_{10} = p_0(1-p_1)=p_0-p_0p_1 \\
|
||
f_{00}^{(3)}=p_{01}p_{12}p_{20}=p_0p_1(1-p_2)=p_0p_1-p_0p_1p_2 \\
|
||
\cdots \\
|
||
\end{cases}
|
||
$$
|
||
所以 $\displaystyle \sum_{n=0}^{m} f_{00}^{(n)}=1-\prod_{n=0}^{m-1} p_{i}$, \quad $\displaystyle \sum_{n=0}^{\infty} f_{00}^{(n)}= \lim_{m \to \infty} \sum_{n=0}^{m} f_{00}^{(n)}=\lim_{m \to \infty}\left( 1- \prod_{n=0}^{m-1} p_{i} \right) = 1$，所以能保证$0$是常返状态的条件为
|
||
$$
|
||
\prod_{n=0}^{\infty} p_i = 0, \quad \text{即}\ p_0p_1p_2\cdots = 0
|
||
$$
|
||
}
|
||
\questionandanswerSolution[]{
|
||
能保证$0$是正常返状态的条件；
|
||
}{
|
||
$0$是正常返状态即$m_{00}<\infty$，所以
|
||
$$
|
||
\begin{cases}
|
||
m_{00} = 1+p_0 m_{10} <\infty \implies p_0 = 0 \text{或} m_{10}<\infty \\
|
||
m_{10} = 1+p_1m_{20}<\infty \implies p_1=0\text{或} m_{20}<\infty \\
|
||
m_{20}=1+p_2m_{30}<\infty \implies p_2=0 \text{或}m_{30}<\infty \\
|
||
\cdots \\
|
||
\end{cases}
|
||
$$
|
||
所以能保证$0$是正常返状态的条件为$\exists n_0 \in \mathbb{N}, \ \ \text{s.t.} \ p_{n_0}=0$。也就是当$p_0, p_1,p_2, \cdots $中首次出现$0$的时候，在这个$0$前面的部分构成有限状态的本质类，从而构成正常返类，从而$0$是正常返状态。
|
||
}
|
||
\questionandanswerSolution[]{
|
||
平稳分布。
|
||
}{
|
||
转移概率矩阵为
|
||
$$
|
||
P = \begin{bmatrix}
|
||
1-p_0 & p_0 & 0 & 0 & \cdots \\
|
||
1-p_1 & 0 & p_1 & 0 & \cdots \\
|
||
1-p_2 & 0 & 0 & p_2 & \cdots \\
|
||
\vdots & \vdots & \vdots & \vdots & \ddots \\
|
||
\end{bmatrix}
|
||
$$
|
||
根据$\begin{bmatrix}
|
||
\pi_0 & \pi_1 & \pi_2 & \cdots \\
|
||
\end{bmatrix} P = \begin{bmatrix}
|
||
\pi_0 & \pi_1 & \pi_2 & \cdots \\
|
||
\end{bmatrix}$以及$\pi_0+\pi_1+\pi_2+ \cdots =1$可以解得
|
||
$$
|
||
\begin{cases}
|
||
\pi_0=\frac{1}{1+p_0+p_0p_1+p_0p_1p_2+ \cdots } \\
|
||
\pi_1=\frac{p_0}{1+p_0+p_0p_1+p_0p_1p_2+ \cdots } \\
|
||
\pi_2=\frac{p_0p_1}{1+p_0+p_0p_1+p_0p_1p_2+ \cdots } \\
|
||
\cdots \\
|
||
\end{cases}
|
||
$$
|
||
即 $\forall i\in \mathbb{N}, \ \displaystyle \pi_i = \frac{\prod_{j=1}^{i} p_i}{\sum_{n=1}^{\infty} \prod_{j=1}^{n} p_i}$，此即为$X$的平稳分布。
|
||
}
|
||
\end{enumerate}
|
||
\questionandanswer[8]{
|
||
设$X$的转移概率满足：对任意$i,j \in S=\mathbb{N}, p_{i,i}=\lambda_i+(1-\lambda_i)u_i$；而$i\neq j$时，$p_{i,j}=(1-\lambda_i)u_j$，其中$u_j>0$，$\displaystyle \sum_{j=0}^{\infty} u_j=1, 0<\lambda_i<1$。证明
|
||
}{}
|
||
\begin{enumerate}
|
||
\questionandanswerProof[]{
|
||
$X$是常返的；
|
||
}{
|
||
首先写出转移概率矩阵：
|
||
$$
|
||
P=\begin{bmatrix}
|
||
\lambda_0+(1-\lambda_0)u_0 & (1-\lambda_0)u_1 & (1-\lambda_0)u_2 & \cdots \\
|
||
(1-\lambda_1)u_0 & \lambda_1+(1-\lambda_1)u_1 & (1-\lambda_1)u_2 & \cdots \\
|
||
(1-\lambda_2)u_0 & (1-\lambda_2)u_1 & \lambda_2+(1-\lambda_2)u_2 & \cdots \\
|
||
\vdots & \vdots & \vdots & \vdots \\
|
||
\end{bmatrix}
|
||
$$
|
||
观察后可以发现
|
||
$$
|
||
P=\begin{bmatrix}
|
||
1-\lambda_0 \\
|
||
1-\lambda_1 \\
|
||
1-\lambda_2 \\
|
||
\vdots \\
|
||
\end{bmatrix} \begin{bmatrix}
|
||
u_0 & u_1 & u_2 & \cdots \\
|
||
\end{bmatrix} + \operatorname{diag}(\lambda_0,\lambda_1,\lambda_2, \cdots )
|
||
$$
|
||
所以$\forall i \in \mathbb{N}, p_{ii}^{(n)}=P^{n}(i, i)$，计算后可以发现$n \to \infty$时，$p_{ii}^{(n)}$不以$0$为极限，所以$i$常返，从而$X$是常返的。
|
||
}
|
||
\questionandanswerProof[]{
|
||
$X$是正常返当且仅当$\displaystyle \sum_{i=0}^{\infty} \frac{u_i}{1-\lambda_i}<\infty$。
|
||
}{
|
||
$\forall i \in \mathbb{N}$，由于$X$常返，所以$f_{ii}=1$，从而有
|
||
$$
|
||
\begin{aligned}
|
||
X_i \text{正常返} &\iff m_{ii}=f_{ii}+\sum_{j\neq i} p_{ij} m_{ji} = 1+\sum_{j\neq i} (1-\lambda_i)u_j m_{ji}<\infty \\
|
||
&\iff\forall j \in \mathbb{N}, (1-\lambda_i)u_j <\infty \\
|
||
\end{aligned}
|
||
$$
|
||
对$i$求和可知上式$\iff \displaystyle \sum_{i=0}^{\infty} \frac{u_i}{1-\lambda_i}<\infty$，因此$X$是正常返当且仅当$\displaystyle \sum_{i=0}^{\infty} \frac{u_i}{1-\lambda_i}<\infty$。
|
||
}
|
||
\end{enumerate}
|
||
\questionandanswerProof[10]{
|
||
设不可约正常返马氏链$X$的转移概率矩阵为$(p_{i,j})_{i,j \in S}$，$\pi=(\pi_i, i \in S)$为平稳分布。令$Y_n=(X_n,X_{n+1})$。证明$Y=\{ Y_n\ ;\ n\geqslant 0 \}$是状态空间为$\mathcal{M} = \{ (i,j)\ ;\ i,j \in S, p_{i,j} >0 \}$的不可约正常返马氏链，平稳分布为$(\pi_i p_{i,j}, (i,j) \in \mathcal{M})$。
|
||
}{
|
||
因为$X$是不可约正常返马氏链，所以$\forall i,j,k,l \in S \text{且满足} p_{ij}>0, p_{kl}>0$（即 $\forall (i,j), (k,l) \in \mathcal{M}$）， $\exists n_0 \in \mathbb{N}, \ \ \text{s.t.} \ p_{ik}^{(n_0)} >0$，从而
|
||
$$
|
||
p_{(i,j)(k,l)}^{(n_0)} = p_{ik}^{(n_0)} p_{kl}>0
|
||
$$
|
||
即$Y$的任意两个状态都可互通，所以$Y$是不可约的。
|
||
|
||
因为$X$是正常返的，所以对于$\forall (i,j)\in \mathcal{M}$， $\sum_{n=1}^{\infty} p_{ii}^{(n)}<\infty$，所以
|
||
$$
|
||
p_{(i,j)(i,j)}^{(n)} = p_{ii}^{(n)} p_{ij} \implies \sum_{n=1}^{\infty} p_{(i,j)(i,j)}^{(n)} = \sum_{n=1}^{\infty} p_{ii}^{(n)} p_{ij} <\infty
|
||
$$
|
||
所以$Y$是正常返的。
|
||
|
||
因为$\pi=(\pi_i, i \in S)$为$X$的平稳分布，所以对于$\forall (i,j), (j,k)\in \mathcal{M}$，$\pi_i p_{ij} = \pi_j$，所以
|
||
$$
|
||
\pi_i p_{ij} p_{(i,j)(j,k)} = \pi_i p_{ij} p_{jk} = \pi_j p_{jk}
|
||
$$
|
||
所以$(\pi_i p_{ij}, (i,j) \in \mathcal{M})$为$Y$的平稳分布。
|
||
}
|
||
\end{enumerate}
|
||
\end{document} |