132 lines
7.9 KiB
TeX
132 lines
7.9 KiB
TeX
|
\documentclass[全部作业]{subfiles}
|
|||
|
|
\input{mysubpreamble}
|
|||
|
|
\begin{document}
|
|||
|
|
\setcounter{chapter}{3}
|
|||
|
|
\section{《随机过程》4月8日作业}
|
|||
|
|
\begin{enumerate}
|
|||
|
|
\questionandanswerSolution[]{
|
|||
|
|
设马氏链$X$的状态空间为$S=\{ 0,1,2,3,4 \}$，一步转移概率矩阵为
|
|||
|
|
$$
|
|||
|
|
\begin{bmatrix}
|
|||
|
|
\frac{1}{3} & \frac{2}{3} & 0 & 0 & 0 \\
|
|||
|
|
0 & \frac{1}{3} & \frac{1}{3} & \frac{1}{3} & 0 \\
|
|||
|
|
\frac{3}{4} & \frac{1}{4} & 0 & 0 & 0 \\
|
|||
|
|
0 & 0 & 0 & 0 & 1 \\
|
|||
|
|
0 & 0 & 0 & \frac{1}{2} & \frac{1}{2} \\
|
|||
|
|
\end{bmatrix}
|
|||
|
|
$$
|
|||
|
|
试写出状态空间$S$中的所有互通类，判断它们是否是本质类，并说明理由。
|
|||
|
|
}{
|
|||
|
|
\begin{multicols}{2}
|
|||
|
|
\includexopp[1.5]{7.1.1}
|
|||
|
|
首先画出示意图，之后即可看出互通类为
|
|||
|
|
$$
|
|||
|
|
\{ 0,1,2 \}, \{ 3,4 \}
|
|||
|
|
$$
|
|||
|
|
|
|||
|
|
其中由于$1 \to 3$而$3 \not \to 1$，所以$\{ 0,1,2 \}$不是本质类。
|
|||
|
|
|
|||
|
|
而$3 \to 4$且$4 \to 3$，所以$\{ 3,4 \}$是本质类。
|
|||
|
|
\end{multicols}
|
|||
|
|
}
|
|||
|
|
\questionandanswerProof[]{
|
|||
|
|
在马氏链中，假设$i \leftrightarrow j$且它们的周期为$d$。证明：若$p_{ij}^{(n)}>0$且$p_{ij}^{(m)}>0$，则必有$d | (n-m)$。
|
|||
|
|
}{
|
|||
|
|
由于$i \leftrightarrow j$，则可设$p_{ji}^{(x)}>0$，所以
|
|||
|
|
$$
|
|||
|
|
p_{ii}^{(n+x)}\geqslant p_{ij}^{(n)}p_{ji}^{(x)}>0, \quad p_{ii}^{(m+x)}\geqslant p_{ij}^{(m)}p_{ji}^{(x)}>0
|
|||
|
|
$$
|
|||
|
|
又由于$i$的周期为$d$，所以$d|(n+x)$, $d|(m+x)$，则根据整除的性质，有$d|(n-m)$。
|
|||
|
|
}
|
|||
|
|
\questionandanswerProof[]{
|
|||
|
|
证明：在马氏链中，若状态$j$非常返，则对任意状态$i$，有$\displaystyle \lim_{n \to \infty} p_{ij}^{(n)}=0$。
|
|||
|
|
}{
|
|||
|
|
设状态空间为$S$。因为状态$j$非常返，所以$\displaystyle \sum_{n=1}^{\infty} p_{ii}^{(n)}<\infty$。
|
|||
|
|
|
|||
|
|
若$j \to i$，则$\exists m >0, \ \ \text{s.t.} \ p_{ji}^{(m)}>0$，所以
|
|||
|
|
$$
|
|||
|
|
\infty > \sum_{n=1}^{\infty} p_{jj}^{(n)} \geqslant \sum_{n=m}^{\infty} p_{jj}^{(n)} = \sum_{n=m}^{\infty} \sum_{k\in S}^{n} p_{jk}^{(m)}p_{kj}^{(n-m)} \geqslant \sum_{n=m}^{\infty} p_{ji}^{(m)}p_{ij}^{(n-m)} = p_{ji}^{(m)} \sum_{n=m}^{\infty} p_{ij}^{(n-m)}
|
|||
|
|
$$
|
|||
|
|
因为$p_{ji}^{(m)}>0$，所以上式可化为$\displaystyle \sum_{n=m}^{\infty} p_{ij}^{(n-m)} = \sum_{n=0}^{\infty} p_{ij}^{(n)}<\infty$。
|
|||
|
|
从而级数$\displaystyle \sum_{n=0}^{\infty} p_{ij}^{(n)}$收敛 $\implies \displaystyle \lim_{n \to \infty} p_{ij}^{(n)}=0$
|
|||
|
|
|
|||
|
|
若$j \not \to i$，则不会了。
|
|||
|
|
}
|
|||
|
|
\questionandanswerProof[]{
|
|||
|
|
证明：在马氏链中，若状态$j$为吸收态，则对任意状态$i$，有$\displaystyle \lim_{n \to \infty}p_{ij}^{(n)}=f_{ij}$。
|
|||
|
|
}{
|
|||
|
|
由于$j$为吸收态，所以$\forall i=1,2, \cdots ,n,\ p_{jj}^{(i)}=1$，所以
|
|||
|
|
$$
|
|||
|
|
\lim_{n \to \infty} p_{ij}^{(n)} = \lim_{n \to \infty} \sum_{k=1}^{n} p_{jj}^{(n-k)} f_{ij}^{(k)} = \lim_{n \to \infty} \sum_{k=1}^{n} f_{ij}^{(k)} = \sum_{k=1}^{\infty} f_{ij}^{(k)} = f_{ij}
|
|||
|
|
$$
|
|||
|
|
}
|
|||
|
|
\questionandanswerProof[]{
|
|||
|
|
证明：元素有限的本质类必是常返类。
|
|||
|
|
}{
|
|||
|
|
设本质类$S = \{ s_1,s_2, \cdots ,s_n \}$，则对于$\forall i=1,2, \cdots ,n$，令$S_i = \{ s_j\ :\ p_{s_i s_j}^{(1)}>0 \}$（即把所有$s_i$一步可达的$s_j$都取出来组成$S_i$）。由于$S$是本质类，所以当$s_i \to s_j$时有$s_j \to s_i$，设$s_j \to s_i$的首次到达需要的步数为$m_j$则
|
|||
|
|
$$
|
|||
|
|
\sum_{n=1}^{\infty} p_{s_i s_i}^{(n)} \geqslant \sum_{n=1}^{\infty} \sum_{s_j\in S_i} p_{s_i s_j}^{(1)} p_{s_j s_i}^{(m_j)}
|
|||
|
|
$$
|
|||
|
|
由于 $\displaystyle \sum_{s_j\in S_i} p_{s_i s_j}^{(1)} p_{s_j s_i}^{(m_j)}$有限且为定值，可以设为$\varepsilon$ ($\varepsilon>0$)，则
|
|||
|
|
$$
|
|||
|
|
\sum_{n=1}^{\infty} p_{s_i s_i}^{(n)} \geqslant \lim_{n \to \infty}n \varepsilon =\infty
|
|||
|
|
$$
|
|||
|
|
所以$S$是常返类。
|
|||
|
|
}
|
|||
|
|
\questionandanswerProof[]{
|
|||
|
|
证明：平面格点上的简单对称随机游动（指每一步向四个方向挪动的概率都是$\dfrac{1}{4}$，且各步独立）常返。
|
|||
|
|
}{
|
|||
|
|
设$\uparrow, \downarrow, \leftarrow, \rightarrow$分别表示向上下左右挪动一步，对于任意状态$i$（即任意一个格点），
|
|||
|
|
$$
|
|||
|
|
\begin{aligned}
|
|||
|
|
p_{ii}^{(4n+2)}&=p_{\uparrow}^{(1)}p_{\downarrow}^{(4n+1)} +p_{\rightarrow}^{(1)}p_{\leftarrow}^{(4n+1)} +p_{\downarrow}^{(1)}p_{\uparrow}^{(4n+1)}+p_{\leftarrow}^{(1)}p_{\rightarrow}^{(4n+1)} \\
|
|||
|
|
&=\frac{1}{4} p_{\downarrow}^{(4n+1)}+\frac{1}{4}p_{\leftarrow}^{(4n+1)} + \frac{1}{4}p_{\uparrow}^{(4n+1)}+\frac{1}{4}p_{\rightarrow}^{(4n+1)} \\
|
|||
|
|
\end{aligned}
|
|||
|
|
$$
|
|||
|
|
对于$p_{\downarrow}^{(4n+1)}$，可以理解为向下挪动了$n+1$步，向其它三个方向挪动了$n$步，所以$p_{\downarrow}^{(4n+1)}=\mathrm{C}_{4n+1}^{n}\mathrm{C}_{3n+1}^{n}\mathrm{C}_{2n+1}^{n} \left( \frac{1}{4} \right) ^{4n+1}$。
|
|||
|
|
$p_{\leftarrow}^{(4n+1)}, p_{\uparrow}^{(4n+1)}, p_{\rightarrow}^{(4n+1)}$同理。因此
|
|||
|
|
$$
|
|||
|
|
\text{上式}=\frac{1}{4} \times 4\left( \mathrm{C}_{4n+1}^{n}\mathrm{C}_{3n+1}^{n}\mathrm{C}_{2n+1}^{n} \left( \frac{1}{4} \right) ^{4n+1} \right)
|
|||
|
|
$$
|
|||
|
|
所以
|
|||
|
|
$$
|
|||
|
|
\sum_{n=1}^{\infty} p_{ii}^{(n)} \geqslant \sum_{n=1}^{\infty} p_{ii}^{(4n+1)} = \sum_{n=1}^{\infty} \mathrm{C}_{4n+1}^{n}\mathrm{C}_{3n+1}^{n}\mathrm{C}_{2n+1}^{n} \left( \frac{1}{4} \right) ^{4n+1} =\infty
|
|||
|
|
$$
|
|||
|
|
% $$
|
|||
|
|
% \binom{4n+1}{n}\binom{3n+1}{n}\binom{2n+1}{n} \left( \frac{1}{4} \right) ^{4n+1} = \frac{2^{- 8 n} \Gamma(4 n + 2)}{4 \Gamma^{3}(n + 1) \Gamma(n + 2)}
|
|||
|
|
% $$
|
|||
|
|
% $$
|
|||
|
|
% \left\{ \frac{2}{0}2/4\ \middle|\ \right\}
|
|||
|
|
% \sum_{n=1}^{\infty} (\binom{4n+1}{n}\binom{3n+1}{n}\binom{2n+1}{n} \left( \frac{1}{4} \right) ^{4n+1}) = \frac{{{}_{3}F_{2}(\begin{matrix} \frac{1}{2}, \frac{3}{4}, \frac{5}{4} \\ 1, 2 \end{matrix}\middle| {1})}}{4} - \frac{1}{4}
|
|||
|
|
% $$
|
|||
|
|
所以状态$i$常返，从而任意一个格点均常返。
|
|||
|
|
}
|
|||
|
|
\questionandanswerProof[]{
|
|||
|
|
设$X=\{ X_n\ :\ n \in \mathbb{N} \}$是不可约常返马氏链。对$j\in S$，定义$\tau_j^{(0)}=0$，并对$k\in \mathbb{Z}^{+}$递归定义$\tau_j^{(k)}=\inf \left\{ n>\tau_j^{(k-1)}\ :\ X_n=j \right\}$。然后对$k\in \mathbb{Z}^{+}$定义$W_j^{(k)}=\tau_j^{(k)}-\tau_j^{(k-1)}$。证明：$\left\{ W_j^{(k)}\ :\ k\in \mathbb{Z}^{+} \right\}$相互独立，且当$k\geqslant 2$时分布相同。
|
|||
|
|
}{
|
|||
|
|
设初始状态为$i$，对于$\forall k\geqslant 2$，
|
|||
|
|
$$
|
|||
|
|
\begin{aligned}
|
|||
|
|
&P\left( W_j^{(k)}=y \right) = P\left( \tau_j^{(k)}-\tau_j^{(k-1)}=y \right) \\
|
|||
|
|
&=\sum_{x=0}^{\infty} P\left(\tau_j^{(k)}=x+y, \tau_j^{(k-1)}=x\right) \\
|
|||
|
|
&=\sum_{x=0}^{\infty} P\left( \tau_j^{(k)}=x+y \middle| \tau_j^{(k-1)}=x \right) P\left( \tau_j^{(k-1)}=x \right) \\
|
|||
|
|
&=\sum_{x=0}^{\infty} f_{jj}^{(y)} \sum_{x_1+x_2+ \cdots +x_{k-1}=x} f_{ij}^{(x_1)} f_{jj}^{(x_2)}\cdots f_{jj}^{(x_{k-1})} \\
|
|||
|
|
&=\sum_{x=0}^{\infty} \sum_{x_1+x_2+ \cdots +x_{k-1}=x} f_{ij}^{(x_1)}f_{jj}^{(x_2)}\cdots f_{jj}^{(x_{k-1})}f_{jj}^{(y)} \\
|
|||
|
|
\end{aligned}
|
|||
|
|
$$
|
|||
|
|
后面不会了。
|
|||
|
|
}
|
|||
|
|
\questionandanswerProof[]{
|
|||
|
|
证明：在马氏链中，对任意$i,j,k \in S$，有$f_{ik}\geqslant f_{ij}f_{jk}$。
|
|||
|
|
}{
|
|||
|
|
对任意$i,j,k \in S$，
|
|||
|
|
$$
|
|||
|
|
f_{ik}=\sum_{n=1}^{\infty} f_{ik}^{(n)}=\sum_{n=1}^{\infty} \sum_{a\in S} \sum_{b=1}^{n} p_{ia}^{(b)}f_{ak}^{(n-b)}
|
|||
|
|
$$
|
|||
|
|
$$
|
|||
|
|
f_{ij}f_{jk} = \left( \sum_{n=1}^{\infty} f_{ij}^{(n)} \right) \left( \sum_{n=1}^{\infty} f_{jk}^{(n)} \right) =\left( \sum_{n=1}^{\infty} \sum_{a\in S} \sum_{b=1}^{n} p_{ia}^{(b)}f_{aj}^{(n-b)} \right) \left( \sum_{n=1}^{\infty} \sum_{a\in S} \sum_{b=1}^{n} f_{ja}^{(b)}f_{ak}^{(n-b)} \right)
|
|||
|
|
$$
|
|||
|
|
实在是不会了。
|
|||
|
|
}
|
|||
|
|
\end{enumerate}
|
|||
|
|
\end{document}
|