\documentclass[全部作业]{subfiles}
\input{mysubpreamble}
\begin{document}
\setcounter{chapter}{3}
\setcounter{section}{2}
\section{练习题\thesection}
\begin{enumerate}
    \questionandanswerSolution[1]{
        设$X$的状态空间为$\{ 1,2,3 \}$，转移概率矩阵为$\begin{pmatrix}
        0 & \frac{1}{2} & \frac{1}{2} \\
        \frac{1}{2} & 0 & \frac{1}{2} \\
        0 & \frac{1}{3} & \frac{2}{3} \\
        \end{pmatrix}$，对任意$n\geqslant 1$，求$f_{1,2}^{(n)}$。
    }{
        $$
        \begin{cases}
        F_{12}(u)=p_{12}u+p_{11}uF_{12}(u)+p_{13}uF_{32}(u)\quad \mycircle{1}  \\
        F_{22}(u)=p_{22}u+p_{21}uF_{12}(u)+p_{23}uF_{32}(u) \quad \mycircle{2} \\
        F_{32}(u)=p_{32}u+p_{31}uF_{12}(u)+p_{33}uF_{32}(u) \quad \mycircle{3} \\
        \end{cases}
        $$
        由\mycircle{1}和\mycircle{3}可得
        $$
        \begin{cases}
        F_{12}(u)=\frac{1}{2}u+\frac{1}{2}uF_{32}(u) \\
        F_{32}(u)=\frac{1}{2}u+\frac{2}{3}uF_{32}(u) \\
        \end{cases}
        $$
        解得
        $$
        \begin{cases}
        F_{32}(u)=\frac{\frac{1}{2}u}{1-\frac{2}{3}u} \\
        F_{12}(u)=\frac{1}{2}u+\frac{\frac{1}{4}u^{2}}{1-\frac{2}{3}u} \\
        \end{cases}
        $$
        所以
        $$
        F_{12}(u)=\frac{1}{2}u+\sum_{n=1}^{\infty} \frac{1}{4}u^{2}\left( \frac{2}{3}u \right) ^{n-1} = \frac{1}{2}u+\sum_{n=1}^{\infty} \frac{1}{4} \left( \frac{2}{3} \right) ^{n-1} u^{n+1} = \frac{1}{2}u+ \sum_{n=2}^{\infty} \frac{1}{2} \left( \frac{2}{3} \right) ^{n-2} u^{n}
        $$
        综上，$\displaystyle f_{12}^{(1)}=\frac{1}{2}u, \quad f_{12}^{(n)}=\frac{1}{2}\left( \frac{2}{3} \right) ^{n-2}(n\geqslant 2)$。
    }
    \questionandanswerSolution[2]{
        一个盗窃犯长期在$A=1,B=2,C=3$三地流传作案,治安部门调查后发现他每年作案次数服从强度为$3$的泊松分布,而连续两次作案的地点变化服从转移概率矩阵$\begin{pmatrix}
        0 & 0 & 1 \\
        \frac{1}{2} & \frac{1}{2} & 0 \\
        0 & 1 & 0 \\
        \end{pmatrix}$，并且作案次数与作案地点无关。已知此人刚刚在$A$地作案，试估计一年内他在$A$地再作案的概率。
    }{
        由题意可知，作案地点的变化为时齐马氏链，从而所求的概率为$\displaystyle E_{k\sim \operatorname{Poi}(3)}f_{11}^{(k)}$。
        % 这里有个问题，如果$p_{21}=1,p_{22}=0$的话，那方程组中就没有$\frac{1}{2}u$这一项，那么$F_{21}(u)=0$？
        $$
        \begin{cases}
        F_{11}(u)=uF_{31}(u) & \mycircle{1} \\
        F_{21}(u)=\frac{1}{2}uF_{11}(u)+\frac{1}{2}u &\mycircle{2} \\
        F_{31}(u)=uF_{21}(u) &\mycircle{3} \\
        \end{cases}
        $$
        由\mycircle{1}\mycircle{3}得$F_{11}(u)=u^{2}F_{21}(u)$，代入\mycircle{2}可得$F_{21}(u)=\frac{1}{2}u^{3}F_{21}(u)+\frac{1}{2}u$，解得$\displaystyle F_{21}(u)=\frac{\frac{1}{2}u}{1-\frac{1}{2}u^{3}}$，所以
        $$
        F_{11}(u)=\frac{\frac{1}{2}u^{3}}{1-\frac{1}{2}u^{3}}=\sum_{n=1}^{\infty} \frac{1}{2}u^{3} \left( \frac{1}{2}u^{3} \right) ^{n-1}=\sum_{n=1}^{\infty} \left( \frac{1}{2} \right) ^{n} u^{3n}
        $$
        令$k=3n$，则$f_{11}^{(k)}=\begin{cases}
        \left( \frac{1}{2} \right) ^{\frac{k}{3}},\quad & k=3n \\
        0,\quad & k\neq 3n \\
        \end{cases}\ ,n\in \mathbb{Z}^{+}, k\in \mathbb{Z}^{+}$，所以
        $$
        E_{k\sim \operatorname{Poi}(3)}f_{11}^{(k)}=\sum_{n=1}^{\infty} \left( \frac{1}{2} \right) ^{n} \cdot \frac{3^{3n}}{(3n)!}e^{-3} = \sum_{n=1}^{\infty} \frac{\left( 3 \sqrt[3]{\frac{1}{2}} \right) ^{3n}}{(3n)!} e^{-3}=e^{3 \sqrt[3]{\frac{1}{2}}} e^{-3} = e^{\frac{3}{\sqrt[3]{2}}-3}
        $$
    }
    \questionandanswerSolution[3]{
        设$X$的状态空间为$\{ 1,2,3 \}$，转移概率矩阵为$\begin{pmatrix}
        \frac{1}{2} & \frac{1}{2} & 0 \\
        \frac{2}{3} & \frac{1}{3} & 0 \\
        0 & \frac{1}{3} & \frac{2}{3} \\
        \end{pmatrix}$。求$f_{3,2}$和$m_{3,2}$。
    }{
        $$
        \begin{cases}
        f_{32}=\frac{1}{3}+\frac{2}{3}f_{32},\quad & \mycircle{1} \\
        f_{12}=\frac{1}{2}+\frac{1}{2}f_{12},\quad & \mycircle{2} \\
        f_{22}=\frac{1}{3}+\frac{2}{3}f_{12},\quad & \mycircle{3} \\
        \end{cases}\qquad \begin{cases}
        m_{32}=f_{32}+\frac{2}{3}m_{32},\quad & \mycircle{4} \\
        m_{12}=f_{12}+\frac{1}{2}m_{22},\quad & \mycircle{5} \\
        m_{22}=f_{22}+\frac{2}{3}m_{12},\quad & \mycircle{6} \\
        \end{cases}
        $$
        由\mycircle{1}可得$f_{32}=1$，代入\mycircle{4}可得$m_{32}=3$。
    }
    \questionandanswerSolution[4]{
        若一篇文稿有$n$个错误,每次校阅至少能发现一个,但留下来的错误数在$0$到$n-1$之间等可能存在.设原稿共有$a$个错误,问为了改正全部错误平均需要校阅几次?
    }{
        设随机过程$X$表示在某个时刻留下来的错误数，则$X$是时齐马氏链，状态空间为$\{1, 2, \cdots ,n-1\}$。$X$的转移概率矩阵为
        $$
        \begin{pmatrix}
        1 & 0 & 0 & \cdots & 0 \\
        1 & 0 & 0 & \cdots & 0 \\
        \frac{1}{2} & \frac{1}{2} & 0 & \cdots & 0 \\
        \vdots & \vdots & \vdots & \ddots & \vdots \\
        \frac{1}{n} & \frac{1}{n} & \frac{1}{n} & \cdots & 0 \\
        \end{pmatrix}_{n\times n}
        $$
        所以
        $$
        \begin{cases}
        f_{10}=1 \\
        f_{20}=\frac{1}{2}+\frac{1}{2}f_{10}=1 \\
        f_{30}=\frac{1}{3}+\frac{1}{3}f_{10}+\frac{1}{3}f_{20}=1 \\
        \cdots \\
        f_{n0}=\frac{1}{n}+\sum_{i=1}^{n} f_{i0}=1 \\
        \end{cases} \quad 
        \begin{cases}
        m_{10}=f_{10} \\
        m_{20}=f_{20}+\frac{1}{2}m_{10}=1+\frac{1}{2}\times 1=\frac{3}{2} \\
        m_{30}=f_{30}+\frac{1}{3}m_{10}+\frac{1}{3}m_{20}=1+\frac{1}{3}\times 1+\frac{1}{3}\times \frac{3}{2}=\frac{11}{6} \\
        \cdots \\
        m_{n0}=f_{n0}+\sum_{i=1}^{n-1} \frac{1}{n} m_{i0} \\
        \end{cases}
        $$
        根据递推公式算出$m_{n0}$（不会算通项公式了），将$a$代入，则可知为了改正全部错误平均需要校阅$m_{a0}$次。
    }
    \questionandanswerSolution[6]{
        （Ehrenfest 模型）设一个坛子内装有红白两色共$N$个球，每次随机地从坛子中抽出一个球，把它换成另一种颜色后放回。以$X_n$表示经$n$次抽放后坛中的红球数，那么$X=\{ X_n\ ;\ n\geqslant 0 \}$为时齐马氏链。若开始时坛内只有一个红球，问平均要抽放多少次才能使坛内全是白球？
    }{
        可以观察到$X$类似带反射壁的随机游动，但向中间收敛的概率更大，转移概率矩阵为
        $$
        \begin{pmatrix}
        0 & 1 & 0 & \cdots & 0 & 0 \\
        \frac{1}{N} & 0 & \frac{N-1}{N} & \cdots & 0 & 0 \\
        0 & \frac{2}{N} & 0 & \cdots & 0 & 0 \\
        \vdots & \vdots & \vdots & \ddots & \vdots & \vdots \\
        0 & 0 & 0 & \cdots & 0 & \frac{1}{N} \\
        0 & 0 & 0 & \cdots & 1 & 0 \\
        \end{pmatrix}
        $$

        开始时坛内只有一个红球，那么$X_0=1$，使坛内全是白球即$X_{?}=0$，所以所求的平均抽放次数为$m_{10}$。

        由于这是元素有限的本质类，从而一定是常返类，所以$\forall i,j \in \{ 1,2, \cdots N \}, f_{ij}=1$，所以可以直接列出$m_{ij}$的方程组。
        $$
        \begin{cases}
        m_{00}&=1+m_{10}  \\
        m_{10}&=1+\frac{N-1}{N}m_{20}+\frac{1}{N}m_{00} \\
        m_{20}&=1+\frac{2}{N}m_{10}+\frac{N-2}{N}m_{30} \\
        \cdots \\
        m_{n-1,0}&=1+\frac{N-1}{N}m_{n-2,0}+\frac{1}{N}m_{n0} \\
        m_{n0}&=1+m_{n-1,0} \\
        \end{cases}
        $$
        写成矩阵的形式为
        $$
        \begin{bmatrix}
        1 & -1 & 0 & \cdots & 0 & 0 \\
        -\frac{1}{N} & 1 & -\frac{N-1}{N} & \cdots & 0 & 0 \\
        0 & -\frac{2}{N} & 1 & \cdots & 0 & 0 \\
        \vdots & \vdots & \vdots & \ddots & \vdots & \vdots \\
        0 & 0 & 0 & \cdots & 1 & -\frac{1}{N} \\
        0 & 0 & 0 & \cdots & -1 & 1 \\
        \end{bmatrix}
        \begin{bmatrix}
        m_{00} \\
        m_{10} \\
        m_{20} \\
        \vdots \\
        m_{n-1,0} \\
        m_{n0} \\
        \end{bmatrix}
        = \begin{bmatrix}
        1 \\
        1 \\
        1 \\
        \vdots \\
        1 \\
        1 \\
        \end{bmatrix}
        $$
        解得$m_{10}=\left( \begin{bmatrix}
        1 & -1 & \cdots & 0 \\
        -\frac{1}{N} & 1 & \cdots & 0 \\
        \vdots & \vdots & \ddots & \vdots \\
        0 & 0 & \cdots & 1 \\
        \end{bmatrix} ^{-1}  \begin{bmatrix}
        1 \\
        1 \\
        \vdots \\
        1 \\
        \end{bmatrix}\right)(1, 0)$即为使坛内全是白球的平均抽放次数。
    }
    \begin{shaded}
    \item[\textbf{补}]
        （“赌徒输光模型”）考虑$\{ 0,1, \cdots ,N \}(N\geqslant 2)$上的$(q,p)$-简单随机游动（$0<p,q<1,p+q=1$），其中两个端点是“完全吸收壁”（即$p_{00}=p_{NN}=1$。对$i \in \{ 1, \cdots ,N-1 \}$，计算$f_{i0}$（即初始状态为$i$时的“输光”概率）。
    \end{shaded}
    {
    \begin{solution}\kaishu
        由题意可知转移概率矩阵为
        $$
        \begin{bmatrix}
        1 & 0 & 0 & \cdots & 0 & 0 \\
        q & 0 & p & \cdots & 0 & 0 \\
        0 & q & 0 & \cdots & 0 & 0 \\
        \vdots & \vdots & \vdots & \ddots & \vdots & \vdots \\
        0 & 0 & 0 & \cdots & 0 & p \\
        0 & 0 & 0 & \cdots & 0 & 1 \\
        \end{bmatrix}_{(N+1)\times (N+1)}
        $$
        则可以列出关于$f_{i0}$的方程组
        $$
        \begin{cases}
        f_{00}=1 \\
        f_{10}=qf_{00}+pf_{20} \\
        f_{20}=qf_{10}+pf_{30} \\
        \cdots \\
        f_{n-2,0}=qf_{n-3,0}+pf_{n-1,0} \\
        f_{n-1,0}=qf_{n-2,0}+pf_{n0} \\
        f_{n_0}=f_{n_0} & \text{（这一条方程可以去除，因为$f_{n0}=0$）}\\
        \end{cases}
        $$
        写成矩阵的形式为
        $$
        \begin{bmatrix}
        1 & 0 & 0 & \cdots & 0 & 0 \\
        q & -1 & p & \cdots & 0 & 0 \\
        0 & q & -1 & \cdots & 0 & 0 \\
        \vdots & \vdots & \vdots & \ddots & \vdots & \vdots \\
        0 & 0 & 0 & \cdots & -1 & p \\
        0 & 0 & 0 & \cdots & q & -1 \\
        \end{bmatrix}
        \begin{bmatrix}
        f_{00} \\
        f_{10} \\
        f_{20} \\
        \vdots \\
        f_{n-2,0} \\
        f_{n-1,0} \\
        \end{bmatrix}
        = \begin{bmatrix}
        1 \\
        0 \\
        0 \\
        \vdots \\
        0 \\
        0 \\
        \end{bmatrix}
        $$
        解得$\begin{bmatrix}
        f_{00} & f_{10} & f_{20} & \cdots & f_{n-1,0} \\
        \end{bmatrix}^{\mathrm{T}}\oplus [f_{n0}]$即为所求的$f_{i0}$。（实在算不出来了）
        % $$
        % \begin{bmatrix}
        % 1 & 0 & 0 & 0 & 0  & 0 & 0 & 0 & 0 & 0 \\
        % q & -1 & p & 0 & 0 & 0 & 0 & 0 & 0 & 0 \\
        % 0 & q & -1 & p & 0 & 0 & 0 & 0 & 0 & 0 \\
        % 0 & 0 & q & -1 & p & 0 & 0 & 0 & 0 & 0 \\
        % 0 & 0 & 0 & q & -1 & 0 & 0 & 0 & 0 & 0 \\
        % 0 & 0 & 0 & 0 & q & -1 & p & 0 & 0 & 0  \\
        % 0 & 0 & 0 & 0 & 0 & q & -1 & p & 0 & 0 \\
        % 0 & 0 & 0 & 0 & 0 & 0 & q & -1 & p & 0 \\
        % 0 & 0 & 0 & 0 & 0 & 0 & 0 & q & -1 & p \\
        % 0 & 0 & 0 & 0 & 0 & 0 & 0 & 0 & q & -1 \\
        % \end{bmatrix}^{-1} 
        % \begin{bmatrix}
        % 1 \\
        % 0 \\
        % 0 \\
        % 0 \\
        % 0 \\
        % 0 \\
        % 0 \\
        % 0 \\
        % 0 \\
        % 0 \\
        % \end{bmatrix} = \begin{bmatrix}1\\\frac{q (- 2 p q + 1)}{p^{2} q^{2} - 3 p q + 1}\\\frac{q^{2} (- p q + 1)}{p^{2} q^{2} - 3 p q + 1}\\\frac{q^{3}}{p^{2} q^{2} - 3 p q + 1}\\\frac{q^{4}}{p^{2} q^{2} - 3 p q + 1}\\\frac{q^{5}}{3 p^{2} q^{2} - 4 p q + 1}\\\frac{q^{6} (- 2 p q + 1)}{3 p^{4} q^{4} - 13 p^{3} q^{3} + 16 p^{2} q^{2} - 7 p q + 1}\\- \frac{q^{7}}{3 p^{3} q^{3} - 10 p^{2} q^{2} + 6 p q - 1}\\\frac{q^{8}}{3 p^{4} q^{4} - 13 p^{3} q^{3} + 16 p^{2} q^{2} - 7 p q + 1}\\\frac{q^{9}}{3 p^{4} q^{4} - 13 p^{3} q^{3} + 16 p^{2} q^{2} - 7 p q + 1}\end{bmatrix}
        % %  = \begin{bmatrix}1\\\frac{q (- 2 p q + 1)}{p^{2} q^{2} - 3 p q + 1}\\\frac{q^{2} (- p q + 1)}{p^{2} q^{2} - 3 p q + 1}\\\frac{q^{3}}{p^{2} q^{2} - 3 p q + 1}\\\frac{q^{4}}{p^{2} q^{2} - 3 p q + 1}\end{bmatrix}
        % $$
        % $$
        % \begin{bmatrix}
        % 1 & 0 & 0 \\
        % q & -1 & p \\
        % 0 & q & -1 \\
        % \end{bmatrix}^{-1}
        % \begin{bmatrix}
        % 1 \\
        % 0 \\
        % 0 \\
        % \end{bmatrix} = \begin{bmatrix}1\\- \frac{q}{p q - 1}\\- \frac{q^{2}}{p q - 1}\end{bmatrix}
        % $$
    \end{solution}
    }
\end{enumerate}
\end{document}