马尔可夫过程



一个具有两个转换状态的马尔可夫过程

考虑一个离散的时间过程($t=0,1,2,\cdots$),体系构型 $C$ 数目有限,设为 $N$ 个。体系现在处于 $t$ 时刻,经过的历史为 $(C_t,C_{t-1},\cdots,C_0)$,下一时刻,到 $t+1$ 时刻,体系转为构型 $C_{t+1}$的概率为 $T(C_{t+1}|C_t,C_{t-1},\cdots,C_0)$,称为转移概率,满足归一化条件:

\begin{equation}
\sum_{C_{t+1}}T(C_{t+1}|C_t,C_{t-1},\cdots,C_0)=1
\label{disnorm}
\end{equation}

如果转移概率 $T(C_{t+1}|C_t,C_{t-1},\cdots,C_0)=T(C_{t+1}|C_t)$, 只依赖于 $t$ 时刻的构型 $C_t$,与其他历史时刻的构型无关,即马尔可夫过程没有“记忆”。

将以上马尔可夫过程定义做一些推广。

推广一,连续构型。

构型数目无限多,$N\rightarrow \infty$,构型不再是离散的,而是连续的,用连续变量 $y_t$ 描述。引入概率密度 $\widetilde{T}(y_{t+1}|y_t)$,则 $\widetilde{T}(y_{t+1}|y_t)dy_{t+1}$ 为体系从区间 $[y_{t+1},y_{t+1}+dy_{t+1}]$ 范围内选取一个新构型的概率。与\eqref{disnorm}对应的归一化条件为

\begin{equation}
\int_{-\infty}^{\infty}\widetilde{T}(y_{t+1}|y_t)dy_{t+1}=1
\label{connorm}
\end{equation}

推广二,离散时间步改为连续演化。

令时间步趋于0,离散时间动力学变为连续时间动力学。取无穷小时间步 $\Delta t=dt$,转移概率 $T(C'|C)$ 满足:

\begin{equation}
T(C'|C)=W(C'|C)dt+\mathcal O(dt^2) \quad if \quad C' \neq C
\label{conneq}
\end{equation}

\begin{equation}
T(C|C)=1-\sum_{C''(\neq C)}W(C''|C)dt+\mathcal O(dt^2)
\label{coneq}
\end{equation}

其中 $W(C'|C)$ 称为 转移速率(transition rate), 与 $dt$ 无关。$W(C'|C)dt$ 为体系在时间间隔 $[t,t+dt]$ 内从构型 $C$ 转到新构型 $C'$ 的概率。

推广三,连续时间,连续构型。

构型用连续变量 $y$ 表示,引入转移速率密度 $w(y'|y)$,$w(y'|y)dy'dt$,表示体系在 $t$ 时刻处于构型 $y$,在 $t+dt$ 时刻构型变为区间 $[y',y'+dy']$ 范围内某值的概率。

标签: 马尔可夫过程, 转移概率, 转移速率, 随机过程

添加新评论

captcha
请输入验证码