概念：
则称
为马尔可夫过程。
定理1：
独立过程是马尔可夫过程。
定理2：
若独立增量过程
满足初始分布
，则为马尔可夫过程。
马氏过程
的
有限维分布
由
一维分布和条件分布
完全确定。
离散参数马氏链：
转移矩阵是
随机矩阵
，其行向量都是
概率向量
。
k步转移概率：
C-K方程：
齐次马氏链：一步转移概率与初始时刻无关
绝对分布：
初始分布：
绝对分布
由初始分布和一步转移概率确定：
遍历性：
对一切i，j，存在常数
，使得
且与i无关，则称此马氏链具有遍历性。
极限分布：
，为一
概率向量，
。
遍历马氏链的
n步转移矩阵
的
极限矩阵
，其各行向量均为
极限分布
。
ps：极限矩阵每行都相同。
遍历性定理：
若存在正整数n0，使n0步转移矩阵的每个元素都为正，则称此马氏链具有遍历性。
定理1：
遍历的齐次马氏链，其
绝对分布
与
转移概率
有相同的极限。
定理2：
若马氏链
初始分布
是一个
平稳分布V
，则其
绝对分布
为 π(n)=V。
定理3：
遍历的齐次马氏链的
极限分布
，就为
平稳分布V
。
首达时刻：
平均步数：
平均返回步数：
首达概率：
首返概率：
推论：
最终概率：
最终返回概率：
定理1：
定理2：
定理3：
状态的常返性：
定义1：
，称状态i是常返状态。
，称状态i是非常返状态。
定理1：
状态i常返
推论：
状态i非常返
状态i非常返
定理2：
i是常返的，若 i->j，则 j->i，且
定义2：
，i是正常返
，i是零常返
定理3：
i是零常返
状态的周期性：
定义1：
是非空集，状态i的周期定义为：
，d=1时，为非周期。
定义2：
正常返非周期的状态称为遍历态。
定理1：
i是遍历态
i是周期为d的正常返状态
状态空间的分解：
状态互通：
定义1：
C是E的子集，i∈C，j
C，
，称C为闭集。
定理1：
i是常返状态，若i->j，则j也是常返状态。
定理2：
马氏链的全体常返态构成一个闭集。
定义2：
闭集C中不含非空真子集，称C是不可约的。
定义3：
若状态空间E是不可约的，则称不可约马氏链。
定理3：
马氏链不可约
它的所有状态之间是互通的。
推论1：
不可约马氏链或无常返，或无非常返。
推论2：
不可约常返链，若一个状态d > 1，则全体都是。
定理4：
齐次马氏链的状态空间E可唯一地分解为：
E=N+C1+C2+…+Ck+..，其中Ck为不可约常返闭集，N为全体非常返集