一、概念

        马尔可夫链（Markov Chain, MC）是具有 “无后效性” 的随机过程，核心是 “未来状态的概率仅依赖于当前状态，与更早期的状态无关”。它是时间序列分析、强化学习、蒙特卡洛方法（MCMC）等领域的基础数学模型，广泛用于描述状态随时间随机转移的系统（如天气变化、股票波动、用户行为序列等）。

二、原理

        马尔可夫链的本质是马尔可夫性（Markov Property），其数学定义为：对于任意时刻 t，系统的下一个状态的条件概率，仅由当前状态决定，与历史状态无关。即：

三、构成要素

        一个完整的马尔可夫链由3个核心要素构成，缺一不可。

1、状态空间S

        系统所有可能的 “状态” 集合，可分为离散状态空间（有限或无限）和连续状态空间（通常称为 “马尔可夫过程”）。

• 离散有限集合：如天气，S={晴，雨，阴}；
• 离散无限集合：如随机游走，S={...，-2，-1，0，1，2，...}，状态为整数位置；
• 连续集合：如温度，S={-50，50}，状态为温度值，连续，此时为马尔可夫过程。

2、转移概率矩阵P

        描述 “从一个状态转移到另一个状态的概率”，是马尔可夫链的 “动态核心”。对于离散状态空间，转移概率矩阵 P 是一个 n × n 的矩阵，其中元素表示“当前状态为时，下一个状态为的概率”，即：

        转移概率矩阵具有如下几个关键性质：

• 每行元素之和为1（概率的归一性）：，从任意状态出发，下一个状态必属于S；
• 元素非负：大于等于0，因为概率不能为负数。

3、初始状态分布

        系统在初始时刻 t=0 的状态概率分布，即，满足，且。例如，当天气的初始时刻（t=0）为晴的概率是0.5，雨的概率是0.3，阴的概率是0.2，则有：

四、关键性质（离散有限状态）

        马尔可夫链的长期行为由其结构决定，核心性质包括：

1、齐次性（时间齐次性）

        转移概率不随时间变化，即从状态到的概率，在任意时刻t都相同，数学表达式为：

        大多数场景下默认讨论 “齐次马尔可夫链”（如天气转移概率不随季节变化），非齐次链（转移概率随时间变）需额外标注。

2、不可约性

        对于任意两个状态，存在某个时刻，使得从出发经过k步转移到的概率大于0。即系统可以从任意一个状态到达其他任意状态，不存在孤立的子状态集合。

        为了直观理解，我们可以举一个反例，若状态空间分为{晴,阴}和{雨}，且 “晴 / 阴无法转移到雨，雨也无法转移到晴 / 阴”，则该链是 “可约的”。

3、遍历性

        若马尔可夫链不可约且 “非周期”（状态的返回周期为 1，即不会陷入 “晴→阴→晴→阴” 的固定周期循环），则存在平稳分布，满足。且无论初始分布如何，当转移步数时，k步转移概率矩阵的每行都会收敛到。

        简单来说，就是系统长期运行后，状态分布会稳定在一个固定的平稳分布上，与初始状态无关。例如天气链长期运行后，晴、雨、阴的概率会稳定在某个值，不再变化。

五、示例

        这里，我们用矩阵表示马尔可夫链状态转移，并计算平稳分布。设有三个状态S={s1,s2,s3}，则其状态转移概率矩阵P定义为：

        其中，表示从状态转移到的概率，且每行元素之和为1，满足概率归一性。这里，我们设定每个状态的具体数值，有：

        下面我们计算平稳分布，根据定义，平稳分布需要满足以下条件：

• 转移后分布不变：
• 概率归一性：
• 非负性：

        我们将展开为方程组有：

        解方程得，验证得，满足平稳分布条件。