马尔可夫链简介
安德烈·马尔可夫（1856－1922），俄国数学家。他因提出马尔可夫链（Markov Chain）的概念而享有盛名：
马尔可夫过程：
如果系统状态的转移，只与现在状态有关，而与过去无关，这种随机转移系统过程就具有马尔可夫性或无后效性。
马尔可夫链：
“时间、状态都是离散的马尔可夫过程。”
安德烈·马尔可夫
马尔可夫过程是随机过程的一种，这特定的随机特性被发现后，在经济学，社会学，生命科学领域有着广泛的应用，可以用于预测未来的事件。
对于我们熟知的安全标准EN ISO 13849-1，马尔可夫链模型是用于评估元件失效概率、系统可靠性、安全有效性的数学理论基础。
马尔可夫链简单实例
我们假设有一个刚刚出生的宝宝，除了睡就是哭。那么“睡”和“哭”就形成了最简单的状态空间。
一个小时以后，宝宝的状态以一定概率产生变化，也有可能维持现状。如果我们将宝宝的状态转移及其概率进行描绘，就得到如下包含4种状态图：
图中所表达的含义为：
这一个小时睡觉，下一个小时维持睡觉状态的概率为0.7；
这一个小时在哭，下一个小时变化为睡的概率为0.9；
其余两种状态转移以此类推。
用数学的方法表达这样的状态分布，就是一个2x2的矩阵，它被称为转移概率矩阵：