Markov Process馬可夫程序

Markov Process指的是一種隨機程序(隨機過程)，換句話說，以物件導向的概念來看：stochastic process為父類別，Markov Process為子類別。

怎樣的stochastic process才稱為Markov process呢？

• 簡單說：當一個stochastic process在時間(n)的值，只跟前一個時間(n-1)有關，則這個隨機程序稱為Markov process。
• 專業說法：一個stochastic process具有Markov property(至於什麼是馬可夫特性，其實就是上述第一項的意思)
• 非數學的說法：給定現在(present)的條件，未來(future)和過去(past)的狀態是獨立的(因為只跟現在有關)，這樣的過程是無記憶性的(memoryless)。
  

依照state space和parameter space(index set)來區分Markov process如下表所示：

State Space	Type of Parameter (Parameter Space或稱為Index Set)
	Discrete	Continuous
Discrete	(Discrete-parameter) Markov chain縮寫成DTMC	Continuous-parameter Markov chain縮寫成CTMC
Continuous	Discrete-parameter Markov process	Continuous-parameter Markov process

可以用數學式表示Markov Process，不過在網頁上不好輸入，請參考相關書籍。

另外，Discrete-parameter Markov chain縮寫成DTMC，意思是Discrete-Time Markov Chain，一般說的Markov chain通常指的就是DTMC。而Continuous-parameter Markov chain縮寫成CTMC，意思是Continuous-Time Markov Chain。