2009年1月29日 星期四

Markov Process馬可夫程序

Markov Process指的是一種隨機程序(隨機過程),換句話說,以物件導向的概念來看:stochastic process為父類別,Markov Process為子類別。

怎樣的stochastic process才稱為Markov process呢?
  • 簡單說:當一個stochastic process在時間(n)的值,只跟前一個時間(n-1)有關,則這個隨機程序稱為Markov process。
  • 專業說法:一個stochastic process具有Markov property(至於什麼是馬可夫特性,其實就是上述第一項的意思)
  • 非數學的說法:給定現在(present)的條件,未來(future)和過去(past)的狀態是獨立的(因為只跟現在有關),這樣的過程是無記憶性的(memoryless)。
依照state space和parameter space(index set)來區分Markov process如下表所示:





















State Space
Type of Parameter (Parameter Space或稱為Index Set)
Discrete
Continuous
Discrete
(Discrete-parameter) Markov chain縮寫成DTMC
Continuous-parameter Markov chain縮寫成CTMC
Continuous
Discrete-parameter Markov process
Continuous-parameter Markov process

可以用數學式表示Markov Process,不過在網頁上不好輸入,請參考相關書籍。

另外,Discrete-parameter Markov chain縮寫成DTMC,意思是Discrete-Time Markov Chain,一般說的Markov chain通常指的就是DTMC。而Continuous-parameter Markov chain縮寫成CTMC,意思是Continuous-Time Markov Chain

沒有留言:

張貼留言