Discrete-Time Markov Chain (DTMC)

Markov Chain=馬可夫鏈

我們先討論Discrete-Time Markov Chain簡稱DTMC，或者習慣上直接稱為Markov chain，這類型的Markov Process可說是"基本款"(入門級)，算是比較容易懂的一種，因為數學上比較簡單(加加減減的運算，還用不到微積分，但都用∑)。

在DTMC的討論當中，主要會有下列幾個觀念：

• single-step transition probabilities(transition probabilities)轉移機率、轉態機率、變遷機率
  我們了解一個隨機程序是由一連串的隨機變數所組成，在每個時間點的隨機變數稱為狀態(state)，而我們只考慮這個狀態轉移到下一個狀態的機率(因此這是一種conditional probabilities)，這樣的機率則稱為single-step transition probabilities。
• homogeneous齊次的、均勻的
  這個字在應該很熟悉，偏微分方程有看過...，這個字中文實在很難懂，只能會意，無法言傳，意思是說：轉移機率和選擇觀察的時間點無關，也就是說不隨時間改變，當stochastic process符合這樣的特性則稱為homogeneous(也有稱time-homogeneous)。
• transition matrix(chain matrix)
  將每個狀態的transition probabilities依照矩陣方式排列，則構成transition matrix。比方說一個Markov chain有兩個狀態(假設A和B)，則可以構成2×2的矩陣，共四個轉移機率：A到A、A到B、B到A、B到B。以此類推。
  這樣的矩陣會是一個stochastic matrix，也就是說每一列的機率之和會是1。
  

有了上面的概念之後，現在我們討論多個狀態之間的問題，也就是n個step transition的情況，剛剛討論的是single-step情形，當m-step的情形時，也就會有n-step transition probabilities。想當然耳，由transition probabilities構成的transition matrix也會有n-step transition matrix。

在single-step和n-step之間有沒有關係呢？當然有。
那就是：

Chapman-Kolmogorov (CK) equation

簡稱C-K方程式，中文是"察普曼－科莫高洛夫方程式"(翻譯自偉大的國立編譯館)