機器學習自學筆記06: Logistic regression

免費閱讀文章：機器學習自學筆記06: Logistic regression

前一篇講到Classification 分類， 今天就要來講Logistic regression ! 我們就從machine learning 的三個步驟開始吧!

Three Steps of machine learning

• step 1: Function set
  這裡使用的function set 就是 Logistic regression!
  wi: weight ， b: bias ， σ(z): sigmoid function
  xi: input ， P(C1|x): output (是一個機率)

• step 2: Goodness of a function
  假設我們有一組training data: x1, x2,x3 … xN，並且知道它們的類別(C1, C2) 假設這筆training data 是從我們的function 所定義的posterior probability 所產生的，而w和b就決定了這個posterior probability ，所以就可以計算這組(w,b)產生N筆 training data 的機率。利用最大估計法，最好的參數就是使likelihood 值最大的最佳解。

經過一番整理之後，我們可以將要minimize的對象寫成下面的形式

這裡的X^n ，表示第一個樣本點，y^n表示第n個樣本點的class標籤，最終這個summation的形式，裡面其實是兩個Bernouli distribution的cross entropy(交叉熵)，把f(X^n) & y^n 都當成Bernoulli distribution，兩者的cross entropy， 就是我們要minimize 的對象。

cross entropy的含意就是這兩個distribution 有多近，如果 p和 q 兩個distribution 一模一樣的話，那他們的 cross entropy 就是0。這裡的 f(X^n)就是function 的 output ，y^n 表示預期的target，因此 cross entropy 實際上表達的是希望這個function 的 output 和他的 target 越接近越好。