Member-only story
免費閱讀文章：Tips for Deep Learning-如果Testing data 的效果不好怎麼辦?
今日的課程來自於: https://youtu.be/5BJDJd-dzzg上一篇提到:如果Testing data 的效果不好怎麼辦?今天要討論的是當testing data的效果不好該如何調整?
方法有兩種:
- Early Stopping
- Regularization
- Dropout
Early Stopping
第一個方法很簡單，就是提前結束。通常當我們的learning rate 調的比較好，訓練下來 loss 會越來越低，但是有可能training data上的loss 逐漸變小十，在testing data上反而上升了
假設我們知道testing data的loss變化，我們就可以設定在loss最小的時候提前結束。
Regularization
regularization就是在原來的loss function上額外增加一個term，比如我們要minimize的loss function原先應該是square error或cross entropy，那在做Regularization的時候，就在後面加一個Regularization的term
L2 regularization
regularization term可以是參數的L2 norm(L2正規化)，所謂的L2 norm，就是把model參數集θ裡的每一個參數都取平方然後求和，這件事被稱作L2 regularization，即
你會發現我們新加的regularization term λ/2‖θ‖₂ 有一個1/2，由於我們是要對loss function求微分的，而新加的regularization term是參數wi的平方和，對平方求微分會多出來一個係數2，我們的1/2就是用來和這個2相消的
