regularizers.md

正則化

正則化的目標是獲得簡單模型和避免過度似合。在MLilb中，支持下面正則化因子：

	正則化因子$$R(w)$$	梯度或子梯度
零（未正則化）	0	0
L2范數	$$\frac{1}{2} \Vert w\Vert_2^2$$	$$w$$
L1范數	$$\Vert w\Vert_1 $$	$$sign(w)$$
在這裡，$$sign(w)$$是表示$$w$$中所有實體的類標簽( $$sign(\pm 1)$$ )的向量。

與L1正則化問題比較，由於L2的平滑性，L2的正則化問題一般較容易解決。但是由於可以強化權重的稀疏性，L1正則化更能產生較小及更容易解釋的模型，而後者在特徵選擇是非常有用的。不正則化而去訓練模型是不恰當的，尤其是在訓練樣本數量較小的時候。