L1正则化理论推导为什么L1产生稀疏解?

L1正则化技术F(w;x,y)=J(w;x,y)+α∣∣w∣∣1=J(w;x,y)+α∑i=1n∣wi∣假设w∗是损失函数J(w;x,y)最优解,J(w;x,y)在w∗处泰勒展J(w;x,y)=J(w∗;x,y)+J′(w∗;x,y)(w−w∗)+12!J′′(w∗;x,y)(w−w∗)2 ∵w∗是J(w;x,y)最优解,则J′(w∗;x,y)=0,则可以去除J(w∗;x,y)+12!J′′(w∗;x,y)(w−w∗)2J′′是二阶导数,当是高维的时候就变成了H矩阵了。J(w∗;x,y)+12!H(w−w∗)2∴F(w;x,y)=J(w;x,y)+α∣∣w∣∣1=J(w∗;x,y)+12!H