论文研究 Pi sigma神经网络的乘子法随机单点在线梯度算法.pdf

在利用梯度算法训练Pi-sigma神经网络时，存在因权值选取过小导致收敛速度过慢的问题，而采用一般罚函数法虽然可以克服这个缺点，但要求罚因子必须趋近于∞且惩罚项绝对值不可微，从而导致数值求解困难。为克服以上缺点，提出了一种基于乘子法的随机单点在线梯度算法。利用最优化理论方法，将有约束问题转换为无约束问题，利用乘子法来求解网络误差函数。从理论上分析了算法的收敛速度和稳定性，仿真实验结果验证了算法的有效性。