optiml:优化器用于与sklearn兼容的机器学习模型 源码

OptiML OptiML是支持向量机和深度神经网络的sklearn兼容实现,根据最新技术,它们都有一些最成功的功能。 这项工作的动机是,有可能通过广泛的优化算法研究对象解决这些模型的数学公式所产生的优化问题,并为“数值方法和优化”课程开发@@在教授的监督下。 内容 数值优化 无约束优化 线搜索方法 零阶方法 次梯度 一阶方法 最陡的梯度下降 共轭梯度 弗莱彻-里夫斯公式 Polak–Ribière公式 Hestenes-Stiefel公式 代formula公式 重球渐变 二阶方法 牛顿 拟牛顿 高炉 随机方法 随机梯度下降 势头 标准 涅斯捷罗夫 亚当 势