分类: 附录一:优化算法

8 篇文章

第一篇:最小二乘法
最小二乘法   最小二乘法,可以理解为最小平方和,即误差的最小平方和,在线性回归中,$误差=真实值-预测值$。最小二乘法的核心思想就是——通过最小化误差的平方和,使得拟合对象无限接近目标对象,最小二乘法一般解决线性问题。 最小二乘法——代数法   假设线性回归的假设函数为 $$ \begin{align} h…
第二篇:梯度下降法
梯度下降法   在求解机器学习算法模型参数的时候,梯度下降法(gradient descent)和最小二乘法(least squares)是最经常使用的方法,由于梯度下降法衍生出的分支较多,所以在这里对梯度下降法单独做一个总结。 梯度下降法详解 梯度   梯度是在微积分中对多元函数的各个参数求偏导数,并且把求…
第三篇:牛顿法和拟牛顿法
牛顿法和拟牛顿法   牛顿法(Newton method)和拟牛顿法(quasi-Newton method)和梯度下降法一样也是求解最优化问题的常用方法,但是他们的收敛速度比梯度下降法快。牛顿法是迭代算法,每一步都需要求目标函数的海森矩阵的逆矩阵,计算复杂;拟牛顿法通过正定矩阵近似海森矩阵的逆矩阵,简化这个计算过程。 牛顿法详…
第四篇:坐标轴下降法
坐标轴下降法   坐标轴下降法顾名思义,沿着坐标轴下降。坐标轴下降法和梯度下降法使用的都是迭代法,即使用启发式的方式一步一步迭代求解函数的最小值。   可以想象一个可微的凸函数$J(\omega)$,其中$\omega$是一个$n*1$维的向量。如果在这$n$维空间中存在着某一点$\overline{\ome…
thumbnail
第五篇:前向选择法和前向梯度法
前向选择法和前向梯度法   由于前向选择法和前向梯度法的实现原理涉及过多的矩阵运算,本文只给出两种算法的思路。两者实现都是把矩阵中的向量运算具体化成平面几何中的向量运算。 前向选择法   前向选择法是一种典型的贪心算法。   通常用前向选择法解决线性模型的回归系数。对于一个有$m$个样本,…
thumbnail
第六篇:最小回归法
最小角回归法   最小角回归相当于前向选择法和前向梯度法的一个折中算法,简化了前项梯度法因$\epsilon$的迭代过程,并在一定程度的保证了前向梯度法的精准度。   通常用最小角回归法解决线性模型的回归系数。对于一个有$m$个样本,每个样本有$n$个特征的训练集而言,假设可以拟合一个线性模型$Y=\omeg…
第七篇:前向分步算法
前向分步算法 前向分步算法引入   假设Nick的年龄是25岁。 第1棵决策树 把Nick的年龄设置成初始值0岁去学习,如果第1棵决策树预测Nick的年龄是12岁,即残差值为$25-12=13$ 第2课决策树 把Nick的年龄设置成残差值13岁去学习,如果第2棵决策树能把Nick分到13岁的叶子节点,累加两棵决策树的预测值加和$…
第八篇:拉格朗日对偶性
拉格朗日对偶性   在约束最优化问题中,拉格朗日对偶性(Lagrange duality)可以将原始问题转换为对偶问题,然后通过求解对偶问题的解得到原始问题的解。 原始问题 约束最优化问题   假设$f(x),c_i(x),hj(x)$是定义在$R^n$上的连续可微函数,则约束最优化问题的原始问题为 $$ \…

You cannot copy content of this page