联系我们
- 地 址:北京市海淀区北四环西路9号 ,主 营:人脸识别,活体检测,身份证识别,银行卡识别,名片识别,车牌识别,OCR识别等及智能识别技术。
- 电 话:13146317170 廖经理
- 传 真:
- 邮 箱:398017534@qq.com
AI机器学习优化算法的学习
AI机器学习优化算法的学习
关于机器学习,优化算法,是指求解最优化问题的方法,这关于处置问题至关重要,什么时分用什么方法,以及如何推导,现记载如下,以防止以后遗忘,都用大文言来说,特别需求控制其精髓。
最优化问题,大约可以分为二类,一类是有无约束条件的优化问题,一类是有约束问题的优化。在有约束问题的优化中,我们关于约束分类为等式约束和不等式约束。依次引见。
关于无约束问题,我们主要采用的几种算法来处置,梯度降落法,迭代尺度法,牛顿法,拟牛顿法,最小二乘法等。
【梯度降落法】(Gradient descent)也叫做,最速降落法(steepest descent),往梯度的方向走,也就是降落最快的中央走。是一种迭代的算法,每一步都选择降落最快的方向,只需方向信息。首先,给定一个初始值,然后求出梯度,然后更新初始值,直到收敛。梯度指的是负梯度方向,也就是函数值降落最快的方向,然后用最快的方式减少目的函数更新变量值,直到收敛。在梯度降落法中,我们需求设定的参数有:初始值,步长(学习率),迭代终止条件(迭代次数或梯度变化很小的情况)。
当求解的问题是凸函数的时分,有全局最优解,否则,并不能保证一定是全局最优的情况,有可能得到极值而不是最值的情况。(梯度降落法是梯度法中的一种 ,梯度降落主要是用来最小化的情况,而梯度上升主要是用来求最大化的情况)。
梯度降落法,可以采用的随机梯度降落法(SGD,stochastic gradient descent),也就是随机选择数据来求梯度中止更新;可以采用批量梯度降落法(BGD,batch gradient descent),也就是选择全部的锻炼数据来求平均梯度,来中止更新;可以采用小批量梯度降落法(mini-batch gradient descent),选择一部分锻炼数据来求平均梯度,来中止更新。三种方法中,从三个方面来对方法中止度量,从收敛速度来说,BGD>MBGD>SGD;从准确率来说,BGD>MBGD>SGD;从锻炼速度来说:SGD>MBGD>BGD。
【迭代尺度法】(improved iterative scaling,IIS),主要是经过寻觅一种参数的修正方法能够不时的迭代来完成目的。这种方法主要的应用之一是在最大熵模型中,这种算法经过求参数改动后和参数改动前的差的上界,应用上界中,改动一维,固定剩下的维完成求导为0,最终得到这一维的变化。
【牛顿法】牛顿法的得名主要在于求方程的解的牛顿法,当然得名的缘由还是在于应用到了牛顿法解方程的思想。主要的精华部分在于:求解的极值点处的一阶导数为0,也就是我们求得是一阶导数的方程,所以,我们需求用到二阶的情况。我们对其中止二阶泰勒展开,对x-xk求导,得到一阶的关系,最终得到一阶,二阶的关系,而关于极值点一阶为0,以此关系最终得到更新式子,不时迭代,最终完成求解即可。对其中止扩展,假设函数是一维的 ,那么就是与二阶导数相关,但假设是高维函数的情况,不能单独以为是二阶的情况,而是触及到了海森矩阵的问题,不只触及到了海森矩阵,还触及到了海森矩阵的逆的情况。而这个求矩阵的逆的问题也成为了牛顿法的瓶颈所在。
【拟牛顿法】拟牛顿法的名字可以看出,第一是拟,也就是不是真的,是仿照的,第二是牛顿法,那么说明拟牛顿法与牛顿法密切相关。拟牛顿法的存在就是为了解决牛顿法的海森矩阵的逆难求解的问题,找这么一个矩阵来替代海森矩阵,那么这个矩阵需求与海森矩阵(逆)的效果一样,并且与其性质相同,都是正定矩阵(对应求极小值点),若为负定矩阵(极大值点)<正定矩阵的性质,是关于向量的转置乘以矩阵乘以向量不断为正,也就是减去一个整数,是不时降落的趋向>。G为我们找到的替代矩阵,H为海森矩阵,G=H的逆。在拟牛顿法中,有几种方法,第一种是DFP算法(Davidon-Fletcher-Powell)算法, 从因变量角度来中止说明,第二种是BFGS(Broyden-Fletcher-Goldfarb-Shanno)算法,从自变量的角度来中止说明;第三种是Broyden类算法,是应用BFGS中的矩阵与DFP中的矩阵之间的逆矩阵的关系,然后将BFGS的矩阵用DFP矩阵来表示出来,然后应用一个线性的关系式来表示,最终得到需求的矩阵。
【最小二乘法】最小二乘法是用来求函数拟合,或者函数极值的方法。最小二乘法求解的目的是最小化平方误差,然后对平方误差对每一个参数中止求导,使得导数为0(导数为0很有可能是极值的情况),然后联立一切的导数为0的方程组成方程组,然后求解解析解。除了采用代数的描画方式,还有应用矩阵的描画方式,应用矩阵的描画方式中触及到了矩阵求导的问题。关于最小二乘法而言,是直接求解析解的方法,并且在矩阵描画中,触及到了求解逆矩阵的问题,假设逆矩阵不存在的话,则不能中止求解,而其他的方法仍然可用。并且关于函数的拟合,是必需恳求拟合的函数是线性的,这是必要的条件,需求先把非线性的函数转换为线性函数,然后才干用最小二乘法来中止求解。并且最小二乘法对应的是求方程组,那么恳求方程组肯定是可以求出解的,也就是恳求方程组不是欠定,是欠定的情况,是无法求解的。
最优化问题,大约可以分为二类,一类是有无约束条件的优化问题,一类是有约束问题的优化。在有约束问题的优化中,我们关于约束分类为等式约束和不等式约束。依次引见。
关于无约束问题,我们主要采用的几种算法来处置,梯度降落法,迭代尺度法,牛顿法,拟牛顿法,最小二乘法等。
【梯度降落法】(Gradient descent)也叫做,最速降落法(steepest descent),往梯度的方向走,也就是降落最快的中央走。是一种迭代的算法,每一步都选择降落最快的方向,只需方向信息。首先,给定一个初始值,然后求出梯度,然后更新初始值,直到收敛。梯度指的是负梯度方向,也就是函数值降落最快的方向,然后用最快的方式减少目的函数更新变量值,直到收敛。在梯度降落法中,我们需求设定的参数有:初始值,步长(学习率),迭代终止条件(迭代次数或梯度变化很小的情况)。
当求解的问题是凸函数的时分,有全局最优解,否则,并不能保证一定是全局最优的情况,有可能得到极值而不是最值的情况。(梯度降落法是梯度法中的一种 ,梯度降落主要是用来最小化的情况,而梯度上升主要是用来求最大化的情况)。
梯度降落法,可以采用的随机梯度降落法(SGD,stochastic gradient descent),也就是随机选择数据来求梯度中止更新;可以采用批量梯度降落法(BGD,batch gradient descent),也就是选择全部的锻炼数据来求平均梯度,来中止更新;可以采用小批量梯度降落法(mini-batch gradient descent),选择一部分锻炼数据来求平均梯度,来中止更新。三种方法中,从三个方面来对方法中止度量,从收敛速度来说,BGD>MBGD>SGD;从准确率来说,BGD>MBGD>SGD;从锻炼速度来说:SGD>MBGD>BGD。
【迭代尺度法】(improved iterative scaling,IIS),主要是经过寻觅一种参数的修正方法能够不时的迭代来完成目的。这种方法主要的应用之一是在最大熵模型中,这种算法经过求参数改动后和参数改动前的差的上界,应用上界中,改动一维,固定剩下的维完成求导为0,最终得到这一维的变化。
【牛顿法】牛顿法的得名主要在于求方程的解的牛顿法,当然得名的缘由还是在于应用到了牛顿法解方程的思想。主要的精华部分在于:求解的极值点处的一阶导数为0,也就是我们求得是一阶导数的方程,所以,我们需求用到二阶的情况。我们对其中止二阶泰勒展开,对x-xk求导,得到一阶的关系,最终得到一阶,二阶的关系,而关于极值点一阶为0,以此关系最终得到更新式子,不时迭代,最终完成求解即可。对其中止扩展,假设函数是一维的 ,那么就是与二阶导数相关,但假设是高维函数的情况,不能单独以为是二阶的情况,而是触及到了海森矩阵的问题,不只触及到了海森矩阵,还触及到了海森矩阵的逆的情况。而这个求矩阵的逆的问题也成为了牛顿法的瓶颈所在。
【拟牛顿法】拟牛顿法的名字可以看出,第一是拟,也就是不是真的,是仿照的,第二是牛顿法,那么说明拟牛顿法与牛顿法密切相关。拟牛顿法的存在就是为了解决牛顿法的海森矩阵的逆难求解的问题,找这么一个矩阵来替代海森矩阵,那么这个矩阵需求与海森矩阵(逆)的效果一样,并且与其性质相同,都是正定矩阵(对应求极小值点),若为负定矩阵(极大值点)<正定矩阵的性质,是关于向量的转置乘以矩阵乘以向量不断为正,也就是减去一个整数,是不时降落的趋向>。G为我们找到的替代矩阵,H为海森矩阵,G=H的逆。在拟牛顿法中,有几种方法,第一种是DFP算法(Davidon-Fletcher-Powell)算法, 从因变量角度来中止说明,第二种是BFGS(Broyden-Fletcher-Goldfarb-Shanno)算法,从自变量的角度来中止说明;第三种是Broyden类算法,是应用BFGS中的矩阵与DFP中的矩阵之间的逆矩阵的关系,然后将BFGS的矩阵用DFP矩阵来表示出来,然后应用一个线性的关系式来表示,最终得到需求的矩阵。
【最小二乘法】最小二乘法是用来求函数拟合,或者函数极值的方法。最小二乘法求解的目的是最小化平方误差,然后对平方误差对每一个参数中止求导,使得导数为0(导数为0很有可能是极值的情况),然后联立一切的导数为0的方程组成方程组,然后求解解析解。除了采用代数的描画方式,还有应用矩阵的描画方式,应用矩阵的描画方式中触及到了矩阵求导的问题。关于最小二乘法而言,是直接求解析解的方法,并且在矩阵描画中,触及到了求解逆矩阵的问题,假设逆矩阵不存在的话,则不能中止求解,而其他的方法仍然可用。并且关于函数的拟合,是必需恳求拟合的函数是线性的,这是必要的条件,需求先把非线性的函数转换为线性函数,然后才干用最小二乘法来中止求解。并且最小二乘法对应的是求方程组,那么恳求方程组肯定是可以求出解的,也就是恳求方程组不是欠定,是欠定的情况,是无法求解的。
上一条:人工智能知识图谱的技术与应用
下一条:手机端OCR识别技术