正规方程
正规方程是机器学习-线性回归中求代价函数L(θ)中θ的一个方法,他的数学表达式是:
我将在接下来的内容中介绍:损失函数L(θ)的来历和意义,以及正规方程结论的数学推导过程
代价函数
代价函数,又叫损失函数,表示的是建立的机器模型与真实值的差异。代价函数输出的值越大,代表所模型预测的值的代价(这里的代价可以理解为真实值想要达到预测值所需要的代价)越大,就代表模型的预测效果并不是那么的好。因此,让代价函数输出的值最低,从获得让代价函数达到最低输出的参数,在这这个参数就是θ。
其中n代表总体个数,可以理解为是个常数。L(θ)可以理解为1/2倍的方差。至于这个1/2,第一:方便L(θ)求导;第二:求出L(θ)最小,那么他对应的两倍的输出值也是最小。
对于正规方程的数学推导
正规方程就是求解θ的一个方法,对于上述这个损失函数来说,正规方程这个方法可以在训练集不是很大时高效的找出θ,在训练集不是很大时这个方法是优先于梯度下降算法的。
①:首先表示出H(θ)的向量形式,然后对H(θ)进行化简。注意:默认向量为列向量(这个在推导的时候十分重要)
②:若求当一个函数最小时自变量的取值,即寻找这个函数的导函数为0的点
end
感谢各位读到这里,有问题欢迎大家在评论区指出,一起学习一起进步,码字不易,如果觉得写的不错就点个赞吧