回归模型选择性能指标 | RMSE与MAE应用及其区别（L1-曼哈顿范数和L2-欧几里得范数)

机器学习回归问题常用的两种选择性能指标：

均方根误差（Root Mean Square Error-RMSE）：
RMSE(X,h)=1m∑i=1m(h(x(i))−y(i))2RMSE(\bold X,h)=\sqrt{\frac{1}{m}\sum_{i=1}^m(h(x^{(i)})-y^{(i)})^2} RMSE(X,h)=m1i=1∑m(h(x(i))−y(i))2

均方根误差测量的是数据序列与真实值之间关系，区别与概率论中的标准差（测量数据序列与均值之间的关系），之所以开平方是为了保证量纲相同。
平均绝对误差（Mean Absolute Error-MAE）
MAE(X,h)=1m∑i=1m∣h(x(i))−y(i)∣MAE(\bold X,h)=\frac{1}{m}\sum_{i=1}^m|h(x^{(i)})-y^{(i)}| MAE(X,h)=m1i=1∑m∣h(x(i))−y(i)∣

适用情况：数据存在许多异常值时使用MAE，因为当数据异常时，RMSE是先对误差进行平方的累加后再开方，它其实是放大了较大误差之间的差距(代入几组数值即可得出此结论)。而MAE是真实误差，受异常值（极小值或极大值）影响较RMSE小。
两者的异同：
同：
都是测量的预测值和真实值两个向量距离的方法。
异：
（1）RMSE对应于常数与欧几里得范数的乘积，欧几里得范数称为L2范数或∣∣⋅∣∣2||·||_2∣∣⋅∣∣2，有时也称作||·||
（2）MAE对应于常数与曼哈顿范数的乘积，曼哈顿范数称为L1范数或∣∣⋅∣∣1||·||_1∣∣⋅∣∣1
【曼哈顿距离（L1范数）& 欧式距离（L2范数）区别】

向量的范数可以简单形象的理解为向量的长度，或者向量到零点的距离，或者相应的两个点之间的距离。
向量的范数定义：向量的范数是一个函数||x||,满足非负性||x|| >= 0，齐次性||cx|| = |c| ||x|| ，三角不等式||x+y|| <= ||x|| + ||y||。
一般情况下，包含n个元素的向量v\bold vv的LkL_kLk范数（K阶闵氏范数），定义成
∣∣v∣∣k=(∣v0∣k+∣v1∣k+⋅⋅⋅+∣vn∣k)1k||\bold v||_k=(|v_0|^k+|v_1|^k+···+|v_n|^k)^{\frac{1}{k}} ∣∣v∣∣k=(∣v0∣k+∣v1∣k+⋅⋅⋅+∣vn∣k)k1当k=0k=0k=0时，它表示的是这个向量非零元素的个数，称作汉明范数，当k→∞k\to \inftyk→∞时，它表示的是向量中最大的绝对值，称作切比雪夫范数。
范数的指数越高，就越关注大的值而忽略小的值。这就是为什么RMSE比MAE对异常值更敏感。但是当异常值是指数分布（类似正态曲线）时，RMSE就表现很好。

参考资料：

sklearn与TensorFlow机器学习指南
曼哈顿距离（L1范数）& 欧式距离（L2范数）区别
范数与距离的关系
衡量线性回归法的指标：MSE, RMSE和MAE

回归模型选择性能指标 | RMSE与MAE应用及其区别（L1-曼哈顿范数和L2-欧几里得范数)相关推荐

【机器学习】回归评价指标---MSE、RMSE、MAE、R-Squared
分类问题的评价指标是准确率,那么回归算法的评价指标就是MSE,RMSE,MAE.R-Squared. MSE和MAE适用于误差相对明显的时候,大的误差也有比较高的权重,RMSE则是针对误差不是很明显的 ...
回归模型选择(R语言版)
回归模型选择(R语言版) 选择准测: With Cp , AIC and BIC, smaller values are better, but for adjusted R2 , larger va ...
回归评价指标MSE、RMSE、MAE、R-Squared
前言分类问题的评价指标是准确率,那么回归算法的评价指标就是MSE,RMSE,MAE.R-Squared.下面一一介绍均方误差(MSE) MSE (Mean Squared Error)叫做均方误差 ...
关于各种回归评价指标MSE、RMSE、MAE、R-Squared、Standard Deviation（标准差）
分类问题的评价指标是准确率,那么回归算法的评价指标就是MSE,RMSE,MAE.R-Squared.下面一一介绍: 1.均方误差(MSE) MSE (Mean Squared Error)叫做均方误差 ...
回归评价指标---MSE、RMSE、MAE、R-Squared
分类问题的评价指标是准确率,那么回归算法的评价指标就是MSE,RMSE,MAE.R-Squared. MSE和MAE适用于误差相对明显的时候,大的误差也有比较高的权重,RMSE则是针对误差不是很明显的 ...
回归评价指标MSE、RMSE、MAE、MAPE及python实现
文章目录回归评价指标公式 MSE RMSE MAE MAPE python实现 numpy sklearn 回归评价指标公式假设: 预测值:y^={y1^,y2^,-,yn^}\hat{y}=\{ ...
机器学习模型常用评价指标（Accuracy, Precision, Recall、F1-score、MSE、RMSE、MAE、R方）
前言众所周知,机器学习分类模型常用评价指标有Accuracy, Precision, Recall和F1-score,而回归模型最常用指标有MAE和RMSE.但是我们真正了解这些评价指标的意义吗? ...
R构建岭回归模型（Ridge Regression）实战
R构建岭回归模型(Ridge Regression)实战目录 R构建岭回归模型(Ridge Regression) 岭回归模型选择最优λ值交叉验证
应该掌握的7种回归模型
应该掌握的7种回归模型本文转载自博客你应该掌握的7种回归模型!. 线性回归和逻辑回归通常是人们学习预测模型的第一个算法.由于这二者的知名度很大,许多分析人员以为它们就是回归的唯一形式了.而了解更多的 ...

回归模型选择性能指标 | RMSE与MAE应用及其区别（L1-曼哈顿范数和L2-欧几里得范数)

回归模型选择性能指标 | RMSE与MAE应用及其区别（L1-曼哈顿范数和L2-欧几里得范数)相关推荐

最新文章

热门文章