目标检测之分类、回归和损失函数

一、分类和回归

输出变量为有限个离散变量的预测问题成为分类问题；
输入变量与输出变量均为连续变量的预测问题是回归问题；
分类模型和回归模型本质一样，分类模型是将回归模型的输出离散化。

二、分类和回归应用场景

1.回归问题的应用场景
回归问题通常是用来预测一个值，如预测房价、未来的天气情况等等，例如一个产品的实际价格为500元，通过回归分析预测值为499元，我们认为这是一个比较好的回归分析。一个比较常见的回归算法是线性回归算法（LR）。另外，回归分析用在神经网络上，其最上层是不需要加上softmax函数的，而是直接对前一层累加即可。回归是对真实值的一种逼近预测。

2.分类问题的应用场景
分类问题是用于将事物打上一个标签，通常结果为离散值。例如判断一幅图片上的动物是一只猫还是一只狗，分类通常是建立在回归之上，分类的最后一层通常要使用softmax函数进行判断其所属类别。分类并没有逼近的概念，最终正确结果只有一个，错误的就是错误的，不会有相近的概念。最常见的分类方法是逻辑回归，或者叫逻辑分类。

三、举几个例子

1、 Logistic Regression 和 Linear Regression：
Linear Regression：输出一个标量 wx+b，这个值是连续值，所以可以用来处理回归问题。
Logistic Regression：把上面的 wx+b 通过 sigmoid函数映射到(0,1)上，并划分一个阈值，大于阈值的分为一类，小于等于分为另一类，可以用来处理二分类问题。
更进一步：对于N分类问题，则是先得到N组w值不同的 wx+b，然后归一化，比如用 softmax函数，最后变成N个类上的概率，可以处理多分类问题。

2、 Support Vector Regression 和 Support Vector Machine:
SVR：输出 wx+b，即某个样本点到分类面的距离，是连续值，所以是回归模型。
SVM：把这个距离用 sign(•) 函数作用，距离为正(在超平面一侧)的样本点是一类，为负的是另一类，所以是分类模型。

神经网络用于分类和回归:

用于回归：最后一层有m个神经元，每个神经元输出一个标量，m个神经元的输出可以看做向量 v，现全部连到一个神经元上，则这个神经元输出wv+b，是一个连续值，可以处理回归问题，跟上面 Linear Regression 思想一样。

用于N分类：现在这m个神经元最后连接到 N 个神经元，就有 N 组w值不同的 wv+b，同理可以归一化（比如用 softmax ）变成 N个类上的概率。

拓展：上面的例子其实都是从 prediction 的角度举例的，如果从training角度来看，分类模型和回归模型的目标函数不同，分类常见的是 log loss, hinge loss, 而回归是 square loss。

四、损失函数

监督学习的神经网络都需要一个函数来测度模型输出值p和真实的因变量值y之间的差异，甚至有些无监督学习的神经网络也需要类似的函数。模型输出值p和真实值y之间的差异一般被称为残差或者误差，但是这个值并不能直接用来衡量模型的质量。当一个模型完美的时候，其误差为0，而当一个模型不够完美的时候，其误差不论为负值还是正值，都偏离0；因此衡量模型质量的是误差偏离0的相对值，即误差函数的值越接近于0，模型的性能越好，反之则模型的性能越差。误差函数也被称为损失函数。

损失函数的一般表示为L(y,f(x))L(y,f(x))，用以衡量真实值yy和预测值f(x)f(x)之间不一致的程度，一般越小越好。为了便于不同损失函数的比较，常将其表示为单变量的函数，在回归问题中这个变量为y−f(x)y−f(x)，在分类问题中则为yf(x)yf(x)。下面分别进行讨论。

分类问题常用损失函数：

1、交叉熵损失：
这种损失函数也叫做对数损失函数，是针对分类模型的性能比较设计的，按照分类模型是二分类还是多分类的区别，可以分为二分类交叉熵和多分类交叉熵两种。交叉熵的数学表达式很简单，可以写作： H ( p ) = ∑ x ( p x l o g 1 q x ) H\left ( p \right )=\sum_{x}\left ( p_{x}log\frac{1}{q_{x}} \right ) H(p)=∑x(pxlogqx1)因此交叉熵可以被解释为映射到最可能的类别的概率的对数。因此，当预测值的分布和实际因变量的分布尽可能一致时，交叉熵最小。

2、Logistic loss：
logistic Loss为Logistic Regression中使用的损失函数：

3、Hinge loss：

hinge loss为svm中使用的损失函数，hinge loss使得yf(x)>1的样本损失皆为0，由此带来了稀疏解，使得svm仅通过少量的支持向量就能确定最终超平面。hinge loss被翻译为“合页损失”。

回归问题的损失函数

回归问题中yy和f(x)f(x)皆为实数∈R∈R，因此用残差 y−f(x)y−f(x)来度量二者的不一致程度。残差 (的绝对值) 越大，则损失函数越大，学习出来的模型效果就越差（这里不考虑正则化问题）。

a、均方差（MSE）:

这种损失函数通常用在实数值域连续变量的回归问题上，并且对残差较大的情况给予更多的权重。

b、平均绝对差（MAE）:

这种损失函数也通常用在上面提到的那类回归问题上，在时间序列预测问题中也常用。在这个误差函数中，每个误差点对总体的误差的贡献与其误差绝对值成线性比例关系，而上面介绍的MSE没有这个特性。

c、位置回归采用稳定的 Smooth L1：
SmoothL1公式为：

参考：

https://blog.csdn.net/laobai1015/article/details/83059178
https://www.cnblogs.com/massquantity/p/8964029.html
https://blog.csdn.net/Heloiselt/article/details/79904456
https://blog.csdn.net/yunxinan/article/details/88550114