Hinge Loss简介

标准Hinge Loss

Hinge本身是用于分类的Loss，给定Label y = ± 1 y=\pm 1 y=±1
这个Loss的目的是让预测值 y ^ ∈ R \hat{y} \in R y^∈R和 y y y相等的时候，返回0，否则返回一个线性值
基于2的需求，Hinge Loss的定义： L ( y ^ ) = m a x ( 0 , 1 − y ⋅ y ^ ) L(\hat{y}) = max(0, 1-y \cdot \hat{y}) L(y^)=max(0,1−y⋅y^)。当 y y y和 y ^ \hat{y} y^相等，Loss等于0，下面是分类讨论。对应的图像如下图所示：
- y = 1，那么 1 − y ⋅ y ^ = 1 − y ^ 1-y \cdot \hat{y} = 1 - \hat{y} 1−y⋅y^=1−y^
- y = -1 那么 1 − y ⋅ y ^ = 1 + y ^ 1-y \cdot \hat{y} = 1 + \hat{y} 1−y⋅y^=1+y^
- 总而言之就是尽可能让预测值 y ^ \hat{y} y^尽可能贴近Label值

Hinge Loss变体

公式上的化简Or变换

有些实现中会利用label y y y的符号对上述的Hinge Loss L ( y ^ ) = m a x ( 0 , 1 − y ⋅ y ^ ) L(\hat{y}) = max(0, 1-y \cdot \hat{y}) L(y^)=max(0,1−y⋅y^)进行变换：
L ( y ^ ) = m a x ( 0 , − s i g n ( y ) ⋅ ( y ^ − y ) ) L(\hat{y}) = max(0, -sign(y)\cdot (\hat{y} - y)) L(y^)=max(0,−sign(y)⋅(y^−y))
其中 s i g n ( y ) sign(y) sign(y)表示label的符号：

s i g n ( y ) = { 1 y = 1 − 1 y = − 1 sign(y)=\left\{ \begin{aligned} 1 & & {y = 1}\\ -1 & & {y = -1} \end{aligned} \right. sign(y)={1−1y=1y=−1
或统一成一种表达: s i g n ( y ) = l a b e l ≤ − 1 − l a b e l ≥ 1 sign(y)=label \leq -1 - label \geq 1 sign(y)=label≤−1−label≥1，这样做的目的是能够省去 y ⋅ y ^ y\cdot\hat{y} y⋅y^的操作

正负Label的改变

上述讨论都是基于negative label = -1, positive label=1 的基础上做的。实际上有时候我们的negative label会以0表示。这时只需要对 s i g n sign sign函数进行一些修改：
s i g n ( y ) = { 1 y = 1 − 1 y = 0 sign(y)=\left\{ \begin{aligned} 1 & & {y = 1}\\ -1 & & {y = 0} \end{aligned} \right. sign(y)={1−1y=1y=0
或统一成一种表达: s i g n ( y ) = ( l a b e l ≤ n e g ) − ( l a b e l ≥ p o s ) sign(y)=(label \leq neg ) - (label \geq pos) sign(y)=(label≤neg)−(label≥pos)
在negative label = 0, positive label=1的情况下，Loss的函数图像会发生改变：

而在这里我们可以看出Hinge Loss的物理含义：将输出尽可能“赶出” [ n e g , p o s ] [neg,pos] [neg,pos]的这个区间。
4. 对于多分类：

看成是若干个2分类，然后按照2分类的做法来做，最终Loss求平均，预测
或者利用标准的多类hinge Loss：https://www.cnblogs.com/wangxiu/p/5668659.html

参考：

https://blog.csdn.net/hustqb/article/details/78347713
https://www.cnblogs.com/wangxiu/p/5668659.html
http://vision.stanford.edu/teaching/cs231n-demos/linear-classify/