1.背景

常见的分类损失函数可以概括为减小类内距离 s n s_n sn​，增大类间距离 s p s_p sp​。优化目标如下：
m i n ( s n − s p ) min(s_n-s_p) min(sn​−sp​)

2.存在的问题

• 优化不够灵活。
  优化目标对 s n s_n sn​和 s p s_p sp​的惩罚作用是相等的，二者的系数都为1。
  例如 { s n , s p } = { 0.1 , 0.5 } \{s_n,s_p\}=\{0.1 ,0.5 \} {sn​,sp​}={0.1,0.5}。这个时候类内距离 s n = 0.1 s_n=0.1 sn​=0.1，接近0，模型已经能够很好的将相同的类聚在一起。但由于此时 s p = 0.5 s_p=0.5 sp​=0.5，受 s p s_p sp​的牵累， s n s_n sn​依然会接受一个较大的惩罚梯度。
• 收敛状态模糊。
  记 m a r g i n = s n − s p margin = s_n-s_p margin=sn​−sp​
  考虑两个状态。 T = { s n , s p } = { 0.2 , 0.5 } T=\{s_n,s_p\}=\{0.2,0.5 \} T={sn​,sp​}={0.2,0.5}, T 1 = { 0.4 , 0.7 } T^1=\{0.4,0.7\} T1={0.4,0.7}虽然 T T T和 T 1 T^1 T1收敛状态是一样的， m a r g i n margin margin都是0.3，但此时0.5和0.4已经十分接近，即 T T T时候的类间距离和 T 1 T^1 T1时候的类内距离是差不多的，这种收敛状态会破坏特征空间的可分离性（不同类间的边界相互耦合，不够清晰）。

3.动机

针对上述两个challenge，给 s n s_n sn​ 和 s p s_p sp​加上不同的惩罚系数，优化目标变为：
m i n ( α ∗ s n − β ∗ s p ) min(α*s_n - β*s_p) min(α∗sn​−β∗sp​)

ps:决策边界从常见方法的直线变为本文方法的环形，故取名为circle loss。