第一次参加kaggle竞赛：Happywhale - Whale and Dolphin Identification（ID识别问题：top9.4% 150/1558）

一、ID识别问题

ID1：

ID2：

下图是哪个ID：

二、训练数据分布

51033张训练图片， 27956张测试图片，public LB用了24%的测试图片，最后结果以private LB的结果为准
Whale和Dolphin两个类别的数据分布
Whale和Dolphin下面总共26中类别
5w多张图片总共含有15587个ID，前10个ID的分布如下：
训练图片中有很多ID只有一张图片
测试图片中，有些ID 没有在训练图片中出现

三、我的解决方案

训练的时候，采用effiecientnetb7作为特征提取器，使用gem pooling，加入CBAM attention，四个neck，四个loss；测试的时候，将四个neck的特征cat到一起，就是提取的embeddings。

四、我的用到的tricks

学习率：warmup+cos下降
冻结bn层：小的batch_size下不能正确估计统计变量E(x)和V(x)，还不如不更新。详细看这里
混合精度训练：GPU下的某些操作，将float32转换为float16，损失少量的精度，可以节省大量的内存。详细看这里
梯度累加：梯度累加几个batch_size之后再更新，loss求平均时防止梯度爆炸。详细看这里
CBAM attention：通道和空间域的attention。
test_tta：Test Time Augmentation
不同input size之间的ensemble：确定input size 时，CNN 学会了找到特定大小的特定特征；那么，修改input size后再训练，学习后的CNN找到的其他大小下的其他特征，因此可以用不同的input size，看哪种更接近最优值。

五、tricks的效果

下面的表格是我在effiecientnetb5上的训练结果，因为effiecientnetb5更新快，score是在public LB上的分数：

六、有用未成功的tricks

Progressive Resizing
step1:Train model on size: small
step2:Save weights and re-train model on larger image size
step3:Save weights again and re-train on final image sizes
Differential Learning Rates
上层特征，用小的学习率，低层特征，用较大学习率
PsuedoLabelling
训练—测试—加入训练集—再训练—再测试

下面内容是我重点参考的，觉得非常有用的

不用翻墙的kaggle 讨论：
1、9 Computer Vision Tricks to Improve Performance
2、7 More Computer Vision Tricks to Improve Score
3、Previous Happywhale Competition Solutions
4、CNN Input Size Explained

下面链接需要翻墙：
这个blog有四个大trick:
trick1: freeze
Novel techniques to win an Image Classification hackathon (Part-1)
trick2: progressive trainning
Novel techniques to win an Image Classification hackathon (Part-2)
trick3: attentation
Novel techniques to win an Image Classification hackathon (Part-3)
trick4:Ensemble and TTA
Novel techniques to win an Image Classification hackathon (Part-4)

这个第7名的方案是我主要参考的方案：
Thanks Radek 7th place solution to HWI 2019 competition