kaggle aptos2019 的图像预处理

APTOS全称Asia Pacific Tele-Ophthalmology Society (APTOS) Symposium。训练和测试样本图片由印度Aravind Eye Hospital为了筛查农村人口的病情所得。

aptos2019 竞赛的目的是分析糖尿病造成的视网膜病变（diabetic retinopathy）的严重程度，正常为0，最差为4，疾病严重的可致盲。所以此项研究旨在利用人工智能方法尽早诊断糖尿视网膜病变，避免病情恶化。
kaggle链接如下：
https://www.kaggle.com/c/aptos2019-blindness-detection/overview

眼底照片如下：

图像预处理

由于图像实际拍摄的时间、地点、设备、操作人员不同，所以尺寸，颜色、亮度也各不相同。正所谓垃圾进，垃圾出。直接对原图进行训练增加训练的难度，不容易找到病变的特征。

一般的计算机视觉处理都会进行图像预处理。在aptos2019竞赛的kaggle社区notekooks中，看到最多的一种图像增强方法是Ben Graham提出的。他是aptos2015年的糖尿病视网膜病变竞赛的冠军，由于2019年的竞赛图像也是相似的，所以很多人都延用他的预处理方法。

方法分为以下3步

rescale the images to have the same radius (300 pixels or 500 pixels),
subtracted the local average color; the local average gets mapped to 50% gray,
clipped the images to 90% size to remove the “boundary effects”.

python 代码如下：

import cv2 , glob , numpy
# 输出图像的眼球半径都为1*scale个像素
def scaleRadius(img,scale):x = img[int(img.shape[0]/2),:,:].sum(1) # 图像中间1行的像素的3个通道求和。输出（width*1）r = (x>x.mean()/10).sum()/2 # x均值/10的像素是为眼球，计算半径s = scale*1.0/rreturn cv2.resize(img,(0,0),fx=s,fy=s)# 输出长宽 为 原长宽*scale/r = （原长宽/r）*scale。# 那么，输出图像的眼球半径都为1*scale个像素。scale = 300
for f in glob.glob ("train/∗. jpeg")+ glob . glob ("test/∗.jpeg"):try :a=cv2.imread(f)#scale img to a given radiusa=scaleRadius(a, scale)#subtract local mean colora=cv2.addWeighted(a,4,cv2.GaussianBlur(a,(0,0),scale/30),−4,128)#remove out er 10%b = numpy.zeros(a.shape)cv2.circle(b,(a.shape[1]/2, a.shape[0]/2 ),int(scale ∗ 0.9),(1, 1, 1), −1, 8, 0)a = a∗b+128∗(1−b)cv2.imwrite(str(scale) +"_" +f, a)except:print(f)

1. 基于眼球的resize： scaleRadius()

因为不同图片长宽比不同，且眼球外围黑边宽度各不相同，所以resize不能以整个图像的尺寸为准。因此，以眼球半径为基准，resize图片。

取高度正中间一行（图片基本上下对称；垂直方向眼球可能会被裁剪，但水平方向的眼球基本都完整。），并计算3个通道的和，得到x
计算x大于（x均值/10）的像素个数，作为直径，除以2得到半径r。
计算的到一个参数s = scale / r。scale是给定的参数，代表你想要的眼球半径。
计算 cv2.resize(img,(0,0),fx=s,fy=s)。这里把输出长宽设为（0，0），函数会通过fx和fy计算输出长宽，公式为img.width * s, img.height.s。而s=scale/r，那么输出长宽=原长宽*scale/r = （原长宽/r）*scale。可见眼球的半径被=1了，在乘以scale。

2. 特征增强

第二步是关键的一步，使得不同图像显示效果更加一致，同时凸显特征。
核心在于这一句，cv2.addWeighted(a,4, cv2.GaussianBlur(a,(0,0),scale/30),−4,128)。

cv2.addWeighted的公式=a4+高斯模糊结果-4+128。过程中函数会做saturate_cast避免数据溢出。cv2.GaussianBlur(a,(0,0),scale/30)中，kernel大小设置为(0, 0)，意思是根据x方向上的标准差scale/30来计算。

处理的原理是：（原图-高斯模糊图）得到差异。高斯模糊图是作者说的local area average color，相当于背景，原图-背景=特征，从而增强了图像。

3. 去除眼球周围部分

不做图像预处理

从15年到19年，深度学习有了进一步的发展。我看了一下19年竞赛的冠亚军的方案，都没有使用图像预处理。他们的提到原因是，发现做不做预处理对结果没有影响。

可以理解为网络设计到位了，预处理的功能直接在网络中学习到了，那么自然就不用单独进行预处理，直接实现end to end。

参考

https://github.com/btgraham/SparseConvNet/tree/kaggle_Diabetic_Retinopathy_competition
https://www.kaggle.com/ratthachat/aptos-eye-preprocessing-in-diabetic-retinopathy