智能盘点 - 钢筋数量 AI 识别 - 数据下载与评测

train_dataset.zip
训练集图片资源文件 MD5: 34F09C91A96BACFFF12AA80DA1BBD085

train_labels.csv
训练集标注文件 MD5: 350668D7E7E9E40A2EBCA6DF8A0C947E

submit_example.csv
提交样例 MD5: 6726465B10566EB812F13A9E6DE5661A

test_dataset.zip
测试集图片资源文件 MD5: B945DE419989D41447E259C3F8AD5B7B

数据背景

钢筋数据来自现场手机采集。钢筋车辆进库时，使用手机拍摄成捆钢筋的截面 (一般保证较小倾角，尽量垂直于钢筋截面拍摄)。数据会包含直径从 12 mm-32 mm 等不同规格的钢筋图片。

数据规则

鼓励参赛团队扩大数据，可以使用外部数据进行更深入的研究，但须说明数据获取方式。对于特别需要的数据，参赛团队可以向组委会申请获取。

文件清单和使用说明

文件中包含以下内容：
1.train 文件夹：用于训练的图像集合，共 250 张。
2.test 文件夹：用于测试的图像集合，共 200 张。
3.train_labels.csv 文件：训练图像的标注文件。

ID	Labels
xx.jpg	x_min y_min x_max y_max

其中，ID 列为图像文件名，Labels 列为图像对应的标注信息，示例中 Labels 列为一个矩形框的标注信息，从左到右依次为 x_min (左上角 X 坐标)，y_min (左上角 Y 坐标)，x_max (右下角 X 坐标)，y_max (右下角 Y 坐标) 四个值，中间用空格分割，Labels 中若包含多个矩形标注框则为多行。

作品要求

线上提交的测试结果为 csv 格式的目标识别结果文件，列之间用 “,” 分割，每行包含测试图片名称及识别结果两列组成。例如：

ID	Detections
xxx.jpg	240 170 260 240
xxx.jpg	152 331 246 415
yyy.jpg	240 170 260 240

其中识别结果为检测框坐标依次排列的形式，例如 “240 170 260 240” 表示左上角坐标 (240, 170)，右下角坐标 (260, 240) 的矩形框位置检测到钢筋，数据之间采用空格隔开，同一张图片上的不同检测结果写入多行记录。

评分方式

评分算法采用 F1-Score 的计算方式

计算作品的召回率 (recall) 和准确率 (precision)：

R ( 召回率 ) = 检测正确的目标数量检测正确的目标数量 + 漏检的目标数量 R (召回率) =\frac{检测正确的目标数量}{检测正确的目标数量+漏检的目标数量} R(召回率)=检测正确的目标数量+漏检的目标数量检测正确的目标数量

P ( 准确率 ) = 检测正确的目标数量检测正确的目标数量 + 检测错误的目标数量 P (准确率) =\frac{检测正确的目标数量}{检测正确的目标数量+检测错误的目标数量} P(准确率)=检测正确的目标数量+检测错误的目标数量检测正确的目标数量

F 1 − S c o r e = 2 P R P + R {F1-Score} = \frac{2PR}{P+R} F1−Score=P+R2PR

F1-score 值越高，排名越靠前。

本题规定 predicted bounding box 和 ground truth bounding box 的 IOU (交并比) 作为结果匹配的依据。
检测正确的目标：IOU > 0.7 的结果。
漏检：标准答案中标识出的目标，但是作品中未找到 IOU > 0.7 的匹配项。
检测错误的目标：作品中标注的目标在标准答案中没有对应的 IOU > 0.7 的匹配项。

CSV 文件转换成为 VOC 格式文件

大小错误，是指文件大小超出限制。
格式错误，是指结果中的字段数不对、字段分隔符、换行符不对，请按照比赛说明中要求的格式编写结果文件。
编码错误，是指结果为非文本格式或包含非法字符、字符集错误等，推荐使用 UTF-8 无 BOM 编码的文本格式。
逻辑错误，是指结果文件的内容在逻辑上不符合比赛要求。

A/B 榜是指在对结果进行评分排名时，将测试数据分割为 A/B 两份，分别评分并生成对应排行榜。

A 榜和 B 榜的存在是为了防止参赛队伍对测试数据过拟合，分割方式可能会采用随机分割方式、时序分割方式或者其他专业分割方式。

A 榜在提交开放阶段为每支参赛队伍的提交结果自动评分并排名，生成 A 榜；B 榜在提交截止阶段为参赛队伍选定的候选文件进行自动评分并排名，生成 B 榜。

A/B 榜不会更换数据。

所有报名参加同一赛题的参赛者，可进行组队操作。每队 1-5 人，不可重复组队。组队截止至初赛 A 榜结束。