水果品质自动分级的机器视觉系统

摘要

水果和蔬菜，通常以批次的形式提供给消费者消费。而水果的均匀性和外观对消费者的决策有着重大的影响。由于这个原因，农农产品的展现无论是在田地里还是在最后流向消费者的不同阶段，都会被处理，而且通常是朝着同类产品的清洗和分类方面来进行的。该项目的ESPRIT3，参考9230。集处理，检查和包装水果和蔬菜于一体的综合系统（英文简写SHIVA）形成了一种自动、无损检测和处理的水果的机器人系统。本文的目的是报告在Valenciano de Investigaciones Agrarias研究所研究的对桔子，桃子，苹果品质进行实时测评而发展起来的机器视觉技术，并评估该技术在下列质量属性：大小，颜色，茎的位置及外部瑕疵检测中的效率。此种分解研究，在贝叶斯判别分析的基础上，使用并且允许水果因背景不同而精确的进行区分。因此，尺寸的确定性恰当的得到了解决。水果由此系统测出的颜色，和目前被用作标准的色度指标值非常吻合。在茎块的定位和瑕疵的检测中也取得了良好的效果。该系统在用大批量苹果进行在线测试分级后也取得了很不错的表现，并且并在缺陷检测和规模估计中分别取得了86％和93％的重复一致性。此系统的准确性和可重复性和人工分级几乎一样。

1.简介

机器视觉在水果和蔬菜检验中的应用在最近几年有所增加。如今，世界各地的一些制造商生产按水果大小，颜色和重量进行水果前期分级的分拣机。然而，市场不断地要求更高质量的产品，因此，其他功能已经发展来提高机器视觉检测系统（例如茎定位，确定主，副皮肤的颜色，检测污点）。

大小，是第一个与质量有关的参数，已经通过使用机器视觉测量周长或直径其中任一种得到了测量（陶等，1990;Varghese等，1999），周长（萨卡＆沃尔夫，1985）或直径（布罗迪等。，1994）。颜色也是一个重要的品质因素，已被广泛研究（Singh等人，1992年，1993年。哈恩，2002年;多布然斯基和Rybczynski，2002）。有些水果有一种颜色均匀分布在皮肤表面，我们称之为主色。该平均表面颜色对这些水果来说是一个很好的质量指标。然而，一些其他水果（例如桃子，苹果，西红柿）有次要颜色可作为一种成熟的良好指标。在这种情况下，它是不可能完全只把全球面色彩作为质量参数的。

在桔子，桃子，苹果这些水果中，有必要进行长茎检测，以避免损害其他水果，或者是因为没有他们可能意味着质量损失。已经有若干解决方案被提出了来确定茎的位置，如：使用结构的照明检测苹果凹陷（杨，1993）;颜色分割技术来区分柑橘

有时候，茎容易混淆成皮肤上的缺陷或瑕疵。损伤和擦伤检测是质量评价的一个关键因素。众多苹果擦伤检测方法中有一种是基于对干扰过性滤器的使用（Rehkugler＆斯鲁普，1986年）。其他研究同时进行瑕疵处理和颜色评定这两项。（米勒和Delwiche，1989年;勒费弗尔等，1994;切鲁托等，1996;莱曼斯等，1999，2002; Blasco及蜕皮澳，2002年）。最近的技术结合红外和可见的信息来检测瑕疵（Aleixos等，2002）或者使用高光谱成像（Peirs等，2002）。

这项工作的目的是报告在项目ESPRIT3（参考 9230的集处理，检查和包装水果和蔬菜于一体的综合系统，英文简写SHIVA），该技术在其他地方被描述过（墨尔特等，1997，1998），和Valeenciano Agrarias（IVIA）研究所在1998年三月进行的测试中取得的成果的基础上发展而来的图像分析技术。该视觉系统是为了在线测量与桔子，桃子，苹果质量有关的几个参数，如大小，以及鉴定次要色点（桃和苹果一些种类的水果需要），茎块位置或斑点的存在。水果要在不1秒的时间里于四个不同角度被检测。为了评估视觉系统的效率，自动检验的性能和重复性和专家们的人工检测进行了比较。

2.材料与方法

2.1.硬件

机器视觉系统是由一个三电荷耦合器件（CCD）彩色摄像机（索尼XC003P）和一个图像采集卡（流星的Matrox）组成的，并被连接到了一台可兼容的个人电脑[奔腾200兆赫，48Mb随机存取存储器（RAM）]。该系统提供了768每576像素的图像，以 35mm每像素实现。图像采集卡从相机撷取并解码复合视频信号为在红，绿，蓝色坐标（RGB）的三个用户定义的缓冲区。

照明系统是一个环形日光灯管组成的，里面内室涂有白色亚光半球形荧光，并在顶部有一个洞来放置相机。由在于日光灯管和场景之间放置了用于保护的反射面，避免了直射向水果的光。

视觉系统是用于自动检测，处理和包装的机器人系统中一部分。进入检查室前的水果都被单个化处理了，然后传递给一系列的移动真空杯，他们有旋转和翻译能力，能使水果在四个不同角度传递给相机，使其不位于重叠的位置，以尽量多的检查水果的表面（图1）。

2.2.图像分析

图像分析是由IVIA用编程语言C研发的一个特定的应用软件来来执行的，在磁盘操作系统下运行（DOS）。该软件分为两 模块：一个为培训系统的应用;另一个系统需要离线预先训练。利用录制的水果图像，专家选择不同区域的图像和分配所有每一个地区像素于其中一个预先确定的类别：背景，原色，次主色，一般伤害类型1，一般伤害类型 2，特定的功能，茎，花萼。由于分类采用这样一种方式，所以他们对所有类型的水果都适用。训练系统分别单一颜色的水果，此主色类没有使用。用两个类颜色方法检测一般的损害是合理的，因为每个种类的水果都有不同的颜色的缺陷 ，可以区分为明亮的与黑暗的。另一个预先定义的类被用于检测水果的特定特点，如金冠苹果的赤褐色度。

由于每个类代表性的区域已选定，贝叶斯判别模型被创建，它 利用像素的三个基本色：红色，绿色和蓝色作为独立变量（RGB）。 贝叶斯判别分析包括对上述每个类别的RGB值组合的概率的计算。一个阿雷尔（1991）描述的算法被应用，即采用不同的协方差矩阵为每个类，它的结果在二次判别模型。此过程可参考表来进行。该表，存储在计算机内存中并在网上操作时给予咨询，允许每个像素的图像分配到最接近匹配的类.水果的颜色，作为水果成熟的状态标志，即是是在同一种水果里，也可以因为许多因素而略有不同。由于此分割方法极大地依赖于每个水果的像素颜色，它是对这些变化非常敏感。出于这个原因，该系统需要进行测试，并且对每个测试期都要创建一个新的表格。

图1（a）第一图像的采集（b）第二个图像的采集-杯1旋转水果120°（c）第三个图像的采集-杯1将水果再旋转120°（d）第四图像的采集-杯2抓住水果并旋转180°在线操作最先要获取第一幅图像，并利用上面提到的表格将其按先前定义的类进行分类（图.2（a））

图2 (a) 照相机拍摄的原始图像（b）分割图像显示完好皮肤，褐色化度，茎块和损坏区域（c）除了茎和背景以外的所有区域，用来计算的大小类别（d）展示了大小如何估计的图像

同一种类的八个相连的像素中的每一份被认为是相互独立的区域。然后，为了加快轮廓提取的进程，基于模滤波器的缓和程序被应用到了分段的图像，以便平缓图像之间的毗邻地区及消除孤立的不良分类像素[图. 2（b）]

第二步由提取特性来将水果按大小进行分类构成。单值图像中的前景是水果的图像，认为是各区域形成的，除了那些被视为背景或茎块的区域。然而茎块并不认为是水果的一部分，因为较长的茎块可能导致错误的测量尺寸（图. 2（c））。 然后，对水果区域边界进行提取并编纂通过用链码为基础的算法 （弗里曼，1961年）来计算量做惯性主轴的长度面积和尺寸（图. 2（d））。

在第三步中，各地区不再视作为单果，每个独立的区域面积却要被测定(图. 3（a）)。为了纠正分割过程中产生的错误，表面积少于一定的阈值的区域被认为是无效的分类像素。对于有效的地区，根据他们的像素所处类别不同，不同的参数被计算。例如，在有任何类各地区组成的损害像素区域中，长度和面积分别计算。在被划为茎块的区域的情况中，只有共同的坐标质心进行了测定。在检测到多茎块的情况中，最长的区域被选定为'真正的' 茎块，其他的认为是干扰（图3（b））。在分配到基本和次等的颜色区域，质心及颜色RGB均值要计算。该流程的整个过程如图4所示。该水果四个角度被不断重复。 当最后一个图像被处理时,每个果实下列特征都要测量：

(1)主要损伤的长度——定义为主要区域的长度，归类为损伤，在上面四种视角中都有；

(2)损伤面积——等同于所有受伤区域的总和，在四个独立的视角中; (3)茎和瑕疵——需要考虑，如果在四种视角中的任一种中发现;

(4)基础色——计算作为基础的颜色，在每个独立的视角中统计

(5)次主色——计算作为次要主色，在每个独立的视角中统计

(6)水果的尺寸——根据现在的标准，尺寸是根据替代物的尺寸测来的。由于水果不具有方向性，水果都是由离茎最近的地方开始定位测量的。如果茎在少于两张图像中看到，该水果的尺寸就被当做其他四幅图像的水果的平均尺寸。

尽管一些用于颜色描述的立体模型，作为HIS或La * b *值，描述的颜色和我们的感觉很接近，但RGB系统被用来描述是由于图像采集卡直接提供本系统中的图像的像素颜色，所以后面的进一步消耗的计算资源的转换是不需要的。

图3 （a）分割图像显示褐色度，茎和损坏的区域（b）图像显示周长，褐色度中心和茎区和最长损害区的长度

2.3该系统的性能评价

2.3.1.分割程序

虽然分割方法的可靠性可由系统通过结果和可重复推导出来，为了在水果的图像上分析分割程序通常要做个初步试验。在这些测试中，代表团体桔子，桃子，苹果的图像的像素，对应于其背景，皮肤完整度，损伤和茎秆（除了桃子），被人工选定生成基于贝叶斯非线性判别的判别分析函数。这些功能在一个独立设置的像素上进行了测试，属于不同图像，也是人工选定。两个独立设置的像素的使用保证了分类器的估计的性能是没有偏见性的。

2.3.2.色彩估计

为了评估利用开发的传感器估计的演的精度，颜色测量取自22西红柿几个表面。这些部位从一个红绿色颜色变动为红色。机器视觉系统确定果实颜色的能力通过比较常用于不同的水果的几种标准色指数得到了计算。这些指数从猎人实验室获得，和由三色度计圆形区域（8毫米直径）在选定的每一个部门随机提供的值一致。

2.3.3.茎定位

为了评估该对茎的位置的算法的性能，每一个，100个桔子随机的角度图片和100苹果的都被使用。在桃子的情况下， 76个水果中每个水果都随机取向的取了两个图像，共提出了152图像。该图像分析算法得到了应用同时茎的重心也显示在了电脑屏幕上。然后，操作者决定是否系统正确地在个图像中检测到茎。

2.3.4.专家的重复性

在确定视觉系统在测量大小和检测瑕疵的精度前，为了估计人工操作的精度和重复性要进行一个简单的试验，这是目前商业分级厂房的的参考。由于苹果的形状更加不规则所以被用于这些实验。桃子和柑橘更加类似球形，因而更容易被视觉系统分辨大小。

在第一个实验中，40个周长63和86毫米之间的苹果被随机挑选。每个苹果的大小被专家用卡钳测量了两次。两个测量进行了比较并且通过平均误差来计算精度。

为了估计检测瑕疵时人工操作的重复性，另一个检测是：48个苹果被机器分类后被选定，其中24个列为有缺陷的，其他24个为无缺陷。接着，三位专家人工的将他们归入同样的两类。15分钟后，他们重新归类该苹果。两次分类之间的相似性和异同被记录。

2.3.5视觉系统的在线重复性

在线测试，为了检查机器在商业条件下工作的重复性，使用了1247个金冠苹果，大小在64和92毫米之间。果实在西班牙标准为基础上被分为三类，根据其尺寸和外部污点。测试包括水果通过传递机，盒装水果，根据相应的类别。各自的箱反复通过该系统，并且对在分类中产生的变化进行观察并计数。（图四.图像分割流程）

3.结果与讨论

3.1.评价分割程序

表1给出了桔子，苹果和桃子的图像像素分割性能，指出一种和剩余其他种类分开的最佳分离背景（100％），使更好的估计质心和水果的大小。 大多数像素分割程序中出现的错误是由于孤立的或小群的像素，这些主要位于相邻区域的边界。这些误差可以检测和纠正，如果每个分割区域的特征得到计算，因为这些群由于面积小常被分割为忽略不顾的区域。

表 1 每种水果的识别率

3.2.干检测

该系统检测茎的性能被进行了测量，使用了93个橘子，95个苹果和140个桃子的图像，而大多数图像都是在线获取的。实验表明，桔子的图像中有五幅茎未检测出来，而在另外两幅中，瘀伤和茎的检测发生了混淆。对于桃子， 73个图像中有一幅茎没有检测出来，尽管其中79图像中有11幅没有茎，所以有误测。在苹果中，87个图像中有两个茎没有检测出来，然而，却被误测为三分之十三。对于剩下的三个水果的图像，茎被正确的检测和定位（见表2）。茎的不同颜色或形状和水果果型，能引起茎检测的结果不同。不过，在茎和瘀伤之间有一点混淆，大多数的混淆错误是由于在没有茎的水果中将瘀伤检测为了茎。

表 2 果茎的自动检测和分级结果

3.3.在线性能和可重复性

专家们在两次独立的实验中测量同一个苹果的尺寸的平均精度为0.6毫米，呈现了约0.8％的相对误差。但是，考虑到水果正确的大小作为六个测量的平均值（每个专家两个有效测量），平均精度1.4毫米（1.9％的相对误差）。这些数字可能与视觉系统最大期望精度有关，该精度不会超过专家的精度，只是测量的参考。因此，一个1mm的误差课容许，当分析系统在线结果的重复性时。 当专家按分类中所述的尺寸种类进行水果分类时，他们表现出平均94％的可重复性。视觉系统的可重复性由最小尺寸水果的89％变化到极端大的水果的100％，平均为93％（见表3）。

表 3 系统估测水果尺寸在线可重复性的结果

考虑到标准允许的10％的误判，其结果可以被视为良好。一个错误的来源是由于大多数苹果为72-74和79-82毫米，而74毫米被选为大小之间的临界尺寸。

专家们估计果皮上的损害程度时的重复性介于85%和90％，平均为88％（见表4）由于该系统被专家编程和培训，从理论上说，它的性能受到了专家们的重复性的限制。因此，视觉系统重复性的最大期望值约88％。表5显示，该系统在线进行外观缺陷检测时，有86％重复性。这些错误是由于在预测质量时三个因素被考虑了：最长的缺陷，受损面积和褐色化区。如果只有其中一个估计参数变化，品质变化从一个传递到另外，果实将被归类在不同的类别。这一事实特别影响了类型一，那里的重复性被认为是较低的，因为这个类别只包括损坏程度极低的水果，并有因颜色浅而被认为是果皮缺陷。指出这点很重要，即这种类型的实验结果很大程度上依赖于果实大小分布及水果上污点的颜色和大小。

至于该系统使用所述硬件配置检查水果所用的时间，图像采集和分析所需的时间小于300毫秒，比最初的要求1s的时间要低。如果采用更新更快的计算机，并且提高算法来让图像的获取和处理重叠，这个时间可减少至低于50毫秒。

表 4 人工评测水果表面污点等级的可重复性

表 5 在线评测水果类别的可重复性

4.结论

分割方法对在线处理来说是快速和恰当的，但是却极大地取决于被检查对象的颜色。出于这个原因，系统需要经常由专门操作人员调试。机器视觉系统表现出良好的结果在定位桔子，桃子，苹果的茎干时和探测它们大多数时，很少和面部污点混淆。损坏的区域在苹果中能正确地检测到，但该算法在橙子和桃子应用时需要更广泛地进行测试。为了检测没有正确被区分出来的缺陷，还需要做进一步的工作，未能检测出来的原因主要是因为它的颜色浅，类似于完整果皮颜色的检验。在线操作的尺寸重复性介于91和95％，有一个93％的平均值。该机器的重复性在在线检测外部缺陷时约为86％，主要受第一类中取得的的那些结果影响。将这些结果和人类估测的大小和皮肤的损伤程度的平均重复性，分别为94和88％，进行比较，并且考虑到决策算法也同样被人工操作者训练和测试，由此我们认为结果可以接受的。实验结果表明将小缺陷或脱色区域认为是缺陷，取决于每位专家的主观标准。出于这个原因，机器的性能是由每个盒子的整体内容的估计测量，而不是单独考察成果作为机分类结果，被所有的专家认为是正确的。