Halcon学习（7）：颜色识别

先说一下RGB和HSV这两种颜色空间。大部分人可能接触RGB这种颜色空间多一些，相较于人这种颜色空间对硬件更加友好；而HSV更符合人的视觉感观，对人友好，如果你是画家、设计师，接触的可能会多一些。H是色调，表示是哪种颜色，取值是0到360度，比如0表示是红色；S表示是饱和度，取值0%到100%，越鲜艳值就越高，颜色越淡值越小；V表示亮度，取值0%到100%，越白值越大，越暗值越小。

1.第一种思路：利用HSV不同分量具有不同特点

下面的一个例子展示的是在不同颜色的线中分割出黄色的线。其大致思路是，先转到HSV空间，由于是白底，电线的颜色又比较鲜艳，可以用S分量做粗分割，得到颜色比较鲜艳区域；再后利用黄色的H分量在40左右进行精分割，最后做一些其他处理得到最终的结果。代码如下：（可以在例程的应用范围->颜色检测->color_simple.hdev 找到）

* color_simple.hdev: segment yellow cable in HSV color space
dev_close_window ()
dev_open_window (0, 0, 640, 480, 'black', WindowHandle)
for i := 1 to 2 by 1read_image (Image, 'cable' + i)decompose3 (Image, Red, Green, Blue)trans_from_rgb (Red, Green, Blue, Hue, Saturation, Intensity, 'hsv')threshold (Saturation, HighSaturation, 100, 255)reduce_domain (Hue, HighSaturation, HueHighSaturation)threshold (HueHighSaturation, Yellow, 20, 50)connection (Yellow, ConnectedRegions)*选择面积最大那个区域select_shape_std (ConnectedRegions, SelectedRegions, 'max_area', 0)*闭运算：先膨胀后腐蚀closing_circle (SelectedRegions, Yellow, 3.5)reduce_domain (Image, Yellow, ImageReduced)dev_display (HueHighSaturation)dev_display (ImageReduced)stop ()
endfor

下面的例子和上面那个大体思路是相同的，不过处理的更加细致。下面的例子的主要目标是通过颜色对熔断器（fuse）进行分类并统计个数（不同颜色的熔断器具有不同属性，这个属性是允许通过最大的电流）。代码如下：（可以在例程的应用范围->颜色检测->color_fuses_lut_trans.hdev 找到）

* color_fuses_lut_trans.hdev: classify fuses by color
dev_update_off ()
* ****
* step: 设置熔断器不同颜色具有允许通过最大的电流，以及不同颜色的色调区间
* ****
FuseColors := ['Orange','Red','Blue','Yellow','Green']
DisplayColors := ['coral','red','blue','goldenrod','forest green']
FuseTypes := [5,10,15,20,30]
* HueRanges: Orange 10-30, Red 0-10...
HueRanges := [10,30,0,10,125,162,30,64,96,128]
dev_close_window ()
read_image (Image, 'color/color_fuses_00')
dev_open_window_fit_image (Image, 0, 0, -1, -1, WindowHandle)
set_display_font (WindowHandle, 14, 'mono', 'true', 'false')
* ****
* step: 为颜色空间转换创建查找表
* ****
create_color_trans_lut ('hsv', 'from_rgb', 8, ColorTransLUTHandle)
for Count := 0 to 4 by 1* ***** step: 获取图片（前面之所以写了read_image我估计是先设置图形窗口信息)* ****read_image (Image, 'color/color_fuses_0' + Count)dev_display (Image)disp_message (WindowHandle, 'color/color_fuses0' + Count +'.png', 'window', 12, 512, 'black', 'true')* ***** step: 通过S分量得到不同颜色的熔断器H分量区域* ****decompose3 (Image, Red, Green, Blue)apply_color_trans_lut (Red, Green, Blue, Hue, Saturation, Intensity, ColorTransLUTHandle)threshold (Saturation, Saturated, 60, 255)reduce_domain (Hue, Saturated, HueSaturated)Output := []for Fuse := 0 to |FuseTypes|-1 by 1* ***** step: 通过不同颜色具有不同色调区间及其他技术对熔断器进行分类* ****threshold (HueSaturated, CurrentFuse, HueRanges[Fuse*2], HueRanges[Fuse*2+1])connection (CurrentFuse, CurrentFuseConn)fill_up (CurrentFuseConn, CurrentFuseFill)select_shape (CurrentFuseFill, CurrentFuseSel, 'area', 'and', 6000, 20000)area_center (CurrentFuseSel, FuseArea, Row1, Column1)dev_set_color ('magenta')for i := 0 to |FuseArea|-1 by 1disp_message (WindowHandle, FuseColors[Fuse] + ' ' +FuseTypes[Fuse]+' Ampere', 'image', Row1[i]+40, Column1[i]-100, DisplayColors[Fuse], 'true')endforOutput := [Output,FuseColors[Fuse] + ' Fuses: ' + |FuseArea|]endfordisp_message (WindowHandle, Output, 'window', -1, -1, DisplayColors, 'true')disp_continue_message (WindowHandle, 'black', 'true')stop ()
endfor
dev_update_on ()
dev_close_window ()

总结：

上面两个例子都是从RGB颜色空间转到SHV颜色空间。利用饱和度S分量对目标区域进行粗分割，得到高饱和区域；其后再利用色调H分量在不同颜色时具有不同区间进行精分割，最后做一些其他处理得到最终的结果。
在这个思路中用到的都是S和H两个分量，不知道有没有用到三个分量的例子。
在第一个例子中，白底（饱和度为零）采用S分量进行粗分割，我觉得如果换成黑底（亮度为零）可以采用V分量进行粗分割。
相对而言比较简单，容易实现；但是对光照敏感，不稳定。

2.第二种思路：使用颜色等多特征进行训练、学习识别

废话不多说，下面的历程（代码）可以在 运用例程->颜色检测->color_pieces.hdev 找到。

* color_pieces.hdev: completeness check of colored game pieces using MLP classification
dev_update_window ('off')
dev_close_window ()
dev_open_window (0, 0, 557, 416, 'black', WindowHandle)
dev_set_draw ('margin')
ImageRootName := 'color/color_pieces_0'
Regions := ['黄色','粉色','蓝色','背景']
Highlight := ['goldenrod','magenta','cyan']
*创建一个空区域对象，用于保存训练样本
gen_empty_obj (Classes)
*下面这个循环里一个是用彩色图片训练网络，一个用模拟的灰度图片训练网络。
*从最后的结果来看，用彩色的图片训练的网络能更好的完成任务；而用模拟的
*灰度图片训练的网络分类效果不是很好。这说明颜色特征还是非常有用的。
for Mode := 0 to 1 by 1dev_set_color ('black')read_image (Image, ImageRootName+'0')if (Mode=1)* 模拟灰色图像rgb1_to_gray (Image, GrayImage)compose3 (GrayImage, GrayImage, GrayImage, Image)endifdev_display (Image)if (Mode=0)* **** 1 生成训练样本（指定颜色类别）* ***for i := 1 to 4 by 1dev_display (Image)dev_display (Classes)disp_message (WindowHandle, ['在' + Regions[i-1] + '区域画一个矩形','点击鼠标右键确认'], 'window', 24, 12, 'black', 'false')*注意：画矩形的时候，不要把背景信息包括进去了；否则，检测效果会不好的draw_rectangle1 (WindowHandle, Row1, Column1, Row2, Column2)gen_rectangle1 (Rectangle, Row1, Column1, Row2, Column2)concat_obj (Classes, Rectangle, Classes)endforendif* **** 训练多层感知机网络* **** 2.1 创建并设置多层感知机网络参数create_class_mlp (3, 7, 4, 'softmax', 'normalization', 3, 42, MLPHandle)* 2.2 把训练样本添加到网络中add_samples_image_class_mlp (Image, Classes, MLPHandle)set_tposition (WindowHandle, 100, 12)write_string (WindowHandle, 'Training...')* 2.3 训练多层感知机网络train_class_mlp (MLPHandle, 400, 0.5, 0.01, Error, ErrorLog)for img := 0 to 3 by 1read_image (Image, ImageRootName + img)if (Mode=1)rgb1_to_gray (Image, GrayImage)compose3 (GrayImage, GrayImage, GrayImage, Image)endif* **** 在随后的图片中使用多层感知机分类物品* **** 使用网络去分类物品classify_image_class_mlp (Image, ClassRegions, MLPHandle, 0.5)dev_display (Image)disp_message (WindowHandle, '查看每一种颜色的棋子是否有四个...', 'window', 24, 12, 'black', 'false')dev_set_line_width (2)* 下面的循环是显示结果for figure := 1 to 3 by 1copy_obj (ClassRegions, ObjectsSelected, figure, 1)connection (ObjectsSelected, ConnectedRegions)select_shape (ConnectedRegions, SelectedRegions, 'area', 'and', 400, 99999)count_obj (SelectedRegions, Number)dev_set_color (Highlight[figure-1])dev_display (SelectedRegions)OutString := Regions[figure-1] + ': ' +Number+'   'dev_set_color ('green')disp_message (WindowHandle, OutString, 'window', 24+30*figure, 12, 'black', 'false')if (Number#4)disp_message (WindowHandle, 'Not OK', 'window', 24+30*figure, 70, 'black', 'false')elsedisp_message (WindowHandle, 'OK', 'window', 24+30*figure, 70, 'green', 'false')endifendfordisp_continue_message (WindowHandle, 'black', 'true')stop ()endfor
endfor
dev_set_line_width (1)
dev_set_draw ('fill')
dev_clear_window ()

总结，使用多层感知机的步骤及细节：

制作训练样本
draw_rectangle1 (WindowHandle, Row1, Column1, Row2, Column2)
gen_rectangle1 (Rectangle, Row1, Column1, Row2, Column2)
concat_obj (Classes, Rectangle, Classes)
训练多层感知机网络
2.1 创建并设置多层感知机网络参数（因为是三通道的彩色图片，所以第一参数是3；隐藏层的参数选择没有标准，姑且选后一个参数的两倍左右；后一个参数是输出参数，因为这里有三种颜色的棋子，加上背景，总共输出四种，所以填4；其他参数课选择的范围小）
      create_class_mlp (3, 7, 4, 'softmax', 'normalization', 3, 42, MLPHandle)
2.2 把训练样本添加到网络中
      add_samples_image_class_mlp (Image, Classes, MLPHandle)
2.3 训练多层感知机网络
      train_class_mlp (MLPHandle, 400, 0.5, 0.01, Error, ErrorLog)
使用网络去分类物品
classify_image_class_mlp (Image, ClassRegions, MLPHandle, 0.5)