FPGA图像处理-3x3卷积模板

简介

卷积是图像处理中很常见的一种操作，3x3是最常见的窗口大小。

如果像素是一个个来的，要想实现3x3卷积，就得同时获取一个像素和它周围的8个像素，将输入像素缓存2行，这样就能同时获取3行的像素输入，此时再将这3个并行输入的像素移位进3x3窗口，就获得了3x3卷积模板，如图：
这里要注意，输入像素此时作为第三行数据输入3x3窗口，最下面的行缓存输出的才是第一行像素，上图窗口的右下角是3x3卷积模板的左上角，窗口的左上角是3x3卷积模板的右下角。
实现两行缓存并获取3x3卷积窗口，用shift-ram是最简单的实现方法。

shift-ram简介

shift-ram是一个ip核，quartus13.0中叫做Shift register(RAM based)
普通shift-ram如图：

带taps的shift-ram：

其实带taps的shift-ram就是多个普通shift-ram组合，使用带taps的shift-ram可以轻松实现行缓存，设定taps数量为2，taps间隔为一行的像素数(此处为640)，即可缓存两行。之后将这两个taps和输入像素移位进3x3窗口即可获得3x3卷积模板。

verilog源码

为了简单起见，输入和输出都是valid+data的形式。

module filter_3x3(input clk,input rst_n,input iValid,input [7:0] iData,output oValid,output reg [7:0] oData_11, oData_12, oData_13,output reg [7:0] oData_21, oData_22, oData_23,output reg [7:0] oData_31, oData_32, oData_33
);reg [7:0] row3_data;wire [7:0] row2_data;wire [7:0] row1_data;reg [1:0] Valid_shift;// shift_ram实现2行缓存line_shift_ram inst_line_shift_ram(.clock    (clk),.clken    (iValid),.shiftin  (row3_data),.taps0x   (row2_data),.taps1x   (row1_data),.shiftout ());// 将输入数据寄存作为窗口第三行起始数据，同时也作为行缓存的输入always @(posedge clk, negedge rst_n) beginif(!rst_n)row3_data <= 0;else if(iValid)row3_data <= iData;end// 获取3x3卷积模板always @(posedge clk, negedge rst_n) beginif(!rst_n) begin{oData_11, oData_12, oData_13} <= 3'b000;{oData_21, oData_22, oData_23} <= 3'b000;{oData_31, oData_32, oData_33} <= 3'b000;end else if(iValid) begin{oData_11, oData_12, oData_13} <= {oData_12, oData_13, row1_data};{oData_21, oData_22, oData_23} <= {oData_22, oData_23, row2_data};{oData_31, oData_32, oData_33} <= {oData_32, oData_33, row3_data};endend// iValid打两拍输出always @(posedge clk, negedge rst_n) beginif(!rst_n)Valid_shift <=  2'b00;elseValid_shift <= {Valid_shift[0], iValid};endassign oValid = Valid_shift[1];
endmodule

testbench

只仿真三行，每行640个像素。

`timescale 1ps/1ps
module test_tb;reg clk = 1'b1;always #10 clk = ~clk;reg rst_n = 1'b0;reg iValid = 1'b0;reg [7:0] iData = 0;wire oValid;wire [7:0] oData_11;wire [7:0] oData_12;wire [7:0] oData_13;wire [7:0] oData_21;wire [7:0] oData_22;wire [7:0] oData_23;wire [7:0] oData_31;wire [7:0] oData_32;wire [7:0] oData_33;initial begin#20 rst_n <= 1'b1;#20 iValid <= 1'b1;// 第一行数据repeat(640) beginiData <= $random;#20;endiValid <= 1'b0;#100 iValid <= 1'b1;// 第二行数据repeat(640) beginiData <= $random;#20;endiValid <= 1'b0;#100 iValid <= 1'b1;// 第三行数据repeat(640) beginiData <= $random;#20;end#500 $stop;endfilter_3x3 inst_filter_3x3(.clk      (clk),.rst_n    (rst_n),.iValid   (iValid),.iData    (iData),.oValid   (oValid),.oData_11 (oData_11),.oData_12 (oData_12),.oData_13 (oData_13),.oData_21 (oData_21),.oData_22 (oData_22),.oData_23 (oData_23),.oData_31 (oData_31),.oData_32 (oData_32),.oData_33 (oData_33));
endmodule

波形分析

可以看出，3x3卷积模板的第三行最先出现，然后是第二行，最后才是第一行。
输入像素第一行的最前面几个像素如图，前三个为36,129,9。

输入像素第二行最前面几个像素如图，前三个像素为235,248,242：

此时再来看输入像素第三行，前三个像素为121,205,146：

上图黄色竖线处即可看到oData11 ~ oData33为36,129,9,235,248,242,121,205,146，正是每一行的前三个像素。
这个模板的移动类似于下图，最开始时模板只有右下角一个像素，然后向右移动，遍历完一行就遍历下一行。

虽然跟正常的卷积比，这个模板向左上角错位了，但视觉上影响不大，用它来做图像处理足够了。