FPGA图像处理系列——实现窗处理

窗处理是图像处理中常见的一种处理，它的思想是对于图像矩阵，通过一个固定大小（例如3*3）的小矩阵对图像进行运算操作。常用的窗处理包括 Sobel边缘检测，形态学操作，模糊滤波，高斯滤波等。在基于PC的图像处理领域，可以方便的实现窗处理操作。比如，在opencv库中可以自己随意构 建窗口大小，然后调用相关的函数实现窗处理。

FPGA是一种可定制的逻辑电路，它拥有并行的结构特征，在设计上能实现硬件并行和流水线技术，可以实现算法的加速，而且性价比较高。本文即根据Sobel算法的理论，结合FPGA的结构特征，在FPGA上设计并尝试实现了Sobel窗处理算法方案。

Sobel边缘检测的思想是：该算子包含两组3 x 3的矩阵，分别为横向及纵向，将之与图像作平面卷积，即可分别得出横向及纵向的亮度查分近似值。如果以A代表原始图像，Gx及Gy分别代表经纵向向及横向边缘检测的图像，其公式如下（来源于百度图片）:

对于FPGA实现Sobel，首先，是检测窗的实现。这种窗扩展了点运算，以一个局部邻域或窗口内像素值的函数运算结果作为输出：

Q[x,y] = f(I[x,y],...,I[x+△x,y+△y]),  (△x,△y)∈W

其中，W是I[x,y]为中心的窗口。以3×3大小的窗口为例，如图所示：

Sobel算子所需的窗口大小为3×3。在设计过程中，窗口应当满足以下要求：

1.能同时对窗口中所有的元素进行并行操作。

2.窗口采用流水的形式遍历整个图像。

设计的思路是：因为窗口在遍历图像过程中，每一个像素都会被窗口多次 使用，因此需要通过缓存来存储像素，使得它们能在后续的窗口位置被重复利用。在FPGA中，可以设计3个单口行缓存（linebuffer），借助状态机 和列计数值实现这种窗口，采用流水处理的方法，实现加速计算。如图为窗口结构：

其中状态信号用环形计数器来实现（计数值0-2），其驱动时钟为每一行第一个像素的像素时钟。窗口的行0由3个移位寄存器组成；行1——行2由状态机决定和行缓存的对应关系。窗口的控制逻辑如表1所示：

表1 窗口的控制逻辑

  （注：行x对应窗口结构中的行x）

  对于窗口操作，存在的一个问题是边界部分无法得到处理。不过，本系统的窗口比较小，那么边界像素的输出可以不计算。这样输出的图像比输入图像减小了1行和1列，并不会影响图像显示效果。

具体实现思路：

1.窗口模块：

 3个行缓存，每个大小为640×8 bit;

 状态机，状态信号（0-2），以每一行第一个像素时钟作为驱动状态信号的时钟；

 3个移位寄存器，每个大小为8 bit，作为检测窗口的第一行

窗口的实现，需要建立一个像素时钟驱使的always块，根据窗口结构和表1的控制逻辑，构造窗口；

2.边缘判断模块：

    通过窗口可在像素点P处得到以其为中心，周围8个点的像素值。根据Sobel算子结构，进行计算。设置一个阈值，当计算后的值大于此阈值时，判定此像素为边缘。

关键部分代码（verilog）: