HLS图像处理系列——在ZEDBoard搭建DDR图像处理通路

ZYNQ芯片内包含一个丰富特性的基于双核ARM Cortex-A9的处理子系统（Processing System，PS）和Xilinx 28nm可编程逻辑（Programmable Logic，PL）。PS除了核心外还包括片上存储器、外部存储器接口以及大量外设连接接口。

利用ARM， 我们可以做嵌入式操作系统相关的任务，如图形界面、用户输入、网络、DDR3控制等，由于ARM本身具有丰富的外设接口，而且支持多级流水线，处理这些事 务游刃有余，但对于计算量较大的应用却捉襟见肘，因为ARM本身还是典型的串行处理器，不适合做大数据、实时性较高的处理任务。FPGA恰好弥补了这一 点，利用可编程逻辑可以实现并行处理，只要逻辑资源够用，我们可以采用以空间换时间的策略，使多个计算单元同时进行，可大大缩短处理时间。

用ZYNQ进行图像处理具有架构上的优势，因此对于用ZYNQ做视频相关的开发人员，一套ZYNQ上的图像通路是必须的。本博文介绍的是一种摄像 头+HLS图像处理+DDR存储+VGA显示的图像通路。该通路是本人和另外一位同事合作实现，本人负责摄像头的FPGA驱动、HLS图像处理IP的实现 以及系统的后期优化。由于涉及公司项目，因此不能提供工程文件，只提供框架和思路。

系统框架如下：

重点模块介绍：

Camera：采用ov7725摄像头，帧率60fps，分辨率640*480。关于摄像头时序的详解，请参考本人博文《教程——在ZEDBoard实现图像通路（Block Ram版本）》

封装后的摄像头IP如下图：

VDMA：在本设计中，VDMA的地位和通常设计中的DMA相似。但是，和DMA不同的是，VDMA专门为视频 流数据提供的高度存储访问模块。其通过AXI-Stream协议接收视频数据，而控制信号（比如帧缓冲的大小，DMA功能的开启和关闭，以及一些其他的设 置）则通过AXI-Lite从其他接口访问。

VDMA拥有两条DMA通路，S2MM通路将输入的AXI4-Stream数据流映射到指定的帧缓冲，而MM2S则相反，将帧缓冲输出为AXI4-Stream类型的数据流。

VDMA的配置界面如图：

其中可以看到一些对于数据帧的配置信息，以及FrameBuffers数量的设置。FrameBuffers数量至少为3个，因为如果少于3个，那么会出现写入DDR与读取DDR的冲突，导致图像出现断层现象。在本设计中，FrameBuffers设置为3个。

Video In to AXI4-Stream 与 AXI4-Stream to Video Out：由于摄像头传入的信号使用的协议并非AXI4-Stream，而VDMA却需要接收AXI4-Stream类型的数据，所以需要有专门的IP核来进行两者之间的转换。

这两个IP核是：

Video In to AXI4-Stream,该IP将视频数据转化为AXI4-Stream类型。本工程中，视频数据来自于camera模块，只需要camera提供四路信号：行同步、场同步、24bit的像素、数据有效信号。

AXI4-Stream to Video Out，该IP将AXI4-Stream类型数据转化为视频数据。视频数据即为VGA信号，包含行同步、场同步、数据有效信号以及像素。该模块有一个 timing的输入，在本系统中，来自于video timing control IP。video timing control模块给AXI4-Stream to Video Out IP提供一个640*480p的VGA时序信号。

下图为Video In to AXI4-Stream IP与AXI4-Stream to Video Out IP：

这两个IP核在本设计中处于桥梁地位，用于连接外部IO和VDMA。在这两个模块内部的视频数据都是AXI4-Stream类型，省去了地址，因此速度更快、更容易处理。一般而言，HLS硬件图像处理模块都会放在这两个IP核之间。

HLS图像处理模块：本设计中，构建了一个简单的Sobel图像处理模块，由HLS工具生成打包成IP。关于HLS工具不多介绍，可以参考本人博客《HLS图像处理系列——前言》来初步了解HLS。HLS生成的IP输入输出视频流都符合AXI4-Stream协议。

然后，附上vivado的工程截图：

在SDK工程，主要是进行HLS IP的初始化与VDMA的初始化。只有初始化之后，整个图像通路才能正确运行。HLS初始化源码短短几行，但也是折磨了我好久，因为需要关闭中断，好长时间内都没有发现这个问题。初始化重点源码如下：