高清、智能促FPGA展视频宏图

北京奥维视讯科技有限责任公司总经理王宇
“市场上对系统每秒钟处理的视频像素个数从900万增加到2.4亿，视频信息的捕获、预处理、压缩、存储、传输、分析、显示都面临着巨大的运算能力的挑战和带宽的挑战，这无疑为FPGA提供了巨大的机遇。”

在以往的视频应用中，FPGA通常用作接口器件，这在多通道产品中尤具优势。视频应用的逐步增多为适用于高密度并行计算且具备高速串行通信接口的FPGA提供了巨大的机遇，如在CCD前端的高清相机中，FPGA可内嵌客户差异化的ISP算法；在大屏幕显示系统中，FPGA可用作多路高清视频分割和拼接；在8～16通道的DVR系统中，FPGA可用作支持多通道视频分析的加速器。

高清和智能一直是视频技术的发展趋势，视频分析算法一般分为两个阶段：第一个阶段是对捕获的视频或者图像进行预处理和统计信息提取，譬如去除一些噪声，图像增强后，对图像进行运动信息提取、边缘提取、直方图信息统计、模板匹配、频域变换等处理来获取特征量；第二个阶段是利用这些对图像的统计信息和特征量进行判决和决策。

第一个阶段需要对图像进行像素级的处理，非常适合大规模并行计算，尤其是对高清或者多路视频进行处理时，是非常适合用FPGA这种器件的；第二个阶段则对FPGA提出了新的挑战，如果涉及到迭代算法，则需要在FPGA内嵌入一个软核处理器进行算法调度和流程控制。

就目前来看，低延时或多通道是FPGA实现视频压缩算法的一个发展方向，由于FPGA粒度更细，允许用户更直接地控制底层硬件，所以可以设计出基于宏块行或者宏块组流水的视频压缩引擎，而FPGA又允许按照2条带和4条带进行并行编码，客户可以为每个条带的编码引擎配置独享的外部DDR3内存颗粒，这就完全解决了多通道视频压缩或者全高清视频压缩系统的外存带宽瓶颈和并行视频压缩系统的延时瓶颈。

使用FPGA器件的另一个好处是不必局限于标准视频分辨率，可完全实现16像素整数倍的开窗压缩实时系统，即允许用户在帧率和图像分辨率之间进行折中，这在其他架构的系统中是很难实现的。

FPGA能否取代DSP或者ASSP一直是一个热点话题，其实不同体系架构的芯片或者处理器都对生产力的发展起到了巨大的推进作用，这三种不同的架构都有自己绝对的优势，就好像对于无线通信系统，手机里的基带处理器和基站里的DSP/FPGA不会互换角色一样。所以，随着技术的发展，与其说是互相取代，不如说是互相融合更恰当。如赛灵思的FPGA内部已经集成了粒度更 细 的 DSP处 理 单 元 ，MicroBlaze软核和Cortex-A9的硬核，集成了如PCIE、MCB以及Serdes的纯硬件IP。

我们很高兴看到赛灵思发布集成Cortex-A9内核以及诸多外设的SoPC片上可编程系统产品，FPGA与ARM架构的融合可以解决传统的分离式架构的瓶颈问题，即多处理器之间的通信和带宽问题。我们不妨把运行操作系统且具有MMU功能的处理器统称为GPP，那么刚开始GPP/DSP和FPGA之间多采用LocalBus进行数据通信，而FPGA又多是面向高数据率和高带宽的应用，尤其是对于多处理器系统，于是又发展出基于PCIE总线和SRIO总线的互联系统，但这种系统互联方式的功耗和成本又随之上升。

赛灵思发布的集成Cortex-A9硬核的FPGA产品在内部使用了AMBA-AXI总线作为ARM子系统和可编程逻辑区之间的通信桥梁，用户可以自己在可编程逻辑区定制差异化的接口逻辑和硬件加速子系统。这样就是将以往分离式系统架构的片外总线变成了片内总线，可编程逻辑区域的加速子系统可以和ARM子系统通过共享片内RAM、片外DDR3以及直接通过AMBA-AXI总线进行数据交换和共享，无论是系统的总线带宽，系统的成本，还是功耗和开发周期都得到了极大的优化。相对于传统的FPGA开发平台，赛灵思在新的产品中引入ARM架构就等于引入了所有可以支持ARM架构的操作系统，也就等于引入了所有这些操作系统上可以运行的软件。

在视频产品迈入全高清或者16通道D1时，系统每秒钟需要处理2.4亿像素的数据，这时只有引入智能化的处理，才能进一步降低系统的数据量和负荷。同时，很多行业都需要对原始视频数据进行某种预处理后进行保存，这就对一个视频系统提出了需要支持原始数据、压缩数据和分析数据的三个数据流的需求。为此，我们采用了赛灵思的旗舰产品作为解决方案，赛灵思Spartan-6FPGA系列是全球首个且唯一45nm低成本、低功耗FPGA。