Xilinx Zynq All Programmable SoC：Smarter Vision的最明智选择

Xilinx Zynq All Programmable SoC：Smarter Vision的最明智选择

您是否见识过奥迪非凡的自动泊车功能？在没有驾驶员的情况下，轿车能自动找到车位并泊车入位；或者，您是否使用Kinect控制器玩过Xbox 360游戏，或是刚刚咬下一口您从本地水果店购买的鲜香水果。如果是，那么您可以把自己看成是Smarter Vision系统时代到来的见证人。

从最尖端精密的电子系统到普普通通的苹果，各种形式的产品都无不受到Smarter视频技术的影响。虽然当今Smarter Vision的运用已足以让人称奇，但专家称我们其实还什么都没有看到。有人预测在10年时间里，从汽车到工厂自动化、医疗、监控、消费类、航空航天和军用产品等绝大多数电子系统都将包含功能更丰富、出众的Smarter Vision技术，极大地丰富人们的生活，乃至挽救生命。

Smarter Vision系统将迅速得到普及，而且随着它们在未来几年将变得更加尖端复杂，我们很可能会乘坐自动驾驶汽车尽情穿梭在高速公路网上。诸如Intuitive Surgical公司令人惊叹的机器人辅助手术系统等医疗设备将进一步得到发展，甚至能够让外科医生远程执行外科手术。电视和远程监控系统让人仿佛置身其中，达到前所未有的互操作水平，同时影院、家庭和店铺屏幕上的内容也将迎合每个不同消费者的兴趣，乃至情绪。

赛灵思All Programmable Smarter Vision解决方案正在引领这场变革创新。Zynq^TM-7000 All Programmable SoC是业界首款在单个器件上将ARM双核Cortex^TM-A9 MPCORE^TM、可编程逻辑及主要外设完美结合在一起的器件。赛灵思以其作为基础，已推出了配套基础架构（工具及SmartCORE IP组合），其将在开发和加速这些出色的创新产品上市进程中发挥至关重要的作用。该辅助基础架构包括Vivado^TM HLS（高层次综合）、最新IP Integrator工具、OpenCV（计算机视觉）库、SmartCORE^TM IP和专用开发套件。

赛灵思企业战略与市场营销高级副总裁Steve Glaser表示：“借助赛灵思All Programmable Smarter Vision解决方案，我们将帮助客户率先推出新一代Smarter Vision系统。在过去10年中，客户已充分利用我们的FPGA来为他们系统处理器中那些运行速度不足的功能提速。对于Zynq-7000 All Programmable SoC而言，处理器和FPGA逻辑均位于同一芯片上，这意味着开发人员现已拥有一款适用于Smarter Vision应用的理想的芯片平台。我们现在又推出了一款由Vivado HLS、最新IP Integrator工具、OpenCV库、SmartCORE IP和开发套件组成的稳健可靠的开发环境，进一步完善了Zynq-7000 All Programmable SoC。借助这些Smarter Vision技术，我们的客户可以立即启动他们的新设计，以更快的速度推出效率和系统性能更高、系统功耗和材料清单成本更低的创新产品，从而在提升盈利能力的同时丰富人们的生活，乃至挽救生命。”

从哑巴摄像机到Smarter Vision

Smarter Vision系统的根源在于嵌入式视觉。若您对嵌入式视觉知之甚少，那么就让我们看看下面对这种技术及其演进发展的介绍。

根据快速发展的行业组织“嵌入式视觉联盟”（www.embedded-vision.com/）的定义，嵌入式视觉融合了两种技术：嵌入式系统（区别于使用处理器的计算机的任何电子系统）和计算机视觉（有时也称机器视觉）。

嵌入式视觉联盟创始人兼咨询公司BDTI首席执行官Jeff Bier表示，嵌入式视觉技术已经给数个行业造成显著的影响，因为该技术的发展已远远超越了以往的通过电机驱动实现平移／倾斜／缩放（motorized pan-tilt-zoom）功能的模拟摄像系统时代。Bier表示：“我们已在数字时代生活了一段时间，看到嵌入式视觉从擅长压缩、存储或增强摄像头拍摄内容观感的早期数字系统迅速发展成为如今能知晓拍摄内容的Smarter嵌入式视觉系统。”此外，先进的嵌入式视觉系统或Smarter视觉系统不仅能增强和分析图像，而且还能根据那些分析结果触发行动。由此，处理量和计算能力以及算法的复杂性都显著增大。监控市场的快速发展就是这种显著演进的最好例证之一。

20年前，监控系统厂商竞相提供由机械系统强化的最佳透镜，能够执行可实现更清晰、更宽广拍摄视野的平移／倾斜／缩放功能。这些系统基本上由模拟摄像机、连接用同轴电缆、模拟监控器和安保人员监控的视频录制装置组成。这些系统的清晰度、可靠性和有效性由光学组件和透镜的质量以及监控摄像头播放内容的安保人员的尽职程度决定。

嵌入式视觉技术的问世使监控设备公司能够使用基于数字技术的较低成本摄像头。此类数字处理能力可为其系统提供卓越的功能，在性能上超越模拟以及基于透镜的保安系统，在价格上则更低廉。

鱼眼透镜和采用各种视觉专用算法的嵌入式处理系统大幅增强了摄像头生成的画质。这些技术针对光照条件进行了校正，能够改善对焦，增强色泽和数字缩放观测区域，另外无需使用机械电机控制来执行平移／倾斜／缩放，从而能够进一步提升系统可靠性。企业使用数字信号处理可提供视频分辨率达到以及超过1080p的监控系统。实际上，就无人机（UAV）和军用卫星而言，嵌入式视觉已能够实现前所未有的超高分辨率。若以此分辨率捕获图像，就需要处理大量的像素，而增强和操控这些图像则需要甚至更高的处理能力。

但通过数字信号处理操纵图像，增强其清晰度只是开始。凭借先进得多的像素处理功能，监控系统制造商开始创建更尖端的嵌入式视觉系统，以便能在其数字系统所采集的高画质图像上实时执行分析功能。视觉系统设计人员每年都会推出一系列功能更为强大的高级算法，用于创建更为动态的分析功能。这些嵌入式视觉系统的最早期类型只能检测特定的色彩、形状和移动。这项功能迅速地发展为具有下列功能的算法：能够检测跨越摄像头视野中虚拟栅栏的物体；判断图像中的对象是否是一个人；以及，链接至数据库后甚至能识别特定的人。

最先进的监控系统所提供的分析功能能跟踪受监测的个人穿越安保网络的视野范围，即便在他们离开摄像头的视野后进入盲点，然后再进入监控网络的另一部摄像头的视野后也能追踪。视觉设计人员已经设计出某些此类系统，用于检测异常或可疑的移动。赛灵思工业、科学及医疗（ISM）事业部系统架构师Mark Timmons表示：“分析功能是当今监控市场最大的发展趋势。它可以克服人为错误，甚至取代细致的人工观察和决策。可以想象，在火车站和运动赛场等拥挤的环境中，监控的难度极大。所以如果有分析功能可以发现过度拥挤的危险情况或表现出危险行为或过激动作的个人，就会带来非常明显的优势。”

为了进一步增强这种分析功能并提升此类系统的有效性，监控及众多其它使用Smarter Vision技术的市场越来越多地采用“融合”架构，将摄像头和热成像、雷达、声纳和LIDAR（光/激光探测和测距）等其它感测技术相结合。这样Smarter视觉设计人员就可进一步增强最终图像，实现夜视、检测热温/热能影像或是拾取单凭摄像头不能采集或无法看到的对象。这项功能能显著地减少虚假检测，从而实现更准确的分析。毫无疑问，技术融合以及之后分析融合技术采集的数据会带来更大的复杂性，要求更为强大的分析处理能力。

Timmons提到，这个市场上的另一大趋势是执行所有这些类型的复杂分析系统都位于监控系统网络的“边缘”，即位于每一部摄像头中，而非由每一部摄像头将自己的数据传输给中央大型机系统，然后再由大型机根据多路馈入的数据进行更精确的分析。分析功能的本地化为整体安全系统增加了灵活性，使得系统中的每个点都能更加迅速准确地执行检测，因而如果摄像头能真正发现切实的威胁，就能更迅速地向操作人员发出告警。

分析功能本地化意味着每个单元不仅需要更强大的处理功能来强化和分析摄像头采集的图像，而且还必须足够紧凑，能够集成至高度集成的电子系统中。且由于每个单元都必须能够可靠地与网络的其余部分进行通信，摄像头还必须集成电子通信功能，进一步增大计算复杂度。这些监控单元逐渐通过无线网络连接构成更大型监控系统的组成部分；而且这些监控系统将不断变成更大规模的企业网络乃至更大规模的全球网络的组成部分，正如美国军方的全球信息网格（参见Xcell期刊第69期的封面介绍：http://china.xilinx.com/china/archives/xcell/Xcell69.pdf）。

这类高度复杂性有望出现在监控等领域中，也正应用于军事和防务市场的各个方面，从步兵的头盔到与中央司令部联网的军用卫星等，无所不包。可能更令人惊叹的是，Smarter Vision技术正快速进入其它领域，以提高生活质量，确保生命安全。

Smarter Vision 成就完美苹果

现在以苹果为例。有没有想过一个好苹果是怎么进入您的杂货店的？赛灵思工业科学和医疗业务部的架构师Giulio Corradi说，今天食品公司正在把最新Smarter Vision系统用于食品检验生产线，将坏苹果从好苹果中筛选出来。Corradi表示，高速食品检验生产线上使用的第一代嵌入式视觉系统通常使用一个或者多个摄像头来发现苹果或者其它农产品表面上的瑕疵。如果嵌入式视觉系统发现有非正常的色泽，该苹果就会被打上标记/筛选出来进行进一步检测，或者扔掉。

但是如果在此之前的某个时候水果曾掉落过，但伤痕难以察觉会怎么样呢？Corradi表示“在某些情况下，掉落造成的伤痕可能难以被摄像头发现，只能用肉眼查看。伤痕可能实际上位于苹果的果肉中。所以一些Smarter Vision系统在摄像头上集成了红外传感器。这样这种更加高级的Smarter Vision系统就可以检测到苹果表皮之下的伤痕，触发机械分拣机将苹果推出生产线，以免被包装发往杂货店。”如果没有Smarter融合视觉系统的帮助，有伤痕的苹果会通过检测，而伤痕会在苹果摆放到杂货店货架上时变得明显，这样就可能不得不把它扔掉。一个坏苹果会糟蹋一堆苹果。

此外，分析功能还可以帮助食品公司判断有伤痕的苹果状态是否足够良好，可以转入新的生产线，由另一个Smarter Vision系统判断它是否适用于其它用途，比如制作苹果酱、果脯或者如果状态太差，用于制作肥料。

Corradi表示，Smarter Vision技术正在被应用于工厂车间，以帮助保护工人。越来越多的工厂今天都已完成自动化，使用机器人辅助技术或者完全自动化的机器人生产线。Corradi表示，最早的这些自动化工厂中，每部机器人只执行生产产品的一小部分任务，然后将其传送给生产线上的另一部机器人。由于这些机器人完成的是一系列可预测的工作，它们的活动范围也可以预测。因此，为保护在这些机器人生产线附近操作、维护或者工作的工人，许多设施在机器人周围建有保护笼。

然而在现代化工厂中，制造商正在越来越多地使用更加灵活的机器人生产线按需生产更多数量的产品，而且可以重新装备这些机器人生产线，用于制造未来的产品。为此，工厂为机器人提供更大的泊位，因其移动范围可能会发生显著的变化。对于需要制造不同产品系列的机器人来说，安全笼显得限制过多（或者过小），无法适应机器人的移动范围。

因此，为了保护工人的安全，同时避免制约自动化工厂生产线的活动范围，企业正在使用Smarter Vision技术创建安全系统。摄像头和激光会竖立“虚拟栅栏或者屏障”，如果工作人员（和安全监测人员）在产品正在生产时过于靠近工厂生产线，会以声音发出告警。部分装置包含多相虚拟屏障系统，可以在有人跨越外部屏障时发出声响报警，然后在这个人跨越第二道屏障、接近机器人时自动关闭整条生产线，以避免发生伤害事故。嵌入式视觉联盟的Bier提到，这种类型的虚拟屏障技术正在越来越多地广泛应用到有人员在具有潜在危险性设备和化学品周围工作的其它应用中。Bier说：“这对于降低工厂中的事故数量能起到明显的作用，不过为什么不能在游乐场、或在我们家中的游泳池周围、轿车上也安装虚拟屏障呢？我想我们将很快看到我们日常生活中越来越多的虚拟屏障系统。”

Smarter Vision带来完美驾驶体验

为实现更轻松、更安全的驾驶体验，汽车是另一个充分采用Smarter Vision技术的市场。赛灵思汽车业务部的系统架构师Paul Zoratti表示，在汽车市场中，高级驾驶员辅助系统（ADAS）就是关于使用包括Smarter Vision在内的远程传感技术，从而在驾驶过程中为驾驶员提供帮助（即让驾驶员的驾驶水平提高）（参见赛灵思杂志第66期的封面报道，http://china.xilinx.com/publications/archives/xcell/Xcell66.pdf）。

在过去十年中，汽车制造商已经开始将一系列Smarter Vision技术支持的驾驶员辅助功能应用到各种高端车型中。每年他们都会在其豪车产品线上推出更强大的驾驶员辅助功能，同时在其运动车型和标准车型产品线上引入越来越多的驾驶员辅助功能。

这些功能包括盲点检测、变道辅助、行人和标牌检测等，会在感知到潜在危险情况时向驾驶员发出警告。汽车制造商最近推出的车型甚至还可提供更高级的自动紧急制动和车道保持系统。它们不仅会监测车辆环境，发现潜在问题，还会辅助驾驶员采取纠正措施，避免事故发生或者降低其严重性。

Zoratti指出，现在的某些新型轿车装配有四个摄像头，分别位于车身两侧、车前和车尾，为驾驶员提供车辆周围环境的连续360度视角。虽然第一代环视系统只是使用这些摄像头为驾驶员提供图像，而未来的系统会融入更多的驾驶员辅助功能。使用相同的四个摄像头和图像处理分析功能，新一代系统可同时生成汽车的鸟瞰图，还能在遇到行人时警告潜在危险。此外，当汽车以更高速度行驶时，汽车可使用车身侧面和后面的摄像头，用于盲点检测、变道辅助和车道偏离警示等功能。在挡风玻璃后增加一个前视摄像头，可以支持交通标识识别和正向碰撞告警功能。最后，当驾驶员抵达自己的目的地时，可启动自动停车功能。在这些摄像头和其它传感器的共同配合下，系统将帮助汽车半自动地驶入停车位。

Zoratti重点指出，实时完成所有这些工作需要大量的处理功能，这恰好是并行硬件计算的优势所在。这就是为什么许多早期系统将独立的微处理器和FPGA搭配使用，由FPGA处理大多数的并行计算，而微处理器则处理串行决策。

与监控等需要使用多个摄像头的其它市场不同，它会给汽车带来成本压力，促使分析功能不是在每个摄像头，而是在中央计算中心中完成。这样做可以最大限度地降低每部摄像头传感器的成本，乃至最终整个系统的成本。但是这也意味着中央单元的处理平台需要具备极高的性能和带宽，才能支持同时处理四路、五路乃至六路实时视频输入。

Smarter Vision 创造生命奇迹

另一个被Smarter Vision技术显著改变的领域是医疗电子行业。Smarter Vision技术在各种医疗成像技术中得到广泛应用，包括内窥镜和图像扫描仪（CT、MRI等）、机器人外科手术系统（如Intuitive Surgical公司的Da Vinci（达芬奇））等。详细介绍参见赛灵思中国通讯杂志第42期（http://issuu.com/xilinxdoc/docs/cn_xcell_42）。

在达芬奇众多值得称道的嵌入式系统中，最高级的应该是3D视觉系统，它能够让外科医生以极高的精度、流畅性和触觉敏感性操作机器人外科仪器，完成一系列精细而又错综复杂的外科手术过程。每诞生一代新系统，外科医生就能够执行更多数量和种类的外科手术，确保更好的治疗效果和更短的恢复时间。控制和协调手术过程的技术精密程度令人叹为观止，需要高度依赖处理能力和逻辑的完美结合。因此，每一代新技术都将从处理器和逻辑的更高集