FPGA设计中遇到的奇葩问题之“芯片也要看出身”

热度91票  浏览1010次 【共0条评论】【我要评论 时间:2018年5月29日 10:11

来源:云栖社区    作者:隐达

(一)昨夜西风凋碧树。独上高楼,望尽天涯路

2000年的时候,做设计基本都是使用Xilinx公司的Virtex和Virtex-E系列芯片。那时候Altera技术实力还比较弱,基于Altera的芯片做设计是要被大家diss的。某天晚上大概十点多了吧,我正如痴如醉的沉浸在编码的快感当中。主管悄无声息的站到了我身后,我从显示器中看到了隐约的影子,转头一看果然是他老人家。

主管神色凝重,眉头紧蹙。我在脑子里迅速回顾了一下自己最近的所作所为,确信没干什么罪大恶极、自绝于人民的坏事儿,用颤抖的语气小心翼翼的问:老大,您找我?老大的神色迅速地转换,分明在说:蠢货,你又不是什么萌妹子,要是没事儿你以为我老人家愿意屈尊站到你这儿么?after一个蓝衣女子般的风情万种的白眼之后,老大终于开腔了。

“我们学理科的都不信鬼神对吧?”大哥,你这是什么开场白?!我那会儿不过才工作两年多,纯洁的像一张黑不溜秋的白纸,根本识别不了您这是准备给我刨什么坑好吧,为啥你要给我出这样的难题?老大露出了一些不耐烦:“几个月之前到现在,有一批单板邪门儿了,有的工作正常,有的就不断的出乱码。经过大家夜以继日没白没黑呕心沥血玩儿命的加班定位之后,大家一致认为问题出在这块单板上的FPGA上”。早说嘛,FPGA我熟啊。“老大,问题既然都定位了,那就解决嘛”。老大露出了诧异的神情:我X,你这货是怎么混进我司的?回头老子要找当初面试你的人算账!老大深吸了一口气,带着“老子再忍你十秒钟的神情”继续说:“这个FPGA一共9000多接近一万行代码,最关键的是,设计这个FPGA的同事三周前就离职了。现在虽然确定了问题出在这个FPGA,但是究竟是什么问题还不知道。所以呢,大家商量了一下,决定暂时把你抽调出来,全力投入这个事情。一呢,要搞清楚到底是什么问题,二呢,把问题彻底解决掉”。

要不怎么说当年的我就是纯洁啊,要是放到现在,这肯定是一个绝佳的跟老大讨价还价、多给自己争取个仨瓜俩枣的好机会啊。彼时单纯(其实就是弱智)的我却觉得天大的展示自己身手的时刻终于到来了,于是欣然接受。老大神情轻松了一些,但还带着少许疑惑:这货不知道行不行,但愿不要把老子也坑了。然后溜溜达达的走了。

(二)衣带渐宽终不悔,为伊消得人憔悴

我一夜无眠,小心脏一直在忽冬忽冬滴乱跳。第二天我一头扎进了封闭的实验室。实验室里堆了好多单板,好的一堆,坏的一堆,然后各种仪器和电脑。整整一周,我都在实验室里瞎折腾,除了一遍又一遍的证实了问题现象确实如老大所描述的,然后就是看那9000多行的HDL代码。写代码的同事不知道是故意的还是习惯如此:注释少的可怜、设计文档和实际代码差异极大(文档在说水果里面桃子最好吃,代码写的是大飞机C919很威武)、变量的命名也毫无规律,后缀_addr的变量居然是数据总线,而后缀_data的变量才是地址总线。我心说:“哥啊,地球人都知道花花轿子人抬人。你我素昧平生、素不相识、萍水那个从未相逢,可为神马你就知道我要被派来收拾你的烂摊子,这么多花样来收拾我涅?”

一周毫无进展,我很沮丧。浑浑噩噩的过了周末(其实也就是周日一天),周一继续钻进实验室。开放办公区里莺歌燕语,其乐融融,就我一个人傻兮兮的在实验室里古佛青灯兼顾影自怜,相当称得上凄凄惨惨戚戚。中间老大时不时的过来关心我一下,其实就是监工外加检查进度。可是没进度可言:我根本不知道问题出在哪里,这么短的时间把小一万行HDL代码都看明白也不可能。如果我能的话,那我应该去做老大的老大了(那会儿大家都崇拜技术牛人,普遍觉得谁技术牛谁就应该做老大)。

一转眼就到周五下午了,我在实验室里垂头丧气。双手捂着脸,开始埋怨自己为什么接任务的时候才出现智商余额不足的fatal error。大显身手是彻底的forget about it了,弄不好倒可能因此把自己给葬送了。继而开始埋怨主管:我一直是顺民,挺听话也挺出活,你为啥要给我刨这么大的一个坑涅?百撕不得奇解啊。一头雾水兼百无聊赖,我拿起一块单板,盯着那片FPGA。嗯,这里写着Malaysia,没想到Xilinx在大马还有工厂。换一块单板,嗯,还是Malaysia。这不是废话么,买一批至少也是几千片,当然都是Malaysia。正要仰天长叹“天亡我也,非我不能也”,忽然瞥见另一块单板的FPGA上印的似乎不是Malaysia,拿起一看,果然印的是Taiwan。终于找到一点有意思的事情做了,于是再拿一块,嗯,Taiwan,再拿一块,嗯大马。拿着拿着,忽然发现一个规律:从那堆坏板子里拿的都是印着Malaysia;从那堆好板子里拿的都是印着Taiwan。

(三)众里寻他千百度,蓦然回首,那人却在,灯火阑珊处

工程师都知道,寻找好板和坏板之间的“差异”是定位问题的利器之一啊。因此当时虽然没有欣喜若狂,但是也隐隐看到了一丝曙光。

我冲出实验室,一溜小跑去了焊板实验室。找到了焊板的同事,让他现场给我焊两块单板,一块必须用产自大马的FPGA,一块必须用产自台湾的FPGA。那个老兄很奇怪的看了我一眼,然后又一眼。后来我才想明白估计我是第一个在乎芯片产地的怪咖。

我就站在他旁边,看着他工作,觉得时间过得奇慢无比。拿到了焊好的两块板子,又以百米冲刺的速度杀回实验室,隐隐约约听到有同事在抱怨:发哪门子神经,刮这么大的风。我以迅雷不及掩耳盗铃之势,先把台湾板子安装好,上电启动、加载、运行,果然是好的;拆掉台湾,换上大马板子,上电启动、加载、运行,果然出误码了。问题确诊了!为了保险起见,我从坏板和好板堆里各取了两块单板进行了验证,现象是一致的。

此时距离下班也就十几分钟了,我赶紧去了老大的工位,强压着鸡冻滴小心情,向老大汇报:“老大,告诉生产那边,发货只能用产自台湾的芯片,马来西亚的坚决不能用。我怀疑产自马来西亚的芯片的容差小,产自台湾的芯片的容差比较大。而设计本身肯定存在时序打擦边球的情况,导致使用产自马来西亚芯片的单板会出误码,而使用产自台湾的芯片则没有问题。到底是哪里的时序存在擦边球的隐患,我还需要进一步熟悉代码,寻找之而修改之而长治久安也”。老大难得的露出了笑容:“嗯,不错不错!这两周辛苦了,回去好好休息,下周全力解决问题。啊,对了,你该刮胡子了。”

周末跟老婆(那时候还是女朋友)去搓了一顿大餐,逛街,看电影,累得半死,但是心情那是相当的愉快。

我从实验室回到了工位,在感受人间烟火气的同时,全力看代码。认真的看了一整天之后,我发现前同事对于“同步”、“组合逻辑嵌套层次不能过多”等设计原则完全不care,隐患到处都是,要想彻底的解决这些隐患,只有一个办法:推倒重来。我去找老大说明了想法,老大说:“要不要这么夸张?劳资派你去解决问题,你解决问题就是了,搞这么大工程出来,有必要么?”我说:“老大,我以一个工程师滴半生清誉担保:如果不推倒重来,问题根本不能彻底解决。”老大无奈的挥了挥手,说话的同时目露凶光兼咬牙切齿:“是否推倒你来定。但素,市场那边给出的预测是最多三个月内,这块单板就会迎来发货高峰,到那时无论如何也要保证FPGA不出任何问题。你有信心滴干活?”“饿夫考斯啊老大,没有金刚钻,不揽瓷器活啊”,我心说:“你要是答应给我加五百块工资,没准儿我敢承诺一半的时间就给你搞出来”。

结果不到三个月,我的全套重写的代码就完成了,编译、加载、测试:不论是产自台湾的芯片还是马来西亚的芯片,完全没问题。老大不放心,特地多找了几块焊着马来西亚芯片的板子一遍又一遍的测试,结果仍然是no problem at all。

老大笑靥如花(港版那个),眼睛眯成了一条缝儿:“小样儿,行啊!”我只顾嘿嘿傻笑,结果忘了趁热打铁跟老大提加薪。曾经有一个机会摆在我面前,我没有珍惜。如果有重来一次的机会,我特么会加一个十万光年的期限。

过了没多久,Xilinx公司也发来了报告:由于马来工厂的某个车间顶部一个窗户没关严,导致车间纯净度不够,所以那段时间生产的芯片尽管各项指标都在合格范围内,但是都在边缘,从而容差能力都比较低。公司已经发现并做了相应处理,之后生产的芯片从一致性方面跟台湾产的芯片没有区别了。

Well,这就是我从业生涯中碰到的“芯片也要看出身”的“灵异”事件。给我的印象是如此之深,18年后我仍然记得清清楚楚。问题解决是在2000年的9月份,第二年,我惨遭表扬,获得了某公司的最高荣誉:XXXX奖。 

后记:

1.真实问题定位的过程很痛苦,也比文中描述的要复杂,因为那批单板使用的FPGA芯片还有另外一个产地:韩国。在定位问题的过程中,台湾和韩国的芯片加载原同事的设计都没有问题,马来产的就不行。于是比对、比对、再比对,最终确定了问题出在马来产的芯片上。

2. 我重写后的设计完全不区分芯片的产地。采用原同事设计、已经发货的那批单板,使用产自台湾、韩国的芯片而暂时没出问题的,总量大概几千块吧,这些单板在条件发生变化时(比如温度变化、电压变化),出误码是必然的。好在那时候运营商对国产厂家都比较宽容,用服的同事找了各种机会,神不知鬼不觉的对这些单板上的FPGA重新加载了新版本,彻底消除了隐患。

3. 9000多行代码,我用了大概70个工作日进行了重写,计算开发效率,大约是130行/人天。实际上,我做过个人职业生涯的不完全统计:使用HDL开发FPGA,从全流程的角度来计算(从需求分析到最终发布),效率不会超过20行/人天,跟软件开发效率大致类似。当然,随着新的设计语言以及工具等方面的进步,开发效率会逐步提升是毫无疑问的。

4. 文档真的很重要、很重要、很重要。很多人会说:整个设计(模块)我闭着眼睛都能知道哪行代码是干嘛的,文档意义不大。但素,人的记忆是会衰退的。如果设计天衣无缝、没有任何问题,在整个生命周期里没有任何升级或者功能变动,那么文档也许没那么重要。但素,大家想一想,对于FPGA来说,上述条件全部满足的概率是不是和行星撞地球差不多?我几乎重写了整个设计文档,基本能保证文档描述的是西施,而设计至少是凤姐。

------

本文作者:隐达,阿里云资深专家,花名的意思就是做人隐,做事达。业余时间喜欢看美剧和读书,尤其是历史书;还喜欢喝点小酒侃大山,喝酒只喝啤酒和威士忌;酒量比较差,但是酒品还过得去。我在某通信公司工作了18年,其中十年的大规模FPGA/ASIC开发和系统设计,刚刚加入阿里云,负责FPGA/ASIC异构计算。

对本篇资讯内容的质量打分:
当前平均分:0.21 (52次打分)
【已经有39人表态】
11票
感动
3票
路过
6票
高兴
4票
难过
3票
搞笑
4票
愤怒
4票
无聊
4票
同情
上一篇 下一篇
查看全部回复【已有0位网友发表了看法】