——ISC12國際大學生超級計算機競賽“最高計算性能獎”方案剖析
編者按：在不久前閉幕的ISC12國際大學生超級計算機競賽中，由浪潮集團組織支持的清華大學、國防科學技術大學參賽隊分別勇奪競賽總冠軍和最高計算性能獎，優異成績震驚國際超算界。作為此次國內外競賽設備、技術的負責人，浪潮高性能計算技術專家王渭巍為我們深度剖析“最高計算性能獎”獲得者國防科學技術大學的比賽策略與方案。
在2012年6月20日于德國漢堡閉幕的ISC12國際大學生超級計算競賽中，國防科學技術大學代表隊采用CPU-GPU異構架構計算集群方案，力挫美國科羅拉多大學、紐約州立大學石溪分校、德國卡爾斯魯厄理工學院和清華大學參賽隊，勇奪“最高計算性能獎”。國防科學技術大學也是唯一一支采用CPU-GPU異構架構搭建計算集群的參賽隊，雙精度計算峰值5.5T左右，計算核心數量達到3168個(含GPU計算核心)。
在上一篇的稿件里，我已介紹過ISC12國際大學生超級計算機競賽的參賽隊實力：美國科羅拉多大學連續5年參加了美國的SC國際大學生超級計算機競賽，并曾在2009奪得過Linpack冠軍;紐約州立大學石溪分校從2007年就開始參加SC大學生超級計算機競賽，曾獲得過2009年SC比賽的冠軍;德國卡爾斯魯厄理工學院(KIT)計算機系在德國排名第一，號稱“德國MIT”，他們的超級計算機教學和科研能力獨步歐洲;國防科學技術大學設有系統的超級計算機教學和比賽的體系、機制，擁有良好的人才梯隊和比賽經驗，2011年他們曾在西雅圖的SC超級計算機競賽中僅以0.5分之差屈居亞軍;清華大學則是國內的頂尖學府，設有與浪潮共建的超算中心，有豐富的超級計算機教學、應用研究沉淀。
在這次競賽中，所有參賽隊都想為自己的祖國、母校贏得榮譽，尤其是德國東道主德國卡爾斯魯厄理工學院，他們更是抱著必勝的信心，欲將ISC12國際大學生超級計算機競賽所有獎項一覽懷中。他們曾在賽前公布了他們在實驗室里面能測到0.97GFlops/W性能。而在比賽當天，他們以3000W內實現13個雙路CPU節點集群系統亮相時，令其他對手大吃一驚。按照每瓦0.97GFlops性能計算，德國卡爾斯魯厄理工學院計算峰值是2.995萬億次，另外科羅拉多大學也達到了2.4萬億次，而清華大學是2.3萬億次，國防科學技術大學的CPU計算峰值為1.5萬億次，GPU4萬億次。單純從CPU性能比，中國的清華大學、國防科學技術大學跟德國卡爾斯魯厄理工學院有相當大的差距。媒體、超算業界人士都認為德國卡爾斯魯厄理工學院會贏的比賽的冠軍，并且開出了相關的賠率：
LINPACK最后成績與最后賠率預測對比
那么，國防科學技術大學是怎樣扭轉乾坤的呢?
在2011年參加美國西雅圖SC11的國際大學生超算競賽時，國防科學技術大學就采用了CPU-GPU 異構計算集群方案，但當時異構方案龐大的代碼移植工作量，給他們造成了較大困擾。而在本次ISC12國際大學生超級計算機競賽中，除了常規試題外，還設有兩個神秘應用，考慮到競賽組委會傾向于在傳統CPU上組織競賽命題，且在比賽現場做異構代碼移植工作，會極大擠占運行其他應用的時間，無疑是不合算的。因此，國防科學技術大學代表隊賽前就擬定此次競賽策略是在最高計算峰值和計算通用性上取得平衡，沖擊最高計算性能獎，同時在應用計算部分保持相當競爭力。
而在具體的競賽戰術設計中，國防科學技術大學參賽隊同學仔細考慮和討論，為了達成既得到最高性能，又兼顧代碼運行兼容性的目的，他們決定采用繼續采用CPU-GPU異構架構搭建比賽集群，沖擊計算性能最高獎：在浪潮最新發布的NF5280M3節點服務器上采取CPU+GPU異構計算形式，構建異構集群，其中浪潮NF5280M3配置了兩顆最新的 E5-2650 CPU、8條8G DDR3內存、一塊SAS硬盤(浪潮NF5280M3是基于通用目的的高性能服務器，針對高性能計算領域日益重要的異構計算，特意設計了空間和風道，可以支持兩塊GPU的異構計算)，在此基礎上，每臺服務器上搭配一塊雙精度計算峰值在665GFlops 的NVIDIA Fermi M2090(而不是兩塊)。為了有效解決散熱和系統功耗，他們現場又對風道做了改善，六套搭載GPU卡的浪潮NF5280M3在3000W的競賽總功率限制下，運行HPL時系統功耗峰值控制在2950W左右;而在具體的集群系統環境中，國防科學技術大學采用RHEL 6.1、CUDA4.0和針對FERMI的HPL測試包，賽前在他們實驗室機房同樣配置的集群最高可以得到接近2.8T的實測峰值，但由于比賽現場的散熱條件有限，選手們反復運行只能跑到2.65T左右，但這樣也足以笑傲群雄，力壓第二名德國卡爾斯魯厄理工學院 2.3T的峰值，成功拿到了最高計算性能獎。
我個人認為清華大學和國防科學技術大學參賽隊在國際賽場上取得好成績與他們準備充分、團隊配合、具備拼搏精神和天賦以及浪潮提供高品質的硬件競賽平臺密切相關。如國家863重點專項專家組組長錢德沛教授在首屆中國大學生超級計算機競賽開幕式上所講：“我要感謝浪潮所起的作用?；仡檸资陙?，浪潮參與了國家高性能計算的工作，同時浪潮集團與科研人員密切合作提高了技術水平，掌握了高超技術實力。今天浪潮有實力來組織支持這樣一個競賽表明浪潮已經躋身于世界IT企業。”
作為國內高性能計算的領軍企業，浪潮秉承應用、創新的發展理念，依托高效能服務器與存儲技術國家重點實驗室、Inspur-Intel中國并行計算聯合實驗室以及與業內頂尖的廠商、行業應用專家等合作，不僅持續推進中國超級計算機產品與技術的發展，也通過組織大學生超級計算機競賽這樣的活動，推進中國超級計算機人才和應用的發展進程。在參加本次競賽的同學們為國家、母校贏得榮譽的同時，我也為我所在的浪潮感到驕傲。
