圖片來源：視覺中國

8月13日，圖計算領(lǐng)域最具影響力的國際賽事之一「Graph Challeng 2021」公布比賽結(jié)果，華中科技大學(xué)團隊斬獲冠軍，成為該賽事中首支奪冠的國內(nèi)團隊！此外，該校另一支團隊也獲得本次大賽的創(chuàng)新獎。

喜訊喜訊！

8月13日，2021年圖計算挑戰(zhàn)賽GraphChallenge比賽結(jié)果揭曉：華中科技大學(xué)圖計算團隊獲得全球冠軍。

這是國內(nèi)團隊在該賽事中首次奪冠！

作為圖計算領(lǐng)域最具影響力的國際賽事之一，華中科技大團隊此次奪冠，標志著我國在圖計算領(lǐng)域的研發(fā)水平位于國際前列。

賽事地址：https://graphchallenge.mit.edu/challenges

此次比賽吸引了賽靈思、英偉達、勞倫斯利弗莫爾國家實驗室、弗吉尼亞理工大學(xué)、伊利諾伊大學(xué)厄巴納-香檳分校等國際知名科技研院所參賽。

最終，華中科技大學(xué)團隊、美國喬治華盛頓大學(xué)與馬里蘭大學(xué)的聯(lián)合隊伍兩支參賽團隊獲得冠軍。

此外，華中科技大學(xué)的另一支隊伍也獲得了本次GraphChallenge 2021的創(chuàng)新獎。

Graph Challenge 2021

圖（Graph）是一種用來建模事物之間關(guān)系的一種數(shù)據(jù)結(jié)構(gòu)。

圖可以應(yīng)用于生產(chǎn)生活中的各個領(lǐng)域，從社交媒體、網(wǎng)頁排序到自然語言處理、以及人工智能，都可以用圖來表示。

但由于圖結(jié)構(gòu)的不規(guī)則性，這些應(yīng)用很難得到快速處理。

圖計算也因此成為了大數(shù)據(jù)和人工智能時代的核心挑戰(zhàn)。

GraphChallenge結(jié)合了GraphAnalysis、Graph500、FireHose、MiniTri和GraphBLAS等開創(chuàng)性工作中的優(yōu)點，并由此創(chuàng)造出了一套新的挑戰(zhàn)。

從2017年開始，該賽事至今已成功舉辦五屆，成為圖計算領(lǐng)域最具影響力的國際賽事之一。

比賽由IEEE、麻省理工大學(xué)、亞馬遜公司聯(lián)合主辦

在GraphChallenge 2021中，參賽選手需要在給定的圖應(yīng)用上比拼處理速度。

比賽分為三個賽道：靜態(tài)圖匹配、動態(tài)圖劃分和稀疏神經(jīng)網(wǎng)絡(luò)推理，也分別代表了圖計算的不同典型應(yīng)用場景。

往屆冠軍基本被美國知名科技研單位包攬，如英偉達和勞倫斯利弗莫爾國家實驗室。

而卡內(nèi)基梅隆大學(xué)、UIUC則分別獲得過2019年和2020年的大賽冠軍。

除了冠軍外，還會進行創(chuàng)新獎、榮譽獎等多個獎項的評選。

GraphChallenge 2021評選出的其它獎項

奪冠論文

深度神經(jīng)網(wǎng)絡(luò)（DNN）模型規(guī)模的不斷擴大，可擴展性也逐漸受到影響。

稀疏深度神經(jīng)網(wǎng)絡(luò)（SpDNN）雖然有望解決這個問題，但由于負載不平衡和不規(guī)則的內(nèi)存訪問，稀疏的數(shù)據(jù)難以在GPU上有效執(zhí)行。

因此，作者提出了疏散感知的SpMM算法，可以系統(tǒng)地探索SpDNN在GPU上執(zhí)行的性能最優(yōu)方案，并進一步生成優(yōu)化的SpMM內(nèi)核實現(xiàn)。

項目地址：https://github.com/CGCL-codes/Graphchallenge21

與2020年HPEC稀疏DNN挑戰(zhàn)賽冠軍相比，論文的方法在單個NVIDIA V100 GPU上實現(xiàn)了每秒55.6 TeraEdges的推理吞吐量，將速度提高了13.74倍和22.29倍。

此外，比起2020年冠軍使用768個GPU的方法，論文提出的方法在很多情況下僅用4個GPU就能實現(xiàn)更佳的性能。

方法實現(xiàn)

SpMM的基本實現(xiàn)可由三個循環(huán)構(gòu)成：

其中，b-loop遍歷矩陣中的不同batch，k-loop遍歷輸入神經(jīng)元，而n-loop遍歷輸出神經(jīng)元。

論文方法的工作流程，其中*代表通配符

(a)用于SpDNN推理的改進的SpMM優(yōu)化空間；

(b)修剪后的SpMM優(yōu)化空間；

(c)為給定的權(quán)重矩陣（如W1和W2）搜索性能最優(yōu)的解決方案。

性能分析

論文提出的方法實現(xiàn)了每秒11.8～55.6的推理吞吐量，且性能隨著網(wǎng)絡(luò)層的增加而增加。

單個V100 GPU與往年冠軍的對比

與2020年冠軍的最強性能方法H&F相比，論文提出的方法至少能將性能提升1.73倍，最多可以提升13.74倍。

與2019年的冠軍B&F相比，論文的方法實現(xiàn)了6.39倍～15.56倍的性能提升。

此外，作者也與廣泛使用的SpMM庫cuSPARSE進行了比較，性能的提升達到72.90倍～152.68倍。

4個GPU與往年冠軍的對比

在多個GPU的比較上，論文的方法只需采用4個GPU，就能比最多使用16個V100 GPU的B&F性能提升4.56倍～10.18倍。

與同樣可以采用4個GPU的SNIG相比，實現(xiàn)了18.73倍～32.73倍的性能提升。

論文的方法同樣優(yōu)于H&P在不同GPU數(shù)量上的實現(xiàn)，甚至在很多情況下比采用768個GPU的H&P性能更強，尤其是對于大型網(wǎng)絡(luò)來說。

半年備賽，奪得全球冠軍

華中科技大學(xué)參賽團隊主要成員為碩士生辛杰（左上）和葉先祺（中下），由鄭龍副教授指導(dǎo)，其他成員包括博士生王慶剛、黃禹、姚鵬程，老師余林琛、廖小飛、金海。

本次大賽奪冠團隊從去年年底開始備賽，參賽賽道為稀疏神經(jīng)網(wǎng)絡(luò)推理，為加速人工智能應(yīng)用提供新方案。

這個賽道的任務(wù)是將神經(jīng)網(wǎng)絡(luò)的權(quán)重數(shù)據(jù)抽象為圖數(shù)據(jù)，執(zhí)行推理任務(wù)，是人工智能領(lǐng)域的典型應(yīng)用場景。

參賽過程中，團隊獲得了服務(wù)計算技術(shù)與系統(tǒng)教育部重點實驗室和「面向圖計算的通用計算機技術(shù)與系統(tǒng)」國家重點研發(fā)計劃項目組的大力支持。

實驗室為團隊提供了V100 GPU多卡服務(wù)器作為計算平臺，確保團隊有一個穩(wěn)定的開發(fā)環(huán)境。

團隊參賽隊員每周都會和圖計算項目組的博士生王慶剛、黃禹、姚鵬程等進行應(yīng)用分析和方案論證。

多次討論后，他們最終get到了這個賽道應(yīng)用的特點：

不存在一種特定的實現(xiàn)方法可以在任何一個數(shù)據(jù)集上都取得較好的性能提升。

根據(jù)這個特點，參賽團隊確定了通過用參數(shù)化的方式，構(gòu)造算子的實現(xiàn)空間，然后進行參數(shù)搜索，取得對應(yīng)數(shù)據(jù)集的最優(yōu)實現(xiàn)方法。

在代碼實現(xiàn)過程中，團隊復(fù)用了圖計算項目中圖處理模塊的思想，加快開發(fā)效率，快速完成了實驗。

參考資料：

https://graphchallenge.mit.edu/champions

https://mp.weixin.qq.com/s/MeKOcCG-238R7m9f6pqApw

本文轉(zhuǎn)載自微信公眾號“新智元“（ID：AI_era），來源：graphchallenge，編輯：Priscilla 好困。文章為作者獨立觀點，不代表芥末堆立場，轉(zhuǎn)載請聯(lián)系原作者。