新一代图盘算零碎“神图”入围2018年“戈登•贝尔”奖

泉源自:极速彩票智通    点击数:127   公布工夫:2018-11-09

      2018年,中国超等盘算机“神威·太湖之光”公布的第三年,也是中国进军高功能盘算使用最高奖——“戈登·贝尔”奖的第三年。以清华大学领衔的研讨团队研收回面向超大范围异构零碎架构的新一代图盘算零碎“神图”,再一次乐成入围“戈登·贝尔”奖的终极比赛。

 
                                                      神威·太湖之光


      大数据期间,数据的体量、庞大度,以及数据剖析关于精度与速率的要求一日千里。以搜狗搜刮引擎为例,中文网页的链接数高达12万亿,渣滓网页的精确辨认和及时剖析对搜刮引擎体验提拔日趋紧张。超等盘算机的杰出算力为展开如许紧张的数据剖析义务提供了契机,也为超算探究新兴使用范畴发明了条件。

      本次HPC China 2018大会,面向超大范围异构零碎架构的新一代图盘算零碎“神图” 的作者林恒在co-design workshop中,向各人细致引见项目状况。




           作者现场陈诉

      该项研讨由清华大学、北京费马科技无限公司、卡塔尔盘算研讨所、数学工程与先辈盘算国度实行室、苏黎世联邦理工学院、国度并行盘算机工程技能研讨中央、北京搜狗科技开展无限公司和国度超等盘算无锡中央的结合研讨团队完成。该任务基于“神威·太湖之光”,可以线性扩展到上万万核,初次完成了包括70万亿边的图的秒级剖析,处置速率到达了1984 GPEPS(Giga Processed Edges Per Second),在高效求解非规矩的超大范围希罕题目上到达了一个新的里程碑。

      在异构众核超等盘算机上高效求解超大范围图盘算题目需求“神图”应对三方面应战:

      非规矩盘算题目在异构盘算资源上的协同盘算应战。“神图”“扬长避短”,笼统多种要害图盘算算法的盘算流程,完成细粒度功用剖析,完成面向申威众核处置器差别盘算资源的最优映射。

      超大范围零碎上的通讯应战。“神图”深度开辟多条理的通讯聚合和通讯并发时机,以神威太湖之光的超节点为单元停止非规矩巨细的音讯聚合,在超节点内应用外部高带宽停止解压和分发,从而最佳应用地方网络和超节点网络的通讯带宽。

      图数据幂律散布的负载平衡应战。“神图”“分而治之”超过跨过度边(超过跨过度极点对应的边)、高入度边(高入度极点对应的边)和正常边,既能将数据平均地散布到各个节点,又防止了盘算部分过热的题目。

       交融上述方案,“神图”可以无效应用神威·太湖之光零件零碎完成70万亿边的Kronecker分解图的疾速剖析,处置速率到达了1984GPEPS。在实践使用中,在12万亿条边的真实中文网页图上完成一轮PageRank算法仅需8.5秒(1443GPEPS),与文献中报道的业界开始进零碎相比(如微软的GraM零碎处置1.2万亿条边的分解图每轮PageRank迭代需求140秒),处置范围添加了一个数目级,而处置功能进一步进步超越一个数目级,完成了图盘算节点范围、图数据范围、运转工夫上的打破。

       “神图”零碎的研制乐成,不只扩展了国产超等盘算机在大数据剖析范畴的使用才能,而且可以提供愈加迅捷的实行、优化超大范围图算法的运算情况,为产业界大数据剖析提供了无力技能支持与零碎保证。

“神图”将图盘算边处置进程做细粒度剖析

“神图”在差别数据范围的真实图和天生图上,均取得了杰出的功能。单元GPEPS(Giga Processed Edges Per Second)