[發明專利]一種基于分層優化范式的大規模圖深度學習計算框架

在審

• 申請號: 202010318058.6
• 申請日: 2020-04-21
• 公開（公告）號: CN111652346A
• 公開（公告）日: 2020-09-11
• 發明（設計）人: 王彬;洪萬福;錢智毅
• 申請（專利權）人: 廈門淵亭信息科技有限公司
• 主分類號: G06N3/02
• 分類號: G06N3/02;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提供了一種基于分層優化范式的大規模圖深度學習計算框架,涉及深度學習技術領域。包括基于塊的數據流轉換，用于將圖形的頂點和邊數據分割成小塊；數據流圖的優化，用于生成一個調度策略；GPU上內核的傳播，用于高效的內核傳播操作；多GPU的并行處理，用于一個服務器中多個GPU的并行計算。本發明支持大規模的圖神經網絡（GNNs），不僅可以簡單表達模型，而且支持可伸縮和高效的GPUs并行處理引擎。為了表示包含圖傳播和深度神經網絡（DNN）計算的GNN各層遞歸計算，本發明采用了一種具有分散?邊應用?聚合?頂點應用的神經網絡（Separation?UDF_Edge?Aggregation?UDF_Vertex with Neural Networks，SUAU?NN）頂點程序抽象。

技術領域

本發明屬于深度學習技術領域，具體涉及一種基于分層優化范式的大規模圖深度學習計算框架。

背景技術

深度學習以深度神經網絡的形式被成功地運用到了許多領域，如語音、視覺、自然語言處理等。在這些領域中，底層數據的表示通常采用規則的網格結構，這種結構在大量的數據并行時有利于硬件加速(如GPU)。受社交網絡、知識圖譜、生物信息學和神經科學中圖形數據重要性的驅動，將深度學習模型應用在不規則圖形結構的數據上是一個新興的趨勢。將先進的預測結果用到目標應用中，如分類、嵌入、問答系統。這些基于圖的神經網絡通常將神經網絡模型應用于圖中與頂點和邊相關的特征，并傳播和聚合結果以生成下一級特征。

但是，現有的解決方案都不能很好地支持GNNs，現有的圖形處理引擎，通常提供一個聚合+應用+分散式（Gather-Apply-Scatter，GAS）的頂點程序模型，其是無法表達和支持圖結構的神經網絡框架。深度學習框架被設計為數據流圖去表達神經網絡，如TensorFlow、PyTorch、MxNet、CNTK等，但是并不能直接支持圖傳播模型。此外，它們都沒有提供處理大規模圖所需的可伸縮性，也不支持基于GPU的圖傳播操作符的有效實現。當前缺乏對這些需求的支持嚴重限制了充分挖掘大規模GNN潛力的能力，同時在系統層面上也為DNN與大型圖結構的結合提出了巨大的挑戰。

發明內容

為了克服上述現有技術的不足，本發明提供了一種基于分層優化范式的大規模圖深度學習計算框架,其支持大規模的GNNs，不僅可以簡單表達模型，而且支持可伸縮和高效的GPUs并行處理引擎。本發明是將數據流與頂點程序模型抽象相結合成新的模型，允許在頂點或邊數據（以張量形式被處理）中通過使用數據流抽象表達神經網絡計算，而不是那些為傳統圖形處理而設計的抽象（如PageRank、連通組件、最短路徑等算法）。為了表示包含圖傳播和DNN計算的GNN各層遞歸計算，本發明采用了一種具有SUAU-NN頂點程序抽象。

本發明將圖形傳播引擎支持的特殊操作符引入到數據流圖中，并優化其在GPU上的執行。因此，本發明的方案更傾向于利用每個頂點數據訪問中的并行性來更好地提升內存訪問效率。

本發明所采用的技術方案是：

一種基于分層優化范式的大規模圖深度學習計算框架，是使用頂點程序抽象和圖形傳播過程的自定義操作符擴展TensorFlow實現的。與小圖上GPU支持的TensorFlow相比，本發明的速度提高了4倍左右。其包括：基于塊的數據流轉換、數據流圖的優化、GPU上內核的傳播、多GPU的并行處理，其中：

所述基于塊的數據流轉換用于將圖形的頂點和邊數據分割成小塊，這些小塊將裝入GPU設備內存中，并與處理塊粒度計算的操作符一起構造一個數據流圖；

所述數據流圖的優化用于生成一個調度策略；

所述GPU上內核的傳播用于高效的內核傳播操作；

所述多GPU的并行處理用于一個服務器中多個GPU的并行計算。