[發明專利]基于Hadoop的DGCNN模型加速方法

在審

• 申請號: 201911412304.8
• 申請日: 2019-12-31
• 公開（公告）號: CN111160535A
• 公開（公告）日: 2020-05-15
• 發明（設計）人: 楊雨婷;吳超;張在進;高晨;陳旭
• 申請（專利權）人: 北京計算機技術及應用研究所
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06N3/063
• 代理公司: 中國兵器工業集團公司專利中心 11011
• 代理人: 張然

1.一種基于Hadoop的DGCNN加速方法，其特征在于，包括：

利用MapReduce實現訓練樣本和計算答案初始位置與結束位置的并行化，將整個訓練數據集和糅合了問題編碼、位置向量和人工提取特征的卷積值分為多個小塊，分布式地存儲在Hadoop平臺的每個節點上，每個節點都存儲一個相同的完整的卷積神經網絡，各個節點使用該節點存儲的數據對網絡進行訓練以及求解答案位置，對于各小塊中的每一個樣本，節點都執行一次前向傳播和反向傳播計算，得出各個權值和偏置的局部改變量以及位置信息，接著匯總每個權值和偏置的局部改變量從而得到全局改變量，多次用全局改變量更新權值之后，獲得最終網絡，得到全局位置信息；

使用CUDA進行特征矩陣、神經元以及權值的并行化，為每一層的特征矩陣啟動一個線程格，線程格中線程塊的數目大于等于特征矩陣數目，若線程塊數目與線程圖數目相等，則一個線程塊對應一個特征矩陣；若線程塊數目大于線程圖數，將特征矩陣分為不重疊的小塊，每個小塊對應一個線程塊，使得特征矩陣的并行，線程塊中每個線程對應一個神經元，使得神經元并行，在誤差反向傳播中，用一個線程對應一個權值，計算該權值的局部梯度改變量，使得權值并行。

2.如權利要求1所述的基于Hadoop的DGCNN加速方法，其特征在于，對于訓練數據集，需要對訓練數據集進行預處理，包括去除停用詞、降噪以及語句標注處理。

3.如權利要求1所述的基于Hadoop的DGCNN加速方法，其特征在于，基于MapReduce進行訓練樣本和卷積神經網絡CNN模型訓練過程的并行化，包括：

整體架構采用主從結構基于數據并行的方式訓練網絡：從節點存儲相同的網絡結構和訓練數據集中部分數據，各從節點并行使用本地存儲的數據訓練網絡，計算出權值和偏置的局部梯度改變量之后做一次匯總，求得權值和偏置的全局梯度改變量，然后用全局梯度改變量更新權值和偏置，多次迭代至全體樣本收斂或達到最大迭代次數；

CNN分解過程中，首先MapReduce模型的Mapper類首先調用Setup()函數，從分布式緩存中讀取網絡參數，包括網絡層、各層神經元數及權值和偏置，并對網絡進行初始化，然后調用map()函數接受鍵值對，經過前向傳播和反向傳播，計算出網絡每一個權值w的局部梯度改變量，生成中間鍵值對，并將中間結果暫時存儲在內存，達到設定值之后寫入磁盤，對于每一個split，都將啟動一個Map任務；

然后用Reducer類執行Reduce任務，以網絡中的權值和權值局部梯度改變量列表為輸入，統計和求出權值和全局梯度改變量，將權值和權值全局梯度改變量以鍵值對的形式輸出；對于每一個權值都啟動一個Reduce任務；

如果多次MapReduce任務之后，在規定誤差范圍內或者滿足最大迭代次數，結束網絡的訓練過程。

4.如權利要求3所述的基于Hadoop的DGCNN加速方法，其特征在于，將MapReduce模型的分布式地存儲到Hadoop平臺，包括：

Hadoop平臺主節點上的JobTracker負責任務的劃分、調度以及失敗任務的重新執行，各從節點上的TaskTracker負責卷積神經網絡的前向傳播、反向傳播等計算；在計算開始之前，TaskTracker先從分布式緩存中讀取網絡參數信息并初始化網絡，然后執行Map任務，從split小塊中分離出類標號和樣本值，接著樣本值作為輸入開始前向傳播和誤差反向傳播，在反向傳播中，計算出每個權值和偏置的局部改變量并輸出，當所有訓練樣本計算完成之后，經過中間數據本地壓縮及混排之后，JobTracker啟動一個TaskTracker執行Reduce任務，匯總每一個權值以及偏置的局部梯度改變量得到權值以及偏置的全局改變量，然后對權值以及偏置做一次批處理更新并寫入全局文件中；通過MapReduce編程模型將復雜的運行于云平臺上的并行計算過程高度地抽象到map和reduce兩個函數，map和reduce兩個函數的功能是按一定的映射規則將輸入的鍵值對轉換成另一個或另一批輸出鍵值對。