[發明專利]一種面向神經網絡的數據并行處理方法及系統

有效

• 申請號: 201711455682.5
• 申請日: 2017-12-27
• 公開（公告）號: CN108021395B
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 宋洪偉
• 申請（專利權）人: 北京金山安全軟件有限公司
• 主分類號: G06F9/38
• 分類號: G06F9/38;G06N3/08
• 代理公司: 北京市廣友專利事務所有限責任公司 11237
• 代理人: 祁獻民

本發明公開一種面向神經網絡的數據并行處理方法及系統，涉及神經網絡領域，能夠解決訓練循環神經網絡困難、效率低的問題。所述方法包括：對各GPU利用并行初始化函數進行初始化；將用于初始化神經網絡的模型初始化函數寫入并行初始化函數為各GPU建立的輸入管道；將訓練數據按照GPU數量均分為訓練數據塊，并將各訓練數據塊和內部訓練函數分別寫入各GPU的輸入管道中；各GPU的內部訓練函數對分配至自身的訓練數據塊進行同步訓練，得到各網絡參數組的梯度值；計算所有GPU中對應神經網絡同一層的網絡參數組的平均梯度值；各GPU根據同一層的網絡參數組的平均梯度值更新相應的網絡參數。本發明尤其適用于循環神經網絡的數據處理。

技術領域

本發明涉及神經網絡領域，尤其涉及一種面向神經網絡的數據并行處理方法及系統。

背景技術

循環神經網絡是深度學習算法的一種，在自然語言處理領域有顯著的應用效果。由于深度學習算法的數據量大、計算復雜度高等特點，常常需要某種形式的并行計算方案加速訓練過程，常用的并行方案有數據并行和模型并行。而現有的循環神經網絡的復雜結構使得并行計算更加困難。數據并行是目前主要的循環神經網絡并行方案。

目前，循環神經網絡的數據并行處理方法主要有以下四個步驟：

步驟1：首先在多個圖形處理器(Graphics Processing Unit，GPU)中加載初始化參數一致的模型副本；

步驟2：對于單獨的GPU，分別讀取不同的訓練數據塊，利用前向傳播算法計算出損失值，再用后向傳播算法計算出各層網絡參數組的梯度值；

步驟3：將所有GPU上同一層的網絡參數組的梯度值匯總，分別計算各層的網絡參數組的平均梯度值，然后將平均梯度值廣播回所有的GPU上；

步驟4：不同的GPU拿到相同的平均梯度值后按相同的更新策略，分別更新各自的網絡參數。然后返回到第2步繼續處理下一批數據，直至訓練結束。

目前各大深度學習框架均支持數據并行，如TensorFlow、MXNET、pytorch等，但是對循環神經網絡來說均有不足。首先，TensorFlow在框架級別上僅支持靜態計算圖，對循環神經網絡沒有很好的支持；MXNET由于其使用自主研發的參數服務器，雖然使得訓練速度得到較大的提升，但是同時也讓用戶的學習、開發難度增加很多；而pytorch支持動態計算圖，其數據并行模塊使用起來也足夠簡單，但是對于循環神經網絡來說運行效率太低。

Pytorch主要有兩種數據并行方案：基于多線程的單機并行方案和基于分布式的多機并行方案。第一種方案效率低是因為受限于循環神經網絡的復雜結構，多線程機制帶來了巨大的額外運行開銷，實際上兩個GPU的訓練速度甚至不及一個GPU的；第二種方案由于采用分布式通信機制，額外的通信時間使得兩個GPU的加速比不到1.1。

綜上所述，現有的循環神經網絡的數據并行處理方法存在實現困難、效率低的問題。

發明內容

為了解決現有技術訓練循環神經網絡存在的實現困難、效率低的問題，本發明提供一種面向神經網絡的數據并行處理方法及系統，可以有效的解決開發循環神經網絡時，并行加速訓練的實現困難、效率低的問題。

第一方面，本發明實施例提供一種面向神經網絡的數據并行處理方法，包括：

對每個GPU利用并行初始化函數進行初始化，其中，所述并行初始化函數用于為每個GPU建立一個輸入管道、一個輸出管道和啟動一個子進程，所述子進程循環從所述輸入管道中讀取要執行的函數名及函數參數值，并將讀取的函數參數值代入所述函數名所表示的函數中進行執行，最后將執行結果寫入所述輸出管道；

將用于初始化神經網絡的模型初始化函數寫入每個GPU輸入管道；