[發明專利]一種大類別深度學習GPU并行加速的方法

在審

• 申請號: 201711251410.3
• 申請日: 2017-12-01
• 公開（公告）號: CN108108813A
• 公開（公告）日: 2018-06-01
• 發明（設計）人: 石宇;徐卉;程誠;周祥東
• 申請（專利權）人: 中國科學院重慶綠色智能技術研究院
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06T1/20
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 尹麗云

本發明提供一種大類別深度學習GPU并行加速的方法，包括：采用模型并行對深度神經網絡結構中的softmax層的模型參數進行訓練，每個GPU訓練各自的模型分片，各GPU的softmax層之間通過交互模型參數的數據特征，完成深度學習；本發明采用混合式架構，即softmax層之前的所有層級，依然是采用數據并行方式，softmax層采用模型并行方式，突破了大類別深度學習并行運算的瓶頸，克服了在深度神經網絡結構中的最后一層全鏈接層上，進行參數交互的通信成本和花費的通信時間過高的問題，能夠在保持原有深度學習效果的同時，大幅度提升模型學習效率，減少GPU占用率。

技術領域

本發明涉及計算機及其應用領域，尤其涉及一種大類別深度學習GPU并行加速的方法。

背景技術

目前，深度學習在幾個主要領域都獲得了突破性的進展：在語音識別領域，在圖像識別領域，在自然語言處理領域。可以說到目前為止，深度學習是最接近人類大腦的智能學習方法。但是深度學習模型參數多，計算量大，訓練數據的規模也更大，需要消耗很多計算資源。如果可以讓訓練加速，工作效率會明顯提升，對于大規模的訓練數據和模型來說，更可以將難以完成的任務變成可能。

隨著GPU的大規模并行架構支持的不斷推進，面向通用計算的GPU(General-Purposed GPU,GPGPU)已成為加速可并行應用程序的重要手段。得益于GPU眾核(many-core)體系結構，程序在GPU系統上的運行速度相較于單核CPU往往提升幾十倍乃至上千倍。利用GPU來訓練深度神經網絡，可以充分發揮其數以千計計算核心的高效并行計算能力，在使用海量訓練數據的場景下，所耗費的時間大幅縮短，占用的服務器也更少。

目前大部分服務器都有8個或更多的GPU。原則上，使用更多的GPU可以大幅度地提升效率，但實現起來有一定困難，處理器之間需要交互大量的數據，并且花費更多的時間進行通信而非計算。傳統的深度學習并行方法都是數據并行，將數據劃分為幾個分片，每個GPU處理其中一份，并且進行參數交互。但對于類別數很多的數據，在深度神經網絡結構中的最后一層全鏈接層上，進行參數交互的通信成本太高，花費的通信時間遠高過參數計算的時間，成為大類別深度學習并行運算的瓶頸，因此，需要一種新的技術手段，能夠在保持原有深度學習效果的同時，大幅度提升模型學習效率，減少GPU占用率。

發明內容

鑒于以上所述現有技術的缺點，本發明提供一種大類別深度學習GPU并行加速的方法，以解決上述技術問題。

本發明提供的一種大類別深度學習GPU并行加速的方法，包括：

采用模型并行對深度神經網絡結構中的softmax層的模型參數進行訓練；

每個GPU訓練各自的模型分片，獲取模型參數的數據特征；

各GPU的softmax層之間通過交互模型參數的數據特征，完成深度學習。

進一步，采用混合架構對深度神經網絡結構中的模型參數進行訓練，所述混合結構包括采用模型并行對深度神經網絡結構中的softmax層的模型參數進行訓練，采用數據并行對深度神經網絡結構中的其他層的模型參數進行訓練。

進一步，所述模型并行包括將完整模型劃分為若干模型分片，每個模型分片分別在不同的GPU上進行參數訓練。

進一步，將深度神經網絡結構中的softmax層劃分為若干個模型分片，分別在不同的GPU上進行參數訓練，每個GPU計算各自的模型分片，并獲取對應模型分片的參數數據特征，所述模型分片的數量與GPU的數量一致。

進一步，所述數據并行包括，根據GPU數量對訓練數據進行切分，通過不同的GPU對切分后的訓練數據分別進行訓練，獲取訓練數據特征組，各GPU之間通過訓練數據特征數組進行交互，所述訓練數據為傳輸圖像數據。

進一步，每個GPU完成自己的模型分片計算后，將所有GPU上的模型分配組合為一個完整的模型。