[發明專利]一種基于局部連接通信的深度學習網絡結構算法

在審

• 申請號: 201611208816.9
• 申請日: 2016-12-23
• 公開（公告）號: CN106845637A
• 公開（公告）日: 2017-06-13
• 發明（設計）人: 竇曉光;許建衛;劉立
• 申請（專利權）人: 曙光信息產業（北京）有限公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 北京德恒律治知識產權代理有限公司11409
• 代理人: 章社杲,盧軍峰

技術領域

本發明涉及深度學習網絡結構算法的技術領域，具體涉及一種基于局部連接通信的深度學習網絡結構算法。

背景技術

深度學習是機器學習研究中的一個新的領域，其動機在于建立、模擬人腦進行分析學習的神經網絡，它模仿人腦的機制來解釋數據，例如圖像，聲音和文本，其概念由Hinton等人于2006年提出?；谏疃戎眯啪W絡(DBN)提出非監督貪心逐層訓練算法，為解決深層結構相關的優化難題帶來希望，隨后提出多層自動編碼器深層結構。此外Lecun等人提出的卷積神經網絡是第一個真正多層結構學習算法，它利用空間相對關系減少參數數目以提高訓練性能。深度神經網絡是一種具備至少一個隱層的神經網絡。與淺層神經網絡類似，深度神經網絡也能夠為復雜非線性系統提供建模，但多出的層次為模型提供了更高的抽象層次，因而提高了模型的能力。圖1為深度神經網絡各網絡層之間的連接示意圖，圖中所示為一個全連接網絡，意味著上一層中的每一個神經元都和下一層的任何神經元有連接關系。這是最早使用，也是普遍有效、應用最廣的的一種連接方式。然而，這種連接方式的最大缺陷是：計算量與內存消耗量都十分巨大，效率低。為此，很多學者提出了一些稀疏連接算法，試圖改善這個問題。表1為一個典型的卷積稀疏連接表：

表1

很顯然，從表1可以看出，這種連接的局部性很強。

必須說明的是，上述工作的初衷其實更多的只是為了改善精度，減小計算開銷只是一個副產品。因為對于很多具體問題，全連接關系雖然可以拿來直接使用，但是并非最好的一種。這和現實物理世界問題，關聯往往具有局部性密切相關?，F實世界的這種局部性對于我們對深度學習進行并行加速很有啟發。

深度學習算法是一種計算十分密集的應用，這就決定了在現有的硬件條件下，必須通過并行處理的方式來加快計算速度，其中分為數據并行與模型并行。圖2為深度學習算法中計算網絡示意圖，計算分為很多網絡層，每層之間的計算相對獨立，但是每層計算完以后，會有一次明顯的通信，是模型的各個部分相互交換數據。圖3為深度學習算法中模型并行示意圖，顯然，各層之間的連接表越稠密，通信量也越大，極端的情況比如全相連神經網絡，則意味著all-to-all的通信，這種特性極大地限制了該算法的可擴展性。

發明內容

針對相關技術中存在的不足，本發明所要解決的技術問題在于：提供一種計算速度較高、擴展性較高的基于局部連接通信的深度學習網絡結構算法。

為解決上述技術問題，本發明采用的技術方案為：一種基于局部連接通信的深度學習網絡結構算法，包括以下步驟：S101、根據計算問題確定各網絡層之間的網絡連接模型；S102、依照并行處理的方式，將各網絡層分配于各個計算節點；S103、確定各個計算節點之間的通信關系；S104、保留相鄰節點之間的通信，對于跨節點的通信，直接刪除；S105、根據步驟S104中刪除操作之后的連接關系生成新的模型；S106、利用新的模型進行并行計算。

優選地，步驟S102中，所述并行處理的方式為模型并行的方式。

優選地，所述步驟S102中，所述將各網絡層分配于各個計算節點，具體為：將各網絡層平均分配于各個計算節點，以保證計算均衡。

本發明的有益技術效果在于：使用本發明的算法時，先根據計算問題確定各網絡層之間的網絡連接模型，依照并行處理的方式，將各網絡層分配于各個計算節點，然后確定各個計算節點之間的通信關系，再保留相鄰節點之間的通信，對于跨節點的通信，直接刪除，然后根據刪除操作之后的連接關系生成新的模型，最后利用新的模型進行并行計算；本發明與傳統的深度學習算法相比，在基本不降低精度的情況下，降低了計算量，提高了計算速度，由于通信量變小，通信關系變得簡單，因此程序的可擴展性得到極大的提高，能夠適應大規模并行計算。

附圖說明

圖1是深度神經網絡各網絡層之間的連接示意圖；

圖2是深度學習算法中計算網絡示意圖；

圖3是深度學習算法中模型并行示意圖；

圖4是本發明實施例一提供的一種基于局部連接通信的深度學習網絡結構算法的流程示意圖。

具體實施方式

為使本發明實施例的目的、技術方案和優點更加清楚，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例是本發明的一部分實施例，而不是全部的實施例；基于本發明中的實施例，本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。