[發明專利]卷積神經網絡的并行優化方法

有效

• 申請號: 201810021291.0
• 申請日: 2018-01-10
• 公開（公告）號: CN110163333B
• 公開（公告）日: 2020-06-09
• 發明（設計）人: 黃家豪;王鐵軍;朱旭輝;魏敏;陳海寧;楊昊;趙長名;吳濤;黃敏;吳錫
• 申請（專利權）人: 成都信息工程大學
• 主分類號: G06N3/04
• 分類號: G06N3/04
• 代理公司: 成都智涌知識產權代理事務所(普通合伙) 51313
• 代理人: 周正輝

本發明涉及一種卷積神經網絡的并行優化方法，其包括：用winograd算法f(2x2,3x3)進行卷積神經網絡的卷積核運算，以降低時間復雜度并減少乘法運算次數；對不存在循環數據依賴的for循環結構部分，使用OpenMP開辟多個線程進行運算；對模式相同的數據運算部分進行向量化處理，使其能夠實現一次指令多次運算。采用本發明的方法改進的卷積神經網絡程序能夠大幅度提高并行的效率、減少運算的復雜度，從根本上降低運算開銷，降低程序的運行時間。

技術領域

本發明涉及神經網絡技術領域，尤其涉及卷積神經網絡的并行優化方法。

背景技術

卷積神經網絡(CNN)是最近發展起來的一種反饋神經網絡，其相對高效的的識別率，以及不需要在前期做太多的前期圖像復雜的預處理，使得卷積神經網絡在圖像模式分類中得到了廣泛的運用。卷積神經網絡(CNN)的基本結構包括特征提取層和特征映射層。在第一層中，每個神經元的輸入與上一層的局部接受域相連接，用于獲得這個區域的局部特征。進而獲得其他地區的局部特征，以及各個局部特征間的位置關系。在第二層中，將每個共享的特征在多個計算層中進行計算，而這一層的每一個特征映射是一個平面，并且其所有神經元的權值相同。共享的特征值以及采用影響函數核小的sigmoid函數作為特征映射結構中的激活函數，使得特征映射的位移具有不變性，而且還減少了網絡自由參數的個數。而且第一二層都是交替連接出現，使得卷積神經網絡能夠更大的降低網絡復雜性，減小特征分辨率。

現有的卷積神經網絡的實現大多都是基于大量的數據(100萬條數據以上)訓練，通過訓練得到的模型特征參數，與新的測試集樣本進行匹配，得到匹配的準確率。但通常在訓練的時候，需要的數據集是非常龐大的，一般稍微復雜些的數據都需要上萬條數據進行訓練。然而通常的卷積神經網絡都是基于串行的程序，執行效率低下，而在并行的卷積神經網絡中，大多是模型上的并行，效率提升不明顯。此外，在測試應用的時候，無法運用到實時性較強的場景中。這種方式已經不能滿足現在日益增長的數據量和實時性要求，進而需要更加高速的并行計算來實現實時性，并且最大限度的將卷積的速度進行提升，使其更加高效。

由于卷積神經網絡的計算量非常龐大，為了提高其運算效率，也有許多的學者進行過并行化的嘗試，下面簡要介紹一些將卷積神經網絡進行并行化的研究和應用：

王偉凝等(2017)在進行基于多方面深度學習表達的圖像感情分類方法的研究中，在卷積神經網絡中對相同的卷積神經網絡進行了并行化，使得一次模型計算中，不同的輸入圖像能夠在同一類型的卷積神經網絡中進行卷積運算及特征映射，到最后進行決策融合。這種模型上的并行化使得效率得到了一定的提升。

王馨等(2014)在對基于大規模高性能集群的卷積神經網絡并行處理方法的研究中，將要訓練的網絡模型構建出多個副本，多個副本進行運算，且由一個主節點進行廣播和數據收集處理。并且將訓練集分為若干子集，每次將訓練子集分發給除主節點之外的其余子節點，共同進行參數梯度的計算，并將梯度值累計，累計值用來更新主節點模型參數，將更新后的模型參數廣播給各個子節點，直到模型訓練終止。這種方法針對于大規模的卷積神經網絡的計算速度有一定的提升。

劉長征等(2016)為解決卷積神經網絡在進行語音識別時通過樣本訓練神經網絡所花費的時間過長的問題,提出了采用分數階的理論處理卷積神經網絡中的節點函數Sigmoid函數,使Sigmoid函數的收斂速度加快,而在不影響卷積神經網絡進行語音識別的正確率的前提下,從而達到了減少訓練所需時間提高整個神經網絡的訓練效率的目的。

然而，現有的通行技術方案中仍然存在以下不足：

1、卷積神經網絡的模型并行效率提升較低；2、大規模的集群并行在單個節點上的處理能力還有許多浪費；3、沒有對卷積神經網絡中的卷積運算進行算法上的優化；4、在針對具體計算時沒有考慮數據的連續性，沒有更好的利用向量化。

發明內容