[發(fā)明專利]一種基于卷積神經網絡訓練的并行方法

在審

• 申請?zhí)枺?/td>: 201910758686.3
• 申請日: 2019-08-16
• 公開（公告）號: CN112396154A
• 公開（公告）日: 2021-02-23
• 發(fā)明（設計）人: 宋嵐
• 申請（專利權）人: 華東交通大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京智行陽光知識產權代理事務所(普通合伙) 11738
• 代理人: 黃錦陽

1.一種基于卷積神經網絡訓練的并行方法，其特征在于：提出一個并行框架，分為三層，數據層，操作層和通信層，各層的功能描述如下：

數據層D-layer：數據集(D₁,…D_n)分散存儲在n個數據結點上：對于大量訓練數據，單個工作節(jié)點無法完成存儲和計算時，需要將數據劃分并將其分配到各個工作節(jié)點上；數據劃分從兩個角度進行考慮，一是對訓練樣本進行劃分，另一個是對每個樣本的特征維度進行劃分；設訓練數據以維特征向量的方式給出，其中每一維對應一種對輸入樣本進行刻畫的特征，將這維特征順序切分為N份，把每一份特征對應的數據分配到N個工作節(jié)點上；包括卷積層的數據變換和全連接層的數據變換；

操作層O-layer：在工作流程的q階段，n_q個工作結點進行獨立并發(fā)計算，每個節(jié)點只處理各自對應的數據，并存儲得到的中間結果；

通信層T-layer：在階段q(q≠p)內，每個通信操作原子t_i,j進行點對點消息傳遞，它將階段q內的工作結點o_i(i∈[1,n_q])產生的中間結果傳遞給階段q+1內的工作節(jié)點o_j(j∈[1,n_q])，若t_i,j＝0，則o_j與o_i間不存在通信。

2.根據權利要求1所述的一種基于卷積神經網絡訓練的并行方法，其特征在于：所述卷積層的數據變換中，將圖像的尺寸及波段個數看作一個三維立方，長W和高H對應于圖像的大小，波段個數對應于立方體的寬C，同時，多個卷積核也可用三維立方體的形式來表示，方法是將輸入圖像按照卷積核的大小由三維立方體表示，降維為二維的矩陣表示，并按一定策略劃分為若干個數據塊(D₁,…D_n)；

設第i層卷積核的個數為NC_i，二維情況下，輸入圖像大小為IH*IW，與大小為Ksize*Ksize卷積核運算后，不進行填充的情況下，特征圖大小為(IH-Ksize+1)*(IW-Ksize+1)；

將輸入圖像轉化為輸入矩陣A，矩陣的行數為(IH-Ksize+1)*(IW-Ksize+1)，其列數為Ksize*ksize*depth，卷積圖像轉化為卷積矩陣B，行數為Ksize*ksize*depth，列數為NC_i，將輸入的圖像根椐卷積核大小按一定的padding規(guī)則劃分成N個子圖像塊，每個子圖像塊是一個三維立方體，每個立方體長為W，高為H，寬為C，轉換為大小為CHW×N的矩陣。

3.根據權利要求2所述的一種基于卷積神經網絡訓練的并行方法，其特征在于：所述圖像的波段個數決定了卷積核立方體的第三維度C，設某一層卷積層中卷積核立方體的個數為U，對三維的卷積核進行一個變換，得到大小為CHW×U的卷積矩陣，其卷積運算就可以表示為矩陣乘法運算，最后得到大小為N×U的特征圖矩陣。

4.根據權利要求1所述的一種基于卷積神經網絡訓練的并行方法，其特征在于：所述全連接層的數據變換中，全連接層可看作為一種卷積操作，可采用和卷積層數據變換相同方法，如前一層是卷積層，則可以將操作轉化為與上一層輸出圖像尺寸大小相等的卷積核的全局卷積，如前一層是全連接層，則將操作轉化為與1×1的卷積核的卷積。

5.根據權利要求1所述的一種基于卷積神經網絡訓練的并行方法，其特征在于：所述操作層中，每個工作節(jié)點根據分配到的局部訓練數據進行并行訓練，計算訓練樣本上的損失函數之和，并利用隨機梯度下降法來學習模型參數，即，矩陣數據按約定規(guī)則分配給各個工作節(jié)點進行存儲與計算。