[發明專利]一種深度學習網絡卷積核內部參數共享方法

在審

• 申請號: 202110177124.7
• 申請日: 2021-02-09
• 公開（公告）號: CN112836757A
• 公開（公告）日: 2021-05-25
• 發明（設計）人: 張萌;王九陽;李國慶;吳瑞霞;劉飛
• 申請（專利權）人: 東南大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06N5/04
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 秦秋星

1.一種深度學習網絡卷積核內部參數共享方法，其特征在于，包括如下步驟：

步驟1：調用聚類方法對待優化的神經網絡模型的每個卷積核的輸入通道對應的二維矩陣參數進行聚類，將具有相同特征的二維矩陣參數被劃分為一類；

步驟2：使同類二維矩陣參數共享一個新的二維矩陣參數；

步驟3：根據新的二維矩陣參數設計新的神經網絡模型；

步驟4：新的神經網絡模型中運用矩陣點乘分配律，改變原有計算方式；

步驟5：訓練新的神經網絡模型，求出每個神經元的梯度，更新共享權重參數；反復調整共享后的參數，直至達到預定的準確率。

2.根據權利要求1所述的一種深度學習網絡卷積核內部參數共享方法，其特征在于，在進行步驟1之前，先對待優化的神經網絡模型進行預訓練。

3.根據權利要求1所述的一種深度學習網絡卷積核內部參數共享方法，其特征在于，步驟2，共享前的二維矩陣參數表示為其中wⁱ代表第i層的權重，L代表卷積神經網絡的層數，N_i代表第i層的輸入通道數；根據聚類，對于權重參數wⁱ的任一個卷積核w_n得到K個簇：Cⁿ＝C₁，C₂,…C_k，每一簇C_j，1≦j≦k，中所包含的參數即為需要優化共享的參數；共享的方法為：

Wⁱ＝f(Cⁿ,wⁱ) for 1≦n≦N_i+1 (2)

其中W_n是經過優化后的一個卷積核，Wⁱ是經過優化的第i層的權重參數，w為第j個簇內的參數。

4.根據權利要求1所述的一種深度學習網絡卷積核內部參數共享方法，其特征在于，步驟4中，訓練新的神經網絡模型時，利用矩陣點乘的分配律，屬于共享同一個參數的所有輸入特征圖，先進行相加后卷積，則其公式為：

其中W_a×b(aN_i+1,bN_i)是第i層第a個通道的對應于第b個輸入特征圖的二維矩陣參數，N_i是第i層的輸入通道數是輸入，是輸出。

5.根據權利要求2所述的一種深度學習網絡卷積核內部參數共享方法，其特征在于，對待優化的神經網絡模型進行預訓練和訓練新的神經網絡模型均采用反向傳播算法。