[發明專利]一種深度學習網絡卷積核內部參數共享方法

在審

• 申請號: 202110177124.7
• 申請日: 2021-02-09
• 公開（公告）號: CN112836757A
• 公開（公告）日: 2021-05-25
• 發明（設計）人: 張萌;王九陽;李國慶;吳瑞霞;劉飛
• 申請（專利權）人: 東南大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06N5/04
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 秦秋星

本發明公開了一種深度學習網絡卷積核內部參數共享方法，包括：(1)對網絡進行預訓練；(2)對(1)的網絡各層的卷積輸入通道使用Kmeans聚類函數進行聚類；(3)對(2)中具有屬于一類的輸入通道共享一個二維矩陣參數；(4)對網絡進行再訓練提升預測結果。經測試本發明在對精度基本無影響的前提下可使得卷積神經網絡的參數與計算量減少超過40％，加快了神經網絡的推理速度，并且在低的共享率下，甚至可以提高網絡的測試集推理準確度，使其準確度超越在同樣的訓練集、同樣的訓練批次下未經本方法優化的原始神經網絡。

技術領域

本發明涉及人工智能領域，尤其是深度學習網絡卷積核內部參數共享方法。

背景技術

卷積神經網絡(Convolutional Neural Network，CNN)是一種前饋神經網絡，它的人工神經元可以響應一部分覆蓋范圍內的周圍單元，對于大型圖像處理有出色表現。由于圖像平移、縮放和旋轉的不變性，卷積神經網絡廣泛應用于圖像識別領域，微軟利用卷積神經網絡做阿拉伯文和中文的手寫識別系統，谷歌使用卷積神經網絡來識別街景圖片中的人臉和車牌，等等。

卷積神經網絡的發展十分迅速，其識別的準確率也逐步提高，隨之而來的便是巨大參數量和計算量代價。例如：ImageNet挑戰的獲勝者將分類準確率從2012年的84.7％(AlexNet)提高到2015年的96.5％(ResNet-152)，但計算量卻從1.4×10¹⁰FLOPs激增至2.26×10¹¹FLOPs，傳統CPU對如此龐大的網絡一籌莫展，只有具有高計算能力的GPU才能讓網絡得以相對快速訓練。但是高性能的GPU必定會帶來巨大的功耗，其散熱問題又成為嵌入式設備的一個挑戰。因此減少模型的參數量與計算量成為了神經網絡應用的迫切問題。

為了減少網絡的參數和計算量，研究者們提出了許多神經網絡模型的壓縮方法，主要分為四類：(1)參數修剪和共享；(2)低秩因子分解；(3)轉移/緊湊卷積濾波器；(4)知識蒸餾。其中參數剪枝和共享起初是解決過擬合問題的，現在更多得被用于降低網絡復雜度。傳統的參數共享發放精度損失較高。而剪枝會的網絡往往很難訓練，且有精度損失，本文所提出的發明主要用卷積和內部參數共享進一步提高參數共享的效率。

發明內容

本發明所要解決的技術問題在于，提供一種卷積核內部參數共享的方法，改變了神經網絡結構，減少了網絡的計算量，壓縮了網絡參數，從而提高推理速度。

為解決上述問題，本發明提供一種深度學習網絡卷積核內部參數共享的方法，包括如下步驟：

一種深度學習網絡卷積核內部參數共享方法，包括如下步驟：

步驟1：調用聚類方法對待優化的神經網絡模型的每個卷積核的輸入通道對應的二維矩陣參數進行聚類，將具有相同特征的二維矩陣參數被劃分為一類；

步驟2：使同類二維矩陣參數共享一個新的二維矩陣參數；通過共享減少參數和計算量，總的輸入通道數減去聚類的類別數即為減少的參數量；

步驟3：根據新的二維矩陣參數設計新的神經網絡模型；

步驟4：新的神經網絡模型中運用矩陣點乘分配律，改變原有計算方式；共享一個參數的輸入通道通過先加法后矩陣乘的方法，聚類的一個類別中若存在n個二維參數則需要(n-1)次加法運算和一次乘法運算，相比原始的卷積方法減少了(n-1)次乘法運算；

步驟5：訓練新的神經網絡模型，求出每個神經元的梯度，更新共享權重參數；反復調整共享后的參數，直至達到預定的準確率。

進一步的，在進行步驟1之前，先對待優化的神經網絡模型進行預訓練，使待優化網絡在測試集的準確率達到較高水平。聚類前將網絡訓練到具有較高的準確率的層次，在此基礎上進行聚類共享，對準確率影響較小。