[發明專利]深度可分離卷積和批規范化融合的方法

在審

• 申請號: 201911321112.6
• 申請日: 2019-12-20
• 公開（公告）號: CN111027685A
• 公開（公告）日: 2020-04-17
• 發明（設計）人: 范益波;劉超
• 申請（專利權）人: 復旦大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;陸尤

本發明屬于神經網絡模型技術領域，具體為一種深度可分離卷積和批規范化融合的方法。本發明首先從訓練好的含有深度可分離卷積和批規范化層的神經網絡模型，導出的Pointwise卷積的參數和批規范化的參數，通過特別設計的方法，重新計算出一組新的參數，用于對Pointwise卷積的權重和偏置進行賦值，修改Pointwise卷積的權重和偏置；然后刪除掉原先網絡結構中的批規范化層的效果，將批規范化層的計算添加在在Pointwise卷積中，得到與深度可分離卷積和批規范化等效的深度可分離卷積層，實現卷積融合批規范化的效果。本發明可有效地減少計算量。

技術領域

本發明屬于神經網絡模型技術領域，具體涉及一種深度可分離卷積和批規范化融合的方法。

背景技術

神經網絡技術，尤其是輕量級神經網絡一直是研究和應用的熱點話題。深度可分離卷積，其有效的使得卷積層的計算量大大化簡，其將卷積分為了兩個步驟，第一個步驟稱之為Depthwise卷積，其利用分組卷積的思想，使得不同卷積層之間無相互計算，僅僅計算單層卷積的結果，從而大幅度減少實現卷積的計算量。第二個步驟稱之為Pointwise卷積，其有效的將第一步Depthwise卷積學習到的特征進行重新融合，從而實現對于Depthwise特征僅僅來自于單層的不足。使得其兩者整體達到近似傳統神經網絡卷積的效果。其具體實現一般是使用卷積核為1x1的卷積完成。

批規范化層，由于可以有效的把神經網絡中間層學習到的特征重新進行規范化，使得神經網絡的梯度可以有效地在多層之間傳遞，從而使得深層神經網絡的訓練變得可能。其擁有四個參數，兩個用來表示輸入的均值和方差，使用均值和方差來讓特征重新規范化。另外兩個則是神經網絡學習的參數，用于特征重構，實現讓神經網絡模型學習到的特征不被破壞。其和深度可分離卷積都是在實際的神經網絡模型構建中，常常使用到的。因此如果可以將兩者在實際應用的時候融合起來，就可以在實際應用中有效地減少計算量。

發明內容

本發明的目的在于提出一種融合深度可分離卷積和批規范化的方法，以有效地減少計算量。

本發明提出的融合深度可分離卷積和批規范化的方法，訓練好的含有深度可分離卷積和批規范化層的神經網絡模型，導出的Pointwise卷積的參數和批規范化的參數，通過特別設計的方法，重新計算出一組新的參數，用于對Pointwise卷積的權重和偏置進行賦值，修改Pointwise卷積的權重和偏置；然后刪除掉原先網絡結構中的批規范化層的效果，將批規范化層的計算添加在在Pointwise卷積中，得到與深度可分離卷積和批規范化等效的深度可分離卷積層，實現卷積融合批規范化的效果；具體步驟如下：

(1)對于訓練好的含有深度可分離卷積和批規范化層的神經網絡模型，要求在深度可分離卷積和批規范化層之間沒有非線性激活函數，首先導出深度可分離卷積的Pointwise卷積的權重w_pwConv和偏置項b_pwConv，以及批規范化層的參數γ、β、mean和var；其中γ、β為批規范化層的學習參數，mean和var為批規范化層的計算參數；這些參數將用于后續的計算；

(2)按如下式子計算得到新的Pointwise卷積參數：

其中，∈表示的是一個防止出現除0的超參，*表示的是卷積計算；

(3)將和取代原有的Pointwise卷積的權重w_pwConv和偏置項b_pwConv，并刪除原網絡中的批規范化層，得到新的神經網絡結構和對應的權重；至此，深度可分離卷積和批規范化融合完成；用y_dwConv表示Depthwise卷積的輸出，y_bn表示批規范化的輸出，這樣就直接連接到了y_dwConv和y_bn：