[發明專利]深度可分離卷積和批規范化融合的方法

在審

• 申請號: 201911321112.6
• 申請日: 2019-12-20
• 公開（公告）號: CN111027685A
• 公開（公告）日: 2020-04-17
• 發明（設計）人: 范益波;劉超
• 申請（專利權）人: 復旦大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;陸尤

1.一致深度可分離卷積和批規范化融合的方法，其特征在于，從訓練好的含有深度可分離卷積和批規范化層的神經網絡模型，導出的Pointwise卷積的參數和批規范化的參數，通過特別設計的計方法，重新計算出一組新的參數，用于對Pointwise卷積的權重和偏置進行賦值，修改Pointwise卷積的權重和偏置；然后刪除掉原先網絡結構中的批規范化層的效果，將批規范化層的計算添加在在Pointwise卷積中，得到與深度可分離卷積和批規范化等效的深度可分離卷積層，實現卷積融合批規范化的效果；具體步驟如下：

(1)對于訓練好的含有深度可分離卷積和批規范化層的神經網絡模型，要求在深度可分離卷積和批規范化層之間沒有非線性激活函數，首先導出深度可分離卷積的Pointwise卷積的權重w_pwConv和偏置項b_pwConv，以及批規范化層的參數γ、β、mean和var；其中γ、β為批規范化層的學習參數，mean和var為批規范化層的計算參數；

(2)按如下式子計算新的Pointwise卷積參數：

其中，∈表示的是一個防止出現除0的超參，*表示的是卷積計算；

(3)將和取代原有的Pointwise卷積的權重w_pwConv和偏置項b_pwConv，并刪除原網絡中的批規范化層，得到新的神經網絡結構和對應的權重；至此，深度可分離卷積和批規范化融合完成；用y_dwConv表示Depthwise卷積的輸出，y_bn表示批規范化的輸出，這樣就直接連接到y_dwConv和y_bn：

(4)在得到新的網絡結構之后，使用新的網絡結構來取代原有的網絡結構，從而實現簡化計算量的效果。