[發明專利]面向嵌入式網絡模型的剪枝方法

在審

• 申請號: 201811570293.1
• 申請日: 2018-12-21
• 公開（公告）號: CN109754080A
• 公開（公告）日: 2019-05-14
• 發明（設計）人: 袁媛;王琦;華路路
• 申請（專利權）人: 西北工業大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 西北工業大學專利中心 61204
• 代理人: 王鮮凱

1.一種面向嵌入式網絡模型的剪枝方法，其特征在于包括以下步驟：

步驟一、將駕駛員的狀態分為左看、右看、低頭、閉眼、打電話、打哈欠和正常駕駛七個狀態。先對數據進行標注，然后修改mobilenetSSD，使其輸出七個狀態，基于模型在imagenet數據集上訓練好的模型，在新任務上進行微調訓練，得到能夠檢測駕駛狀態的新模型。

步驟二、建立網絡模型，進行一次前向運算，得到網絡中所有卷積層的數據和參數；對所有點卷積層做剪枝操作如下：對一卷積層，先取出該層的卷積核參數矩陣W，形狀為n×c×h×w，分別指卷積核的個數，卷積核的通道數，卷積核的寬和卷積核的高。然后拿到這個卷積層中輸入數據，進行采樣得到X，形狀為N×c×h×w，N指數據的采樣個數。

步驟三、直接采樣或計算得到該卷積層的輸出Y，計算輸出即把輸入X和參數W對應通道相乘，所有通道求和得到Y，其形狀為N×n。忽略參數中的偏置項，其中i指特征通道。

步驟四、記β為通道選擇向量，其值為0時，剪去該通道，否則就留下該通道，記剪枝后的模型重構誤差為

求解優化該函數是一個NP問題，所以將其寬松為以下公式，λ為懲罰系數，使用lasso算法優化該目標函數，得到選擇系數向量β。

步驟五、對所有卷積層，重復步驟二至四，得到所有卷積層的通道選擇向量選擇系數向量β，最后一次性進行參數修剪。

步驟六、對每一卷積層，根據選擇系數向量β，移除對應位置的卷積核或所有卷積核的對應通道；對通道分離卷積層剪去對應卷積核，對點卷積層剪去所有卷積核中的對應通道，即通道分離卷積層的卷積核個數減少，點卷積層中核通道數減少。并且通道分離卷積層的卷積核個數和輸入通道相等，所以通道分離卷積層的輸入即上一點卷積層的輸出通道也要對應修剪，即減少卷積核的個數。

步驟七、對新模型做微調訓練，進一步提高模型準確率，最后部署到嵌入式設備上。