[發明專利]基于網絡權重初始和最終狀態差異的冗余權重去除方法

在審

• 申請號: 201711385134.X
• 申請日: 2017-12-20
• 公開（公告）號: CN108090564A
• 公開（公告）日: 2018-05-29
• 發明（設計）人: 胡永健;黎李強;劉琲貝;鄭浩聰
• 申請（專利權）人: 華南理工大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 向玉芳;曾令安

1.基于網絡權重初始和最終狀態差異的冗余權重去除方法，其特征在于包括如下步驟：

步驟1、先在網絡模型訓練之前保存其初始狀態的網絡權重，在訓練結束后保存其最終狀態的網絡權重，分別對每層網絡權重的初始狀態和最終狀態的分布信息進行直方圖統計并進行曲線擬合，分別得到每層初始網絡權重直方圖擬合曲線ql和最終網絡權重直方圖擬合曲線其中下標l表示網絡中的第l層網絡,l的取值范圍取決于網絡共有卷積層和全連接層的總數；

步驟2、根據初始網絡權重直方圖擬合曲線ql和最終網絡權重直方圖擬合曲線的差異，分別確定每層網絡剪枝正閾值Tl+和負閾值Tl-所在的正閾值區間和負閾值區間并根據初始網絡權重直方圖擬合曲線ql和最終網絡權重直方圖擬合曲線之間的差值，得到差值曲線fl；

步驟3、分別計算差值曲線fl在正閾值區間和負閾值區間上的斜率，選取在正閾值區間內斜率的極大值點作為網絡剪枝正閾值Tl+的候選值點，加入正候選集Rl，選取在負閾值區間內斜率的極小值點作為負閾值Tl-的候選值點，加入負候選集Sl；

步驟4、按照斜率從大到小依次選取正候選集Rl中的點，將該點對應的橫坐標的值作為正閾值Tl+的正臨時值同時按照斜率從小到大依次選取負候選集Sl中的點，將該點對應的橫坐標的值作為Tl-的負臨時值i表示第i次正臨時值或負臨時值的選取，直至正候選集Rl或負候選集Sl中的點遍歷完為止；

步驟5、將最終網絡模型的第l層位于區間的網絡權重置零，并在測試數據集進行第i次網絡模型準確度測試，直至正候選集Rl或負候選集Sl的點遍歷完為止，選取網絡模型在測試數據集中取得最高準確度對應的作為網絡剪枝區間(Tl-,Tl+)；

步驟6、重復步驟1‐步驟5的操作，選取除l外的其它網絡層的網絡剪枝區間(Tl-,Tl+)，直至選取完所有網絡層的網絡剪枝區間(Tl-,Tl+)；

步驟7、將最終網絡模型位于網絡剪枝區間(Tl-,Tl+)內的網絡權重進行置零處理，實現每層網絡的剪枝，得到已剪枝的網絡模型；

步驟8、將得到的已剪枝的網絡模型進行再訓練，并保持已剪枝的網絡權重在再訓練的過程中始終為0，得到剪枝和再訓練的網絡模型；

步驟9、若剪枝和再訓練的網絡模型在測試數據集的準確度比最終網絡模型的小于預設值，則停止操作，并保留剪枝和再訓練的網絡模型，否則，進行下一步操作；

步驟10、計算每層最終網絡權重與初始網絡權重變化幅度，通過比較網絡權重變化幅度與α×Tl-或α×Tl+的大小，重新對最終網絡模型的各層網絡權重進行置零處理，α表示網絡權重變化幅度系數，保留部分已在步驟7中被剪枝的權重；對重新剪枝的網絡進行再訓練，使已剪枝的權重在再訓練的過程中始終保持為0；再訓練結束后，重新返回步驟9。