[發明專利]基于模型蒸餾的人臉識別模型壓縮方法、介質及終端

有效

• 申請號: 201910187016.0
• 申請日: 2019-03-13
• 公開（公告）號: CN111695375B
• 公開（公告）日: 2021-04-20
• 發明（設計）人: 周曦;周翔;姚志強;李夏風;譚濤;王曦;溫浩;萬珺
• 申請（專利權）人: 上海云從企業發展有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 尹麗云

1.一種基于模型蒸餾的人臉識別模型壓縮方法，其特征在于，包括：

獲取用于人臉識別的初始網絡模型；

對所述初始網絡模型進行通道剪枝處理，獲取通道剪枝處理后的模型并對所述剪枝處理后的模型進行微調；設置輔助損失函數，利用所述輔助損失函數對所述微調后的模型再次進行正則項分段處理；將同一輸入量分別輸入至所述微調后的模型和經過正則項分段處理后的模型，分別獲取每個通道的絕對值之和；根據所述每個通道的絕對值之和判斷各通道的穩定性，將不符合預設穩定性的通道進行剔除處理，完成通道剪枝；

將所述初始網絡模型作為教師模型，將所述剪枝處理后的模型作為學生模型，并將所述教師模型的特征層輸出作為目標函數指導學生模型，通過學生模型的特征層對教師模型進行擬合，完成人臉識別模型蒸餾。

2.根據權利要求1所述的基于模型蒸餾的人臉識別模型壓縮方法，其特征在于，所述剪枝處理包括：

對所述初始網絡模型的每一層特征進行全局池化處理，獲取特征矩陣；

根據所述特征矩陣，獲取每個通道的特征值及特征向量；

根據所述每個通道的特征值及特征向量，對每個通道的重要程度進行判斷，將不符合預設標準重要程度的通道進行剔除。

3.根據權利要求2所述的基于模型蒸餾的人臉識別模型壓縮方法，其特征在于，

對所述特征矩陣進行主成份分析，獲取對應通道的特征值大小并進行歸一化處理，

將歸一化處理后的特征值進行排序；

根據預先設定的每層保存的能量，按降序排序依次選取通道，使總能量不小于預先設定的每層保存的能量，將剩余的通道進行剔除處理，完成通道剪枝。

4.根據權利要求2所述的基于模型蒸餾的人臉識別模型壓縮方法，其特征在于，

設置輔助損失函數，通過所述輔助損失函數使權重大于0的部分趨于1，權值小于0的部分趨于-1。

5.根據權利要求2所述的基于模型蒸餾的人臉識別模型壓縮方法，其特征在于，當初始網絡模型中含有兩個輸入分支層時，其每個分支的通道數相同。

6.根據權利要求5所述的基于模型蒸餾的人臉識別模型壓縮方法，其特征在于，當初始網絡模型中含有兩個及以上的輸入層時，分別對左分支和右分支進行剪枝處理，當左分支和右分支對同一通道均判定為需要進行剪枝時，則對該通道進行剔除處理，當左分支和右分支的僅有一支判定為需要進行剪枝時，則對該通道進行保留處理。

7.根據權利要求6所述的基于模型蒸餾的人臉識別模型壓縮方法，其特征在于，所述左分支進行剪枝后剩余通道為C_{1}C1，所述右分支進行剪枝后剩余通道為C_{2}C2，原始elewise的通道數為CC，

其中，C_{1}C1及C_{2}C2均為原始通道CC的子集，

分別記錄兩個分支相對于CC保留的通道的索引，取并集通道為C_{3}C3，

其中，C_{3}C3大于等于C_{1}C1及C_{2}C2，且小于等于CC。

8.根據權利要求7所述的基于模型蒸餾的人臉識別模型壓縮方法，其特征在于，在每個分支在進行剪枝處理后，增加通道墊層，對通道進行補0對齊，

其中，左分支補齊的通道數為C_{3}-C_{1}C3-C1，右分支補齊的通道數為C_{3}-C_{2}C3-C2；

記錄各個通道相對于剪枝前的通道的索引，根據所述索引向對應的通道拷貝數據。

9.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于：該程序被處理器執行時實現權利要求1至8中任一項所述方法。

10.一種電子終端，其特征在于，包括：處理器及存儲器；

所述存儲器用于存儲計算機程序，所述處理器用于執行所述存儲器存儲的計算機程序，以使所述終端執行如權利要求1至8中任一項所述方法。