[發明專利]結構化知識蒸餾方法、裝置、設備及計算機可讀存儲介質

在審

• 申請號: 202011282080.6
• 申請日: 2020-11-16
• 公開（公告）號: CN113298249A
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 戴濤;汪云霄;夏樹濤;陳斌;汪漪
• 申請（專利權）人: 鵬城實驗室;清華大學深圳國際研究生院
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06N3/04;G06N5/02
• 代理公司: 深圳市君勝知識產權代理事務所(普通合伙) 44268
• 代理人: 朱陽波

1.一種結構化知識蒸餾方法，其特征在于，所述結構化知識蒸餾方法包括以下步驟：

輸入樣本訓練集至教師網絡和學生網絡，得到教師區域表征圖譜和教師輸出分數，以及學生區域表征圖譜和學生輸出分數；

基于所述教師區域表征圖譜和所述學生區域表征圖譜，輸出區域相關性蒸餾損失函數；

基于所述教師輸出分數和所述學生輸出分數，輸出類別相關性蒸餾損失函數；

將所述區域相關性蒸餾損失函數、所述相關性蒸餾損失函數和交叉熵損失函數加權相加得到總損失函數；

利用所述總損失函數指導所述學生網絡的參數更新。

2.如權利要求1所述的結構化知識蒸餾方法，其特征在于，所述教師區域表征圖譜Q^T表式為：

所述學生區域表征圖譜Q^S表示為其中，所述r為區域劃分系數，所述D^T為所述教師網絡特征譜圖的尺寸，所述D^S為所述學生網絡特征圖譜的大小，f_i^T和f_i^S分別表示所述教師網絡的特征圖譜F^T和學生網絡特征圖譜F^S的第i個區域的像素值集合。

3.如權利要求2所述的結構化知識蒸餾方法，其特征在于，所述區域相關性蒸餾損失函數L_RS的表達式為：

其中，所述D_x表示所述樣本訓練集，所述x表示所述樣本訓練集中的樣本，所述φ表示結構相關性，所述l_δ為Huber損失函數，所述R表示區域下標集合，R＝{1,2,…,r×r}。

4.如權利要求3所述的結構化知識蒸餾方法，其特征在于，所述類別相關性蒸餾函數L_CS的表達式為：其中R'為類別的下標集合R′＝{1，2，…，K}，所述Z^T為教師輸出分數，所述Z^S為學生輸出分數。

5.如權利要求4所述的結構化知識蒸餾方法，其特征在于，所述l_δ的表達式為：

6.如權利要求5所述的結構化知識蒸餾方法，其特征在于，所述將所述L_RS、所述L_CS和交叉熵損失函數L_CE加權相加得到總損失函數的計算公式為：L＝L_CS+αL_RS+βL_CS，其中，所述L_CE為所述交叉熵損失函數，α為所述L_RS的權重系數，所述β為所述L_CS的權重系數。

7.一種結構化知識蒸餾裝置，其特征在于，所述結構化知識蒸餾裝置包括：

輸入模塊，用于輸入樣本訓練集至教師網絡和學生網絡，得到教師區域表征圖譜和教師輸出分數，以及學生區域表征圖譜和學生輸出分數；

第一輸出模塊，用于基于所述教師區域表征圖譜和所述學生區域表征圖譜，輸出區域相關性蒸餾損失函數；

第二輸出模塊，用于基于所述教師輸出分數和所述學生輸出分數，輸出類別相關性蒸餾損失函數；

加權相加模塊，用于將所述區域相關性蒸餾損失函數、所述相關性蒸餾損失函數和交叉熵損失函數加權相加得到總損失函數；

指導模塊，用于利用所述總損失函數指導所述學生網絡的參數更新。

8.一種結構化知識蒸餾設備，其特征在于，所述結構化知識蒸餾設備包括存儲器、處理器及存儲在所述存儲器上并可在所述處理器上運行的結構化知識蒸餾程序，所述結構化知識蒸餾程序被所述處理器執行時實現如權利要求1至6中任一項所述的結構化知識蒸餾方法的步驟。

9.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質上存儲有結構化知識蒸餾程序，所述結構化知識蒸餾程序被處理器執行時實現如權利要求1至6中任一項所述的結構化知識蒸餾方法的步驟。