[發(fā)明專利]一種通道自關聯(lián)的知識蒸餾方法與系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110673166.X
• 申請日: 2021-06-17
• 公開（公告）號: CN113255899B
• 公開（公告）日: 2021-10-12
• 發(fā)明（設計）人: 唐乾坤;徐曉剛;王軍;徐冠雷;何鵬飛;曹衛(wèi)強
• 申請（專利權）人: 之江實驗室
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 孫孟輝

1.一種通道自關聯(lián)的知識蒸餾方法，其特征在于包括以下步驟：

步驟S1：向教師模型和學生模型中輸入相同的圖片數(shù)據(jù)，得到學生模型和教師模型的圖片特征，選定學生模型和教師模型中需要進行知識蒸餾的卷積特征層，選定的學生模型的中間特征層為：，選定的教師模型的中間特征層為：，其中，C_s/t表示通道數(shù)目，H_s/t表示特征圖高度，W_s/t表示特征圖寬度；

步驟S2：將選定的學生模型和教師模型卷積特征層的通道進行通道自關聯(lián)，通道自關聯(lián)的方式如下：

設定一個二維整數(shù)矩陣，其中，，所述二維整數(shù)矩陣中值為正整數(shù)，且僅為0或者1，所述二維整數(shù)矩陣的行表示選定的學生模型特征層的通道數(shù)，列表示選定的教師模型特征層的通道數(shù)，矩陣值為0時，表示學生模型特征層的行對應的通道，不從教師模型特征層的列對應的通道學習知識，矩陣值為1時，表示學生模型特征層的行對應的通道，從教師模型特征層的列對應的通道學習知識；學生模型的每個通道可以與教師模型的多個通道關聯(lián)，而教師模型的每個通道可以傳輸知識到學生模型的多個通道；

步驟S3：自關聯(lián)后的教師模型通道通過加權方式傳輸知識至學生模型通道；

步驟S4：根據(jù)關聯(lián)的通道蒸餾知識，并進行訓練，在訓練時同時優(yōu)化自關聯(lián)的二維整數(shù)矩陣和學生模型：

其中，表示損失函數(shù)，x_i表示輸入的圖片數(shù)據(jù)，y_i表示真實的標簽，表示學生模型的預測輸出值，W表示學生模型的參數(shù)，N表示輸入圖片數(shù)量，M表示二維整數(shù)矩陣；

步驟S5：部署訓練好的學生模型，輸入圖片數(shù)據(jù)進行推理測試。

2.根據(jù)權利要求1所述的一種通道自關聯(lián)的知識蒸餾方法，其特征在于所述步驟S1中，分別從教師模型和學生模型的中間卷積層中選擇一個以上特征層。

3.根據(jù)權利要求1所述的一種通道自關聯(lián)的知識蒸餾方法，其特征在于所述步驟S3中，學生模型每個通道在融合教師模型通道特征時，采用加權方式，權重包括但不限于通過計算每個關聯(lián)的教師模型和學生模型通道的語義相關性得到，其形式化為：

其中，R表示變形函數(shù)，F_t[c_t]表示特征層F_t第c_t通道的特征（0c_tC_t），F_s[c_s]表示特征層F_s第c_s通道的特征（0c_sC_s），||?||₂表示2元范數(shù)。