[發明專利]一種基于同構多教師指導知識蒸餾的圖像分類方法及系統

有效

• 申請號: 202110937984.6
• 申請日: 2021-08-16
• 公開（公告）號: CN113627545B
• 公開（公告）日: 2023-08-08
• 發明（設計）人: 姬冰;徐全政;崔賀;趙景太;劉力瑜
• 申請（專利權）人: 山東大學
• 主分類號: G06F18/214
• 分類號: G06F18/214;G06F16/36;G06F18/241
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 祖之強

1.一種基于同構多教師指導知識蒸餾的圖像分類方法，其特征在于，包括：

基于給定的學生模型，初始化與學生模型結構相同的教師組模型；

采用訓練集預訓練教師組模型；

計算教師組模型在訓練集上的自信度，基于自信度的自適應初始化策略初始化學生模型參數；所述教師組模型的自信度為：所有教師模型在訓練集所有真實類別上預測概率的平均值；所述基于自信度的自適應初始化策略初始化學生模型參數包括：當教師組模型的自信度在預設的數值范圍之內，則采用繼承初始化來初始化學生模型參數；否則，采用隨機初始化來初始化學生模型參數；所述繼承初始化指的是：在預訓練的教師組模型中，選取性能最優的教師模型，依據該模型的權重參數初始化學生模型；

采用教師組模型中的各個教師模型聯合指導完成模型參數初始化的學生模型；

基于待分類的圖像，采用優化后的學生模型，得到分類結果；

所述學生模型的優化包括：采用損失函數優化學生模型分類層；優化過程中，學生模型的總目標函數為：

L_CE(·)表示經典交叉熵損失，表示第k個教師模型與學生模型之間的KL散度損失；α和β是這兩項損失的平衡系數；p_S表示學生模型的軟目標輸出，表示第k個教師模型的軟目標輸出；L_RVS是全連接層的行向量相似度損失，γ是L_RVS的平衡系數。

2.根據權利要求1所述的基于同構多教師指導知識蒸餾的圖像分類方法，其特征在于，所述選取性能最優教師模型的過程包括：對每個教師模型的輸出T_k進行加權集成，當集成結果預測P_E在驗證集上達到最佳準確率時，此時所對應的一系列權重系數w₁,w₂,…,w_n即最佳權重系數，取最大權重系數所對應的教師模型為最佳教師模型。

3.一種基于同構多教師指導知識蒸餾的圖像分類系統，其特征在于，包括：

模型確定模塊，其被配置為：基于給定的學生模型，初始化與學生模型結構相同的教師組模型；

模型訓練模塊，其被配置為：采用訓練集預訓練教師組模型；

模型參數優化模塊，其被配置為：計算教師組模型在訓練集上的自信度，基于自信度的自適應初始化策略初始化學生模型參數；所述教師組模型的自信度為：所有教師模型在訓練集所有真實類別上預測概率的平均值；所述基于自信度的自適應初始化策略初始化學生模型參數包括：當教師組模型的自信度在預設的數值范圍之內，則采用繼承初始化來初始化學生模型參數；否則，采用隨機初始化來初始化學生模型參數；所述繼承初始化指的是：在預訓練的教師組模型中，選取性能最優的教師模型，依據該模型的權重參數初始化學生模型；

知識蒸餾模塊，其被配置為：采用教師組模型中的各個教師模型聯合指導完成模型參數初始化的學生模型；

分類模塊，其被配置為：基于待分類的圖像，采用優化后的學生模型，得到分類結果；

所述學生模型的優化包括：采用損失函數優化學生模型分類層；優化過程中，學生模型的總目標函數為：

L_CE(·)表示經典交叉熵損失，表示第k個教師模型與學生模型之間的KL散度損失；α和β是這兩項損失的平衡系數；p_S表示學生模型的軟目標輸出，表示第k個教師模型的軟目標輸出；L_RVS是全連接層的行向量相似度損失，γ是L_RVS的平衡系數。

4.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現如權利要求1-2中任一項所述的基于同構多教師指導知識蒸餾的圖像分類方法中的步驟。

5.一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現如權利要求1-2中任一項所述的基于同構多教師指導知識蒸餾的圖像分類方法中的步驟。