[發明專利]一種基于同構多教師指導知識蒸餾的圖像分類方法及系統

有效

• 申請號: 202110937984.6
• 申請日: 2021-08-16
• 公開（公告）號: CN113627545B
• 公開（公告）日: 2023-08-08
• 發明（設計）人: 姬冰;徐全政;崔賀;趙景太;劉力瑜
• 申請（專利權）人: 山東大學
• 主分類號: G06F18/214
• 分類號: G06F18/214;G06F16/36;G06F18/241
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 祖之強

本發明屬于圖像分類技術領域，提供了一種基于同構多教師指導知識蒸餾的圖像分類方法及系統。該方法包括，基于給定的學生模型，初始化與學生模型結構相同的教師組模型；采用訓練集預訓練教師組模型；計算教師組模型在訓練集上的自信度，基于自信度的自適應初始化策略初始化學生模型參數；采用教師組模型中的各個教師模型聯合指導完成模型參數初始化的學生模型；基于待分類的圖像，采用優化后的學生模型，得到分類結果。

技術領域

本發明屬于圖像分類技術領域，尤其涉及一種基于同構多教師指導知識蒸餾的圖像分類方法及系統。

背景技術

本部分的陳述僅僅是提供了與本發明相關的背景技術信息，不必然構成在先技術。

在自動駕駛領域，網絡模型的實時性是一項十分重要的指標。模型需要根據攝像頭傳入的圖片進行分類判斷,然后進行駕駛決策。這就需要模型能夠快速響應,短時間內得到分類結果。但現階段的高性能模型參數量較多,一般無法實時響應。這就需要使用模型壓縮技術對大模型進行壓縮,得到規模較小模型的同時,不會造成太大的精度損失。

知識蒸餾是一種有效的知識轉移策略，它建立一個教師-學生框架，通過讓學生網絡盡可能匹配教師網絡的輸出，從而將一個大型教師網絡的知識轉移到一個相對輕量級的學生網絡中，使學生網絡達到與教師相當的推理性能。然而，現有研究側重于在傳統師生框架下提高知識蒸餾的性能，而忽視了師生框架本身的一些潛在的局限性。具體來說，傳統師生框架中存在著能力不匹配的困境，即小型學生網絡無法完全模仿大型教師網絡的輸出。容量越大、精度越高的教師網絡，其指導出的學生網絡的性能卻不一定更好。這說明教師和學生的能力差距可能會抑制知識蒸餾性能的進一步提高。

發明內容

為了解決上述背景技術中存在的技術問題，本發明提供一種基于同構多教師指導知識蒸餾的圖像分類方法及系統，其用一組與學生模型結構相同的多個小教師模型代替傳統的大教師模型，以緩解教師與學生能力差距所帶來的負面影響，從而提高學生模型的性能，提高模型響應速度的同時保證圖像分類的精度。

為了實現上述目的，本發明采用如下技術方案：

本發明的第一個方面提供一種基于同構多教師指導知識蒸餾的圖像分類方法。

一種基于同構多教師指導知識蒸餾的圖像分類方法，包括：

基于給定的學生模型，初始化與學生模型結構相同的教師組模型；

采用訓練集預訓練教師組模型；

計算教師組模型在訓練集上的自信度，基于自信度的自適應初始化策略初始化學生模型參數；

采用教師組模型中的各個教師模型聯合指導完成模型參數初始化的學生模型；

基于待分類的圖像，采用優化后的學生模型，得到分類結果。

本發明的第二個方面提供一種基于同構多教師指導知識蒸餾的圖像分類方系統。

一種基于同構多教師指導知識蒸餾的圖像分類系統，包括：

模型確定模塊，其被配置為：基于給定的學生模型，初始化與學生模型結構相同的教師組模型；

模型訓練模塊，其被配置為：采用訓練集預訓練教師組模型；

模型參數優化模塊，其被配置為：計算教師組模型在訓練集上的自信度，基于自信度的自適應初始化策略初始化學生模型參數；

知識蒸餾模塊，其被配置為：采用教師組模型中的各個教師模型聯合指導完成模型參數初始化的學生模型；

分類模塊，其被配置為：基于待分類的圖像，采用優化后的學生模型，得到分類結果。

本發明的第三個方面提供一種計算機可讀存儲介質。