[發(fā)明專利]知識蒸餾學習模型的預測方法、系統(tǒng)、設備及存儲介質

在審

• 申請?zhí)枺?/td>: 202011357030.X
• 申請日: 2020-11-27
• 公開（公告）號: CN112330512A
• 公開（公告）日: 2021-02-05
• 發(fā)明（設計）人: 魏旭;劉方然
• 申請（專利權）人: 新華智云科技有限公司
• 主分類號: G06Q50/20
• 分類號: G06Q50/20;G06Q10/06;G06Q10/04
• 代理公司: 杭州裕陽聯(lián)合專利代理有限公司 33289
• 代理人: 田金霞

本發(fā)明提供知識蒸餾學習模型的預測方法、系統(tǒng)、設備及存儲介質，其中，預測方法包括：獲取待檢測樣本；將待檢測樣本輸入至學生模型，以得到學生模型輸出的第一預測結果和第一置信度；判斷第一置信度是否高于一置信度閾值；若是，將第一預測結果輸出，并退出執(zhí)行；若否，將待檢測樣本輸入至教師模型中，以得到教師模型輸出的第二預測結果和第二置信度，并判斷第一置信度是否低于第二置信度；若是，將第二預測結果輸出，并退出執(zhí)行；若否，將第一預測結果輸出，并退出執(zhí)行。本發(fā)明的有益效果在于：實現(xiàn)了當學生模型不符合用戶需求時，獲取更高的置信度對應的預測結果作為最終預測結果，進而提高教師?學生模型的預測準確度。

技術領域

本發(fā)明涉及模型預測技術領域，尤其是涉及一種知識蒸餾學習模型的預測方法、系統(tǒng)、設備及存儲介質。

背景技術

知識蒸餾是一種模型壓縮常見方法，在教師-學生模型中，將復雜、學習能力強的教師模型(teacher model)學到的特征表示“知識”蒸餾出來，傳遞給參數(shù)量小、學習能力弱的學生模型(student model)。即通過知識蒸餾可以將精度高的教師模型的知識傳遞給預測速度很快的學生模型，可以保持教師-學生模型預測的精度的同時提高學生模型預測的速度。

然而由于物體預測的知識蒸餾中樣本數(shù)量通常較大，而樣本質量卻參差不及，諸如樣本中可能包括臟樣本或過難樣本，因此學生模型通常無法繼承教師模型的全部知識，也就是說學生模型通常無法達到教師模型的精度，模型和任務之間的差異會導致該精度損失，并且教師-學生模型的預測速度完全取決于學生模型的結構，教師-學生模型的預測精度完全取決于學生模型對于教師模型知識的學習能力，因此現(xiàn)有技術中的教師-學生模型無法解決學生模型不符合用戶需求時的問題，從而降低教師-學生模型在物體預測時的預測準確度，并且現(xiàn)有技術中的教師-學生模型缺乏對于預測速度和預測精度的動態(tài)調節(jié)，進而導致教師-學生模型在物體預測時的預測效果不佳。

發(fā)明內容

本發(fā)明針對現(xiàn)有技術中的缺點，提供了一種旨在提高教師-學生模型的預測準確度，動態(tài)調節(jié)教師-學生模型預測速度和預測精度的知識蒸餾學習模型的預測方法、系統(tǒng)、設備及存儲介質。

一種知識蒸餾學習模型的預測方法，其中，通過知識蒸餾向已訓練好的教師模型學習，以得到學生模型，預測方法具體包括以下步驟：

獲取待檢測樣本；

將待檢測樣本輸入至學生模型，以得到學生模型輸出的第一預測結果和第一置信度；

判斷第一置信度是否高于一置信度閾值；

若是，將第一預測結果輸出，并退出執(zhí)行；

若否，將待檢測樣本輸入至教師模型中，以得到教師模型輸出的第二預測結果和第二置信度，并判斷第一置信度是否低于第二置信度；

若是，將第二預測結果輸出，并退出執(zhí)行；

若否，將第一預測結果輸出，并退出執(zhí)行。

優(yōu)選的，知識蒸餾學習模型的預測方法，其中，置信度閾值的設置方法具體包括以下步驟：

獲取測評樣本集，測評樣本集包括多個測評樣本；

設置多個測評閾值；

將測評樣本集分別輸入至學生模型和教師模型中，學生模型和教師模型根據(jù)設置的測評閾值輸出對應于測評閾值的預測參數(shù)，預測參數(shù)包括預測精度和預測速度；

選擇最佳的預測參數(shù)對應的測評閾值作為置信度閾值。

優(yōu)選的，知識蒸餾學習模型的預測方法，其中，測評閾值與預測精度之間為正相關的關系，測評閾值與預測速度之間為負相關的關系。

優(yōu)選的，知識蒸餾學習模型的預測方法，其中，獲取第一置信度具體包括以下步驟：