[發(fā)明專利]知識蒸餾學(xué)習(xí)模型的預(yù)測方法、系統(tǒng)、設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202011357030.X
• 申請日: 2020-11-27
• 公開（公告）號: CN112330512A
• 公開（公告）日: 2021-02-05
• 發(fā)明（設(shè)計）人: 魏旭;劉方然
• 申請（專利權(quán)）人: 新華智云科技有限公司
• 主分類號: G06Q50/20
• 分類號: G06Q50/20;G06Q10/06;G06Q10/04
• 代理公司: 杭州裕陽聯(lián)合專利代理有限公司 33289
• 代理人: 田金霞

1.一種知識蒸餾學(xué)習(xí)模型的預(yù)測方法，其特征在于，通過知識蒸餾向已訓(xùn)練好的教師模型學(xué)習(xí)，以得到學(xué)生模型，所述預(yù)測方法具體包括以下步驟：

獲取待檢測樣本；

將所述待檢測樣本輸入至所述學(xué)生模型，以得到所述學(xué)生模型輸出的第一預(yù)測結(jié)果和第一置信度；

判斷所述第一置信度是否高于一置信度閾值；

若是，將所述第一預(yù)測結(jié)果輸出，并退出執(zhí)行；

若否，將所述待檢測樣本輸入至所述教師模型中，以得到所述教師模型輸出的第二預(yù)測結(jié)果和第二置信度，并判斷所述第一置信度是否低于所述第二置信度；

若是，將所述第二預(yù)測結(jié)果輸出，并退出執(zhí)行；

若否，將所述第一預(yù)測結(jié)果輸出，并退出執(zhí)行。

2.如權(quán)利要求1所述的知識蒸餾學(xué)習(xí)模型的預(yù)測方法，其特征在于，所述置信度閾值的設(shè)置方法具體包括以下步驟：

獲取測評樣本集，所述測評樣本集包括多個測評樣本；

設(shè)置多個測評閾值；

將所述測評樣本集分別輸入至所述學(xué)生模型和所述教師模型中，所述學(xué)生模型和所述教師模型根據(jù)設(shè)置的所述測評閾值輸出對應(yīng)于所述測評閾值的預(yù)測參數(shù)，所述預(yù)測參數(shù)包括預(yù)測精度和預(yù)測速度；

選擇最佳的所述預(yù)測參數(shù)對應(yīng)的所述測評閾值作為所述置信度閾值。

3.如權(quán)利要求2所述的知識蒸餾學(xué)習(xí)模型的預(yù)測方法，其特征在于，所述測評閾值與所述預(yù)測精度之間為正相關(guān)的關(guān)系，所述測評閾值與所述預(yù)測速度之間為負(fù)相關(guān)的關(guān)系。

4.如權(quán)利要求1所述的知識蒸餾學(xué)習(xí)模型的預(yù)測方法，其特征在于，獲取所述第一置信度具體包括以下步驟：

獲取所述學(xué)生模型根據(jù)所述第一預(yù)測結(jié)果輸出的第一logits矩陣；

對所述第一logits矩陣進行softmax計算，以得到概率分布矩陣，所述概率分布矩陣用于表征所述第一置信度。

5.如權(quán)利要求1所述的知識蒸餾學(xué)習(xí)模型的預(yù)測方法，其特征在于，獲取所述第二置信度具體包括以下步驟：

獲取所述教師模型根據(jù)所述第二預(yù)測結(jié)果輸出的第二logits矩陣；

對所述第二logits矩陣進行softmax計算，以得到概率分布矩陣，所述概率分布矩陣用于表征所述第二置信度。

6.如權(quán)利要求2所述的知識蒸餾學(xué)習(xí)模型的預(yù)測方法，其特征在于，所述置信度閾值為0.95。

7.一種知識蒸餾學(xué)習(xí)模型的預(yù)測系統(tǒng)，其特征在于，通過知識蒸餾向已訓(xùn)練好的教師模型學(xué)習(xí)，以得到學(xué)生模型，所述預(yù)測系統(tǒng)具體包括：

樣本獲取模型，用于獲取待檢測樣本；

第一置信度獲取模塊，用于將所述待檢測樣本輸入至所述學(xué)生模型，以得到所述學(xué)生模型輸出的第一預(yù)測結(jié)果和第一置信度；

第二置信度獲取模塊，用于將所述待檢測樣本輸入至所述教師模型中，以得到所述教師模型輸出的第二預(yù)測結(jié)果和第二置信度；

判斷模塊，用于判斷所述第一置信度是否高于一置信度閾值；

于第一置信度高于所述置信度閾值時，將所述第一預(yù)測結(jié)果輸出，并退出執(zhí)行；

于第一置信度未高于所述置信度閾值時，執(zhí)行所述第二置信度獲取模塊，判斷所述第一置信度是否低于所述第二置信度；

于所述第一置信度低于所述第二置信度時，將所述第二預(yù)測結(jié)果輸出，并退出執(zhí)行；

于所述第一置信度未低于所述第二置信度時，將所述第一預(yù)測結(jié)果輸出，并退出執(zhí)行。

8.如權(quán)利要求7所述的知識蒸餾學(xué)習(xí)模型的預(yù)測系統(tǒng)，其特征在于，所述判斷模塊包括置信度閾值設(shè)置單元，所述置信度閾值設(shè)置單元包括：

測評樣本集獲取組件，用于獲取測評樣本集，所述測評樣本集包括多個測評樣本；

測評閾值設(shè)置組件，用于設(shè)置多個測評閾值；

測評組件，用于將所述測評樣本集分別輸入至所述學(xué)生模型和所述教師模型中，所述學(xué)生模型和所述教師模型根據(jù)設(shè)置的所述測評閾值輸出對應(yīng)于所述測評閾值的預(yù)測參數(shù)，所述預(yù)測參數(shù)包括預(yù)測精度和預(yù)測速度；

選擇組件，用于選擇最佳的所述預(yù)測參數(shù)對應(yīng)的所述測評閾值作為所述置信度閾值。