[發明專利]模型測試的方法及裝置

有效

• 申請號: 201810443821.0
• 申請日: 2018-05-10
• 公開（公告）號: CN108615071B
• 公開（公告）日: 2020-11-24
• 發明（設計）人: 周俊
• 申請（專利權）人: 創新先進技術有限公司
• 主分類號: G06N3/02
• 分類號: G06N3/02
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 陳霽;周良玉

1.一種模型測試的方法，包括：

從測試樣本集中獲取樣本，所述測試樣本集中的樣本為圖像；

將所述樣本輸入模型集包括的多個待測試模型中，以獲得各個待測試模型的輸出結果，其中，所述多個待測試模型包括至少一個神經網絡模型；所述多個待測試模型用于進行圖像識別，所述多個待測試模型針對圖像的識別功能相同或不同；

根據所述輸出結果確定測試結果，所述測試結果包括第一測試結果和第二測試結果中的至少一項，所述第一測試結果包括各個待測試模型的輸出結果的準確性，所述第二測試結果包括所述至少一個神經網絡模型的神經元覆蓋率；

在所述測試結果未滿足用于檢測模型測試是否完成的預定條件的情況下，按照預先設定的像素范圍和/或RGB值范圍，對所述樣本的特征進行擾動，從而生成新樣本，并將所述新樣本加入所述測試樣本集；

在所述第一測試結果中各個測試模型針對所述樣本輸出結果的準確度大于設定閾值的情況下，將所述樣本從測試樣本集中刪除；同時，

在存在至少滿足以下一項的待測試模型的情況下，將相應待測試模型從所述模型集剔除：相應準確度大于預設準確度閾值；相應神經元覆蓋率大于預設覆蓋率閾值。

2.根據權利要求1所述的方法，其中，在所述測試結果包括第一測試結果的情況下，所述根據所述輸出結果確定測試結果包括：

對所述多個待測試模型中包括的功能相同的待測試模型，投票確定正確輸出結果，其中，票數最多的輸出結果為正確輸出結果；

確定輸出結果為所述正確輸出結果的待測試模型輸出結果準確。

3.根據權利要求1所述的方法，其中，所述模型集中包括標準模型；以及

所述根據所述輸出結果確定測試結果包括：

基于標準模型的輸出結果，確定與所述標準模型功能相同的待測試模型的正確輸出結果；

確定輸出結果為所述正確輸出結果的待測試模型的輸出結果準確。

4.根據權利要求1所述的方法，其中，在所述測試結果包括第二測試結果的情況下，所述根據所述輸出結果確定測試結果包括：

根據所述至少一個神經網絡模型中各個神經元的輸出是否滿足輸出條件，統計各個神經網絡模型的神經元覆蓋數，其中，所述神經元覆蓋數包括，測試過程中滿足過輸出條件的神經元個數；

基于所述神經元覆蓋數確定各個神經網絡模型的神經元覆蓋率，其中，所述神經元覆蓋率和以下比值正相關：所述神經元覆蓋數與總神經元個數的比值。

5.根據權利要求4所述的方法，其中，所述預定條件包括：

所述至少一個神經網絡模型的神經元覆蓋率均大于預設覆蓋率閾值。

6.根據權利要求5所述的方法，其中，所述預定條件還包括：

所述多個待測試模型的輸出結果準確度均大于預設準確度閾值。

7.根據權利要求1所述的方法，其中，所述按照預先設定的像素范圍和/或RGB值范圍，對所述樣本進行擾動，從而生成新樣本包括：

按照所述像素范圍和/或RGB值范圍，為所述樣本的像素和/或RGB值生成隨機擾動項；

為所述樣本的像素和/或RGB值添加相應隨機擾動項，從而生成新樣本。

8.根據權利要求1所述的方法，所述方法還包括：

在模型集中加入新的待測試模型。