[發明專利]分類模型的處理方法、裝置、電子設備及存儲介質

有效

• 申請號: 201811143313.7
• 申請日: 2018-09-28
• 公開（公告）號: CN109447125B
• 公開（公告）日: 2019-12-24
• 發明（設計）人: 張志偉;夏雨;汪笑
• 申請（專利權）人: 北京達佳互聯信息技術有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 11319 北京潤澤恒知識產權代理有限公司
• 代理人: 莎日娜

1.一種分類模型的處理方法，其特征在于，所述方法包括：

獲取待評估分類模型和至少兩個樣本數據；

獲取標簽體系與所述待評估分類模型的標簽體系相同的參考分類模型，所述參考分類模型為歷史版本分類模型；

使用所述待評估分類模型預測每一個樣本數據分別屬于每一個預設標簽的新概率；

使用所述參考分類模型預測每一個樣本數據分別屬于每一個預設標簽的參考概率；

根據每一個樣本數據屬于每一個預設標簽的新概率和每一個樣本數據屬于每一個預設標簽的參考概率，繪制所述待評估分類模型對應于每一個預設標簽的準召曲線；

使用所述準召曲線對所述待評估分類模型進行評估；

其中，所述待評估模型和所述參考分類模型均為圖像分類模型，用于針對同一數據輸出該數據屬于同一預設標簽的概率。

2.根據權利要求1所述的方法，其特征在于，所述根據每一個樣本數據屬于每一個預設標簽的新概率和每一個樣本數據屬于每一個預設標簽的參考概率，繪制所述待評估分類模型對應于每一個預設標簽的準召曲線，包括：

根據每一個樣本數據屬于每一個預設標簽的參考概率判斷每一個樣本數據屬于每一個預設標簽的新概率的準確度；

根據每一個樣本數據分別屬于每一個預設標簽的新概率的準確度繪制所述待評估分類模型對應于每一個預設標簽的準召曲線。

3.根據權利要求2所述的方法，其特征在于，所述根據每一個樣本數據屬于每一個預設標簽的參考概率判斷每一個樣本數據屬于每一個預設標簽的新概率的準確度，包括：

判斷每一個樣本數據屬于每一個預設標簽的新概率與每一個樣本數據屬于每一個預設標簽的參考概率是否位于同一預設概率區間內；

如果位于同一預設概率區間內，則將每一個樣本數據屬于每一個預設標簽的新概率的準確度設置為第一預設準確度；

如果位于同一預設概率區間外，則將每一個樣本數據屬于每一個預設標簽的新概率的準確度設置為第二預設準確度。

4.根據權利要求1所述的方法，其特征在于，參考分類模型為至少兩個；

所述使用所述參考分類模型預測每一個樣本數據分別屬于每一個預設標簽的參考概率，包括：

根據每一個樣本數據屬于每一個預設標簽的新概率，在至少兩個樣本數據中確定屬于每一個預設標簽的目標樣本數據；

使用每一個參考分類模型分別預測所述目標樣本數據屬于每一個預設標簽的預測概率；

在至少兩個預設概率區間中，分別確定得到的每一個預測概率所在的預設概率區間；

在至少兩個預設概率區間中，確定包含的預測概率最多的預設概率區間；

根據確定的預設概率區間中包含的預測概率，確定所述目標樣本數據屬于每一個預設標簽的參考概率。

5.根據權利要求4所述的方法，其特征在于，所述根據確定的預設概率區間中包含的預測概率，確定所述目標樣本數據屬于每一個預設標簽的參考概率，包括：

在確定的預設概率區間中包含的預測概率中，隨機選擇一個預測概率，并作為所述目標樣本數據屬于所述預設標簽的參考概率；或，

計算確定的預設概率區間中包含的所有預測概率的平均值，并作為所述目標樣本數據屬于每一個預設標簽的參考概率；或，

在確定的預設概率區間中包含的所有預測概率中選擇最大的預測概率，并作為所述目標樣本數據屬于每一個預設標簽的參考概率。

6.根據權利要求1所述的方法，其特征在于，所述獲取標簽體系與所述待評估分類模型的標簽體系相同的參考分類模型，包括：

獲取所述待評估分類模型的模型標識；

在模型標識與歷史版本分類模型之間的對應關系中，查找與所述模型標識相對應的歷史版本分類模型，并作為所述參考分類模型。

7.根據權利要求6所述的方法，其特征在于，所述繪制所述待評估分類模型對應于每一個預設標簽的準召曲線之后，所述方法還包括：

將所述模型標識和所述待評估分類模型組成對應表項，并存儲在所述模型標識與歷史版本分類模型之間的對應關系中。