[發明專利]二分類任務評價指標的確定方法、裝置及電子設備

在審

• 申請號: 201911065345.4
• 申請日: 2019-11-04
• 公開（公告）號: CN110807489A
• 公開（公告）日: 2020-02-18
• 發明（設計）人: 邱磊;徐凱波
• 申請（專利權）人: 北京明略軟件系統有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62
• 代理公司: 北京超成律師事務所 11646
• 代理人: 吳迪

本公開提出一種二分類任務評價指標的確定方法、裝置及電子設備，涉及計算機技術領域。所述方法包括：獲取二分類模型輸出的多個訓練樣本的分類數據和實際分類標記，基于各所述訓練樣本的所述分類數據和所述實際分類標記，將各所述分類數據為非空值的所述訓練樣本標記為所述第一真陽性樣本、所述第一偽陽性樣本、所述第一真陰性樣本或所述第一偽陰性樣本，并將多個所述分類數據為空值的所述訓練樣本標記為第一真陽性樣本、第一偽陽性樣本、第一真陰性樣本或第一偽陰性樣本，基于第一真陽性樣本數、第一偽陽性樣本數、第一真陰性樣本數和第一偽陰性樣本數，確定所述二分類模型的模型評價指標。本公開能夠提高確定模型評價指標的準確性。

技術領域

本公開涉及計算機技術領域，具體而言，涉及一種二分類任務評價指標的確定方法、裝置及電子設備。

背景技術

分類模型已經被廣泛應用于各種場景中對待處理對象的分類處理。通常可以獲取訓練樣本訓練獲取得到用于對該待處理對象進行分類的分類模型，且為了確保對待處理對象的分類效果，需要對分類模型進行評價。

現有技術中，各訓練樣本包括事先設置的實際分類標記，包括真或假，通過二分類模型對該訓練樣本進行分類預測，從而確定該訓練樣本的分類數據，然后基于分類數據確定該訓練樣本為真或假，再根據對該訓練樣本分類確定的真或假，與該訓練樣本的實際分類標記之間的差異，確定該二分類模型的模型評價指標。

但由于二分類模型對該訓練樣本進行分類預測時，可能無法輸出得到某些訓練樣本的分類數據，即該分類數據可能為空值，比如由二分類模型運行超時而導致無法輸出分類數據，也就不能確定該訓練樣本的分類結果為真或加，從而導致所確定的模型評價指標的準確性低下。

發明內容

本公開的目的在于提供一種二分類任務評價指標的確定方法、裝置及電子設備，以提高模型評價指標的準確性。

為了實現上述目的，本公開采用的技術方案如下：

第一方面，本公開提出一種二分類任務評價指標的確定方法，所述方法包括：

獲取二分類模型輸出的多個訓練樣本的分類數據和實際分類標記；

基于各所述訓練樣本的所述分類數據和所述實際分類標記，將各所述分類數據為非空值的所述訓練樣本標記為第一真陽性樣本、第一偽陽性樣本、第一真陰性樣本或第一偽陰性樣本，并將多個所述分類數據為空值的所述訓練樣本標記為所述第一真陽性樣本、所述第一偽陽性樣本、所述第一真陰性樣本或所述第一偽陰性樣本；

基于第一真陽性樣本數、第一偽陽性樣本數、第一真陰性樣本數和第一偽陰性樣本數，確定所述二分類模型的模型評價指標。

可選地，所述將多個所述分類數據為空值的所述訓練樣本標記為所述第一真陽性樣本、所述第一偽陽性樣本、所述第一真陰性樣本或所述第一偽陰性樣本，包括：

基于多個第一預設分組數據，將所述分類數據為空值的所述訓練樣本標記為所述第一真陽性樣本、所述第一偽陽性樣本、所述第一真陰性樣本或所述第一偽陰性樣本；

所述基于第一真陽性樣本數、第一偽陽性樣本數、第一真陰性樣本數和第一偽陰性樣本數，確定所述二分類模型的模型評價指標，包括：

基于多個所述第一預設分組數據，獲取多組所述第一真陽性樣本數、所述第一偽陽性樣本數、所述第一真陰性樣本數、所述第一偽陰性樣本數；

基于多組所述第一真陽性樣本數、所述第一偽陽性樣本數、所述第一真陰性樣本數、所述第一偽陰性樣本數，確定多個所述模型評價指標；

基于多個所述模型評價指標，確定目標模型評價指標。

可選地，所述模型評價指標包括第一KS(Kolmogorov-Smirnov，一種校驗數據)值和第一AUC(Area Under Curve，曲線下面積)中的至少一個。