[發(fā)明專(zhuān)利]二分類(lèi)任務(wù)評(píng)價(jià)指標(biāo)的確定方法、裝置及電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201911065345.4
• 申請(qǐng)日: 2019-11-04
• 公開(kāi)（公告）號(hào): CN110807489A
• 公開(kāi)（公告）日: 2020-02-18
• 發(fā)明（設(shè)計(jì)）人: 邱磊;徐凱波
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京明略軟件系統(tǒng)有限公司
• 主分類(lèi)號(hào): G06K9/62
• 分類(lèi)號(hào): G06K9/62
• 代理公司: 北京超成律師事務(wù)所 11646
• 代理人: 吳迪

1.一種二分類(lèi)任務(wù)評(píng)價(jià)指標(biāo)的確定方法，其特征在于，所述方法包括：

獲取二分類(lèi)模型輸出的多個(gè)訓(xùn)練樣本的分類(lèi)數(shù)據(jù)和實(shí)際分類(lèi)標(biāo)記；

基于各所述訓(xùn)練樣本的所述分類(lèi)數(shù)據(jù)和所述實(shí)際分類(lèi)標(biāo)記，將各所述分類(lèi)數(shù)據(jù)為非空值的所述訓(xùn)練樣本標(biāo)記為第一真陽(yáng)性樣本、第一偽陽(yáng)性樣本、第一真陰性樣本或第一偽陰性樣本，并將多個(gè)所述分類(lèi)數(shù)據(jù)為空值的所述訓(xùn)練樣本標(biāo)記為所述第一真陽(yáng)性樣本、所述第一偽陽(yáng)性樣本、所述第一真陰性樣本或所述第一偽陰性樣本；

基于第一真陽(yáng)性樣本數(shù)、第一偽陽(yáng)性樣本數(shù)、第一真陰性樣本數(shù)和第一偽陰性樣本數(shù)，確定所述二分類(lèi)模型的模型評(píng)價(jià)指標(biāo)。

2.如權(quán)利要求1所述的方法，其特征在于，所述將多個(gè)所述分類(lèi)數(shù)據(jù)為空值的所述訓(xùn)練樣本標(biāo)記為所述第一真陽(yáng)性樣本、所述第一偽陽(yáng)性樣本、所述第一真陰性樣本或所述第一偽陰性樣本，包括：

基于多個(gè)第一預(yù)設(shè)分組數(shù)據(jù)，將所述分類(lèi)數(shù)據(jù)為空值的所述訓(xùn)練樣本標(biāo)記為所述第一真陽(yáng)性樣本、所述第一偽陽(yáng)性樣本、所述第一真陰性樣本或所述第一偽陰性樣本；

所述基于第一真陽(yáng)性樣本數(shù)、第一偽陽(yáng)性樣本數(shù)、第一真陰性樣本數(shù)和第一偽陰性樣本數(shù)，確定所述二分類(lèi)模型的模型評(píng)價(jià)指標(biāo)，包括：

基于多個(gè)所述第一預(yù)設(shè)分組數(shù)據(jù)，獲取多組所述第一真陽(yáng)性樣本數(shù)、所述第一偽陽(yáng)性樣本數(shù)、所述第一真陰性樣本數(shù)、所述第一偽陰性樣本數(shù)；

基于多組所述第一真陽(yáng)性樣本數(shù)、所述第一偽陽(yáng)性樣本數(shù)、所述第一真陰性樣本數(shù)、所述第一偽陰性樣本數(shù)，確定多個(gè)所述模型評(píng)價(jià)指標(biāo)；

基于多個(gè)所述模型評(píng)價(jià)指標(biāo)，確定目標(biāo)模型評(píng)價(jià)指標(biāo)。

3.如權(quán)利要求2所述的方法，其特征在于，所述模型評(píng)價(jià)指標(biāo)包括第一洛倫茲KS值和第一曲線下面積AUC中的至少一個(gè)。

4.如權(quán)利要求3所述的方法，其特征在于，所述基于多個(gè)所述模型評(píng)價(jià)指標(biāo)，確定目標(biāo)模型評(píng)價(jià)指標(biāo)，包括：

獲取多個(gè)所述第一KS值中最接近第一預(yù)設(shè)值的第一KS值作為目標(biāo)第一KS值；和/或，

獲取多個(gè)所述第一AUC中最接近第二預(yù)設(shè)值的第一AUC作為目標(biāo)第一AUC。

5.如權(quán)利要求3所述的方法，其特征在于，所述基于多個(gè)所述模型評(píng)價(jià)指標(biāo)，確定目標(biāo)模型評(píng)價(jià)指標(biāo)，包括：

獲取多個(gè)所述第一KS值的平均值作為目標(biāo)第一KS值；和/或，

獲取多個(gè)所述第一AUC的平均值作為目標(biāo)第一AUC。

6.如權(quán)利要求2所述的方法，其特征在于，在所述基于多個(gè)第一預(yù)設(shè)分組數(shù)據(jù)，將所述分類(lèi)數(shù)據(jù)為空值的所述訓(xùn)練樣本標(biāo)記為所述第一真陽(yáng)性樣本、所述第一偽陽(yáng)性樣本、所述第一真陰性樣本或所述第一偽陰性樣本之前，所述方法還包括：

基于多個(gè)第一預(yù)設(shè)比例，生成多個(gè)所述第一預(yù)設(shè)分組數(shù)據(jù)。

7.如權(quán)利要求1-6任一所述的方法，其特征在于，各所述訓(xùn)練樣本包括至少一種特征維度的特征數(shù)據(jù)，所述方法包括：

基于各所述特征維度的所述特征數(shù)據(jù)和所述實(shí)際分類(lèi)標(biāo)記，將各所述特征數(shù)據(jù)為非空值的所述訓(xùn)練樣本標(biāo)記為第二真陽(yáng)性樣本、第二偽陽(yáng)性樣本、第二真陰性樣本或第二偽陰性樣本，并將多個(gè)所述特征數(shù)據(jù)為空值的所述訓(xùn)練樣本標(biāo)記為所述第二真陽(yáng)性樣本、所述第二偽陽(yáng)性樣本、所述第二真陰性樣本或所述第二偽陰性樣本；

基于第二真陽(yáng)性樣本數(shù)、第二偽陽(yáng)性樣本數(shù)、第二真陰性樣本數(shù)、第二偽陰性樣本數(shù)，確定所述特征維度的特征評(píng)價(jià)指標(biāo)。

8.一種二分類(lèi)任務(wù)評(píng)價(jià)指標(biāo)的確定裝置，其特征在于，所述裝置包括：

獲取模塊，用于獲取二分類(lèi)模型輸出的多個(gè)訓(xùn)練樣本的分類(lèi)數(shù)據(jù)和實(shí)際分類(lèi)標(biāo)記；

第一標(biāo)記模塊，用于基于各所述訓(xùn)練樣本的所述分類(lèi)數(shù)據(jù)和所述實(shí)際分類(lèi)標(biāo)記，將各所述分類(lèi)數(shù)據(jù)為非空值的所述訓(xùn)練樣本標(biāo)記為第一真陽(yáng)性樣本、第一偽陽(yáng)性樣本、第一真陰性樣本或第一偽陰性樣本，并將多個(gè)所述分類(lèi)數(shù)據(jù)為空值的所述訓(xùn)練樣本標(biāo)記為所述第一真陽(yáng)性樣本、所述第一偽陽(yáng)性樣本、所述第一真陰性樣本或所述第一偽陰性樣本；

第一確定模塊，用于基于第一真陽(yáng)性樣本數(shù)、第一偽陽(yáng)性樣本數(shù)、第一真陰性樣本數(shù)和第一偽陰性樣本數(shù)，確定所述二分類(lèi)模型的模型評(píng)價(jià)指標(biāo)。