[發(fā)明專利]分類效果確定方法、裝置、智能終端及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201910409134.1
• 申請(qǐng)日: 2019-05-16
• 公開（公告）號(hào): CN110135592B
• 公開（公告）日: 2023-09-19
• 發(fā)明（設(shè)計(jì)）人: 張雨豪;陳新杰;鄭景耀;劉洪
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06N20/10
• 分類號(hào): G06N20/10
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 郝傳鑫;熊永強(qiáng)

1.一種針對(duì)分類模型的分類效果確定方法，其特征在于，所述方法包括：

利用分類模型對(duì)多個(gè)測(cè)試子集中每一個(gè)測(cè)試子集包括的圖像數(shù)據(jù)進(jìn)行分類處理，得到所述每一個(gè)測(cè)試子集所屬的預(yù)測(cè)類目；所述分類模型包括N個(gè)分類類目輸出，所述預(yù)測(cè)類目為N個(gè)分類類目中的一個(gè)，所述N為大于1的正整數(shù)；所述多個(gè)測(cè)試子集包含于分類測(cè)試集，所述測(cè)試子集是由分類對(duì)象的圖像數(shù)據(jù)組成的數(shù)據(jù)集；所述分類模型是利用分類訓(xùn)練集以及相關(guān)算法訓(xùn)練生成的用于執(zhí)行分類任務(wù)的模型；所述相關(guān)算法包括支持向量機(jī)SVM算法、決策樹算法和邏輯回歸算法中的任一種算法；

獲取為所述分類測(cè)試集中每一個(gè)測(cè)試子集設(shè)置的標(biāo)簽類目，并將所述每一個(gè)測(cè)試子集的預(yù)測(cè)類目及其標(biāo)簽類目進(jìn)行比較，得到比較結(jié)果；所述比較結(jié)果包括每一個(gè)分類類目對(duì)應(yīng)的目標(biāo)類指標(biāo)參數(shù)，所述目標(biāo)類指標(biāo)參數(shù)包括真陽指標(biāo)參數(shù)，所述目標(biāo)類指標(biāo)參數(shù)還包括假陽指標(biāo)參數(shù)和假陰指標(biāo)參數(shù)中的至少一種；分類類目的真陽指標(biāo)參數(shù)、假陽指標(biāo)參數(shù)和假陰指標(biāo)參數(shù)分別用于指示：所述分類測(cè)試集中預(yù)測(cè)類目和標(biāo)簽類目均為所述分類類目的測(cè)試子集的數(shù)量、所述分類測(cè)試集中預(yù)測(cè)類目為所述分類類目且標(biāo)簽類目不為所述分類類目的測(cè)試子集的數(shù)量、所述分類測(cè)試集中預(yù)測(cè)類目不為所述分類類目且標(biāo)簽類目為所述分類類目的測(cè)試子集的數(shù)量；

根據(jù)所述目標(biāo)類指標(biāo)參數(shù)確定第一效果參數(shù)和第二效果參數(shù)；

計(jì)算所述第一效果參數(shù)與所述第二效果參數(shù)的和值，將所述第二效果參數(shù)和所述和值進(jìn)行除法運(yùn)算得到第一權(quán)重值，將所述第一效果參數(shù)和所述和值進(jìn)行除法運(yùn)算得到第二權(quán)重值；

根據(jù)所述第一效果參數(shù)和所述第一權(quán)重值的乘積、所述第二效果參數(shù)和所述第二權(quán)重值的乘積，確定所述分類模型的分類效果指標(biāo)值；

其中，若所述目標(biāo)類指標(biāo)參數(shù)包括真陽指標(biāo)參數(shù)和假陽指標(biāo)參數(shù)，則所述第一效果參數(shù)包括微精準(zhǔn)率，所述第二效果參數(shù)包括宏精準(zhǔn)率；所述微精準(zhǔn)率是根據(jù)N個(gè)分類類目的真陽指標(biāo)參數(shù)的和值以及假陽指標(biāo)參數(shù)的和值確定的，所述宏精準(zhǔn)率是根據(jù)每一個(gè)分類類目的分類精準(zhǔn)率確定的，所述分類精準(zhǔn)率為所述分類類目的真陽指標(biāo)參數(shù)與第一和值的比值，所述第一和值為所述分類類目的真陽指標(biāo)參數(shù)和假陽指標(biāo)參數(shù)的和值；或者，

若所述目標(biāo)類指標(biāo)參數(shù)包括真陽指標(biāo)參數(shù)和假陰指標(biāo)參數(shù)，則所述第一效果參數(shù)包括微召回率，所述第二效果參數(shù)包括宏召回率，所述微召回率是根據(jù)N個(gè)分類類目的真陽指標(biāo)參數(shù)的和值以及假陰指標(biāo)參數(shù)的和值確定的，所述宏召回率是根據(jù)每一個(gè)分類類目的分類召回率確定的，所述分類召回率為所述分類類目的真陽指標(biāo)參數(shù)與第二和值的比值，所述第二和值為所述分類類目的真陽指標(biāo)參數(shù)和假陰指標(biāo)參數(shù)的和值；或者，

若所述目標(biāo)類指標(biāo)參數(shù)包括真陽指標(biāo)參數(shù)、假陽指標(biāo)參數(shù)和假陰指標(biāo)參數(shù)，則所述第一效果參數(shù)包括微綜合評(píng)價(jià)指標(biāo)參數(shù)，所述第二效果參數(shù)包括宏綜合評(píng)價(jià)指標(biāo)參數(shù)，或者，所述第一效果參數(shù)包括融合精準(zhǔn)率，所述第二效果參數(shù)包括融合召回率；所述微綜合評(píng)價(jià)指標(biāo)參數(shù)是根據(jù)所述微精準(zhǔn)率與所述微召回率的乘積以及和值確定的，所述宏綜合評(píng)價(jià)指標(biāo)參數(shù)是根據(jù)所述宏精準(zhǔn)率與所述宏召回率的乘積以及和值確定的；所述融合精準(zhǔn)率是根據(jù)所述微精準(zhǔn)率、所述微精準(zhǔn)率的權(quán)重值、所述宏精準(zhǔn)率、所述宏精準(zhǔn)率的權(quán)重值確定的，所述微精準(zhǔn)率的權(quán)重值為所述宏精準(zhǔn)率與第三和值的比值，所述宏精準(zhǔn)率的權(quán)重值為所述微精準(zhǔn)率與第三和值的比值，第三和值為所述微精準(zhǔn)率和所述宏精準(zhǔn)率的和值，所述融合召回率是根據(jù)所述微召回率、所述微召回率的權(quán)重值、所述宏召回率、所述宏召回率的權(quán)重值確定的，所述微召回率的權(quán)重值為所述宏召回率與第四和值的比值，所述宏召回率的權(quán)重值為所述微召回率與第四和值的比值，第四和值為所述微召回率和所述宏召回率的和值。