[發(fā)明專利]一種模型性能評(píng)價(jià)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110347813.8
• 申請(qǐng)日: 2021-03-31
• 公開（公告）號(hào): CN112989621B
• 公開（公告）日: 2023-06-23
• 發(fā)明（設(shè)計(jì)）人: 鄭曉華;陳青山;許國(guó)良;康祖蔭
• 申請(qǐng)（專利權(quán)）人: 建信金融科技有限責(zé)任公司
• 主分類號(hào): G06F30/20
• 分類號(hào): G06F30/20;G06Q10/0639;G06F119/02
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發(fā)明實(shí)施例公開了一種模型性能評(píng)價(jià)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。該方法包括：獲取待評(píng)價(jià)的目標(biāo)模型，目標(biāo)模型的待評(píng)價(jià)因素以及與目標(biāo)模型對(duì)應(yīng)的模型數(shù)據(jù)；根據(jù)待評(píng)價(jià)因素在預(yù)設(shè)評(píng)價(jià)指標(biāo)集中確定待評(píng)價(jià)指標(biāo)，并獲取各待評(píng)價(jià)指標(biāo)對(duì)應(yīng)的權(quán)重；根據(jù)模型數(shù)據(jù)確定各待評(píng)價(jià)指標(biāo)對(duì)應(yīng)的指標(biāo)得分，并根據(jù)各指標(biāo)得分與對(duì)應(yīng)的權(quán)重確定待評(píng)價(jià)因素對(duì)應(yīng)的模型綜合評(píng)分。本發(fā)明實(shí)施例的技術(shù)方案，解決了現(xiàn)有模型評(píng)價(jià)中評(píng)價(jià)維度不全面、模型評(píng)價(jià)體系不完善的問題，提升了對(duì)目標(biāo)模型性能評(píng)價(jià)的針對(duì)性，提高了獲取到的模型評(píng)價(jià)結(jié)果的準(zhǔn)確性和可信度。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種模型性能評(píng)價(jià)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

近年來，隨著模型在銀行業(yè)的廣泛應(yīng)用，銀行的模型已由風(fēng)險(xiǎn)計(jì)量類模型發(fā)展至人工智能和機(jī)器學(xué)習(xí)模型。機(jī)器學(xué)習(xí)類模型在數(shù)據(jù)分析、信貸審批、決策推斷和客戶管理等多領(lǐng)域均有著較為廣泛的應(yīng)用。而分類模型又是機(jī)器學(xué)習(xí)模型中最典型、應(yīng)用面最廣的一種模型，為明確模型的可用性需對(duì)其進(jìn)行性能評(píng)估。

現(xiàn)有的分類模型評(píng)價(jià)方法一般包括以下幾步：1)在對(duì)模型的性能進(jìn)行評(píng)價(jià)前，選取少數(shù)度量指標(biāo)，如混淆矩陣、接受者工作特征曲線(Receiver?OperatingCharacteristic，ROC)和曲線下面積(Area?Under?Curve，AUC)等；2)選取度量指標(biāo)后，利用測(cè)試集和驗(yàn)證集數(shù)據(jù)，計(jì)算模型的各個(gè)指標(biāo)值，根據(jù)計(jì)算得到的指標(biāo)值和已有的一些評(píng)估標(biāo)準(zhǔn)，得出模型性能是否達(dá)標(biāo)的綜合結(jié)論。

然而，現(xiàn)有分類模型性能評(píng)價(jià)方法中，并未考慮在模型處于不同階段和不同維度時(shí)所需進(jìn)行評(píng)價(jià)的性能指標(biāo)不同，導(dǎo)致模型評(píng)價(jià)維度并不全面，模型評(píng)價(jià)體系不完善，進(jìn)而導(dǎo)致最終得到的模型評(píng)價(jià)結(jié)果并不準(zhǔn)確，可信度較低。

發(fā)明內(nèi)容

本發(fā)明提供一種模型性能評(píng)價(jià)方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，以在更多維度上，通過更有針對(duì)性的評(píng)價(jià)指標(biāo)對(duì)待評(píng)價(jià)的目標(biāo)模型實(shí)現(xiàn)模型性能評(píng)價(jià)，提高了模型性能評(píng)價(jià)的針對(duì)性，提升了模型評(píng)價(jià)結(jié)果的準(zhǔn)確性和可信度。

第一方面，本發(fā)明實(shí)施例提供了一種模型性能評(píng)價(jià)方法，包括：

獲取待評(píng)價(jià)的目標(biāo)模型，目標(biāo)模型的待評(píng)價(jià)因素以及與目標(biāo)模型對(duì)應(yīng)的模型數(shù)據(jù)；

根據(jù)待評(píng)價(jià)因素在預(yù)設(shè)評(píng)價(jià)指標(biāo)集中確定待評(píng)價(jià)指標(biāo)，并獲取各待評(píng)價(jià)指標(biāo)對(duì)應(yīng)的權(quán)重；

根據(jù)模型數(shù)據(jù)確定各待評(píng)價(jià)指標(biāo)對(duì)應(yīng)的指標(biāo)得分，并根據(jù)各指標(biāo)得分與對(duì)應(yīng)的權(quán)重確定待評(píng)價(jià)因素對(duì)應(yīng)的模型綜合評(píng)分。

進(jìn)一步地，目標(biāo)模型的待評(píng)價(jià)因素包括：樣本評(píng)價(jià)因素、特征評(píng)價(jià)因素、模型評(píng)價(jià)因素、前端監(jiān)控評(píng)價(jià)因素和后端監(jiān)控評(píng)價(jià)因素。

進(jìn)一步地，根據(jù)待評(píng)價(jià)因素在預(yù)設(shè)評(píng)價(jià)指標(biāo)集中確定待評(píng)價(jià)指標(biāo)，包括：

若待評(píng)價(jià)因素為樣本評(píng)價(jià)因素，則待評(píng)價(jià)指標(biāo)包括樣本數(shù)量、正負(fù)樣本占比、特征數(shù)量和特征缺失率；

若待評(píng)價(jià)因素為特征評(píng)價(jià)因素，則待評(píng)價(jià)指標(biāo)包括單調(diào)特征占比、預(yù)測(cè)能力特征占比、穩(wěn)定特征占比和弱相關(guān)性特征占比；

若待評(píng)價(jià)因素為模型評(píng)價(jià)因素，則待評(píng)價(jià)指標(biāo)包括準(zhǔn)確性評(píng)價(jià)指標(biāo)、模型區(qū)分度評(píng)價(jià)指標(biāo)、提升圖、模型穩(wěn)定性評(píng)價(jià)指標(biāo)和模型遷移率；

若待評(píng)價(jià)因素為前端監(jiān)控評(píng)價(jià)因素，則待評(píng)價(jià)指標(biāo)包括穩(wěn)定特征占比和模型穩(wěn)定性評(píng)價(jià)指標(biāo)；

若待評(píng)價(jià)因素為后端監(jiān)控評(píng)價(jià)因素，則待評(píng)價(jià)指標(biāo)包括模型區(qū)分度評(píng)價(jià)指標(biāo)和模型遷移率。

進(jìn)一步地，獲取各待評(píng)價(jià)指標(biāo)對(duì)應(yīng)的權(quán)重之前，還包括：

基于層次分析法確定預(yù)設(shè)評(píng)價(jià)指標(biāo)集中各評(píng)價(jià)指標(biāo)的層次總排序；

根據(jù)層次總排序確定各評(píng)價(jià)指標(biāo)的權(quán)重。