[發(fā)明專利]算法模型運(yùn)行監(jiān)控方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201910398114.9
• 申請(qǐng)日: 2019-05-14
• 公開(kāi)（公告）號(hào): CN110262939B
• 公開(kāi)（公告）日: 2023-07-21
• 發(fā)明（設(shè)計(jì)）人: 周斌;孫鑫焱;孟天涯
• 申請(qǐng)（專利權(quán)）人: 蘇寧金融服務(wù)（上海）有限公司
• 主分類號(hào): G06F11/30
• 分類號(hào): G06F11/30;G06F18/24;G06F18/27
• 代理公司: 北京市萬(wàn)慧達(dá)律師事務(wù)所 11111
• 代理人: 黃玉東

1.一種算法模型運(yùn)行監(jiān)控方法，所述方法包括：

獲取算法模型在當(dāng)前統(tǒng)計(jì)周期內(nèi)的特征標(biāo)簽和回歸結(jié)果；

根據(jù)所述特征標(biāo)簽和所述回歸結(jié)果確定當(dāng)前性能指標(biāo)，所述當(dāng)前性能指標(biāo)為所述算法模型在所述當(dāng)前統(tǒng)計(jì)周期內(nèi)的性能指標(biāo)值；

在所述當(dāng)前性能指標(biāo)值滿足所述算法模型的預(yù)設(shè)的告警條件時(shí)，輸出第一告警提示信息；

獲取當(dāng)前執(zhí)行結(jié)果異常數(shù)量，所述當(dāng)前執(zhí)行結(jié)果異常數(shù)量為所述算法模型在所述當(dāng)前統(tǒng)計(jì)周期內(nèi)的執(zhí)行結(jié)果異常數(shù)量，其中，執(zhí)行結(jié)果異常包括所述算法模型運(yùn)行時(shí)的輸出結(jié)果為空或者負(fù)數(shù)的情況；

在所述當(dāng)前執(zhí)行結(jié)果異常數(shù)量超過(guò)所述算法模型的預(yù)設(shè)的數(shù)量閾值時(shí)，輸出第二告警提示信息；

其中，所述第一告警提示信息用于提示用戶進(jìn)行算法模型的重新訓(xùn)練部署，所述第二告警信息可以是用于提示用戶進(jìn)行系統(tǒng)調(diào)試維護(hù)；

所述獲取算法模型在當(dāng)前統(tǒng)計(jì)周期內(nèi)的特征標(biāo)簽和回歸結(jié)果，包括：在所述當(dāng)前統(tǒng)計(jì)周期內(nèi)，分批次獲取所述算法模型的原始數(shù)據(jù)集；分別篩選各批次的原始數(shù)據(jù)集中的帶真實(shí)標(biāo)記和預(yù)測(cè)結(jié)果的數(shù)據(jù)，將各批次篩選出的數(shù)據(jù)的集合作為所述算法模型在當(dāng)前統(tǒng)計(jì)周期內(nèi)的特征標(biāo)簽和回歸結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

保存所述算法模型在各個(gè)統(tǒng)計(jì)周期內(nèi)的性能指標(biāo)值和執(zhí)行結(jié)果異常數(shù)量；

接收終端發(fā)送的數(shù)據(jù)查看請(qǐng)求，所述數(shù)據(jù)查看請(qǐng)求攜帶有待查看周期信息；

根據(jù)所述待查看周期信息向所述終端返回與所述待查看周期信息對(duì)應(yīng)的統(tǒng)計(jì)周期內(nèi)的性能指標(biāo)值或者/和執(zhí)行結(jié)果異常數(shù)量。

3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述根據(jù)所述特征標(biāo)簽和所述回歸結(jié)果確定當(dāng)前性能指標(biāo)，包括：

根據(jù)所述特征標(biāo)簽和所述回歸結(jié)果，確定所述算法模型在所述當(dāng)前統(tǒng)計(jì)周期內(nèi)的真正例數(shù)目、假正例數(shù)目、真反例數(shù)目和假反例數(shù)目；

根據(jù)所述真正例數(shù)目、所述假正例數(shù)目、所述真反例數(shù)目和所述假反例數(shù)，確定所述算法模型在所述當(dāng)前統(tǒng)計(jì)周期內(nèi)的查準(zhǔn)率、查全率、ROC曲線和K-S曲線；

根據(jù)所述查準(zhǔn)率和所述查全率，確定所述算法模型在所述當(dāng)前統(tǒng)計(jì)周期內(nèi)的第一度量參數(shù)值；

根據(jù)所述ROC曲線計(jì)算所述ROC曲線所覆蓋的區(qū)域面積值，將所述區(qū)域面積值作為所述算法模型在所述當(dāng)前統(tǒng)計(jì)周期內(nèi)的第二度量參數(shù)值；

將所述K-S曲線的最大值，確定為所述算法模型在所述當(dāng)前統(tǒng)計(jì)周期內(nèi)的第三度量參數(shù)值；

其中，所述當(dāng)前性能指標(biāo)值包括所述第一度量參數(shù)值、所述第二度量參數(shù)值和所述第三度量參數(shù)值中一個(gè)或者多個(gè)。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述在所述當(dāng)前性能指標(biāo)值滿足所述算法模型的預(yù)設(shè)的告警條件時(shí)，輸出第一告警提示信息，包括：

在所述第一度量參數(shù)值小于所述算法模型的預(yù)設(shè)的第一參數(shù)閾值時(shí)，或者在所述第二度量參數(shù)值小于所述算法模型的預(yù)設(shè)的第二參數(shù)閾值時(shí)，或者在所述第三度量參數(shù)值小于所述算法模型的預(yù)設(shè)的第三參數(shù)閾值時(shí)，輸出第一告警提示信息。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述第一告警提示信息包括第一告警內(nèi)容和數(shù)據(jù)查看鏈接，或者所述第二告警提示信息包括第二告警內(nèi)容和數(shù)據(jù)查看鏈接，所述數(shù)據(jù)查看鏈接被觸發(fā)時(shí)，鏈接到預(yù)設(shè)的度量分析界面。