[發(fā)明專利]模型監(jiān)控方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請?zhí)枺?/td>: 201911172695.0
• 申請日: 2019-11-26
• 公開（公告）號(hào): CN110928859A
• 公開（公告）日: 2020-03-27
• 發(fā)明（設(shè)計(jì)）人: 陳傳棟;劉冰婉
• 申請（專利權(quán)）人: 太平金融科技服務(wù)（上海）有限公司
• 主分類號(hào): G06F16/21
• 分類號(hào): G06F16/21;G06F16/23
• 代理公司: 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 姜曉云

1.一種模型監(jiān)控方法，所述方法包括：

接收監(jiān)控終端發(fā)送的待監(jiān)控模型的模型標(biāo)識(shí)和模型監(jiān)控指標(biāo)，所述模型監(jiān)控指標(biāo)為反映所述待監(jiān)控模型的性能的指標(biāo)；

根據(jù)所述模型標(biāo)識(shí)判定所述待監(jiān)控模型的模型類型，并根據(jù)所述模型類型獲取驗(yàn)證樣本集，其中，所述驗(yàn)證樣本集包含驗(yàn)證樣本及所述驗(yàn)證樣本的樣本標(biāo)簽；

將所述驗(yàn)證樣本集按照預(yù)設(shè)周期輸入所述待監(jiān)控模型中，得到模型運(yùn)行結(jié)果；

比對所述模型運(yùn)行結(jié)果和所述樣本標(biāo)簽，得到與所述模型監(jiān)控指標(biāo)對應(yīng)的指標(biāo)監(jiān)控值；

根據(jù)所述指標(biāo)監(jiān)控值和預(yù)警閾值生成模型警示信息，并將所述模型警示信息發(fā)送給所述監(jiān)控終端。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述比對所述模型運(yùn)行結(jié)果和所述樣本標(biāo)簽，得到與所述模型監(jiān)控指標(biāo)對應(yīng)的指標(biāo)監(jiān)控值，包括：

比對所述模型運(yùn)行結(jié)果和所述樣本標(biāo)簽，得到所述待監(jiān)控模型的混淆矩陣，所述混淆矩陣用于比較所述模型運(yùn)行結(jié)果和所述樣本標(biāo)簽的真實(shí)信息；

根據(jù)所述混淆矩陣生成與所述模型監(jiān)控指標(biāo)對應(yīng)的指標(biāo)監(jiān)控值。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述比對所述模型運(yùn)行結(jié)果和所述樣本標(biāo)簽，得到與所述模型監(jiān)控指標(biāo)對應(yīng)的指標(biāo)監(jiān)控值，包括：

當(dāng)所述模型類型為評(píng)分模型時(shí)，統(tǒng)計(jì)所述模型運(yùn)行結(jié)果中與所述模型監(jiān)控指標(biāo)對應(yīng)的模型指標(biāo)參數(shù)，并統(tǒng)計(jì)所述樣本標(biāo)簽與所述模型監(jiān)控指標(biāo)對應(yīng)的樣本指標(biāo)參數(shù)；

根據(jù)所述模型指標(biāo)參數(shù)和所述樣本指標(biāo)參數(shù)計(jì)算與所述模型監(jiān)控指標(biāo)對應(yīng)的指標(biāo)監(jiān)控值。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述模型指標(biāo)參數(shù)和所述樣本指標(biāo)參數(shù)計(jì)算與所述模型監(jiān)控指標(biāo)對應(yīng)的指標(biāo)監(jiān)控值，包括：

采用正態(tài)分布檢驗(yàn)或者基尼系數(shù)，根據(jù)所述模型指標(biāo)參數(shù)和所述樣本指標(biāo)參數(shù)計(jì)算與所述模型監(jiān)控指標(biāo)對應(yīng)的指標(biāo)監(jiān)控值。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述指標(biāo)監(jiān)控值和預(yù)警閾值生成模型警示信息，包括：

獲取待監(jiān)控模型的準(zhǔn)確率和所述模型監(jiān)控指標(biāo)的預(yù)警閾值；

根據(jù)所述準(zhǔn)確率的精確度和所述預(yù)警閾值的精度調(diào)整所述預(yù)警閾值；

根據(jù)調(diào)整后的預(yù)警閾值和所述指標(biāo)監(jiān)控值進(jìn)行比對，生成模型警示信息。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述接收監(jiān)控終端發(fā)送的待監(jiān)控模型的模型標(biāo)識(shí)和模型監(jiān)控指標(biāo)，包括：

接收監(jiān)控終端發(fā)送的監(jiān)控用戶的用戶標(biāo)識(shí)；

根據(jù)所述用戶標(biāo)識(shí)獲取預(yù)設(shè)模型監(jiān)控指標(biāo)生成指標(biāo)選擇項(xiàng)，并獲取預(yù)設(shè)模型標(biāo)識(shí)生成類型選擇項(xiàng)；

將所述指標(biāo)選擇項(xiàng)和所述類型選擇項(xiàng)發(fā)送給所述監(jiān)控終端，并接收所述監(jiān)控終端反饋的指標(biāo)選中項(xiàng)和類型選中項(xiàng)；

根據(jù)所述指標(biāo)選中項(xiàng)和所述類型選中項(xiàng)獲取所述待監(jiān)控模型的模型標(biāo)識(shí)和模型監(jiān)控指標(biāo)。

7.一種模型監(jiān)控裝置，其特征在于，所述裝置包括：

監(jiān)控請求接收模塊，用于接收監(jiān)控終端發(fā)送的待監(jiān)控模型的模型標(biāo)識(shí)和模型監(jiān)控指標(biāo)，所述模型監(jiān)控指標(biāo)為反映所述待監(jiān)控模型的性能的指標(biāo)；

樣本集獲取模塊，用于根據(jù)所述模型標(biāo)識(shí)判定所述待監(jiān)控模型的模型類型，并根據(jù)所述模型類型獲取驗(yàn)證樣本集，其中，所述驗(yàn)證樣本集包含驗(yàn)證樣本及所述驗(yàn)證樣本的樣本標(biāo)簽；

模型運(yùn)行模塊，用于將所述驗(yàn)證樣本集按照預(yù)設(shè)周期輸入所述待監(jiān)控模型中，得到模型運(yùn)行結(jié)果；

監(jiān)控值比對生成模塊，用于比對所述模型運(yùn)行結(jié)果和所述樣本標(biāo)簽，得到與所述模型監(jiān)控指標(biāo)對應(yīng)的指標(biāo)監(jiān)控值；

警示模塊，用于根據(jù)所述指標(biāo)監(jiān)控值和預(yù)警閾值生成模型警示信息，并將所述模型警示信息發(fā)送給所述監(jiān)控終端。

8.根據(jù)權(quán)利要求7所述的裝置，其特征在于，所述監(jiān)控值比對生成模塊，包括：

比對單元，用于比對所述模型運(yùn)行結(jié)果和所述樣本標(biāo)簽，得到所述待監(jiān)控模型的混淆矩陣，所述混淆矩陣用于比較所述模型運(yùn)行結(jié)果和所述樣本標(biāo)簽的真實(shí)信息；

監(jiān)控值生成單元，用于根據(jù)所述混淆矩陣生成與所述模型監(jiān)控指標(biāo)對應(yīng)的指標(biāo)監(jiān)控值。