[發明專利]一種模型監控方法、裝置和電子設備

在審

• 申請號: 202011154013.6
• 申請日: 2020-10-26
• 公開（公告）號: CN112015711A
• 公開（公告）日: 2020-12-01
• 發明（設計）人: 李達;丁楠;蘇綏綏
• 申請（專利權）人: 北京淇瑀信息科技有限公司
• 主分類號: G06F16/182
• 分類號: G06F16/182;G06F16/16;G06F17/18;G06Q10/06
• 代理公司: 北京清誠知識產權代理有限公司 11691
• 代理人: 喬東峰

本發明公開了一種模型監控方法、裝置、電子設備及計算機可讀介質，其中方法包括：獲取單個模型每天的指標數據；將單個模型每天的指標數據存儲到分布式文件系統的對應位置，并控制分布式文件系統對任意數量模型在預設的時間段內的指標數據自動匯總得到匯總后的指標數據；從分布式文件系統中調用匯總后的指標數據，并根據匯總后的指標數據對相應的模型進行監控。本發明能夠通過控制分布式文件系統對指標數據進行匯總，可以對任意時間段對任意數量模型的指標數據進行匯總，并將匯總后的數據展示給管理員查看，根據指標數據可以直觀的判斷每個模型是否需要更新，提高了模型監測效率，提升了模型在實際應用時的準確性和可靠性，同時降低成本。

技術領域

本發明涉及計算機信息處理領域，具體而言，涉及一種模型監控方法、裝置、電子設備及計算機可讀介質。

背景技術

模型是指通過主觀意識借助實體或者虛擬表現構成客觀闡述形態結構的一種表達目的的物件(物件并不等于物體，不局限于實體與虛擬、不限于平面與立體)。對研究的實體進行必要的簡化，并用適當的變現形式或規則把它的主要特征描述出來。所得到的系統模仿品稱之為模型。

而線上模型主要包括了機器學習模型以及統計模型，業內對線上模型運行狀態的評估主要是通過周期性的觀察模型評分與變量分布，計算PSI (populationstabilityindex)指標，當PSI大于某一閾值時，認為不穩定，或者周期性的利用新樣本計算模型以及變量的KS(Kolmogorov-Smirnov，模型風險區分能力評分)，當KS低于某一閾值時，認為失效。但是上述方法需要每天對每個模型單獨監控，隨著時間和模型數量增加，模型產生的數據成倍增長，會導致維護成本和監控工作量增加，消耗大量人力物力，不利于長期發展。

發明內容

為了解決如何快速準確的監控任意時間段內任意數量模型的狀態的技術問題，本發明提供了一種模型監控方法、裝置和電子設備。

本發明的一方面提供一種模型監控方法，包括：

獲取單個模型每天的指標數據；

將所述單個模型每天的指標數據存儲到分布式文件系統的對應位置，并控制所述分布式文件系統對任意數量模型在預設的時間段內的指標數據自動匯總得到匯總后的指標數據；

從所述分布式文件系統中調用所述匯總后的指標數據，并根據所述匯總后的指標數據對相應的模型進行監控。

根據本發明的優選實施方式，所述獲取單個模型每天的指標數據，進一步包括：

獲取單個模型每天的PSI指標、KS指標及AUC指標。

根據本發明的優選實施方式，所述獲取單個模型每天的PSI指標、KS指標及AUC指標，進一步包括：

對單個模型中的樣本進行等頻分箱；

獲取所述模型的樣本指標，所述樣本指標包括：該模型的分箱值、每個箱的總樣本量、每個箱的好樣本量及每個箱的壞樣本量；

根據所述樣本指標計算每個箱中樣本的PSI值、KS值及AUC值；

根據每個箱中樣本的PSI值、KS值及AUC值計算該模型的指標數據。

根據本發明的優選實施方式，所述根據每個箱中樣本的PSI值、KS值及AUC值計算該模型的指標數據，進一步包括：

對每個箱中樣本的PSI值求和得到該模型的PSI指標數據；

分別計算每個箱的好樣本與壞樣本的累計分布的差值作為每個箱的KS值，取其中最大的KS值作為該模型的KS指標數據。

根據本發明的優選實施方式，所述將所述單個模型每天的指標數據存儲到分布式文件系統的對應位置，并控制所述分布式文件系統對任意數量模型在預設的時間段內的指標數據自動匯總得到匯總后的指標數據，進一步包括：