[發明專利]在統計模型中自動檢測和管理異常

在審

• 申請號: 201810067258.1
• 申請日: 2018-01-24
• 公開（公告）號: CN110019419A
• 公開（公告）日: 2019-07-16
• 發明（設計）人: A·穆拉里達蘭;馬一鳴;F·勞迪斯;甄毅
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458
• 代理公司: 永新專利商標代理有限公司 72002
• 代理人: 王英

1.一種方法，包括：

通過計算機系統跟蹤與統計模型的第一版本的性能相關的一個或多個度量的分布；以及

基于所述分布中的偏差，確定所述統計模型的所述第一版本的性能的變化；

響應于確定當前版本的所述性能的所述變化，從所述統計模型的額外版本集合中選擇所述統計模型的第二版本；以及

觸發到所述統計模型的所述第二版本的回滾。

2.根據權利要求1所述的方法，還包括：

在所述回滾被執行之后，跟蹤與所述統計模型的所述第二版本的所述性能相關的所述一個或多個度量的額外分布；以及

當所述額外分布指示先前的所述第一版本的所述性能的退化時，觸發到所述統計模型的第三版本的額外回滾。

3.根據權利要求2所述的方法，還包括：

輸出所述回滾、所述額外回滾以及所述統計模型的所述第一版本和所述第二版本的所述性能的警報。

4.根據權利要求1所述的方法，還包括：

基于所述第二版本的歷史性能，選擇所述統計模型的所述第二版本。

5.根據權利要求1所述的方法，還包括：

在所述分布中的所述偏差被檢測到之后，測試所述統計模型的先前版本集合的所述性能；以及

在所述先前版本集合中選擇所述統計模型的具有最佳性能的所述第二版本。

6.根據權利要求1所述的方法，其中跟蹤所述一個或多個度量的所述分布包括：

將所述一個或多個度量聚集成時間序列；以及

分析所述時間序列的一個或多個特性。

7.根據權利要求6所述的方法，其中所述時間序列包括以下中的至少一個：

平均值；

方差；

百分比；

計數；以及

總和。

8.根據權利要求6所述的方法，其中所述時間序列的所述一個或多個特性包括以下中的至少一個：

趨勢分量；

季節分量；

循環分量；以及

不規則分量。

9.根據權利要求1所述的方法，其中所述分布中的所述偏差包括以下中的至少一個：

平均偏移；

方差變化；

趨勢變化；以及

異常值。

10.根據權利要求1所述的方法，還包括：

在所述分布中的所述偏差被檢測到之后，觸發對所述統計模型的所述第一版本的重新訓練；以及

在所述重新訓練完成之后，重新部署所述統計模型的所述第一版本。

11.根據權利要求1所述的方法，其中所述一個或多個度量包括觀察/預期(O/E)比。

12.根據權利要求1所述的方法，其中所述一個或多個度量包括分數分布。

13.一種裝置，包括：

一個或多個處理器；以及

存儲指令的存儲器，所述指令在由所述一個或多個處理器執行時使所述裝置：

跟蹤與統計模型的第一版本的性能相關的一個或多個度量的分布；

基于所述分布中的偏差，確定所述統計模型的所述第一版本的性能的變化；

響應于確定當前版本的所述性能的所述變化，從所述統計模型的額外版本集合中選擇所述統計模型的第二版本；以及

觸發到所述統計模型的第二版本的回滾。