[發明專利]基于Lasso算法的異常數據檢測方法及裝置

在審

• 申請號: 202010859396.0
• 申請日: 2020-08-24
• 公開（公告）號: CN111737249A
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 胡若云;張宏達;李國良;柴成亮;林森;姚力;許靈杰;徐永進;林少娃;呂幾凡;王慶娟
• 申請（專利權）人: 國網浙江省電力有限公司;國網浙江省電力有限公司營銷服務中心
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F17/18;G06Q10/04;G06Q50/06
• 代理公司: 杭州華鼎知識產權代理事務所(普通合伙) 33217
• 代理人: 魏亮

本申請屬于大數據技術領域，具體涉及一種基于Lasso算法的異常數據檢測方法和裝置。其中的方法包括：從電力大數據采集和應用系統中獲取待檢測數據集和訓練樣本集，基于Lasso算法對訓練樣本集進行學習，訓練優化得到用電數據預測模型；以待檢測數據集中每個實際用電數據的生成日期作為輸入，通過所述用電數據預測模型獲取各實際用電數據對應的預測用電數據；基于預測用電數據進行異常檢測。本申請中的方法基于Lasso算法建立的用電數據預測模型，模型精度高，檢測速度快，可以在電力數據采集過程中對數據進行實時檢測。

技術領域

本申請屬于大數據技術領域，具體涉及一種基于Lasso算法的異常數據檢測方法和裝置。

背景技術

隨著時間的累積，電網公司在生產經營中集聚了海量多維的電力數據，由于電力數據與居民生活、企業生產的汲汲相關，通過各類電力數據價值的融合挖掘技術，打造基于人工智能的電力大數據應用普適化平臺，可及時、精準、多視角的反應民生和經濟發展情況。如企業復工復產數據監測、企業信用評估、“電力消費指數”監控、轉供電企業識別等。

日負荷、日電量、日運行容量、日報裝容量等時序類數據是電力數據重要組成部分，其具有粒度細、數據量大等特征。由于數據在存儲過程中容易受采集設備故障、業務突變等影響，因此由數據采集異常、數據存儲異常、業務突變導致產生大量的不同類型的異常數據。異常數據存在將影響數據分析的結果，因此異常數據的挖掘是開展數據分析的必不可少的工作。

常見的異常數據挖掘方法包括基于統計模型、基于距離模型、基于密度模型、基于偏離模型等方法，其中利用統計學方法處理異常數據挖掘有一套獨立完整的理論及方法，但是模型運用時需要事先知道模型參數，分布參數，及逾期異常點數據，模型應用的靈活性有較大局限。

發明內容

鑒于現有技術的上述缺點、不足，本申請提供一種基于Lasso算法的異常數據檢測方法和裝置。

為達到上述目的，本申請采用如下技術方案：

第一方面，本申請實施例提供一種基于Lasso算法的異常數據檢測方法，該方法包括：

從電力大數據采集和應用系統中獲取待檢測數據集和訓練樣本集，所述待檢測數據集是由不同日期產生的實際用電數據組成的時序數據序列，所述訓練樣本集是待檢測數據集之前產生的歷史用電數據組成的時序數據序列；

以訓練樣本的數據生成日期為變量，以數據生成日期的日歷特征和當前訓練樣本之前的歷史用電數據數值特征為變量特征，基于Lasso算法對模型進行訓練優化，得到用電數據預測模型；

以所述待檢測數據集中每個實際用電數據的生成日期作為輸入，通過所述用電數據預測模型獲取各實際用電數據對應的預測用電數據；

對所述待檢測數據集中的每個實際用電數據，基于相應的預測用電數據進行異常檢測。

可選地，所述日歷特征包括：月份、星期、季度、是否月初第一天、是否月末最后一天、是否季度第一天、是否季度最后一天、是否周末、假期類型。

可選地，所述歷史用電數據數值特征包括：當前日期往前平移5天的數值、當前日期往前平移6個天的數值、當前日期往前平移7天的數值、當前日期往前平移8天的數值、去年同期月日均數值、上個月日均數值、當前日期所對應假期類型的平均數值。

可選地，對訓練樣本集進行學習訓練前，對所述訓練樣本集進行數據清洗，包括：

利用S-H-ESD 算法識別所述訓練樣本集中的異常數據；

通過均值插補法對識別的異常數據進行數據修復。

可選地，利用S-H-ESD 算法識別所述訓練樣本集中的異常數據，包括：