[發明專利]針對海量數據的異常數據檢測與處理方法

有效

• 申請號: 201710183311.X
• 申請日: 2017-03-24
• 公開（公告）號: CN107103039B
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 王進宏;丁勝財;許紅濤
• 申請（專利權）人: 北明軟件有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/2455;G06F16/2458;G06F16/23;G06F17/18;G06Q40/00
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 譚英強;鄭澤萍

1.針對海量數據的異常數據檢測與處理方法，其特征在于，包括步驟：

S1、將海量數據分多臺服務器進行分布式存儲；

S2、基于移動平均算法，識別海量數據中的明顯異常數據；

S3、基于多元多次線性回歸算法，進一步識別不符合業務量趨勢的異常數據；

所述步驟S2，包括：

S21、構建基于稅務周期的移動均值化模型，并根據各稅種的納稅申報周期，對海量數據進行周期性均值處理；

S22、掃描讀取海量數據的每項數據記錄，并對每項數據記錄進行異常檢測；

所述步驟S21中所述根據各稅種的納稅申報周期，對海量數據進行周期性均值處理的步驟，其具體為：

針對海量數據的每項數據記錄，根據該項數據中稅種的納稅申報周期，獲得稅種的申報截止日，再將數據記錄的記錄日期與稅種的申報截止日相減后，得到辦稅截止日期的稅期偏差，進而基于稅期偏差，對該記錄日期的前后兩個月中與稅種的申報截止日的稅期偏差一致的數據的業務量求平均值，作為稅種對應的業務量平均值；

所述步驟S3，包括步驟：

S31、構建移動多元多次線性回歸檢測模型，計算獲得每項數據記錄的每個稅種的業務量的趨勢均值；

S32、通過mapreduce方式，將建立的檢測模型下發到多臺服務器，對異常數據進行二次檢測，識別出不符合業務量趨勢的異常數據并進行糾正；

所述步驟S31中所述構建移動多元多次線性回歸檢測模型的步驟，其具體為：

根據以下方程式，構建移動多元多次線性回歸檢測模型：

E＝a1*(X-Z)^2+a2*(X-J)^2+b

其中，E表示趨勢值，X表示日期，Z代表每月的納稅申報截止日期，J代表下一個節假日，a1、a2和b均為方程式的參數。

2.根據權利要求1所述的針對海量數據的異常數據檢測與處理方法，其特征在于，所述步驟S22中所述掃描讀取海量數據的每項數據記錄的步驟，其具體為：

通過mapreduce方式，在多臺服務器上分別啟動多個進程，掃描分布式存儲的海量數據，讀取獲得每項數據記錄。

3.根據權利要求1所述的針對海量數據的異常數據檢測與處理方法，其特征在于，所述步驟S22中所述對每項數據記錄進行異常檢測的步驟，其具體為：

針對每項數據記錄，判斷各項稅種的業務量的值是否處于對應的均值范圍內，若是，則判斷數據無異常，反之，判斷存在數據異常，并將該稅種的業務量糾正到均值范圍內；

其中，所述均值范圍為P±A，其中P為該稅種對應的業務量平均值，A為預設的窗口閾值。

4.根據權利要求3所述的針對海量數據的異常數據檢測與處理方法，其特征在于，所述并將該稅種的業務量糾正到均值范圍內的步驟，其具體為：

針對業務量大于P+A的情況，將該業務量更新成P+A，反之，針對業務量小于P-A的情況，將該業務量更新成P-A。

5.根據權利要求1所述的針對海量數據的異常數據檢測與處理方法，其特征在于，所述步驟S31，具體包括步驟：

S311、根據以下方程式，構建移動多元多次線性回歸檢測模型：

E＝a1*(X-Z)^2+a2*(X-J)^2+b

其中，E表示趨勢值，X表示日期，Z代表每月的納稅申報截止日期，J代表下一個節假日，a1、a2和b均為方程式的參數；

S312、針對數據記錄的每個稅種，按照該稅種的納稅申報周期獲得稅種的申報截止日，再將數據記錄的記錄日期與稅種的申報截止日相減后，得到辦稅截止日期的稅期偏差；

S313、基于稅期偏差，將該記錄日期的前后兩個月中與稅種的申報截止日的稅期偏差一致的數據作為訓練集，對步驟S311中的方程式進行參數求解，獲得參數a1、a2和b的值后，通過步驟S311構建的檢測模型計算獲得各稅種的業務量的趨勢均值。