[發明專利]一種業務數據檢查方法和系統

有效

• 申請號: 201611101918.0
• 申請日: 2016-12-02
• 公開（公告）號: CN108156195B
• 公開（公告）日: 2021-08-20
• 發明（設計）人: 安西民;吳方才;張卓
• 申請（專利權）人: 中科星圖股份有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京安博達知識產權代理有限公司 11271
• 代理人: 徐國文

1.一種業務數據檢查方法，其特征在于，該方法包括如下步驟：

步驟1：業務機在需要進行數據檢查時，發出數據檢查請求給控制服務器；

數據檢查請求中包含待檢查數據的大小和簽名、業務機標識；

業務機標識可以是該業務機的IP地址或業務機設備的MAC地址；業務機 標識可以由控制服務器分配，每當一個新的業務機加入系統時，控制服務器為 該業務機分配一個唯一的標識；

步驟2：控制服務器在收到業務機發出的數據檢查請求后，選擇供業務機提交數據的數據提交存儲器；

如果分布式數據檢查 平臺的數據檢查能力允許，則選擇供提交的數據提交存儲器，并給業務機發送 同意檢查消息，同意檢查消息中攜帶供業務機進行待檢查數據提交的數據提交 存儲器標識；

控制服務器接收到數據檢查請求后，從中提取待檢查數據的大小和業務機 標識，基于該業務機標識從本地存儲器查找該業務機用戶設置的數據檢查規則， 基于待檢查數據的大小判斷分布式數據檢查平臺的存儲能力是否允許，基于數 據檢查規則和待檢查數據的大小判斷分布式數據檢查平臺的計算能力是否允 許；由于不同的檢查規則帶來的計算量是不同的，因此在考慮計算能力時需要 考慮檢查規則；

步驟3：業務機將待檢查業務數據提交到所選擇的數據提交存儲器；

業務機在接收到同意檢查消息后，從消息中提取數據提交存儲器標識， 基于該標識將待檢查數據發送給相應的數據提交存儲器，數據提交完成后，業務機發送提交完成消息給控制服務器；

多個業務機可以并行的作數據提交，數據提交過程和數據處理可以并行執行，大大提高了執行效率，同時，將數據提交和數據檢查區分開來，形成數據隔離區域，保證了數據的安全性；

步驟4：數據檢查節點從數據提交存儲器讀取所需要的待檢查數據，并進行檢查處理；

控制服務器接收提交完成消息，基于該待檢查數據創建數據檢查任務、 分配任務編號，并將該業務機的數據檢查任務根據待檢查數據量的大小分配到 數據檢查節點中進行檢查處理；

如果待檢查數據量大于數據檢查中心中任一個數據檢查節點的處理能力， 則將該數據檢查任務基于預設的拆分策略進行拆分，拆分后形成多個子任務、 分配子任務編號，并將該多個子任務分配到一個或者多個數據檢查節點中進行 處理；具體的：獲取所有數據檢查節點的可用存儲空間大小C1～Cmax，其中， max為數據檢查節點的總量；如果任務T的待檢查數據量大于數據檢查中心中 任一個數據檢查節點的可用存儲空間大小，則將待檢查數據拆分為第一部分和 第二部分，其中第一部分的大小等于C1～Cmax中的最大值×P(不足最大值× P時按實際值，將所有的數據均分到第一部分)，基于該第一部分待檢查數據生成子任務T1，并將該子任務T1分配到該最大值對應的數據檢查節點上，將 該數據檢查節點的可用存儲空間大小實時更新為0，如果拆分后的第二部分數 據量不為0，則繼續針對第二部分作拆分和任務分配，直到該第二部分數量為0 為止；拆分后得到一個或者多個子任務；

其中P是一個小于等于1的百分比值，由于經過檢查的數據其大小會發生 改變，需要提前考慮到這個數量的變化；P可以根據經驗值設置；

拆分策略還可以是，獲取所有數據檢查節點的可用存儲空間大小的均值， 將待檢查數據拆分為該均值大小；

將該業務機的數據檢查任務根據待檢查數據量的大小分配到數據檢查節點 中進行檢查處理，具體為：控制服務器查看各個數據檢查節點的可用存儲空間 大小，選擇可用存儲空間大小和待檢查數據大小最接近的前M個數據檢查節點 作為待選數據檢查節點，從該M個數據檢查節點中選擇計算能力最強的數據檢 查節點作為所選擇的數據檢查節點；其中M可以根據經驗選擇；

步驟5：數據檢查完成后，業務機基于待檢查數據簽名和業務機標識獲取檢查后的結果數據；

數據檢查節點從數據提交存儲器讀取所需要的待檢查數據，并進行檢 查處理；具體為：數據檢查節點從控制服務器獲取業務機指定的該任務的數據 檢查規則，從數據提交存儲器讀取所需要的待檢查數據，將待檢查數據存儲在 本地存儲空間中，并基于該檢查規則進行數據檢查。

2.根據權利要求1所述的業務數據檢查方法，其特征在于，業務機提交的數據為表單數據、交易數據、教育數據中的一種或者多種的組合。

3.根據權利要求1所述的業務數據檢查方法，其特征在于：在預設的時刻到達時或者預設周期到達時，業務機需要進行數據檢查。