[發明專利]一種數據有效性檢驗系統

有效

• 申請號: 201611096858.8
• 申請日: 2016-12-02
• 公開（公告）號: CN108156188B
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 安西民;林殷;張卓
• 申請（專利權）人: 中科星圖股份有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京安博達知識產權代理有限公司 11271
• 代理人: 徐國文

1.一種數據有效性檢驗系統，其特征在于，該系統包括一個或多個客戶端，一個或多個上傳服務器，分布式數據有效性檢驗平臺，管理服務器，一個或者多個下載服務器；

分布式數據有效性檢驗平臺中包含多個數據有效性檢驗節點，每個數據有效性檢驗節點的處理能力是相同或者是不同的；

管理服務器對分布式數據有效性檢驗平臺中的檢驗資源進行任務管理，對上傳服務器和下載服務器進行管理，對客戶端提供服務；

管理服務器還包括客戶端訪問模塊，用于提供客戶端訪問GUI，對客戶端提供服務器；客戶端可以通過訪問管理服務器來設置數據有效性檢驗規則，查看數據有效性檢驗進度；同一個客戶端可以隨時提交數據有效性檢驗請求，無需等待上一個數據有效性檢驗完成；客戶端設置的數據有效性檢驗規則被客戶端訪問模塊保存在本地存儲器中；

用戶通過客戶端提交待檢驗數據，并在管理服務器的指示下將待檢驗數據提交到指定上傳服務器；

上傳服務器用于存放待檢驗數據，每個上傳服務器均面向所有客戶端提供數據上傳服務，但是管理服務器在進行上傳服務器分配時會考慮每個上傳服務器當前的存儲能力以及網絡通信開銷；

下載服務器用于存放經過有效性檢驗處理的結果數據，每個下載服務器面向所有的客戶端提供結果數據，客戶端可以直接通過訪問下載服務器的方式獲取自己提交的待檢驗數據對應的結果數據；下載服務器和客戶端之間通過客戶端標識和待檢驗數據簽名來進行鑒權，只有兩者均匹配時，下載服務器才會將相應的數據提供給客戶端；

管理服務器在分配結果數據時會考慮到下載服務器當前的存儲能力；

客戶端訪問模塊對客戶端提供的服務包括通過下拉菜單的方式選擇數據有效性檢驗規則；

向用戶提供可選擇的規則，提供規則的組合方式，在最終形成的規則的旁邊提示用戶該規則對應的計算開銷、收費情況；

計算開銷通過級別分類的方式呈現，而不呈現具體的數值。

2.根據權利要求1所述的數據有效性檢驗系統，其特征在于，數據有效性檢驗節點的處理能力包括計算能力、網絡帶寬能力、存儲能力。

3.根據權利要求1所述的數據有效性檢驗系統，其特征在于，數據有效性檢驗節點是分布式的計算節點。

4.根據權利要求1所述的數據有效性檢驗系統，其特征在于，數據有效性檢驗節點是云計算服務節點。

5.根據權利要求1所述的數據有效性檢驗系統，其特征在于，數據有效性檢驗節點之間并行的作數據有效性檢驗。

6.根據權利要求1所述的數據有效性檢驗系統，其特征在于，客戶端可以通過有線或者無線的方式和管理服務器連接。

7.一種基于權利要求1所述的一種數據有效性檢驗系統的數據有效性檢測方法，其特征在于，所述方法包括以下步驟：

(1)客戶端在需要進行數據有效性檢驗時，發出數據有效性檢驗請求給管理服務器，數據有效性檢驗請求包括：待檢驗數據的大小和簽名、客戶端標識；

所述客戶端標識是該客戶端的IP地址或客戶端設備的MAC地址；或管理服務器分配的新的客戶端加入系統時，管理服務器為該客戶端分配一個唯一的標識；

(2)管理服務器在收到客戶端發出的數據有效性檢驗請求后，如果分布式數據有效性檢驗平臺的數據有效性檢驗能力允許，則選擇供提交的上傳服務器，并給客戶端發送同意檢驗消息，該同意檢驗消息攜帶有供客戶端進行待檢驗數據提交的上傳服務器標識；

管理服務器接收到數據有效性檢驗請求后，從中提取待檢驗數據的大小和客戶端標識，并基于該客戶端標識從本地存儲器查找該客戶端用戶設置的數據有效性檢驗規則，基于待檢驗數據的大小判斷分布式數據有效性檢驗平臺的存儲能力是否允許，和基于數據有效性檢驗規則和待檢驗數據的大小判斷分布式數據有效性檢驗平臺的計算能力是否允許；

選擇進行提交的上傳服務器，具體為：查看各個上傳服務器的剩余空間大小，選擇剩余空間大小和待檢驗數據大小最接近的前N個上傳服務器作為待選上傳服務器，從該N個上傳服務器中選擇和客戶端之間通信開銷最小的上傳服務器作為所選擇的上傳服務器；根據經驗選擇所述N的具體數目；

(3)客戶端在接收到同意檢驗消息后，從消息中提取上傳服務器標識，基于該標識將待檢驗數據發送給相應的上傳服務器，數據提交完成后，客戶端發送上傳完成消息給管理服務器；

多個客戶端可以并行的作數據上傳，數據上傳過程和數據處理可以并行執行，將數據上傳和數據有效性檢驗區分開，形成數據隔離區域；

(4)管理服務器接收上傳完成消息，基于該待檢驗數據創建數據有效性檢驗任務、分配任務編號，并將該客戶端的數據有效性檢驗任務根據待檢驗數據量的大小分配到數據有效性檢驗節點進行檢驗處理；

如果待檢驗數據量大于分布式數據有效性檢驗平臺中任一個數據有效性檢驗節點的處理能力，則將該數據有效性檢驗任務基于預設的拆分策略進行拆分，拆分后形成多個子任務、分配子任務編號，并將該多個子任務分配到一個或者多個數據有效性檢驗節點中進行處理；

包括：獲取所有數據有效性檢驗節點的可用存儲空間大小C1～Cmax，其中，max為數據有效性檢驗節點的總量；如果任務T的待檢驗數據量大于分布式數據有效性檢驗平臺中任一個數據有效性檢驗節點的可用存儲空間大小，則將待檢驗數據拆分為第一部分和第二部分，其中第一部分的大小等于C1～Cmax中的最大值×P(不足最大值×P時按實際值，將所有的數據均分到第一部分)，基于該第一部分待檢驗數據生成子任務T1，并將該子任務T1分配到該最大值對應的數據有效性檢驗節點上，將該數據有效性檢驗節點的可用存儲空間大小實時更新為0，如果拆分后的第二部分數據量不為0，則繼續針對第二部分作拆分和任務分配，直到該第二部分數量為0為止；拆分后得到一個或者多個子任務；其中P是一個小于等于1的百分比值；根據經驗值設置P；

拆分策略為，獲取所有數據有效性檢驗節點的可用存儲空間大小的均值，將待檢驗數據拆分為該均值大??；

將該客戶端的數據有效性檢驗任務根據待檢驗數據量的大小分配到數據有效性檢驗節點中進行檢驗處理，具體為：管理服務器查看各個數據有效性檢驗節點的可用存儲空間大小，選擇可用存儲空間大小和待檢驗數據大小最接近的前M個數據有效性檢驗節點作為待選數據有效性檢驗節點，從該M個數據有效性檢驗節點中選擇計算能力最強的數據有效性檢驗節點作為所選擇的數據有效性檢驗節點；其中M可以根據經驗選擇；

(5)數據有效性檢驗節點從上傳服務器讀取所需要的待檢驗數據，并進行檢驗處理；具體為：數據有效性檢驗節點從管理服務器獲取客戶端指定的該任務的數據有效性檢驗規則，從上傳服務器讀取所需要的待檢驗數據，將待檢驗數據存儲在本地存儲空間中，并基于該檢驗規則進行數據有效性檢驗；

(6)數據有效性檢驗節點在完成檢驗任務/子任務的處理后，向一個或者多個下載服務器發送數據存放請求；

數據有效性檢驗節點在檢驗完成后，基于下載服務器選擇策略選擇一個或者多個下載服務器發送數據存放請求；選擇策略可以是：選擇最常使用的一個/一組下載服務器、或選擇所有的下載服務器通過廣播的方式發送請求、或選擇通信開銷最小的一個/一組下載服務器發送存放請求；

(7)下載服務器在接收到數據存放請求后，根據自身的存儲能力，決定是否發送準予存放消息，如果存放能力允許，則向該數據有效性檢驗節點發送準予存放請求，如果不允許，則不予響應；其中，準予存放請求中攜帶該下載服務器的標識；

(8)數據有效性檢驗節點在接收到準予存放消息后，向該下載服務器發送應答消息；如果收到多個準予存放消息，則從中選擇一個下載服務器；

選擇一個下載服務器，具體為：選擇通信開銷最小的下載服務器、或選擇響應最快的下載服務器；

(9)下載服務器在接收到應答消息后，向數據有效性檢驗節點發送應答完成消息；數據有效性檢驗節點在接收到應答完成消息后，將處理完成后的結果數據和對應的任務/子任務編號發送到該下載服務器；在存儲完成后，數據有效性檢驗節點發送任務完成消息給管理服務器，消息中包含任務編號和下載服務器標識；

(10)下載服務器在接收到結果數據后，將該結果數據和其對應的任務/子任務編號關聯存儲；

同一下載服務器中可能存放不同任務及其結果數據，下載服務器對這些結果數據進行管理；

(11)管理服務器在接收到任務完成消息后，判斷該任務是否經過拆分，如果未經過拆分，管理服務器發送關聯消息給下載服務器，消息中攜帶該任務針對的待處理數據簽名及客戶端標識，跳轉執行步驟(14)；如果經過拆分，一任務對應的所有子任務都完成后，任務管理服務器選擇一下載服務器進行數據拼接，并發送數據轉移指令給每個對該一任務的子任務進行處理的下載服務器，數據轉移指令中攜帶該選擇的用于數據拼接的下載服務器標識，繼續步驟(12)；

判斷任務是否經過拆分，具體為：基于任務編號判斷該任務是否為子任務，如果不是，則沒有經過拆分，如果是，則經過拆分；或，通過在本地存儲器中保存的分配表來判斷；管理服務器在進行任務分配或任務拆分時需要實時更新改分配表；

選擇一下載服務器具體為：選擇可用存儲空間最大的下載服務器、從存放該一任務的所有子任務結果數據的下載服務器中選擇存放最多子任務結果數據的下載服務器作為轉移服務器、選擇專用下載服務器；

(12)下載服務器在接收到數據轉移指令后，將該子任務對應的結果數據及其子任務標識發送給該選擇的下載服務器，該選擇的下載服務器在接收到結果數據后，按照其子任務標識的順序進行結果數據拼接，并將任務編號和拼接完成后的結果數據關聯存儲；拼接完成后該選擇的下載服務器發送拼接完成消息給管理服務器；

(13)管理服務器接收到拼接完成消息后，發送關聯消息給下載服務器，消息中攜帶該任務針對的待處理數據簽名及客戶端標識；(14)下載服務器將該待處理數據簽名和客戶端標識、任務標識和對應的結果數據關聯存儲，并發送關聯完成消息給管理服務器；

下載服務器對結果數據進行管理，下載服務器中存放來自不同數據有效性檢驗節點的結果數據，基于待處理數據簽名和客戶端標識、任務標識對這些不同的結果數據存放于不同的存儲空間；(15)管理服務器發送任務完成消息給客戶端，消息中攜帶下載服務器的標識；

(16)客戶端在接收到任務完成消息后，根據下載服務器的標識，向下載服務器發送數據獲取請求，請求中攜帶待檢驗數據簽名和客戶端標識；

用戶在獲取到下載服務器標識后，并不能獲取到該下載服務器上的所有數據，只能基于簽名獲取該客戶端提交的待檢驗數據對應的結果數據；該數據簽名是客戶端在提交待檢驗數據的同時提交的，在整個數據處理過程中，只有管理服務器和該客戶端可知，客戶端需要同時基于該簽名和客戶端標識才能獲取到所需要的數據，相當于一個雙重的鑒權；

用戶在獲取到任務完成消息后，提取所需要的標識和簽名信息，可以在任何需要結果數據的時候再發送請求，下載服務器起到數據管理和保存的作用；

在數據有效期到達后，下載服務器刪除該結果數據；

(17)下載服務器基于請求提取結果數據發送給客戶端；

下載服務器獲取和待檢驗數據簽名和客戶端標識均匹配的結果數據發送給客戶端，在任一信息不匹配的時候，給客戶端發送鑒權失敗消息。