[發明專利]一種異常數據的校驗方法和裝置

有效

• 申請號: 201710333240.7
• 申請日: 2017-05-12
• 公開（公告）號: CN108874825B
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 陳飛
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;陸錦華

1.一種異常數據的校驗方法，其特征在于，包括：

獲取預設數據的已存文件的信息和所述預設數據的遠程源文件的信息；所述已存文件的信息包括所述已存文件的大小信息和數量信息，所述遠程源文件的信息包括所述遠程源文件的IP地址信息以及所述遠程源文件的大小信息；

根據所述遠程源文件的信息驗證所述已存文件，并保存所述驗證得到的所述已存文件的異常數據的信息，其中，驗證所述已存文件，包括：驗證所述已存文件的數量、每個文件大小，以及驗證所述已存文件是否包括空文件；驗證所述已存文件的數量，包括：比對所述已存文件的數量和所述遠程源文件的IP地址數是否一致，如果一致，則驗證通過，否則驗證不通過，其中每個IP地址在一定時間內產生文件的個數與配置的文件下載粒度相關；驗證所述已存文件的每個文件大小，包括：判斷遠程源文件的大小與已存文件的大小的比值是否在預設的區間范圍內，若是，則驗證通過，否則驗證不通過；驗證所述已存文件是否包括空文件，包括：將所述已存文件中每個文件大小與預設值進行比對，若比對一致，則所述已存文件包括空文件，否則所述已存文件不包括空文件；

通過配置定時任務定時讀取保存的所述異常數據的信息，并根據所述異常數據的信息從所述遠程源文件獲取所述異常數據的校正數據；

將所述已存文件中的所述異常數據更新為所述校正數據，并在下一個定時任務啟動時再次校驗所述校正數據。

2.根據權利要求1所述的方法，其特征在于，所述異常數據的信息保存在HBase數據庫中，且通過curl命令訪問所述HBase數據庫以讀取所述異常數據的信息。

3.根據權利要求1所述的方法，其特征在于，通過多并發線程獲取所述異常數據的校正數據。

4.根據權利要求1所述的方法，其特征在于，保存所述驗證得到的所述已存文件的異常數據的信息之后，還包括：根據所述異常數據的信息生成監控報警消息。

5.根據權利要求1所述的方法，其特征在于，將所述已存文件中的所述異常數據更新為所述校正數據之前，還包括：壓縮處理所述校正數據。

6.一種異常數據的校驗裝置，其特征在于，包括：

獲取模塊，用于獲取預設數據的已存文件的信息和所述預設數據的遠程源文件的信息；所述已存文件的信息包括所述已存文件的大小信息和數量信息，所述遠程源文件的信息包括所述遠程源文件的IP地址信息以及所述遠程源文件的大小信息；

驗證模塊，用于根據所述遠程源文件的信息驗證所述已存文件，并保存所述驗證得到的所述已存文件的異常數據的信息，其中，驗證所述已存文件，包括：驗證所述已存文件的數量、每個文件大小，以及驗證所述已存文件是否包括空文件；驗證所述已存文件的數量，包括：比對所述已存文件的數量和所述遠程源文件的IP地址數是否一致，如果一致，則驗證通過，否則驗證不通過，其中每個IP地址在一定時間內產生文件的個數與配置的文件下載粒度相關；驗證所述已存文件的每個文件大小，包括：判斷遠程源文件的大小與已存文件的大小的比值是否在預設的區間范圍內，若是，則驗證通過，否則驗證不通過；驗證所述已存文件是否包括空文件，包括：將所述已存文件中每個文件大小與預設值進行比對，若比對一致，則所述已存文件包括空文件，否則所述已存文件不包括空文件；

下載模塊，用于通過配置定時任務定時讀取保存的所述異常數據的信息，并根據所述異常數據的信息從所述遠程源文件獲取所述異常數據的校正數據；

校正模塊，用于將所述已存文件中的所述異常數據更新為所述校正數據，并在下一個定時任務啟動時再次校驗所述校正數據。

7.根據權利要求6所述的裝置，其特征在于，所述驗證模塊還用于：將所述異常數據的信息保存在HBase數據庫中，

且所述下載模塊還用于：通過curl命令訪問所述HBase數據庫以讀取所述異常數據的信息。

8.根據權利要求6所述的裝置，其特征在于，所述下載模塊還用于：

通過多并發線程獲取所述異常數據的校正數據。