[發明專利]一種異常數據的校驗方法和裝置

有效

• 申請號: 201710333240.7
• 申請日: 2017-05-12
• 公開（公告）號: CN108874825B
• 公開（公告）日: 2021-11-02
• 發明（設計）人: 陳飛
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;陸錦華

本發明公開了一種異常數據的校驗方法和裝置，涉及計算機技術領域。該方法包括：獲取預設數據的已存文件的信息和所述預設數據的遠程源文件的信息；根據所述遠程源文件的信息驗證所述已存文件，并保存所述驗證得到的所述已存文件的異常數據的信息，其中，驗證已存文件包括：驗證已存文件的數量、每個文件大小，以及驗證所述已存文件是否包括空文件；讀取保存的異常數據的信息，并根據所述異常數據的信息從所述遠程源文件獲取所述異常數據的校正數據；將所述已存文件中的所述異常數據更新為所述校正數據。能夠完善數據校驗邏輯，滿足多種數據異常場景，出現大量數據異常時能夠快速修復下載，減緩延遲，且避免和HBase客戶端耦合。

技術領域

本發明涉及計算機技術領域，尤其涉及一種異常數據的校驗方法和裝置、電子設備、計算機可讀介質。

背景技術

隨著大數據技術的興起，大多數業務都需要從不同的數據源采集數據(網站爬蟲，其他業務系統，關系數據等)。在數據采集的過程中難免會出現各種問題，如數據丟失、數據重復等問題，因此需要有一個完善的數據質量校驗解決方案。

現有的數據質量校驗解決方案利用Python(一種面向對象的解釋型計算機程序設計語言)調用shell(計算機殼)命令進行數據驗證和補采操作，其中，在數據驗證階段只驗證下載后的文件的大小，且使用shell命令方式訪問保存數據驗證所得異常數據的數據庫(HBase)，此外，在數據補采階段采用Python單線程的方式進行數據補采。

在實現本發明過程中，發明人發現現有技術中至少存在如下問題：

1、數據校驗邏輯簡單，只驗證下載后的文件的大小，且驗證文件大小的方式不合理；

2、Python單線程方式進行數據修復，不能滿足數據量比較大的情況；

3、使用shell命令操作HBase與HBase客戶端進行耦合，需要先使用HBase shell進入HBase客戶端模式，才能進行相關操作。

發明內容

有鑒于此，本發明實施例提供一種異常數據的校驗方法和裝置、電子設備、計算機可讀介質，能夠完善數據校驗邏輯，滿足多種數據異常場景，出現大量數據異常時能夠快速修復下載，減緩延遲，且避免和HBase客戶端耦合。

為實現上述目的，根據本發明實施例的一個方面，提供了一種異常數據的校驗方法。

一種異常數據的校驗方法，包括：獲取預設數據的已存文件的信息和所述預設數據的遠程源文件的信息；根據所述遠程源文件的信息驗證所述已存文件，并保存所述驗證得到的所述已存文件的異常數據的信息，其中，驗證所述已存文件，包括：驗證所述已存文件的數量、每個文件大小，以及驗證所述已存文件是否包括空文件；讀取保存的所述異常數據的信息，并根據所述異常數據的信息從所述遠程源文件獲取所述異常數據的校正數據；將所述已存文件中的所述異常數據更新為所述校正數據。

可選地，已存文件的信息包括所述已存文件的大小信息和數量信息，所述遠程源文件的信息包括所述遠程源文件的IP地址信息以及所述遠程源文件的大小信息，并且，驗證所述已存文件的數量，包括：比對所述已存文件的數量和所述遠程源文件的IP地址數是否一致，如果一致，則驗證通過，否則驗證不通過；驗證所述已存文件的每個文件大小，包括：判斷遠程源文件的大小與已存文件的大小的比值是否在預設的區間范圍內，若是，則驗證通過，否則驗證不通過；驗證所述已存文件是否包括空文件，包括：將所述已存文件中每個文件大小與預設值進行比對，若比對一致，則所述已存文件包括空文件，否則所述已存文件不包括空文件。

可選地，所述異常數據的信息保存在HBase數據庫中，且通過curl(利用URL語法在命令行方式下工作的開源文件傳輸工具)命令訪問所述HBase數據庫以讀取所述異常數據的信息。

可選地，通過多并發線程獲取所述異常數據的校正數據。