[發明專利]一種監控數據質量的方法和裝置

在審

• 申請號: 201711114545.5
• 申請日: 2017-11-13
• 公開（公告）號: CN110019158A
• 公開（公告）日: 2019-07-16
• 發明（設計）人: 李立威;羅翔;游正朋
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/23;G06F11/32
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 張一軍;陸錦華

本發明公開了一種監控數據質量的方法和裝置，涉及計算機技術領域。該方法的一具體實施方式包括：以數據計算任務的源數據和/或輸出數據作為待校驗數據；從預設的數據校驗規則集中獲取所述待校驗數據的校驗規則；基于所述校驗規則對待校驗數據執行數據校驗任務；其中，數據校驗任務與數據計算任務異步進行。本發明實施例能夠保證數據質量，大大降低數據計算任務出錯的可能性；減少數據計算和校驗的工作量和復雜性；便于修改數據校驗規則，支持個性化定制數據校驗策略。

技術領域

本發明涉及計算機技術領域，尤其涉及一種監控數據質量的方法和裝置。

背景技術

不同數據集市之間需要共享數據，不同的數據計算任務(包括數據模型計算、數據分析計算等)通過對舊數據加工產生新數據。數據庫節點丟失(不可用)、節點崩潰、上游數據錯誤等等，都可能造成數據錯誤。如果不能提前感知數據發生了錯誤，繼續讓錯誤數據流向下游，將會對下游相關業務造成影響，對部分關鍵業務甚至可能會造成致命的影響。如果等數據造成了影響后，才發現數據有錯誤，就可能會造成巨大的損失，補救錯誤數據也會更加困難。

為了避免上述情況的發生，現有技術中在執行數據計算任務的工作時對數據進行校驗，即數據計算任務包含對數據的校驗。那么在開發數據計算任務時，工作量會很大，另外，直接修改任務源代碼，容易對任務的主要邏輯造成破壞，增加任務出錯的風險

在實現本發明過程中，發明人發現現有技術中至少存在如下問題：

1)由于數據計算任務中包含對數據的校驗，因此任務源代碼復雜，數據開發量大；

2)不方便修改數據校驗策略：校驗數據的程序寫好后，修改數據的校驗策略非常不方便；由于需要直接修改數據計算任務的源代碼，因此還會增加源代碼出錯的風險；

3)數據錯誤信息反饋不及時：執行數據計算任務時才能對源數據進行校驗，無法在數據計算任務執行之前發現數據錯誤；

4)存在重復校驗：每次進行數據計算任務時，都需要對數據進行校驗，浪費數據庫資源和時間。

發明內容

有鑒于此，本發明實施例提供一種監控數據質量的方法和裝置，能夠保證數據質量，大大降低數據計算任務出錯的可能性；減少數據計算和校驗的工作量和復雜性；便于修改數據校驗規則，支持個性化定制數據校驗策略。

為實現上述目的，根據本發明實施例的一個方面，提供了一種監控數據質量的方法，包括：

以數據計算任務的源數據和/或輸出數據作為待校驗數據；

對所述待校驗數據執行數據校驗任務；其中，

所述數據校驗任務與所述數據計算任務異步進行。

可選地，從預設的數據校驗規則集中獲取所述待校驗數據的校驗規則；基于所述校驗規則對所述待校驗數據執行數據校驗任務。

可選地，通過用戶自定義函數UDF，從數據校驗規則集中獲取待校驗數據的校驗規則。

可選地，從預設的數據校驗規則集中獲取所述待校驗數據的校驗規則之后還包括：將所述待校驗數據的校驗規則緩存至全局變量中。

可選地，從數據校驗規則集中獲取待校驗數據的校驗規則之前還包括：確認所述全局變量中不存在所述待校驗數據的校驗規則；

若所述全局變量中存在所述待校驗數據的校驗規則，則從所述全局變量中調用所述待檢驗數據的校驗規則。

可選地，本發明實施例的方法還包括：對所述數據校驗規則集中的校驗規則進行如下至少一種操作：增加、刪除、修改。

可選地，對所述待校驗數據執行數據校驗任務之后還包括：

判斷所述待校驗數據是否校驗通過；