[發明專利]數據質量監控的方法、裝置、電子設備以及存儲介質

有效

• 申請號: 202110277459.6
• 申請日: 2021-03-15
• 公開（公告）號: CN112650762B
• 公開（公告）日: 2021-07-02
• 發明（設計）人: 張彭景
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/215;G06F16/245
• 代理公司: 深圳市隆天聯鼎知識產權代理有限公司 44232
• 代理人: 葉虹

1.一種數據質量監控方法，其特征在于，包括：

獲取包含有業務數據所對應歷史數據的待處理數據表，所述待處理數據表包括第一數據表，所述第一數據表中含有第一字段，所述待處理數據表還包括第二數據表，所述第二數據表中含有第二字段，所述第二字段與所述第一字段相同；

根據所述第一字段對應的數據類型獲取規則模板集合，所述規則模板集合中含有至少一個待匹配數據規則，每個待匹配數據規則包括檢測條件和檢測規則；

若所述第一數據表中存在符合目標檢測條件的第一目標數據行，并且所述第一目標數據行中對應于所述第一字段的數據符合目標檢測規則，則將所述目標檢測條件和所述目標檢測規則所隸屬的待匹配數據規則確定為目標數據規則；

若連接數據表中存在符合所述目標檢測條件的第二目標數據行，獲取所述第二目標數據行中對應于所述第一字段的第一目標數據和對應于所述第二字段的第二目標數據，其中，所述連接數據表為所述第一數據表和所述第二數據表進行表連接得到的數據表；

若所述第一目標數據和所述第二目標數據均符合所述目標檢測規則中規定的預設數學關系，則將所述待匹配數據規則確定為目標數據規則；

根據所述目標數據規則，對所述業務數據進行數據質量監控；

其中，所述第二目標數據行包括多個數據行；所述若所述第一目標數據和所述第二目標數據均符合所述目標檢測規則中規定的預設數學關系，則將所述待匹配數據規則確定為目標數據規則，包括：

對于所述第二目標數據行中的每個數據行，獲取對應于所述第一字段的數據和對應于所述第二字段的數據；

若對應于所述第一字段的數據和對應于所述第二字段的數據使得預設數學關系成立，則確定該數據行符合待匹配數據規則；

若所述第二目標數據行中的多個數據行均符合所述待匹配數據規則，則將所述待匹配數據規則確定為目標數據規則。

2.根據權利要求1所述的方法，其特征在于，在所述獲取包含有業務數據所對應歷史數據的待處理數據表之后，所述方法還包括：

對所述第一數據表和所述第二數據表進行表連接，得到連接數據表；

若所述連接數據表中存在符合所述目標檢測條件的第二目標數據行，并且所述第二目標數據行中對應于所述第一字段的數據以及對應于所述第二字段的數據均符合所述目標檢測規則，則將所述目標檢測條件和所述目標檢測規則所隸屬的待匹配數據規則確定為目標數據規則。

3.根據權利要求1或2所述的方法，其特征在于，所述待處理數據表是針對歷史數據表集合進行分片處理得到的數據分片；所述方法還包括：

獲取符合所述目標檢測條件和所述目標檢測規則所隸屬待匹配數據規則的數據分片數量，并獲取所述數據分片數量與所述歷史數據表集合中全部數據分片的數量之間的比值；

若所述比值大于預設規則輸出閾值，則將所述目標檢測條件和所述目標檢測規則所隸屬的待匹配數據規則確定為目標數據規則。

4.根據權利要求1所述的方法，其特征在于，所述方法還包括：

根據符合所述目標檢測條件和所述目標檢測規則所隸屬的所述待匹配數據規則的所述第一目標數據行的數據更新時間，確定所述待匹配數據規則所對應的時間分布規律；

若所述時間分布規律符合預設的時間分布規律，則確定所述待匹配數據規則是目標數據規則。

5.根據權利要求1所述的方法，其特征在于，所述方法還包括：

針對所述第一目標數據行中對應于所述第一字段的全量數據，確定目標數據與所述全量數據的目標數據比值，其中所述目標數據為所述全量數據中符合所述目標檢測條件和所述目標檢測規則所隸屬的所述待匹配數據規則的數據；

根據所述目標數據比值和預設比值，將所述待匹配數據規則確定為目標數據規則。