[發明專利]一種數據一致性檢測方法

有效

• 申請號: 202010042892.7
• 申請日: 2020-01-15
• 公開（公告）號: CN111259027B
• 公開（公告）日: 2023-01-17
• 發明（設計）人: 李培軍;許舒人;魏克剛;田申;羅劍剛;顏復海
• 申請（專利權）人: 中國科學院軟件研究所
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/215;G06F16/27
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 司立彬

1.一種數據一致性檢測方法，其步驟包括：

1)根據分布式數據庫或者不同數據源之間數據的關聯關系和一致性約束條件，構建用于一致性檢測的數據關系模型圖；其中，所述數據關系模型圖包括數據實體節點DataEntityNode、分類標簽ClassifyLabel、節點一致性檢測規則DetectionRule和數據實體鏈接關系Relationship；構建所述數據關系模型圖的方法為：首先對待檢測數據從業務和數據交互角度抽象出一系列的數據實體節點DataEntityNode，并為每一個數據實體節點指定一個分類標簽ClassifyLabel；然后根據各數據實體節點之間的關聯關系或依賴關系，構建數據實體節點之間的數據實體鏈接關系Relationship；所述數據實體節點DataEntityNode上設置節點一致性檢測規則DetectionRule，所述數據實體鏈接關系Relationship上設置用于兩個數據實體節點之間鏈接一致性檢測的鏈接一致性檢測規則RelationRule；

2)基于所述數據關系模型圖，在所述分布式數據庫進行數據交換時或者所述不同數據源之間進行數據交換時，對交換數據進行一致性檢測；所述一致性檢測包括數據鏈接完整性檢測、數據依賴性檢測和批量數據檢測；

所述數據鏈接完整性檢測方法為：首先從需要進行完整性檢測的數據實體節點開始，按照所述數據關系模型圖的數據實體鏈接關系Relationship遍歷所有數據實體節點DataEntityNode，從數據關系模型圖中依次檢索得到所有的實體鏈接關系Relationship和數據實體節點DataEntityNode；然后通過實體鏈接關系Relationship里的鏈接一致性檢測規則RelationRule檢測所鏈接的數據實體節點是否存在問題；

所述數據依賴性檢測方法為：首先是從數據關系模型圖中按照鏈接箭頭方向查詢得到出當前待檢測數據所依賴的數據實體節點和數據實體鏈接關系，作為一級數據實體節點dataentitynode1和一級數據實體鏈接關系Relationship1；然后按照一級數據實體鏈接關系Relationship1中的鏈接規則RelationRule1檢測一級數據實體節點dataentitynode1是否存在問題；然后檢索每個一級數據實體節點DataEntityNode1所依賴的數據實體節點和數據實體鏈接關系作為二級數據實體節點DataEntityNode2和二級數據實體鏈接關系Relationship2，并按照二級數據實體鏈接關系Relationship2中的鏈接規則RelationRule2檢測二級數據實體節點是否存在問題；以此類推，逐級執行所有層次依賴節點的檢測，直到再沒有依賴節點為止；

所述批量數據檢測方法為：設起始數據實體節點具有N條數據，先讀取起始數據實體節點的數據，通過節點一致性檢測規則DetectionRule檢測每條數據i本身是否存在一致性問題；然后對該條數據i所鏈接的數據實體節點和數據實體鏈接關系，作為一級數據實體節點dataentitynode1和一級數據實體鏈接關系Relationship1；然后按照一級數據實體鏈接關系Relationship1中的鏈接規則RelationRule1檢測一級數據實體節點dataentitynode1是否存在問題；如果一級數據實體節點a包含若干條數據，則先從第一條數據開始執行節點一致性檢測規則DetectionRule和鏈接一致性檢測規則RelationRule；然后對該一級數據實體節點a所鏈接的每一個數據實體節點作為二級數據實體節點，根據鏈接一致性檢測規則RelationRule對該一級數據實體節點a與各二級數據實體節點進行一致性檢測；如此循環，直到不再有下級鏈接數據實體節點；然后再對該條數據i所有關聯節點所包含數據進行一致性檢測。

2.如權利要求1所述的方法，其特征在于，所述數據實體鏈接關系Relationship具有方向性，方向性用于區分數據之間的引用關系、依賴關系以及數據寫入的先后順序關系。

3.如權利要求1所述的方法，其特征在于，所述節點一致性檢測規則DetectionRule包括若干個規則drule，所述規則drule用于定義當前數據實體節點內所包含數據的一致性約束。