[發明專利]基于血緣關系的數據管理方法及裝置

在審

• 申請號: 202111165388.7
• 申請日: 2021-09-30
• 公開（公告）號: CN113901049A
• 公開（公告）日: 2022-01-07
• 發明（設計）人: 林鵬程
• 申請（專利權）人: 杭州數夢工場科技有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2453;G06F16/2455
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 王劍

本申請提供一種基于血緣關系的數據管理方法及裝置，該方法可以包括：對任一數據節點中待校驗的目標數據表進行血緣分析，以確定對應于所述目標數據表的原始數據表以及所述原始數據表所屬的原始數據節點；獲取所述原始數據表對應的目標血緣路徑，所述目標血緣路徑的起點為所述原始數據節點、終點為與所述任一數據節點處于同一層級的其他數據節點；根據所述目標血緣路徑獲取所述其他數據節點中匯聚了所述原始數據表的校驗數據表；若所述目標數據表與所述校驗數據表中的數據相匹配，則確定所述目標數據表與所述校驗數據表中的數據均正確；若所述目標數據表與所述校驗數據表中的數據不匹配，則確定所述目標數據表和/或所述校驗數據表存在數據錯誤。

技術領域

本申請涉及大數據技術領域，特別是基于血緣關系的數據管理方法及裝置。

背景技術

在數據級聯系統中，數據在各個層次的數據節點之間流轉，海量復雜的數據通過各種加工融合轉換，從低層級的數據節點逐漸向高層級的數據節點匯聚。

相關技術中，數據級聯系統的數據匯聚由于部分數據節點可能存在加工異常或者傳輸異常的問題，導致數據在從低層級的數據節點向高層級的數據節點傳輸的過程中可能會出現數據錯誤或者數據缺失等情況。

發明內容

有鑒于此，本申請提供基于血緣關系的數據管理方法及裝置，用于校驗數據級聯系統中存儲的數據，從而發現數據級聯系統中存儲的異常數據。

具體的，本申請通過如下技術方案實現：

根據本申請的第一方面，提出了一種基于血緣關系的數據管理方法，應用于數據級聯系統中的任一數據節點，包括：

對所述任一數據節點中待校驗的目標數據表進行血緣分析，以確定對應于所述目標數據表的原始數據表以及所述原始數據表所屬的原始數據節點；

獲取所述原始數據表對應的目標血緣路徑，所述目標血緣路徑的起點為所述原始數據節點、終點為與所述任一數據節點處于同一層級的其他數據節點；

根據所述目標血緣路徑獲取所述其他數據節點中匯聚了所述原始數據表的校驗數據表；

若所述目標數據表與所述校驗數據表中的數據相匹配，則確定所述目標數據表與所述校驗數據表中的數據均正確；若所述目標數據表與所述校驗數據表中的數據不匹配，則確定所述目標數據表和/或所述校驗數據表中存在數據錯誤。

根據本申請的第二方面，提出了一種基于血緣關系的數據管理裝置，應用于數據級聯系統中的任一數據節點，包括：

血緣分析單元，用于對所述任一數據節點中待校驗的目標數據表進行血緣分析，以確定對應于所述目標數據表的原始數據表以及所述原始數據表所屬的原始數據節點；

血緣路徑獲取單元，用于獲取所述原始數據表對應的目標血緣路徑，所述目標血緣路徑的起點為所述原始數據節點、終點為與所述任一數據節點處于同一層級的其他數據節點；

校驗數據表獲取單元，用于根據所述目標血緣路徑獲取所述其他數據節點中匯聚了所述原始數據表的校驗數據表；

匹配單元，用于若所述目標數據表與所述校驗數據表中的數據相匹配，則確定所述目標數據表與所述校驗數據表中的數據均正確；若所述目標數據表與所述校驗數據表中的數據不匹配，則確定所述目標數據表和/或所述校驗數據表中存在數據錯誤。

根據本申請的第三方面，提供一種電子設備，包括：

處理器；

用于存儲處理器可執行指令的存儲器；

其中，所述處理器通過運行所述可執行指令以實現如上述第一方面的實施例中所述的方法。