[發明專利]用于校驗數據清洗結果的方法、裝置、設備及存儲介質

在審

• 申請號: 202011607682.4
• 申請日: 2020-12-30
• 公開（公告）號: CN112685397A
• 公開（公告）日: 2021-04-20
• 發明（設計）人: 丁勇
• 申請（專利權）人: 平安普惠企業管理有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/22;G06F16/2458;G06F16/26
• 代理公司: 深圳市世聯合知識產權代理有限公司 44385
• 代理人: 汪琳琳

本申請公開了一種用于校驗數據清洗結果的方法、裝置、設備及存儲介質，屬于大數據技術領域，所述方法通過接收校驗指令，確定與校驗指令相對應的待清洗數據，將待清洗數據導入預先配置好的維度層級樹，并基于逆序遍歷法從維度層級樹中獲取待清洗數據的第一維度編碼組合，對待清洗數據進行數據清洗，獲取待清洗數據的清洗結果，其中，清洗結果包括待清洗數據的第二維度編碼組合，比對第一維度編碼組合和第二維度編碼組合，基于比對結果確定待清洗數據的清洗結果的準確性。此外，本申請還涉及區塊鏈技術，待清洗數據可存儲于區塊鏈中。本申請通過對數據清洗結果進行自動校驗，可以很大程度減輕人力測試的成本，同時提高校驗的精準度。

技術領域

本申請屬于大數據技術領域，具體涉及一種用于校驗數據清洗結果的方法、裝置、設備及存儲介質。

背景技術

隨著大數據技術的發展，數據作為一種寶貴的資源受到越來越多科技公司的重視，由此衍生了一系列數據清洗、數據分析的需求，而數據清洗分析的最終結果是公司決策的依據，因此數據清洗結果的準確性對于一個企業來說是至關重要。

目前，大多數的公司采用人工對數據清洗結果進行校驗，但是由于科技公司數據量非常龐雜，且涉及到多個維度，因此數據清洗結果的數據量也很大，包含的維度層級也很復雜，通過人工對數據清洗結果進行校驗的方式會耗費大量的人力、物力，且由于測試人員粗心和視覺疲勞等問題，很容易將數據清洗結果的錯誤問題遺漏。

發明內容

本申請實施例的目的在于提出一種用于校驗數據清洗結果的方法、裝置、計算機設備及存儲介質，以解決現有的通過人工對數據清洗結果進行校驗的方式會耗費大量的人力、物力，以及校驗結果不準確的技術問題。

為了解決上述技術問題，本申請實施例提供一種用于校驗數據清洗結果的方法，采用了如下所述的技術方案：

一種用于校驗數據清洗結果的方法，包括：

接收校驗指令，確定與校驗指令相對應的待清洗數據；

將待清洗數據導入預先配置好的維度層級樹，并基于逆序遍歷法從維度層級樹中獲取待清洗數據的第一維度編碼組合；

對待清洗數據進行數據清洗，獲取待清洗數據的清洗結果，其中，清洗結果包括待清洗數據的第二維度編碼組合；

比對第一維度編碼組合和第二維度編碼組合，基于比對結果確定待清洗數據的清洗結果的準確性。

進一步的，在將待清洗數據導入預先配置好的維度層級樹，并基于逆序遍歷法從維度層級樹中獲取待清洗數據的第一維度編碼組合的步驟之前，還包括：

獲取數據清洗的業務需求文檔，并從業務需求文檔中得到所有數據的維度信息；

按照預設的編碼規則對所有數據的維度信息進行編碼，得到所有數據的維度編碼；

將所有數據的維度編碼導入預設的初始樹模型結構，得到維度層級樹。

進一步的，將所有數據的維度編碼導入預設的初始樹模型結構，得到維度層級樹的步驟，具體包括：

對所有數據的維度編碼進行排序，得到維度編碼排序結果；

將維度編碼排序結果中優先級最高的維度編碼填入初始樹模型結構的根節點；以及

按照維度編碼排序結果的優先級順序將其余維度編碼依次填入初始樹模型結構的子節點，得到維度層級樹。

進一步的，將待清洗數據導入預先配置好的維度層級樹，并基于逆序遍歷法從維度層級樹中獲取待清洗數據的第一維度編碼組合的步驟，具體包括：

獲取待清洗數據的當前維度信息，基于當前維度信息得到待清洗數據的當前維度編碼；

在維度層級樹上查找與當前維度編碼相匹配的子節點；