[發明專利]數據標準符合性檢測方法、裝置、系統及存儲介質

在審

• 申請號: 202011613937.8
• 申請日: 2020-12-30
• 公開（公告）號: CN112668314A
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 陳瑤;秦思哲;龔健;沈樹雄;黎俊茂;賈西貝
• 申請（專利權）人: 深圳市華傲數據技術有限公司
• 主分類號: G06F40/247
• 分類號: G06F40/247;G06F16/2455
• 代理公司: 北京鍾維聯合知識產權代理有限公司 11579
• 代理人: 安娜

本發明公開了一種數據標準符合性檢測方法、裝置、系統及存儲介質，通過綜合同義詞、標準等級、歷史引證頻率等要素實現手動綁定及自動配置標準規則，批量實現對待測數據源的數據標準符合性檢測，避免了人工對數據源進行檢測，進而增加了檢測的準確性，降低工作人員的工作量，提高工作效率。

技術領域

本發明涉及數據檢測技術領域，尤其涉及數據標準符合性檢測方法、裝置、系統及存儲介質。

背景技術

在過去的信息化建設中，各部門為應對迅速變化的市場和社會需求，逐步建立了各自的信息系統，各部門站在各自的立場生產、使用和管理數據，使得數據分散在不同的部門和信息系統中，缺乏統一的數據規劃、可信的數據來源和數據標準，導致數據不規范、不一致、冗余、無法共享等問題出現，各領域的標準和規范不能直接拿來應用或者存在標準沖突、缺失、質量無法保障等問題。為規范項目建設，形成統一標準，使數據從源頭到應用全過程控制數據標準，應從系統層面出發，使每個環節都遵循底層標準化建設結果約束，實現整個數據融合、治理、應用環節全流程標準的智能配置處理，尤其要實現批量數據質量檢測智能化，才能提高數據質量和數據治理的效率。

發明內容

本發明實施例提供一種數據標準符合性檢測方法、裝置、系統及存儲介質，使得數據質量檢測智能化，提高數據檢測的準確性。

本發明首先提供一種數據標準符合性檢測方法，檢測步驟包括：

根據標準數據元的技術屬性和數據規則生成標準規則,形成數據標準規則池；

選取待測數據源的待測字段；

為待測字段配置標準數據元以及標準規則；

根據配置的標準規則，形成檢測規則，對所述待測字段進行數據標準符合性檢測。

進一步的，所述為待測字段配置標準數據元以及標準規則，包括：

自定義配置標準規則，經手動自定義設定，將待測字段與標準規則綁定。

根據同義詞、標準等級、歷史引證頻率自動推薦標準規則。

進一步的，所述根據同義詞、標準等級、歷史引證頻率自動推薦標準規則，包括：

對待測字段進行同義詞匹配；

同義詞匹配后，確定同義詞對應的標準數據元所屬標準，按照所屬標準等級由高到低進行排序，選取所屬標準中標準等級最高的標準。

將所屬標準中標準等級最高的標準，按照歷史引證頻率進行排序，選擇引證頻率最高的標準作為符合性檢測的標準規則。

進一步的，所述根據同義詞、標準等級、歷史引證頻率自動推薦標準規則，還包括：若待測字段并未匹配到同義詞，則創建一條新的詞條，更新同義詞。

進一步的，所述根據配置的標準規則，形成檢測規則，對所述待測字段進行數據標準符合性檢測之前，還包括根據選擇的批量數據源特點，配置數據源中每張表進行檢測的范圍。

進一步的，還包括根據用戶的預設的檢測模板將所述數據標準符合性檢測的檢測結果生成對應的檢測報告。

本發明還提供了一種數據標準符合性檢測裝置，包括：

選取模塊，用于選取待測數據源中的待測字段；

配置模塊，用于為待測字段配置標準數據元以及標準規則；

檢測模塊，用于根據對應的所述檢測規則對所述待測數據元進行數據標準符合性檢測。

進一步的，還包括：

檢測報告生成模塊，用于根據用戶預設的檢測模板將所述數據標準符合性檢測的檢測結果生成對應的檢測報告。