[發明專利]政務大數據的數據質量檢查方法、系統、設備及介質

有效

• 申請號: 202310286916.7
• 申請日: 2023-03-23
• 公開（公告）號: CN115994194B
• 公開（公告）日: 2023-06-02
• 發明（設計）人: 任偉;陳垚;袁大勇;劉奎
• 申請（專利權）人: 河北東軟軟件有限公司
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/215;G06F18/22
• 代理公司: 暫無信息
• 代理人: 暫無信息

本申請涉及一種政務大數據的數據質量檢查方法、系統、設備及介質，所述方法包括以下步驟：建立政務數據質量檢查規則庫；所述的規則庫由上至下依次包括類別層、指標層和規則層；獲取用戶反饋的待檢查政務數據的類別和指標；獲取相應類別待檢查政務數據集的元數據，并根據所述指標以及所述元數據中的關鍵數據獲取所配置的相應的數據質量檢查規則；建立自動調度作業，自動獲取待檢查數據集，結合所述數據質量檢查規則進行模式匹配，生成數據質量檢查結果。本申請無需分布式部署節點進行處理，僅僅在一臺設備即可實現數據質量檢查，因而成本更低，同時數據質量檢查的實時性也更好。

技術領域

?本申請涉及數據質量檢查技術領域，尤其是涉及一種政務大數據的數據質量檢查方法、系統、設備及介質?。

背景技術

當前政府信息化建設已經到了一個新的階段，政務數據也越來越多，政務數據已經成為國家重要的基礎性戰略資源。

具體的說，政務數據是指政府機構在實現自我管理和社會管理的過程中生成、收集、維護、管理和擁有的數據，包括政府機構在進行自我管理時產生的行政記錄數據、對外提供服務時產生的業務數據、專門采集的社會管理數據、通過購買或委托等方式獲得的研究數據，以及互聯網上公開的數據等。政務數據本身呈現出一些新的特性，如數據量大(Volume)、數據類型繁多(Variety)、處理速度快(Velocity)、價值密度低(Value)，因此如何從海量的、快速變化的、來源豐富的大數據中提取出高質量且真實的數據成為政府處理大數據過程中亟待解決的問題。

隨著大數據時代的來臨，“數據即資產”的概念得到了人們的廣泛認同。然而，不是所有的數據都能成為資產，數據的價值與數據質量密切相關。政務數據質量是政府機構所擁有的數據滿足其使用者需求的程度。政務數據質量在實踐中越來越受到關注，不僅成為制約政務數據發展的關鍵問題，也是政務數據應用中繞不開的問題。近年來，我國政務數據質量不斷提升，但仍然存在較多問題，數據值缺失、數據不全面、數據重復，對于數據質量的擔憂甚至成為阻礙政務數據進一步開放共享的風險因素。

?現有的常規數據質量檢查方法，需要依賴Spark、Spark?Streaming?、Hadoop等分布式軟件技術，要求進行分布式部署節點來進行數據處理，因而軟硬件成本較高；另外，現有技術中，需要先對數據進行預處理，然后再將數據及規則分發到多個節點，各個節點異步計算，最后進行匯總，因而數據處理的實時性比較低。另外，常規的數據質量檢查方法，大多針對具體單一業務場景，無法通過靈活配置檢查規則來完成多場景的數據質量檢查任務，綜合適用性較低。

發明內容

為了提高政務數據處理的實時性，降低數據處理成本，同時適配更多的場景，本申請提供一種政務大數據的數據質量檢查方法、系統、設備及介質。

第一方面，本申請提供的一種政務大數據的數據質量檢查方法采用如下的技術方案：

一種政務大數據的數據質量檢查方法，包括以下步驟：

建立政務數據質量檢查規則庫；所述的規則庫由上至下依次包括類別層、指標層和規則層；

獲取用戶反饋的待檢查政務數據的類別和指標；

獲取相應類別待檢查政務數據集的元數據，并根據所述指標以及所述元數據中的關鍵數據獲取所配置的相應的數據質量檢查規則；

建立自動調度作業，自動獲取待檢查數據集，結合所述數據質量檢查規則進行模式匹配，生成數據質量檢查結果。

通過采用上述技術方案，獲取用戶反饋的待檢查政務數據的類別和指標，根據所述指標和元數據中的關鍵數據所配置的相應的數據質量檢查規則，結合所述數據質量檢查規則進行模式匹配，生成數據質量檢查結果，本申請無需分布式部署節點進行處理，僅僅在一臺設備即可實現數據質量檢查，因而成本更低，同時數據質量檢查的實時性也更好,另外本技術方案能實現靈活的類別、指標、數據質量檢查規則配置，業務適用性更好。