[發明專利]一種多維異構數據的數據質量檢測方法及裝置

有效

• 申請號: 202011140921.X
• 申請日: 2020-10-22
• 公開（公告）號: CN112256682B
• 公開（公告）日: 2022-09-20
• 發明（設計）人: 賈志忠;袁偉林
• 申請（專利權）人: 佳都科技集團股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/22;G06F16/25
• 代理公司: 北京澤方譽航專利代理事務所(普通合伙) 11884
• 代理人: 唐明磊

本申請實施例公開了一種多維異構數據的數據質量檢測方法及裝置。本申請實施例提供的技術方案，通過建立數據質量檢查規則對接收到不同數據源的資源數據進行標準化處理，對處于不同網域、業務域的異構數據進行標準化處理；并通過調用不同的處理接口對獲取到的資源數據進行進一步的識別以實現數據的補全，并通過對補全后的數據進行質量檢測來判斷是否對其進行數據存儲或告警，通過本申請實施例的方案實現管理部門對數據入網的精細化管理，為視頻大數據應用場景快速準備可用、可信、可靠、安全的數據。

技術領域

本申請實施例涉及數據處理技術領域，尤其涉及一種多維異構數據的數據質量檢測方法及裝置。

背景技術

城市多維感知數據逐漸成為城市基礎數據來源。但目前城市管理部門為了不同業務建立了眾多煙囪式系統，這類系統都有自己的存儲設備和IT設備，以及獨立的管理工具和數據庫，不同的系統不能共享資源，不能交互和訪問，形成了資源孤島和信息孤島。并且不同數據之間由于使用場景的不同，其數據標準也并不相同，不能夠有效可控的對其進行數據管理。因此，設計一種能夠接入多維數據信息以及對其進行管理的方法成為本領域技術人員亟待解決的技術問題。

發明內容

本申請實施例提供一種多維異構數據的數據質量檢測方法及裝置，能夠通過建立數據質量檢查規則對接收到不同數據源的資源數據進行標準化處理，對不同網域、業務域的異構數據孤島標準化處理，實現管理部門對數據入網的精細化管理，為視頻大數據應用場景快速準備可用、可信、可靠、安全的數據。

在第一方面，本申請實施例提供了一種多維異構數據的數據質量檢測方法，包括：

接收不同數據源傳輸的資源數據，所述資源數據包括基礎設備數據、人口數據、物流數據和軌跡類數據；

按照預設數據表對所述資源數據進行數據轉換補全以得到補全資源數據，在所述進行數據轉換補全過程中將所述基礎設備數據、物流數據、軌跡類數據與人口數據進行融合處理以進行數據補全；

按照預設數據質量規則對所述補全資源數據進行數據質量探查以判斷所述補全資源數據是否滿足預設質量要求；

對滿足預設質量要求的補全資源數據進行數據存儲。

進一步的，在所述對滿足預設質量要求的補全資源數據進行數據存儲之后，還包括：

對不滿足預設質量要求的補全資源數據進行告警操作。

進一步的，在所述接收不同數據源傳輸的資源數據之前，還包括：

對接入前的不同數據源傳輸的資源數據進行數據探查，所述數據探查包括空值率探查、枚舉值探查和數據分布探查。

進一步的，所述按照預設數據質量規則對所述補全資源數據進行數據質量探查，包括：

按照預設數據質量規則對所述補全資源數據進行數據探查，所述預設數據質量規則包括數據字段規則、設備建檔信息校驗規則和視頻圖片質量規則中的一種或多種。

進一步的，所述按照預設數據質量規則對所述補全資源數據進行數據質量探查，包括：

依照不同的補全資源數據配置不同的預設數據質量規則來進行數據質量探查。

進一步的，在所述對滿足預設質量要求的補全資源數據進行數據存儲之后，還包括：

對進行數據存儲后的補全資源數據進行周期性質量分析得到對應的質量報表，并對所述質量報表進行顯示。

進一步的，所述軌跡類數據包括人臉抓拍數據、卡口過車數據、視頻門禁數據、視頻結構化數據、電圍數據、WIFI數據中的一種或多種；

在所述接收不同數據源傳輸的資源數據，所述資源數據包括基礎設備數據、人口數據、物流數據和軌跡類數據之后，還包括：