[發明專利]跨平臺同步數據的數據質量檢查方法、裝置及存儲介質

有效

• 申請號: 202011543529.X
• 申請日: 2020-12-24
• 公開（公告）號: CN112632050B
• 公開（公告）日: 2023-09-05
• 發明（設計）人: 楊連群;張研
• 申請（專利權）人: 安徽航天信息科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/25;G06F16/27
• 代理公司: 北京隆源天恒知識產權代理有限公司 11473
• 代理人: 徐蘇明

本發明提供了一種跨平臺同步數據的數據質量檢查方法、裝置及存儲介質，該方法包括：獲取源數據平臺的第一數據源類型和目標數據平臺的第二數據源類型；根據第一數據源類型和第二數據源類型確定源數據平臺和目標數據平臺之間的平臺映射關系；數據同步過程中獲取源數據平臺的第一同步數據和目標數據平臺的第二同步數據，根據平臺映射關系將第一同步數據和第二同步數據轉換成同一類型的數據，根據預先確定的數據檢查項對轉換后的第一同步數據和轉換后的第二同步數據進行檢查，輸出檢查結果。本發明的技術方案提高了跨平臺同步數據時數據質量檢查的準確性，能夠及時發現數據采集同步過程中的異常數據。

技術領域

本發明涉及數據檢測技術領域，具體而言，涉及跨平臺同步數據的數據質量檢查方法、裝置及存儲介質。

背景技術

隨著互聯網和云計算等的蓬勃發展，數據量呈爆發式增長，大數據環境下各種數據的來源和數據的類型豐富多樣，使得在不同數據平臺下的進行數據的采集同步時，存在很多的差異和不確定性。為了保證數據采集同步的一致性，需要對數據采集同步過程中的數據進行數據質量檢查。

但是目前的數據質量檢查方法常對單個平臺的數據進行檢查，用于對跨平臺的同步數據進行數據質量檢查時準確性較差。

發明內容

本發明解決的問題是如何提高跨平臺同步數據的數據質量檢查的準確性。

為解決上述問題，本發明提供一種跨平臺同步數據的數據質量檢查方法、裝置及存儲介質。

第一方面，本發明提供了一種跨平臺同步數據的數據質量檢查方法，包括：

獲取源數據平臺的第一數據源類型和目標數據平臺的第二數據源類型；

根據所述第一數據源類型和所述第二數據源類型確定所述源數據平臺和所述目標數據平臺之間的平臺映射關系；

根據所述平臺映射關系進行數據同步，同步過程中獲取所述源數據平臺的第一同步數據和所述目標數據平臺的第二同步數據，并根據所述平臺映射關系將所述第一同步數據和所述第二同步數據轉換成同一類型的數據，獲得轉換后的第一同步數據和轉換后的第二同步數據；

根據預先確定的數據檢查項對所述轉換后的第一同步數據和所述轉換后的第二同步數據進行檢查，輸出檢查結果。

可選地，所述數據檢查項包括完整性檢查項、數據準確性檢查項、數據及時性檢查項和數據一致性檢查項中的至少一種。

可選地，所述同步過程中獲取所述源數據平臺的第一同步數據和所述目標數據平臺的第二同步數據包括：

獲取同步過程中的同步日志，根據所述同步日志設置抽樣數據表；

根據所述抽樣數據表在所述源數據平臺中隨機提取所述第一同步數據，并在所述目標數據平臺中提取對應的所述第二同步數據，將所述第一同步數據和所述第二同步數據緩存至中間表。

可選地，所述根據預先確定的數據檢查項對所述轉換后的第一同步數據和所述轉換后的第二同步數據進行檢查包括：

根據所述數據檢查項配置SQL語句，采用所述SQL語句對所述轉換后的第一同步數據和所述轉換后的第二同步數據進行比對檢查。

可選地，所述方法還包括：

當無法獲取數據同步過程中所述源數據平臺的所述第一同步數據時或同步結束后，讀取所述同步日志中記錄的同步日志數據；

將所述同步日志數據和所述第二同步數據轉換成同一類型的數據，獲得轉換后的同步日志數據和轉換后的第二同步數據；

根據所述數據檢查項對所述轉換后的同步日志數據和所述轉換后的第二同步數據進行檢查，輸出檢查結果。

可選地，所述輸出檢查結果之后還包括：