[發明專利]跨平臺同步數據的數據質量檢查方法、裝置及存儲介質

有效

• 申請號: 202011543529.X
• 申請日: 2020-12-24
• 公開（公告）號: CN112632050B
• 公開（公告）日: 2023-09-05
• 發明（設計）人: 楊連群;張研
• 申請（專利權）人: 安徽航天信息科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/25;G06F16/27
• 代理公司: 北京隆源天恒知識產權代理有限公司 11473
• 代理人: 徐蘇明

1.一種跨平臺同步數據的數據質量檢查方法，其特征在于，包括：

獲取源數據平臺的第一數據源類型和目標數據平臺的第二數據源類型；

根據所述第一數據源類型和所述第二數據源類型確定所述源數據平臺和所述目標數據平臺之間的平臺映射關系；

根據所述平臺映射關系進行數據同步，同步過程中獲取所述源數據平臺的第一同步數據和所述目標數據平臺的第二同步數據，并根據所述平臺映射關系將所述第一同步數據和所述第二同步數據轉換成同一類型的數據，獲得轉換后的第一同步數據和轉換后的第二同步數據；

根據預先確定的數據檢查項對所述轉換后的第一同步數據和所述轉換后的第二同步數據進行檢查，輸出檢查結果。

2.根據權利要求1所述的跨平臺同步數據的數據質量檢查方法，其特征在于，所述數據檢查項包括完整性檢查項、數據準確性檢查項、數據及時性檢查項和數據一致性檢查項中的至少一種。

3.根據權利要求1所述的跨平臺同步數據的數據質量檢查方法，其特征在于，所述同步過程中獲取所述源數據平臺的第一同步數據和所述目標數據平臺的第二同步數據包括：

獲取同步過程中的同步日志，根據所述同步日志設置抽樣數據表；

根據所述抽樣數據表在所述源數據平臺中隨機提取所述第一同步數據，并在所述目標數據平臺中提取對應的所述第二同步數據，將所述第一同步數據和所述第二同步數據緩存至中間表。

4.根據權利要求3所述的跨平臺同步數據的數據質量檢查方法，其特征在于，所述根據預先確定的數據檢查項對所述轉換后的第一同步數據和所述轉換后的第二同步數據進行檢查包括：

根據所述數據檢查項配置SQL語句，采用所述SQL語句對所述轉換后第一同步數據和所述轉換后的第二同步數據進行比對檢查。

5.根據權利要求3所述的跨平臺同步數據的數據質量檢查方法，其特征在于，還包括：

當無法獲取數據同步過程中所述源數據平臺的所述第一同步數據時或同步結束后，讀取所述同步日志中記錄的同步日志數據；

將所述同步日志數據和所述第二同步數據轉換成同一類型的數據，獲得轉換后的同步日志數據和轉換后的第二同步數據；

根據所述數據檢查項對所述轉換后的同步日志數據和所述轉換后的第二同步數據進行檢查，輸出檢查結果。

6.根據權利要求5所述的跨平臺同步數據的數據質量檢查方法，其特征在于，所述輸出檢查結果之后還包括：

當所述檢查結果顯示有數據異常時，輸出告警信號；

當所述檢查結果無異常時，輸出數據質量檢查報告。

7.根據權利要求6所述的跨平臺同步數據的數據質量檢查方法，其特征在于，所述同步日志中包括數據表名、數據記錄總數、主鍵字段、區分字段、分區字段值、同步開始時間、同步結束使勁按和同步狀態標識中的至少一種；

所述抽樣數據表包括數據表名、主鍵字段、主鍵值、抽樣字段類型、抽樣字段列中的至少一種。

8.一種跨平臺同步數據的數據質量檢查裝置，其特征在于，包括：

獲取模塊，用于獲取源數據平臺的第一數據源類型和目標數據平臺的第二數據源類型；

處理模塊，用于根據所述第一數據源類型和所述第二數據源類型確定所述源數據平臺和所述目標數據平臺之間的平臺映射關系；

同步模塊，用于根據所述平臺映射關系進行數據同步，同步過程中獲取所述源數據平臺的第一同步數據和所述目標數據平臺的第二同步數據，并根據所述平臺映射關系將所述第一同步數據和所述第二同步數據轉換成同一類型的數據，獲得轉換后的第一同步數據和轉換后的第二同步數據；

檢查模塊，用于根據預先確定的數據檢查項對所述轉換后的第一同步數據和所述轉換后第二同步數據進行檢查，輸出檢查結果。

9.一種跨平臺同步數據的數據質量檢查裝置，其特征在于，包括存儲器和處理器；

所述存儲器，用于存儲計算機程序；

所述處理器，用于當執行所述計算機程序時，實現如權利要求1至7任一項所述的跨平臺同步數據的數據質量檢查方法。

10.一種計算機可讀存儲介質，其特征在于，所述存儲介質上存儲有計算機程序，當所述計算機程序被處理器執行時，實現如權利要求1至7任一項所述的跨平臺同步數據的數據質量檢查方法。