[發明專利]數據同步檢測方法和裝置

在審

• 申請號: 202110706515.3
• 申請日: 2021-06-24
• 公開（公告）號: CN113297330A
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 曾坤
• 申請（專利權）人: 維沃移動通信有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/23;G06F16/242;G06F16/2455;G06F16/22
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 楊明月

1.一種數據同步檢測方法，其特征在于，包括：

執行離線數據抽取定時任務，所述離線數據抽取定時任務用于每隔預設時間將待同步表中的數據同步至離線數據倉庫表；

調用數據庫查詢應用程序接口API，獲取所述數據庫查詢API返回的值；

根據所述數據庫查詢API返回的值，對所述待同步表和所述離線數據倉庫表進行數據同步檢測，得到數據同步檢測結果。

2.根據權利要求1所述的數據同步檢測方法，其特征在于，所述數據庫查詢API返回的值，包括：

在調用所述數據庫查詢API時傳入的參數中操作類型是數量判斷的情況下，所述數據庫查詢API返回的值為所述待同步表和所述離線數據倉庫表中符合條件的記錄的數量；

在調用所述數據庫查詢API時傳入的參數中操作類型是主鍵判斷的情況下，所述數據庫查詢API返回的值為所述待同步表和所述離線數據倉庫表的主鍵取值范圍。

3.根據權利要求1所述的數據同步檢測方法，其特征在于，所述執行離線數據抽取定時任務之前，還包括：

獲取數據庫管理平臺的元信息，根據所述元信息確定所述待同步表是否發生了結構變更；

在所述待同步表發生了結構變更的情況下，根據所述元信息生成表結構變更結構化查詢語言sql，在所述離線數據倉庫表執行所述表結構變更sql，更新所述離線數據倉庫表的表結構。

4.根據權利要求1所述的數據同步檢測方法，其特征在于，所述執行離線數據抽取定時任務之前，還包括：

判斷是否存在所述離線數據倉庫表；

在所述離線數據倉庫表不存在的情況下，創建所述離線數據倉庫表。

5.根據權利要求4所述的數據同步檢測方法，其特征在于，所述創建所述離線數據倉庫表，包括：

通過調用所述數據庫查詢API，獲取所述待同步表的字段信息、表屬性信息和第一建表sql，其中，調用所述數據庫查詢API時傳入的參數中操作類型是建表；

根據所述離線數據倉庫表的信息、所述待同步表的字段信息、表屬性信息和第一建表sql，生成所述離線數據倉庫表的第二建表sql；

執行所述離線數據倉庫表的第二建表sql，創建所述離線數據倉庫表。

6.一種數據同步檢測裝置，其特征在于，包括：

定時抽取模塊，用于執行離線數據抽取定時任務，所述離線數據抽取定時任務用于每隔預設時間將待同步表中的數據同步至離線數據倉庫表；

數據查詢模塊，用于調用數據庫查詢應用程序接口API，獲取所述數據庫查詢API返回的值；

同步檢測模塊，用于根據所述數據庫查詢API返回的值，對所述待同步表和所述離線數據倉庫表進行數據同步檢測，得到數據同步檢測結果。

7.根據權利要求6所述的數據同步檢測裝置，其特征在于，所述數據庫查詢API返回的值，包括：

在調用所述數據庫查詢API時傳入的參數中操作類型是數量判斷的情況下，所述數據庫查詢API返回的值為所述待同步表和所述離線數據倉庫表中符合條件的記錄的數量；

在調用所述數據庫查詢API時傳入的參數中操作類型是主鍵判斷的情況下，所述數據庫查詢API返回的值為所述待同步表和所述離線數據倉庫表的主鍵取值范圍。

8.根據權利要求6所述的數據同步檢測裝置，其特征在于，還包括表結構更新模塊，用于：

獲取數據庫管理平臺的元信息，根據所述元信息確定所述待同步表是否發生了結構變更；

在所述待同步表發生了結構變更的情況下，根據所述元信息生成表結構變更結構化查詢語言sql，在所述離線數據倉庫表執行所述表結構變更sql，更新所述離線數據倉庫表的表結構。

9.根據權利要求6所述的數據同步檢測裝置，其特征在于，還包括倉庫表創建模塊，用于：

判斷是否存在所述離線數據倉庫表；

在所述離線數據倉庫表不存在的情況下，創建所述離線數據倉庫表。

10.根據權利要求9所述的數據同步檢測裝置，其特征在于，所述創建所述離線數據倉庫表，包括：

通過調用所述數據庫查詢API，獲取所述待同步表的字段信息、表屬性信息和第一建表sql，其中，調用所述數據庫查詢API時傳入的參數中操作類型是建表；

根據所述離線數據倉庫表的信息、所述待同步表的字段信息、表屬性信息和第一建表sql，生成所述離線數據倉庫表的第二建表sql；

執行所述離線數據倉庫表的第二建表sql，創建所述離線數據倉庫表。