[發明專利]一種數據同步表結構異常檢測及修復方法和裝置

在審

• 申請號: 202310328337.4
• 申請日: 2023-03-30
• 公開（公告）號: CN116361391A
• 公開（公告）日: 2023-06-30
• 發明（設計）人: 彭壯
• 申請（專利權）人: 中電云數智科技有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/22;G06F16/2455;G06F16/23
• 代理公司: 北京尚鉞知識產權代理事務所(普通合伙) 11723
• 代理人: 王海榮

本發明涉及數據處理技術領域，提供一種數據同步表結構異常檢測及修復方法和裝置，本發明的方法包括：配置數據同步任務的運行參數，根據配置的運行參數將數據同步任務進行延遲下發；獲取延遲下發的數據同步任務對應的最新表結構和配置信息，將配置信息中緩存的表結構與最新表結構進行比對，獲取異常結果并對異常結果進行分級；根據異常結果對數據同步任務的責任人發送對應的異常預警信息；根據預警信息和異常結果分類對數據同步任務的表結構進行修復。本發明可以實現數據同步系統全量和任務級別的表結構異常主動檢測，提高人員對表結構異常同步任務的處理效率，提高數據同步任務的作業成功率和數據準確性。

技術領域

本發明涉及數據處理技術領域，尤其涉及一種數據同步表結構異常檢測及修復方法和裝置。

背景技術

數據同步系統用于大數據量下各種異構數據源之間的數據交換和數據同步，為各類用戶以及不同業務系統之間的數據交換、傳輸以及清洗提供解決方案，能夠簡化復雜的數據同步配置工作，輕松實現數據的集成和共享。

在實際應用中，由于業務系統復雜，數據庫、數據表數量眾多，數據表的維護管理難度高，在使用數據同步系統進行數據同步過程中，也會面臨各種數據同步的源端表和目標端表表結構出現的變更異常，這些變更異常會導致大量的數據同步任務運行失敗，或者產生大量的臟數據，給數據同步工作帶了較大的困難。傳統的方法主要是對出現的變更異常進行后置處理，在數據同步任務因為表結構出現的變更異常而運行失敗后，使用人工排查，再針對性地對出現的表結構異常進行逐一修復，然后重新運行數據同步任務，這種方法不僅費時費力，還容易出錯，特別是在數據同步作業任務數量多、作業頻次高的場景中，該方法無法讓數據操作人員提前知道每個同步任務出現的表結構異常情況，嚴重影響數據同步的效率。

因此，如何提供一種更加精確和高效的表結構異常檢測及修復方法，成為亟待解決的技術問題。

發明內容

有鑒于此，為了克服現有技術的不足，本發明旨在提供一種數據同步表結構異常檢測及修復方法和裝置。

一方面，本發明提供一種數據同步表結構異常檢測及修復方法，包括：

步驟S1：配置數據同步任務的運行參數，根據配置的運行參數將數據同步任務進行延遲下發；

步驟S2：獲取延遲下發的數據同步任務對應的最新表結構和配置信息，將配置信息中緩存的表結構與最新表結構進行比對，獲取異常結果并對異常結果進行分級；

步驟S3：根據異常結果對數據同步任務的責任人發送對應的異常預警信息；

步驟S4：根據預警信息和異常結果分類對數據同步任務的表結構進行修復。

作為本發明的優選，本發明數據同步表結構異常檢測及修復方法中，步驟S1包括：

步驟S11：配置數據同步任務的運行時間、運行頻次和運行間隔時間；

步驟S12：監控數據同步任務的運行狀態，獲取數據同步任務運行完成的時間點；

步驟S13：根據數據同步任務的運行時間、運行頻次以及獲取的數據同步任務運行完成的時間點，獲得下一次數據同步任務被調度的時間點；

步驟S14：根據數據同步任務的運行間隔時間與下一次數據同步任務被調度的時間點，獲得數據同步任務延遲下發的時間點；

步驟S15：根據獲得的數據同步任務延遲下發的時間點對數據同步任務進行延遲下發。

作為本發明的優選，本發明數據同步表結構異常檢測及修復方法中，步驟S1中，根據配置的運行參數將數據同步任務進行延遲下發，包括：

采用RDelayedQueue隊列設置延遲時間并存儲延遲下發的數據同步任務；