[發明專利]數據的處理方法及裝置、計算機可讀存儲介質、處理器

在審

• 申請號: 202110559412.9
• 申請日: 2021-05-21
• 公開（公告）號: CN113297326A
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 朱純磊;董愛軍;張昭坤;袁繼宏
• 申請（專利權）人: 中國郵政儲蓄銀行股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 周春枚

本發明公開了一種數據的處理方法及裝置、計算機可讀存儲介質、處理器。其中，該方法包括：獲取第一數據庫和第二數據庫的同步任務，其中，同步任務用于將第一數據庫的目標數據同步至第二數據庫；根據同步任務進行數據配置，得到配置信息,其中，配置信息用于確定同步任務的執行策略；根據配置信息從第一數據庫獲取目標數據；將目標數據存儲于中間存儲介質，并將目標數據從中間存儲介質同步至第二數據庫。本發明解決了現有技術中不同數據庫之間數據交互速率較低的技術問題。

技術領域

本發明涉及數據庫技術領域，具體而言，涉及一種數據的處理方法及裝置、計算機可讀存儲介質、處理器。

背景技術

相關技術中，關系數據庫和數據倉庫交互主要采用sqoop技術，對應日常業務應用中海量的數據交互需求，sqoop技術需要先按照業務要求進行分庫分表，將數據拆分到不同分庫，該方法實現過程復雜，配置難度大，導致不同數據庫之間數據交互難度成倍增加，數據庫之間的數據傳輸速度比較慢。

針對上述現有技術中不同數據庫之間數據交互速率較低的問題，目前尚未提出有效的解決方案。

發明內容

本發明實施例提供了一種數據的處理方法及裝置、計算機可讀存儲介質、處理器，以至少解決現有技術中不同數據庫之間數據交互速率較低的技術問題。

根據本發明實施例的一個方面，提供了一種數據的處理方法，包括：獲取第一數據庫和第二數據庫的同步任務，其中，同步任務用于將第一數據庫的目標數據同步至第二數據庫；根據同步任務進行數據配置，得到配置信息,其中，配置信息用于確定同步任務的執行策略；根據配置信息從第一數據庫獲取目標數據；將目標數據存儲于中間存儲介質，并將目標數據從中間存儲介質同步至第二數據庫。

進一步地，配置信息包括元數據表，根據同步任務進行數據配置，得到配置信息，包括：獲取同步任務中的數據源信息和分庫信息；根據數據源信息和分庫信息進行數據配置，得到元數據表。

進一步地，配置信息包括映射表，根據同步任務進行數據配置，得到配置信息，包括：獲取同步任務的分步信息和數據源信息，其中，分步信息包含對目標數據處理的子任務；根據分步信息和數據源信息進行數據配置，得到映射表。

進一步地，數據源信息包括第一數據庫至第二數據庫的同步方向、字段信息和目標數據的獲取方式；分步信息包含如下任意一項或者幾項：目標數據的清理步驟、以及創建索引步驟、以及目標表重命名或者重建步驟。

進一步地，在將目標數據從中間存儲介質同步至第二數據庫之后，上述方法還包括：判斷子任務是否執行成功；在子任務全部執行成功的情況下，確定同步任務執行成功；在任意一個子任務執行失敗的情況下，從失敗的子任務開始繼續執行同步任務的子任務。

進一步地，配置信息包括任務注冊表，根據同步任務進行數據配置，得到配置信息，包括：將同步任務注冊到任務注冊表中。

進一步地，將目標數據存儲于中間存儲介質，包括：將目標數據的格式進行清洗轉換，得到目標數據文件；將目標數據文件存儲于中間存儲介質。

根據本發明實施例的另一方面，還提供了一種數據的處理裝置，包括：任務獲取模塊，用于獲取第一數據庫和第二數據庫的同步任務，其中，同步任務用于將第一數據庫的目標數據同步至第二數據庫；配置模塊，用于根據同步任務進行數據配置，得到配置信息；數據獲取模塊，用于根據配置信息從第一數據庫獲取目標數據；同步模塊，用于將目標數據存儲于中間存儲介質，并將目標數據從中間存儲介質同步至第二數據庫。

根據本發明實施例的另一方面，還提供了一種計算機可讀存儲介質，包括：計算機可讀存儲介質包括存儲的程序，其中，在程序運行時控制計算機可讀存儲介質所在設備執行上述任意一項數據的處理方法。

根據本發明實施例的另一方面，還提供了一種處理器，包括：處理器用于運行程序，其中，程序運行時執行權利要求上述任意一項數據的處理方法。