[發明專利]數據遷移的方法和裝置

在審

• 申請號: 201910576913.0
• 申請日: 2019-06-28
• 公開（公告）號: CN112148705A
• 公開（公告）日: 2020-12-29
• 發明（設計）人: 張棟芳;黃寶祥
• 申請（專利權）人: 京東數字科技控股有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/25
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 馮培培;耿雪利

本發明公開了數據遷移的方法和裝置，涉及計算機技術領域。該裝置的一具體實施方式包括：遷移前置模塊，用于監聽遷移請求信息，根據所述遷移請求信息生成遷移任務，并將遷移前置模塊生成的遷移任務寫入至所述遷移任務表；任務獲取模塊，用于掃描所述遷移任務表，獲取所述遷移表中待處理的遷移任務，將所述遷移任務發送至遷移模塊；遷移模塊，用于根據所述遷移任務獲取源賬戶的源數據，將所述源數據以目標賬戶的形式存儲在目標賬戶下。該實施方式解決了現有技術在表結構變更或新增表代碼需要重新上線發布數據遷移的工具的技術缺陷，進而達到當表結構變更時、或新增表結構時均無需修改數據遷移裝置的代碼的有益效果。

技術領域

本發明涉及計算機技術領域，尤其涉及一種數據遷移的方法和裝置。

背景技術

數據遷移是將所需的數據從源數據庫遷移到目標數據庫的過程?，F有技術主要采用兩種方式對數據進行遷移：

方式一、將源關系數據庫中的數據轉換為TLV格式的數據，通過遷移實例將TLV格式文件中的數據遷移至目標數據庫；

方式二、將待遷移數據存儲到堆棧內存，然后根據目標數據庫類型和表的字段列數量，把數據轉換成匹配該目標數據庫的行記錄，并封裝成符合ETL可用的數據對象，最后寫入目標數據庫。

在實現本發明過程中，發明人發現現有技術中至少存在如下問題：

1.采用上述第一種方式進行數據遷移對部分原有類型的數據不支持，并且無法做到高效的數據遷移。

2.采用上述第二種方式進行數據遷移需要逐表寫入、不能多表并發寫入、效率低，且抽取數據放在內存堆棧中，容易造成系統異常數據丟失風險。

發明內容

有鑒于此，本發明實施例提供一種數據遷移的方法和裝置，能夠解決現有技術在表結構變更或新增表代碼需要重新上線發布數據遷移的工具的技術缺陷，進而達到當表結構變更時、新增表結構時均無需修改數據遷移裝置的代碼的有益效果。

為實現上述目的，根據本發明實施例的一個方面，提供了一種數據遷移的裝置，包括：

遷移前置模塊，用于監聽遷移請求信息，根據所述遷移請求信息生成遷移任務，并將遷移前置模塊生成的遷移任務寫入至所述遷移任務表；

任務獲取模塊，用于掃描所述遷移任務表，獲取所述遷移表中待處理的遷移任務，將所述遷移任務發送至遷移模塊；

遷移模塊，用于根據所述遷移任務獲取源賬戶的源數據，將所述源數據以目標賬戶數據存儲的形式存儲在目標賬戶下。

可選地，根據所述遷移請求信息生成遷移任務，包括：

根據所述遷移請求信息，查詢分布式集群統一配置的遷移表；

組裝所述遷移請求信息和在所述遷移表查詢到的數據，生成遷移任務；

其中，遷移請求信息，包括：源賬戶信息、目標賬戶信息、遷移請求號。

可選地，所述任務獲取模塊，還用于：將所述遷移任務發送至遷移工具之后，采用樂觀鎖將已經寫入所述遷移任務表的遷移任務的狀態設置為已發送。

可選地，所述遷移模塊，還用于：將所述源數據以目標賬戶的形式存儲在目標賬戶下之前，

分別定位所述遷移任務對應的源賬戶的源數據庫和源數據表、目標賬戶的目標數據庫和目標數據表；

分別計算源賬戶數據庫和數據表信息、目標賬戶的數據庫和數據表信息；和/或，

將源賬戶、目標賬戶的數據庫連接信息保存到當前線程的變量中。

可選地，根據所述遷移任務獲取源賬戶的源數據，將所述源數據以目標賬戶的形式存儲在目標賬戶下，包括：