[發明專利]一種邏輯增量遷移方法

有效

• 申請號: 202010931781.1
• 申請日: 2020-09-08
• 公開（公告）號: CN112256666B
• 公開（公告）日: 2023-06-16
• 發明（設計）人: 張漢闊;劉少杰;韓光睿;趙威;戚克明;賈祥波;梁燕紅;盧學剛;宋金鴻
• 申請（專利權）人: 山東黃金礦業（萊州）有限公司三山島金礦;煙臺東方縱橫科技股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/23
• 代理公司: 北京市廣友專利事務所有限責任公司 11237
• 代理人: 張仲波;鄧琳

本發明公開了一種邏輯增量遷移方法，包括以下步驟：根據具體的業務邏輯，確定待遷移數據的邏輯范圍，得到邏輯數據塊；清除目標表中與所述邏輯范圍相對應的舊數據；將所述邏輯數據塊中的數據遷移到所述目標表中。本發明實施例提供的邏輯增量遷移方法，能夠在無時間戳的情況下實現無損小批增量數據遷移，無需損害或修改現有業務系統，與全量遷移相比，不僅能減少遷移數據量的量級，而且能夠減少帶寬耗用、節約平臺運算能力，同時提升遷移效率。

技術領域

本發明涉及云數據遷移技術領域，特別涉及一種邏輯增量遷移方法。

背景技術

礦山由數字化到智能化轉型進程中，礦山基于大數據集成平臺對業務系統數據采集入湖需要進行云數據遷移(Cloud?Data?Migration，簡稱CDM)。

現有的數據遷移方法主要有兩種，一種是全量遷移，一種是增量遷移。全量遷移適合首次、一次性或者數據量小于10萬級別的數據遷移。而增量遷移，則要求在遷移的庫表上有時間戳，用以控制每次遷移數據集邊界。

然而，礦山當前在用的很多業務系統、物流系統、生產系統、車間績效系統等，它們待遷移的表中絕大多數都不含有時間戳字段，如果添加字段或修改，將會影響原有業務系統的正常運行或者導致處理邏輯異常。目前使用全量遷移，則表中的數據集合量級巨大，勢必對網絡帶寬、平臺算力、遷移效率、能耗方面產生影響。

發明內容

本發明的目的在于提供一種邏輯增量遷移方法，在無時間戳的情況下進行數據遷移，既不損害或修改現有業務系統，也能夠避免使用全量遷移導致的數據量巨大的問題，減少帶寬耗用、節約平臺運算能力、提升遷移效率。

為解決上述技術問題，本發明的實施例提供如下方案：

一種邏輯增量遷移方法，包括以下步驟：

根據具體的業務邏輯，確定待遷移數據的邏輯范圍，得到邏輯數據塊；

清除目標表中與所述邏輯范圍相對應的舊數據；

將所述邏輯數據塊中的數據遷移到所述目標表中。

優選地，所述邏輯數據塊包含所述邏輯范圍內兩次遷移間隔的變動數據和未變動數據，其中，所述變動數據包括新增數據、修改數據和刪除數據。

優選地，所述根據具體的業務邏輯，確定待遷移數據的邏輯范圍，得到邏輯數據塊的步驟具體包括：

抽取待遷移變動數據的共性，歸納出一個包含全部共性的邏輯范圍條件；

對所述邏輯范圍條件進行驗證，驗證所述邏輯范圍條件是否完整；

根據驗證結果，對所述邏輯范圍條件進行補充、放大限定范圍、或者縮小限定范圍。

優選地，所述抽取待遷移變動數據的共性，歸納出一個包含全部共性的邏輯范圍條件的步驟具體包括：

分析待遷移變動數據，得出數據變動規律、數據聚集特性、以及數據共同特點；

根據得出的數據變動規律、數據聚集特性和數據共同特點歸納出一個包含全部共性的邏輯范圍條件。

優選地，所述對邏輯范圍條件進行驗證的步驟具體包括：

獲取遷移頻率；

根據所述遷移頻率判斷下次遷移邏輯數據塊時，數據是否遺漏；

若出現遺漏，則擴大所述邏輯范圍條件，使所述邏輯數據塊包含全部變動數據。

優選地，所述對邏輯范圍條件進行驗證的步驟還包括：

將歸納出的邏輯范圍條件與業務操作人員進行確認，得到驗證結果。

本發明實施例提供的技術方案帶來的有益效果至少包括：