[發明專利]數據集群遷移方法及裝置

在審

• 申請號: 202010052449.8
• 申請日: 2020-01-17
• 公開（公告）號: CN111258985A
• 公開（公告）日: 2020-06-09
• 發明（設計）人: 陳開;匡蘊娟;周凱;盧祥光
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/27
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 王濤;孫乳筍

本發明提供了一種數據集群遷移方法及裝置，數據集群遷移方法包括：根據待遷移數據集群的物理表生成一參數表；所述參數表中參數包括：限制條件、優先級、目標數據集群的對應庫以及對應表、作業狀態、作業開始時間以及作業結束時間；根據所述待遷移數據集群的元數據以及所述參數表生成數據導出指令以及導入指令；根據所述待遷移數據集群以及所述遷移指令，生成可以遷移至所述目標數據集群的導出數據；根據所述導入指令將所述導出數據導入至所述目標數據集群中。本發明提供的數據集群遷移方法及裝置能夠適用于兩個集群間表級別的數據遷移，且具有通用性。

技術領域

本發明涉及數據庫技術領域，具體涉及金融行業的大數據技術領域，特別是涉及一種數據集群遷移方法及裝置。

背景技術

如今，隨著大數據的爆發式高速發展，存儲的數據每天都以TB級別的增加，而且伴隨越來越嚴格的監管數據要求，新型的AI等業務類型所需的歷史數據也越來越長。導致了日益增長的數據存儲需求和當前整個集群容量的矛盾。為了解決經濟的擴容問題。引入分布式的大數據平臺簡稱：而把數據從當前集群遷移到目標集群的任務就迫在眉睫。

現有技術中，沒有出現兩個數據集群并存的情況，急需一種靈活快速的方法實現數據的跨集群搬遷。

發明內容

針對現有技術中的問題，本發明提供的數據集群遷移方法及裝置能夠適用于兩個集群間表級別的數據遷移，且具有通用性；并適用于各種靈活拆分表、大批量、多并發、全自動的數據同步；從而使開發周期和成本大大降低，減少了工作量，能夠快速部署上線。

為解決上述技術問題，本發明提供以下技術方案：

第一方面，本發明提供一種數據集群遷移方法，包括：

根據待遷移數據集群的物理表生成一參數表；所述參數表中參數包括：限制條件、優先級、目標數據集群的對應庫以及對應表、作業狀態、作業開始時間以及作業結束時間；

根據所述待遷移數據集群的元數據以及所述參數表生成數據導出指令以及導入指令；

根據所述待遷移數據集群以及所述遷移指令，生成可以遷移至所述目標數據集群的導出數據；

根據所述導入指令將所述導出數據導入至所述目標數據集群中。

一實施例中，所述導出指令以及導入指令為sql指令。

一實施例中，所述導出數據為所述待遷移數據集群的邏輯表對應至磁盤的數據文本的集合。

一實施例中，數據集群遷移方法還包括：更新所述參數表中的作業狀態為導出完成、作業開始時間以及作業結束時間。

第二方面，本發明提供一種數據集群遷移裝置，該裝置包括：

參數表生成單元，用于根據待遷移數據集群的物理表生成一參數表；所述參數表中參數包括：限制條件、優先級、目標數據集群的對應庫以及對應表、作業狀態、作業開始時間以及作業結束時間；

指令生成單元，用于根據所述待遷移數據集群的元數據以及所述參數表生成數據導出指令以及導入指令；

導出數據生成單元，用于根據所述待遷移數據集群以及所述遷移指令，生成可以遷移至所述目標數據集群的導出數據；

導出數據導入單元，用于根據所述導入指令將所述導出數據導入至所述目標數據集群中。

一實施例中，所述導出指令以及導入指令為sql指令。

一實施例中，所述導出數據為所述待遷移數據集群的邏輯表對應至磁盤的數據文本的集合。

一實施例中，數據集群遷移裝置還包括：

參數表更新單元，用于更新所述參數表中的作業狀態為導出完成、作業開始時間以及作業結束時間。