[發(fā)明專利]一種分布式數(shù)據(jù)庫數(shù)據(jù)在線遷移方法

在審

• 申請?zhí)枺?/td>: 202111282214.9
• 申請日: 2021-11-01
• 公開（公告）號: CN113986882A
• 公開（公告）日: 2022-01-28
• 發(fā)明（設計）人: 洪皓;徐蔡飛
• 申請（專利權）人: 焦點科技股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/27;G06F16/215
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 陳建和

1.一種分布式數(shù)據(jù)庫數(shù)據(jù)在線遷移方法，其特征在于，包括如下步驟：

步驟1：部署分布式數(shù)據(jù)庫集群下各個物理庫的挖掘環(huán)境，將增量數(shù)據(jù)寫入到指定topic中；

步驟2：配置并開啟增量同步任務，讀取topic中增量數(shù)據(jù)，將增量數(shù)據(jù)通過特殊賬號寫入到分布式數(shù)據(jù)庫，所述特殊賬號采用第二配置；

步驟3：當kafka成功記錄了當前消費位置信息后停止增量同步任務；

步驟4：配置并開啟全量同步任務，全量讀取分布式數(shù)據(jù)庫數(shù)據(jù)，所述全量讀取采用第一配置，通過特殊賬號再次寫入到分布式數(shù)據(jù)庫；

步驟5：再次開啟增量同步任務，當全量數(shù)據(jù)全部同步結束后，再次讀取topic中增量數(shù)據(jù)，將剩余的增量數(shù)據(jù)全部通過特殊賬號寫入到分布式數(shù)據(jù)庫；

步驟6：當增量同步任務全部結束后，開啟通知機制通知分布式數(shù)據(jù)庫進行配置切換，將第一配置切換到第二配置；

步驟7：以上步驟全部完成后，根據(jù)主鍵刪除舊分片的冗余數(shù)據(jù)。

2.如權利要求1所述的一種分布式數(shù)據(jù)庫數(shù)據(jù)在線遷移方法，其特征在于：所述步驟1包括：

步驟1-1：在kafka上為分布式數(shù)據(jù)庫集群下各個物理庫實例分別申請一個topic；

步驟1-2：為分布式數(shù)據(jù)庫集群下各個物理庫實例開啟binlog日志挖掘，捕獲并分析binlog日志中每一個事件的信息，將解析出來的變更記錄寫入到對應的topic中。

3.如權利要求2所述的一種分布式數(shù)據(jù)庫數(shù)據(jù)在線遷移方法，其特征在于：所述步驟2包括：在數(shù)據(jù)總線管理系統(tǒng)上配置增量同步任務，配置Include Tables項，只同步擴容任務包含的庫表信息。

4.如權利要求4所述的一種分布式數(shù)據(jù)庫數(shù)據(jù)在線遷移方法，其特征在于：所述步驟4包括：

步驟4-1：在數(shù)據(jù)總線管理系統(tǒng)上配置全量同步任務，支持在多臺機器資源上部署多個全量同步任務，將庫表信息按照所占的空間大小均勻的分配到各個全量同步任務上，每個全量同步任務所分配的庫表信息所占的空間大小之和為：所有庫表信息所占空間大小之和與全量同步任務數(shù)的除數(shù)；

步驟4-2：并行開啟所有全量同步任務，通過唯一鍵的升序排序向源庫發(fā)起批量查詢，對查詢出來的數(shù)據(jù)進行篩選，只對命中slot插槽的數(shù)據(jù)進行遷移，通過分布式數(shù)據(jù)庫提供的特殊賬號寫入，寫入時采用多線程并發(fā)的方式；

步驟4-3：將已同步的數(shù)據(jù)的唯一鍵的信息記錄到redis中，以使每個全量同步任務重啟時可以繼續(xù)上次的位置同步。

5.如權利要求5所述的一種分布式數(shù)據(jù)庫數(shù)據(jù)在線遷移方法，其特征在于：所述步驟5包括：

步驟5-1：等待全量同步任務的任務狀態(tài)全部為結束狀態(tài)后，再次開啟增量同步任務，將剩余的增量數(shù)據(jù)通過分布式數(shù)據(jù)庫提供的特殊賬號寫入；

步驟5-2：增量同步任務每隔5s對無數(shù)據(jù)消費次數(shù)進行統(tǒng)計，如有增量數(shù)據(jù)則統(tǒng)計清零。

6.如權利要求6所述的一種分布式數(shù)據(jù)庫數(shù)據(jù)在線遷移方法，其特征在于：所述步驟6包括：等待增量數(shù)據(jù)的同步全部完成后開啟通知機制，數(shù)據(jù)總線管理系統(tǒng)每隔5s將無數(shù)據(jù)消費次數(shù)通知給分布式數(shù)據(jù)庫管理系統(tǒng)，當數(shù)據(jù)總線管理系統(tǒng)收到分布式數(shù)據(jù)庫管理系統(tǒng)響應為中斷寫入時重新開始計數(shù)，當分布式數(shù)據(jù)庫管理系統(tǒng)收到數(shù)據(jù)總線管理系統(tǒng)通知的無數(shù)據(jù)消費次數(shù)超過5次時，自動將第一配置切換到第二配置，當數(shù)據(jù)總線管理系統(tǒng)收到分布式數(shù)據(jù)庫管理系統(tǒng)響應為配置切換完成時停止通知，并自動停止增量同步任務。

7.如權利要求7所述的一種分布式數(shù)據(jù)庫數(shù)據(jù)在線遷移方法，其特征在于，所述步驟7具體為：

步驟7-1：將命中插槽slot的數(shù)據(jù)的主鍵信息額外記錄到redis中；

步驟7-2：當以上步驟全部完成后，通過查詢redis生成sql腳本，在舊的分片上執(zhí)行sql腳本用以將被遷移的數(shù)據(jù)刪除。