[發明專利]一種數據庫擴容方法、裝置及系統

在審

• 申請號: 202010757943.4
• 申請日: 2020-07-31
• 公開（公告）號: CN111930716A
• 公開（公告）日: 2020-11-13
• 發明（設計）人: 熊輝;潘晨隱;潘添;曾琳奕
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/22;G06F16/27;G06F16/23
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 周達;劉飛

本說明書實施例涉及大數據技術領域，具體公開了一種數據庫擴容方法、裝置及系統，所述方法包括接收數據庫擴容請求；所述數據庫擴容請求包括新增子數據庫的設備標識信息；確定擴容前的數據庫中的待遷移數據，以使所述待遷移數據遷移至所述設備標識信息所對應的新增子數據庫中；在確定數據遷移開始后，接收并記錄所述待遷移數據所對應的數據寫入請求；在確定數據遷移結束后，利用記錄的所述數據寫入請求對所述新增子數據庫中的數據進行更新處理。利用本說明書各個實施例，可以最大限度的保證數據庫擴容過程中，數據庫的高可用性，以及提高數據庫擴容的高效性。

技術領域

本說明書涉及大數據技術領域，特別地，涉及一種數據庫擴容方法、裝置及系統。

背景技術

當前分布式數據庫主要應用領域是大數據分析。分布式數據庫處理的數據量已經達到PB級，且數據量還在以驚人的速度增長。已有的分布式數據庫系統總會面臨計算能力和數據存儲能力的瓶頸，當集群的資源不足的時候，則需要通過在線擴容以增加數據庫的處理量。即通過增加新的物理設備，讓新增的設備分擔集群數據處理壓力。在擴容的過程中原數據庫中的數據需要重新分布至新的物理設備，以保證數據處理的一致性，以及適應擴展帶來的性能和存儲能力的提升。

目前分布式數據庫大多采用哈希分布或者隨機分布技術把數據分布到各個節點上。對于已經在運行的分布式數據庫系統，數據的哈希分布方式是固定的，如果新增節點，則用戶id與服務器的映射關系會大量失效。在這種場景下增加節點就需要修改哈希分布方式，對已有數據重新做哈希分布，讓數據分布在新增節點上。同時在擴容的過程需要中斷業務，而分布式數據庫系統擴容時涉及的數據量巨大，所以擴容所花費的時間也一般比較長，從而使得業務的連續性受到較大的影響。因此，目前亟需一種可以保證業務連續性的數據庫在線擴容方法。

發明內容

本說明書實施例的目的在于提供一種數據庫擴容方法、裝置及系統，可以最大限度的保證數據庫擴容過程中，數據庫的可用性，進而最大限度的保證業務的連續性。

本說明書提供一種數據庫擴容方法、裝置及系統是包括如下方式實現的：

一種數據庫擴容方法，應用于擴容控制設備，所述方法包括：接收數據庫擴容請求；所述數據庫擴容請求包括新增子數據庫的設備標識信息；確定擴容前的數據庫中的待遷移數據，以使所述待遷移數據遷移至所述設備標識信息所對應的新增子數據庫中；在確定數據遷移開始后，接收并記錄所述待遷移數據所對應的數據寫入請求；在確定數據遷移結束后，利用記錄的所述數據寫入請求對所述新增子數據庫中的數據進行更新處理。

本說明書提供的所述方法的另一些實施例中，所述方法還包括：根據所述數據庫擴容請求中的設備標識信息以及擴容前的數據庫哈希分布，計算得到擴容后的數據庫哈希分布；所述數據庫哈希分布根據一致性哈希算法確定；根據所述擴容后的數據庫哈希分布確定所述新增子數據庫的哈希區間。相應的，所述確定擴容前的數據庫中的待遷移數據包括將擴容前的數據庫中所述哈希區間所對應的數據作為待遷移數據。

本說明書提供的所述方法的另一些實施例中，所述方法還包括：接收并記錄所述哈希區間內任意哈希值所對應的數據寫入請求。

本說明書提供的所述方法的另一些實施例中，所述方法還包括：在確定數據遷移開始后、數據遷移結束前，拒絕所述待遷移數據所對應的數據讀取請求。

本說明書提供的所述方法的另一些實施例中，所述記錄所述待遷移數據所對應的數據寫入請求，包括：獲取所述數據寫入請求的請求時間以及數據標識；所述數據標識表示所述數據寫入請求所請求的數據的標識信息。根據所述請求時間以及數據標識生成所述數據寫入請求的請求標識信息；其中，所述請求標識信息包括數據標識、時間戳以及版本號；所述版本號表示所述數據標識所對應的數據寫入請求在數據遷移過程中的請求次數。利用所述請求標識信息記錄所述數據寫入請求。