[發明專利]一種數據重分布的方法及裝置

在審

• 申請號: 201610109478.7
• 申請日: 2016-02-26
• 公開（公告）號: CN107133228A
• 公開（公告）日: 2017-09-05
• 發明（設計）人: 左超;劉輝軍;何雄輝
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京同達信恒知識產權代理有限公司11291
• 代理人: 馮艷蓮

技術領域

本申請涉及數據存儲技術領域，特別涉及一種數據重分布的方法及裝置。

背景技術

隨著大數據時代的到來，對于海量數據的存儲處理越來越重要。目前，主要采用數據庫集群來存儲海量數據。所謂數據庫集群，就是利用多臺數據庫服務器構成一個虛擬單一數據庫邏輯映像，像單數據庫服務器系統一樣向客戶端提供透明的數據服務。

數據庫集群中的一臺數據庫服務器可以稱為一個存儲節點，數據庫集群中有多個存儲節點和一個數據管理節點，數據管理節點也可以和存儲節點合設，通常按照一定的算法將數據塊分散存儲在各個存儲節點上，常用的算法有哈希算法、輪轉算法和隨機算法等，在數據管理節點中存儲所有存儲節點中所有數據塊的數據塊標識及其對應的地址。

為應對業務彈性擴展的需求，數據庫集群需要隨時擴容。擴容時需要對原有的存儲數據進行重分布，以充分利用新增的存儲節點。數據重分布的過程需要按照最新的存儲節點數量，采用一定的算法重新計算，部分數據會被遷移到新增的存儲節點上。

目前的擴容技術大多是停機擴容，也就是在擴容時中斷數據庫集群的服務，使得業務中斷。然而數據重分布的過程，大量數據的遷移需要花費很長時間，這樣，造成了業務中斷的時間較長。

發明內容

本申請實施例提供一種數據重分布的方法及裝置，用以縮短數據重分布過 程中業務中斷的時間。

本申請實施例提供的具體技術方案如下：

第一方面，提供一種數據重分布的方法，包括：在確定需要進行數據重分布時，將待遷移數據的當前存儲節點和所述待遷移數據的目標存儲節點的狀態均由可對外提供服務設置為不可對外提供服務；在所述當前存儲節點為不可對外提供服務的狀態下，基于在所述當前存儲節點對外提供服務期間時所記錄的所述待遷移數據的使用熱度，將所述待遷移數據中使用熱度大于預設閾值的第一組數據遷移到所述目標存儲節點；所述使用熱度用于表征所述待遷移數據被使用的次數；將所述當前存儲節點和所述目標存儲節點的狀態由所述不可對外提供服務切換回可對外提供服務。

所述第一組數據可以稱為熱點數據，所述預設閾值為根據經驗值設置的區分所述待遷移數據中熱點數據和非熱點數據的臨界值。這樣通過在存儲節點停止服務時先遷移熱點數據，一旦遷移完熱點數據就將存儲節點恢復服務，大大縮小了因數據重分布而影響業務中斷的時間，有效提升了數據庫集群的系統性能。

結合第一方面，在第一方面的第一種可能的實現方式中，在進行所述數據重分布之前，還包括：在所述當前存儲節點對外提供服務期間時，對所述當前存儲節點的數據存儲模型下的每一個單位分別記錄一個使用熱度；其中，在任意一個單位建立時，針對所述任意一個單位記錄一個初始的使用熱度，每當所述任意一個單位被使用一次時，更新所述任意一個單位對應的使用熱度。

結合第一方面的第一種可能的實現方式，在第一方面的第二種可能的實現方式中，所述數據存儲模型包括數據表、數據頁、數據記錄中的任意一種；所述一個單位為一張數據表、一張數據頁或一條數據記錄。

結合第一方面的第一種可能的實現方式，在第一方面的第三種可能的實現方式中，還包括：在所述當前存儲節點對外提供服務期間時，針對所述當前存儲節點的數據存儲模型下的所有單位的使用熱度設置N個等級，N≥2，N為 正整數；將所述當前存儲節點最后一次更新使用熱度后所有所述單位的使用熱度中的最高值，設置為所述N個等級中的最高等級的值；基于所述最高等級的值，按遞減規則設置所述N個等級中除所述最高等級之外的(N-1)個等級的值；其中，每更新一個單位對應的使用熱度，將更新的使用熱度與所述最高等級的值相比較，在所述更新的使用熱度大于所述最高等級的值時，將所述最高等級的值更新為所述更新的使用熱度。

較佳的，進一步按照更新后的最高等級的值，將所述(N-1)個等級的值依次進行更新；或者，進一步判斷本次更新后的最高等級的值與本次更新前的最高等級的值之間的差值是否大于設置的差值閾值，在判定本次更新后的最高等級的值與本次更新前的最高等級的值之間的差值大于設置的差值閾值時，將所述(N-1)個等級的值依次進行更新。