[發(fā)明專利]一種數(shù)據(jù)處理方法、裝置及處理服務(wù)器

有效

• 申請?zhí)枺?/td>: 201710378791.5
• 申請日: 2017-05-25
• 公開（公告）號: CN108932104B
• 公開（公告）日: 2021-06-25
• 發(fā)明（設(shè)計）人: 徐曉明
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 深圳市深佳知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44285
• 代理人: 王仲凱

1.一種數(shù)據(jù)處理方法，其特征在于，包括：

檢測各數(shù)據(jù)分片集合的數(shù)據(jù)量；其中，一個數(shù)據(jù)分片集合對應(yīng)有多個數(shù)據(jù)分片，一個存儲服務(wù)器對應(yīng)至少一個數(shù)據(jù)分片集合，且不同存儲服務(wù)器對應(yīng)的數(shù)據(jù)分片集合不同；

根據(jù)各數(shù)據(jù)分片集合的數(shù)據(jù)量，從所述各數(shù)據(jù)分片集合中確定第一數(shù)據(jù)分片集合和第二數(shù)據(jù)分片集合；其中，第一數(shù)據(jù)分片集合的數(shù)據(jù)量大于第二數(shù)據(jù)分片集合，且第一數(shù)據(jù)分片集合與第二數(shù)據(jù)分片集合對應(yīng)的存儲服務(wù)器不同；

確定第一數(shù)據(jù)分片集合中待搬遷的目標(biāo)數(shù)據(jù)分片，所述目標(biāo)數(shù)據(jù)分片的數(shù)據(jù)量小于所述第一數(shù)據(jù)分片集合的數(shù)據(jù)量；

將所述目標(biāo)數(shù)據(jù)分片由第一數(shù)據(jù)分片集合，搬遷到第二數(shù)據(jù)分片集合；其中，搬遷入目標(biāo)數(shù)據(jù)分片的第二數(shù)據(jù)分片集合的數(shù)據(jù)量，不大于，未搬遷目標(biāo)數(shù)據(jù)分片時第一數(shù)據(jù)分片集合的數(shù)據(jù)量；

其中，所述將所述目標(biāo)數(shù)據(jù)分片由第一數(shù)據(jù)分片集合，搬遷到第二數(shù)據(jù)分片集合包括：

獲取目標(biāo)數(shù)據(jù)分片在第一數(shù)據(jù)分片集合的快照；

確定獲取所述快照的時間戳之后的流水日志；

將所述快照導(dǎo)入第二數(shù)據(jù)分片集合，使得第二數(shù)據(jù)分片集合具有目標(biāo)數(shù)據(jù)分片，并將所述流水日志在所述第二數(shù)據(jù)分片集合的目標(biāo)數(shù)據(jù)分片上進行回放。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)處理方法，其特征在于，所述根據(jù)各數(shù)據(jù)分片集合的數(shù)據(jù)量，從所述各數(shù)據(jù)分片集合中確定第一數(shù)據(jù)分片集合和第二數(shù)據(jù)分片集合包括：

從數(shù)據(jù)量大于數(shù)據(jù)量閾值的數(shù)據(jù)分片集合中確定第一數(shù)據(jù)分片集合，及從數(shù)據(jù)量小于數(shù)據(jù)量閾值的數(shù)據(jù)分片集合中確定第二數(shù)據(jù)分片集合。

3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)處理方法，其特征在于，所述從數(shù)據(jù)量大于數(shù)據(jù)量閾值的數(shù)據(jù)分片集合中確定第一數(shù)據(jù)分片集合包括：

將數(shù)據(jù)量大于數(shù)據(jù)量閾值的數(shù)據(jù)分片集合中，數(shù)據(jù)量最大的數(shù)據(jù)分片集合，作為第一數(shù)據(jù)分片集合；

或，將數(shù)據(jù)量大于數(shù)據(jù)量閾值的數(shù)據(jù)分片集合，分別作為第一數(shù)據(jù)分片集合；

或，將數(shù)據(jù)量大于數(shù)據(jù)量閾值的數(shù)據(jù)分片集合中，數(shù)據(jù)量最大的設(shè)定數(shù)量的多個數(shù)據(jù)分片集合，分別作為第一數(shù)據(jù)分片集合。

4.根據(jù)權(quán)利要求2所述的數(shù)據(jù)處理方法，其特征在于，所述從數(shù)據(jù)量小于數(shù)據(jù)量閾值的數(shù)據(jù)分片集合中確定第二數(shù)據(jù)分片集合包括：

確定第一數(shù)據(jù)分片集合的數(shù)據(jù)量與數(shù)據(jù)量閾值的數(shù)據(jù)量差值；

根據(jù)所述數(shù)據(jù)量差值確定目標(biāo)數(shù)據(jù)量；其中，所述目標(biāo)數(shù)據(jù)量不小于所述數(shù)據(jù)量差值；

從數(shù)據(jù)量小于數(shù)據(jù)量閾值的數(shù)據(jù)分片集合中，確定數(shù)據(jù)量與所述數(shù)據(jù)量閾值的差值，不小于，所述目標(biāo)數(shù)據(jù)量的數(shù)據(jù)分片集合；

從所確定的數(shù)據(jù)分片集合中選擇第二數(shù)據(jù)分片集合。

5.根據(jù)權(quán)利要求4所述的數(shù)據(jù)處理方法，其特征在于，所述根據(jù)所述數(shù)據(jù)量差值確定目標(biāo)數(shù)據(jù)量包括：

確定第一數(shù)據(jù)分片集合中數(shù)據(jù)量不小于所述數(shù)據(jù)量差值，且數(shù)據(jù)量與所述數(shù)據(jù)量差值最接近的至少一個數(shù)據(jù)分片，將該至少一個數(shù)據(jù)分片的數(shù)據(jù)量作為目標(biāo)數(shù)據(jù)量。

6.根據(jù)權(quán)利要求4所述的數(shù)據(jù)處理方法，其特征在于，所述確定第一數(shù)據(jù)分片集合中待搬遷的目標(biāo)數(shù)據(jù)分片包括：

從所述第一數(shù)據(jù)分片集合中確定所述目標(biāo)數(shù)據(jù)量相應(yīng)的數(shù)據(jù)分片，作為所述目標(biāo)數(shù)據(jù)分片。

7.根據(jù)權(quán)利要求4所述的數(shù)據(jù)處理方法，其特征在于，所述從數(shù)據(jù)量小于數(shù)據(jù)量閾值的數(shù)據(jù)分片集合中確定第二數(shù)據(jù)分片集合還包括：

若數(shù)據(jù)量小于數(shù)據(jù)量閾值的數(shù)據(jù)分片集合中，不存在數(shù)據(jù)量與所述數(shù)據(jù)量閾值的差值，不小于所述目標(biāo)數(shù)據(jù)量的單一數(shù)據(jù)分片集合，將所述目標(biāo)數(shù)據(jù)分片劃分成多個子目標(biāo)數(shù)據(jù)分片；

從數(shù)據(jù)量小于數(shù)據(jù)量閾值數(shù)據(jù)分片集合中，確定數(shù)據(jù)量與數(shù)據(jù)量閾值的差值大于或等于子目標(biāo)數(shù)據(jù)分片的多個第二數(shù)據(jù)分片集合。

8.根據(jù)權(quán)利要求7所述的數(shù)據(jù)處理方法，其特征在于，所述將所述目標(biāo)數(shù)據(jù)分片由第一數(shù)據(jù)分片集合，搬遷到第二數(shù)據(jù)分片集合包括：

在一個第二數(shù)據(jù)分片集合中搬遷至少一個子目標(biāo)數(shù)據(jù)分片，并控制搬遷入子目標(biāo)數(shù)據(jù)分片的第二數(shù)據(jù)分片集合的數(shù)據(jù)量不大于所述數(shù)據(jù)量閾值。