[發(fā)明專利]一種分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)分裂方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201710208981.2
• 申請(qǐng)日: 2017-03-31
• 公開（公告）號(hào): CN107169009B
• 公開（公告）日: 2020-03-27
• 發(fā)明（設(shè)計(jì)）人: 鄭浩南
• 申請(qǐng)（專利權(quán)）人: 北京奇藝世紀(jì)科技有限公司
• 主分類號(hào): G06F16/242
• 分類號(hào): G06F16/242;G06F16/2458;G06F16/28
• 代理公司: 北京柏杉松知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 項(xiàng)京;馬敬

1.一種分布式存儲(chǔ)系統(tǒng)的數(shù)據(jù)分裂方法，其特征在于，所述方法包括：

監(jiān)測各個(gè)數(shù)據(jù)分片的每秒查詢率QPS是否大于第一預(yù)設(shè)閾值；

將QPS大于第一預(yù)設(shè)閾值的數(shù)據(jù)分片確定為目標(biāo)數(shù)據(jù)分片，對(duì)所述目標(biāo)數(shù)據(jù)分片的訪問請(qǐng)求進(jìn)行采樣，形成關(guān)于所采樣的訪問請(qǐng)求對(duì)應(yīng)的索引鍵值的采樣數(shù)據(jù)流；

判斷所述目標(biāo)數(shù)據(jù)分片的QPS是否大于第二預(yù)設(shè)閾值；

若是，確定所述采樣數(shù)據(jù)流中每預(yù)設(shè)時(shí)間段內(nèi)的索引鍵值的中位數(shù)；

根據(jù)所確定的中位數(shù)，預(yù)測獲得當(dāng)前時(shí)刻對(duì)應(yīng)的下一所述預(yù)設(shè)時(shí)間段內(nèi)的索引鍵值的中位數(shù)，并將所預(yù)測獲得的中位數(shù)確定為分裂點(diǎn)；

根據(jù)所述分裂點(diǎn)，對(duì)所述目標(biāo)數(shù)據(jù)分片進(jìn)行分裂。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，還包括：當(dāng)監(jiān)測到所述目標(biāo)數(shù)據(jù)分片的QPS大于所述第一預(yù)設(shè)閾值，且不大于所述第二預(yù)設(shè)閾值的第一狀態(tài)時(shí)，記錄所述第一狀態(tài)對(duì)應(yīng)的第一持續(xù)時(shí)間；

當(dāng)所述第一持續(xù)時(shí)間大于第三預(yù)設(shè)閾值時(shí)，執(zhí)行所述確定所述采樣數(shù)據(jù)流中每預(yù)設(shè)時(shí)間段內(nèi)的索引鍵值的中位數(shù)的步驟。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，還包括：

當(dāng)監(jiān)測到所述目標(biāo)數(shù)據(jù)分片的QPS小于所述第一預(yù)設(shè)閾值時(shí)，判斷已記錄的所述第一持續(xù)時(shí)間是否大于第四預(yù)設(shè)閾值；

如果是，則執(zhí)行所述確定所述采樣數(shù)據(jù)流中每預(yù)設(shè)時(shí)間段內(nèi)的索引鍵值的中位數(shù)的步驟。

4.根據(jù)權(quán)利要求1至3任一項(xiàng)所述的方法，其特征在于，所述根據(jù)所述分裂點(diǎn)，對(duì)所述目標(biāo)數(shù)據(jù)分片進(jìn)行分裂的步驟，包括：

根據(jù)所述分裂點(diǎn)，對(duì)所述目標(biāo)數(shù)據(jù)分片進(jìn)行邏輯分裂，得到邏輯子數(shù)據(jù)分片；

針對(duì)每一所述邏輯子數(shù)據(jù)分片，判斷該邏輯子數(shù)據(jù)分片的QPS是否大于所述第一預(yù)設(shè)閾值；

若該邏輯子數(shù)據(jù)分片的QPS大于所述第一預(yù)設(shè)閾值，以該邏輯子數(shù)據(jù)分片來更新所述目標(biāo)數(shù)據(jù)分片，返回執(zhí)行所述對(duì)所述目標(biāo)數(shù)據(jù)分片的訪問請(qǐng)求進(jìn)行采樣的步驟；

根據(jù)預(yù)設(shè)規(guī)則，將最終所得到的邏輯子數(shù)據(jù)分片對(duì)應(yīng)的數(shù)據(jù)分配到所述分布式存儲(chǔ)系統(tǒng)中的存儲(chǔ)結(jié)點(diǎn)。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)所述分裂點(diǎn)，對(duì)所述目標(biāo)數(shù)據(jù)分片進(jìn)行邏輯分裂，得到邏輯子數(shù)據(jù)分片的步驟，包括：

根據(jù)所述分裂點(diǎn)，將所述目標(biāo)數(shù)據(jù)分片的元數(shù)據(jù)信息分裂為子元數(shù)據(jù)信息；

將所述子元數(shù)據(jù)信息對(duì)應(yīng)的數(shù)據(jù)分片確定為邏輯子數(shù)據(jù)分片。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，在所述將所述邏輯子數(shù)據(jù)分片對(duì)應(yīng)的數(shù)據(jù)分配到所述分布式存儲(chǔ)系統(tǒng)中的存儲(chǔ)結(jié)點(diǎn)的步驟之前，所述方法還包括：

在該邏輯子數(shù)據(jù)分片的QPS不大于所述第一預(yù)設(shè)閾值的情況下，判斷該邏輯子數(shù)據(jù)分片的QPS是否小于第五預(yù)設(shè)閾值；

若該邏輯子數(shù)據(jù)分片的QPS小于所述第五預(yù)設(shè)閾值，確定所述目標(biāo)數(shù)據(jù)分片的目標(biāo)相鄰數(shù)據(jù)分片；其中，所述目標(biāo)相鄰數(shù)據(jù)分片的QPS在所述目標(biāo)數(shù)據(jù)分片的相鄰數(shù)據(jù)分片的QPS中最小；所述相鄰數(shù)據(jù)分片與所述目標(biāo)數(shù)據(jù)分片在索引上連續(xù)；

判斷所述目標(biāo)相鄰數(shù)據(jù)分片的QPS是否小于第六預(yù)設(shè)閾值；

若所述目標(biāo)相鄰數(shù)據(jù)分片的QPS小于所述第六預(yù)設(shè)閾值，將該邏輯子數(shù)據(jù)分片合并到所述目標(biāo)相鄰數(shù)據(jù)分片上。