[發明專利]一種數據處理方法、裝置及處理服務器

有效

• 申請號: 201710378791.5
• 申請日: 2017-05-25
• 公開（公告）號: CN108932104B
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 徐曉明
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 王仲凱

本發明實施例提供一種數據處理方法、裝置及處理服務器，該方法包括：檢測各數據分片集合的數據量；根據各數據分片集合的數據量，從所述各數據分片集合中確定第一數據分片集合和第二數據分片集合；其中，第一數據分片集合的數據量大于第二數據分片集合，且第一數據分片集合與第二數據分片集合對應的存儲服務器不同；確定第一數據分片集合中待搬遷的目標數據分片，所述目標數據分片的數據量小于所述第一數據分片集合的數據量；將所述目標數據分片由第一數據分片集合，搬遷到第二數據分片集合。本發明實施例能夠提高分布式存儲系統中存儲服務器的可用性，為減小分布式存儲系統的維護負擔提供可能。

技術領域

本發明涉及數據存儲技術領域，具體涉及一種數據處理方法、裝置及處理服務器。

背景技術

在互聯網海量數據高并發形勢下，相比于采用單個存儲服務器集中存儲數據的方式，分布式存儲系統無論在可靠性、可用性和存取效率上均具有明顯的優勢。分布式存儲系統是指將數據分散存儲在多臺存儲服務器上，以利用多臺存儲服務器分擔存儲壓力的系統架構。

分布式存儲系統在進行數據存儲時一般利用到分片(Shard)技術，具體將數據進行分片(即將數據細分)，得到多個數據分片，將該多個數據分片分散存儲；例如，需要在分布式存儲系統中存儲10000條數據，則可將該10000條數據進行分片，每100條數據作為一個數據分片，得到100個數據分片，通過將該100個數據分片分散存儲在多臺存儲服務器上，實現分布式存儲系統對該10000條數據的存儲。

然而本發明的發明人發現，在分布式存儲系統利用分片技術，實現數據存儲的過程中存在如下問題：當分布式存儲系統的某一存儲服務器存在數據分片大量寫入時，將造成該存儲服務器的數據分片寫滿，無法在后續繼續寫入數據分片，導致該存儲服務器在后續無法繼續使用，存儲服務器的可用性降低，同時增加了分布式存儲系統的維護負擔；因此如何提高分布式存儲系統中存儲服務器的可用性，為減小分布式存儲系統的維護負擔提供可能，成為了本領域技術人員需要考慮的問題。

發明內容

有鑒于此，本發明實施例提供一種數據處理方法、裝置及處理服務器，以提高分布式存儲系統中存儲服務器的可用性，為減小分布式存儲系統的維護負擔提供可能。

為實現上述目的，本發明實施例提供如下技術方案：

一種數據處理方法，包括：

檢測各數據分片集合的數據量；其中，一個數據分片集合對應有多個數據分片，一個存儲服務器對應至少一個數據分片集合，且不同存儲服務器對應的數據分片集合不同；

根據各數據分片集合的數據量，從所述各數據分片集合中確定第一數據分片集合和第二數據分片集合；其中，第一數據分片集合的數據量大于第二數據分片集合，且第一數據分片集合與第二數據分片集合對應的存儲服務器不同；

確定第一數據分片集合中待搬遷的目標數據分片，所述目標數據分片的數據量小于所述第一數據分片集合的數據量；

將所述目標數據分片由第一數據分片集合，搬遷到第二數據分片集合；其中，搬遷入目標數據分片的第二數據分片集合的數據量，不大于，未搬遷目標數據分片時第一數據分片集合的數據量。

本發明實施例還提供一種數據處理裝置，包括：

數據量檢測模塊，用于檢測各數據分片集合的數據量；其中，一個數據分片集合對應有多個數據分片，一個存儲服務器對應至少一個數據分片集合，且不同存儲服務器對應的數據分片集合不同；

分片集合確定模塊，用于根據各數據分片集合的數據量，從所述各數據分片集合中確定第一數據分片集合和第二數據分片集合；其中，第一數據分片集合的數據量大于第二數據分片集合，且第一數據分片集合與第二數據分片集合對應的存儲服務器不同；

目標分片確定模塊，用于確定第一數據分片集合中待搬遷的目標數據分片，所述目標數據分片的數據量小于所述第一數據分片集合的數據量；