[發(fā)明專利]一種數(shù)據(jù)合并方法和設(shè)備

有效

• 申請?zhí)枺?/td>: 201410429616.0
• 申請日: 2014-08-27
• 公開（公告）號: CN105446653B
• 公開（公告）日: 2018-12-14
• 發(fā)明（設(shè)計）人: 陽振坤;孫志東;徐虎
• 申請（專利權(quán)）人: 阿里巴巴集團控股有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F17/30;H04L29/08
• 代理公司: 北京睿博行遠知識產(chǎn)權(quán)代理有限公司 11297
• 代理人: 龔家驊

1.一種數(shù)據(jù)合并方法，該方法應(yīng)用于包括數(shù)據(jù)平臺、數(shù)據(jù)更新服務(wù)器和多個數(shù)據(jù)存儲服務(wù)器的系統(tǒng)中，其特征在于，在需要將所述數(shù)據(jù)更新服務(wù)器內(nèi)的數(shù)據(jù)合并到所述多個數(shù)據(jù)存儲服務(wù)器時，所述方法包括以下步驟：

所述數(shù)據(jù)平臺確定當(dāng)前需要進行數(shù)據(jù)合并的數(shù)據(jù)存儲服務(wù)器，并將所述數(shù)據(jù)存儲服務(wù)器的外部讀寫流量切換到其它數(shù)據(jù)存儲服務(wù)器；

在外部讀寫流量被切換到其它數(shù)據(jù)存儲服務(wù)器之后，所述數(shù)據(jù)平臺將所述數(shù)據(jù)更新服務(wù)器內(nèi)的數(shù)據(jù)合并到所述數(shù)據(jù)存儲服務(wù)器中；

在數(shù)據(jù)被合并到所述數(shù)據(jù)存儲服務(wù)器完成之后，所述數(shù)據(jù)平臺將所述數(shù)據(jù)存儲服務(wù)器的已經(jīng)切換到其它數(shù)據(jù)存儲服務(wù)器的外部讀寫流量恢復(fù)到所述數(shù)據(jù)存儲服務(wù)器。

2.如權(quán)利要求1所述的方法，其特征在于，所述方法進一步包括：

在確定當(dāng)前需要進行數(shù)據(jù)合并的數(shù)據(jù)存儲服務(wù)器的過程中，所述數(shù)據(jù)平臺判斷當(dāng)前是否存在沒有合并數(shù)據(jù)更新服務(wù)器內(nèi)數(shù)據(jù)的數(shù)據(jù)存儲服務(wù)器；如果存在，則所述數(shù)據(jù)平臺從沒有合并數(shù)據(jù)更新服務(wù)器內(nèi)數(shù)據(jù)的數(shù)據(jù)存儲服務(wù)器中選擇一個當(dāng)前需要進行數(shù)據(jù)合并的數(shù)據(jù)存儲服務(wù)器；如果不存在，則所述數(shù)據(jù)平臺從數(shù)據(jù)更新服務(wù)器內(nèi)刪除已經(jīng)合并到數(shù)據(jù)存儲服務(wù)器的數(shù)據(jù)。

3.如權(quán)利要求1所述的方法，其特征在于，所述數(shù)據(jù)平臺將所述數(shù)據(jù)存儲服務(wù)器的外部讀寫流量切換到其它數(shù)據(jù)存儲服務(wù)器，具體包括：

所述數(shù)據(jù)平臺生成流量控制表，在所述流量控制表中，所述數(shù)據(jù)存儲服務(wù)器的流量比重為0；以使客戶端從所述數(shù)據(jù)平臺讀取所述流量控制表，并在發(fā)送外部讀寫流量時，按照所述流量控制表中記錄的數(shù)據(jù)存儲服務(wù)器的流量比重向所述數(shù)據(jù)存儲服務(wù)器發(fā)送外部讀寫流量；

所述數(shù)據(jù)平臺將所述數(shù)據(jù)存儲服務(wù)器的已經(jīng)切換到其它數(shù)據(jù)存儲服務(wù)器的外部讀寫流量恢復(fù)到所述數(shù)據(jù)存儲服務(wù)器，具體包括：所述數(shù)據(jù)平臺生成流量控制表，在所述流量控制表中，所述數(shù)據(jù)存儲服務(wù)器的流量比重為特定比重數(shù)值，所述特定比重數(shù)值是未對所述數(shù)據(jù)存儲服務(wù)器進行數(shù)據(jù)合并時，所述數(shù)據(jù)存儲服務(wù)器對應(yīng)的流量比重；以使客戶端從所述數(shù)據(jù)平臺讀取所述流量控制表，并在發(fā)送外部讀寫流量時，按照所述流量控制表中記錄的數(shù)據(jù)存儲服務(wù)器的流量比重向所述數(shù)據(jù)存儲服務(wù)器發(fā)送外部讀寫流量。

4.如權(quán)利要求1所述的方法，其特征在于，所述方法進一步包括：

在將所述數(shù)據(jù)更新服務(wù)器內(nèi)的數(shù)據(jù)合并到所述數(shù)據(jù)存儲服務(wù)器的過程中，如果有外部讀寫流量需要由所述數(shù)據(jù)存儲服務(wù)器進行處理，則所述數(shù)據(jù)平臺監(jiān)測所述數(shù)據(jù)存儲服務(wù)器的資源消耗情況；如果所述資源消耗情況滿足預(yù)設(shè)策略，則所述數(shù)據(jù)平臺停止將所述數(shù)據(jù)更新服務(wù)器內(nèi)的數(shù)據(jù)合并到所述數(shù)據(jù)存儲服務(wù)器中；如果所述資源消耗情況不滿足預(yù)設(shè)策略，則所述數(shù)據(jù)平臺繼續(xù)將所述數(shù)據(jù)更新服務(wù)器內(nèi)的數(shù)據(jù)合并到所述數(shù)據(jù)存儲服務(wù)器中。

5.如權(quán)利要求4所述的方法，其特征在于，所述資源消耗情況具體包括以下之一或者任意組合：內(nèi)存資源消耗情況、線程資源消耗情況、中央處理器CPU資源消耗情況、輸入輸出IO資源消耗情況、網(wǎng)絡(luò)資源消耗情況。

6.如權(quán)利要求1-5任一項所述的方法，其特征在于，

所述數(shù)據(jù)更新服務(wù)器用于存儲增量數(shù)據(jù)，各數(shù)據(jù)存儲服務(wù)器用于存儲基準數(shù)據(jù)，所述基準數(shù)據(jù)為按照一定的規(guī)則劃分的不存在交叉的數(shù)據(jù)分片；

在所述數(shù)據(jù)更新服務(wù)器內(nèi)寫入的增量數(shù)據(jù)的數(shù)據(jù)量達到預(yù)設(shè)閾值時，需要將所述數(shù)據(jù)更新服務(wù)器內(nèi)的增量數(shù)據(jù)合并到所述多個數(shù)據(jù)存儲服務(wù)器。

7.一種數(shù)據(jù)平臺，應(yīng)用于包括所述數(shù)據(jù)平臺、數(shù)據(jù)更新服務(wù)器和多個數(shù)據(jù)存儲服務(wù)器的系統(tǒng)中，其特征在于，在需要將所述數(shù)據(jù)更新服務(wù)器內(nèi)的數(shù)據(jù)合并到所述多個數(shù)據(jù)存儲服務(wù)器時，所述數(shù)據(jù)平臺具體包括：

判定模塊，用于確定當(dāng)前需要進行數(shù)據(jù)合并的數(shù)據(jù)存儲服務(wù)器；

切換模塊，用于將所述數(shù)據(jù)存儲服務(wù)器的外部讀寫流量切換到其它數(shù)據(jù)存儲服務(wù)器；以及，在數(shù)據(jù)被合并到所述數(shù)據(jù)存儲服務(wù)器完成之后，將所述數(shù)據(jù)存儲服務(wù)器的已經(jīng)切換到其它數(shù)據(jù)存儲服務(wù)器的外部讀寫流量恢復(fù)到所述數(shù)據(jù)存儲服務(wù)器；

合并模塊，用于在外部讀寫流量被切換到其它數(shù)據(jù)存儲服務(wù)器之后，將所述數(shù)據(jù)更新服務(wù)器內(nèi)的數(shù)據(jù)合并到所述數(shù)據(jù)存儲服務(wù)器中。