[發(fā)明專利]一種數(shù)據(jù)冷備方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201210099698.8
• 申請(qǐng)日: 2012-04-06
• 公開(kāi)（公告）號(hào): CN103365740A
• 公開(kāi)（公告）日: 2013-10-23
• 發(fā)明（設(shè)計(jì)）人: 王輝兵;周健
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06F11/14
• 分類號(hào): G06F11/14;H04L29/08
• 代理公司: 北京派特恩知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11270
• 代理人: 蔣雅潔;遲姍

1.一種數(shù)據(jù)冷備方法，其特征在于，所述方法包括：

生成包含有預(yù)先配置的冷備數(shù)據(jù)參數(shù)的冷備任務(wù)；

將所述冷備任務(wù)拆分成至少一個(gè)子任務(wù)；

分別執(zhí)行所述至少一個(gè)子任務(wù)，從冷備數(shù)據(jù)源獲取相應(yīng)的冷備數(shù)據(jù)，并對(duì)所述冷備數(shù)據(jù)進(jìn)行分布式存儲(chǔ)。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)冷備方法，其特征在于，所述將所述冷備任務(wù)拆分成至少一個(gè)子任務(wù)，為：對(duì)所述冷備任務(wù)進(jìn)行映射簡(jiǎn)化MapReduce處理，將所述冷備任務(wù)拆分成至少一個(gè)映射Map任務(wù)，所述一個(gè)Map任務(wù)包含有所述冷備任務(wù)中部分或全部的冷備數(shù)據(jù)參數(shù)。

3.根據(jù)權(quán)利要求2所述的數(shù)據(jù)冷備方法，其特征在于，分別執(zhí)行所述至少一個(gè)Map任務(wù)，從冷備數(shù)據(jù)源獲取相應(yīng)的冷備數(shù)據(jù)，并對(duì)所述冷備數(shù)據(jù)進(jìn)行分布式存儲(chǔ)，包括：

執(zhí)行當(dāng)前Map任務(wù)，調(diào)用冷備模塊，根據(jù)當(dāng)前Map任務(wù)中的冷備數(shù)據(jù)參數(shù)，從冷備數(shù)據(jù)源獲取相應(yīng)的冷備數(shù)據(jù)，發(fā)送用于指示對(duì)所述冷備數(shù)據(jù)進(jìn)行分布式存儲(chǔ)的冷備指令；

對(duì)所述冷備數(shù)據(jù)進(jìn)行分布式存儲(chǔ)處理，并向所述冷備模塊返回包含存儲(chǔ)結(jié)果的響應(yīng)。

4.根據(jù)權(quán)利要求3所述的數(shù)據(jù)冷備方法，其特征在于，

所述從冷備數(shù)據(jù)源獲取相應(yīng)的冷備數(shù)據(jù)之后，所述方法還包括：將所述冷備數(shù)據(jù)暫時(shí)保存到存儲(chǔ)模塊；

所述對(duì)所述冷備數(shù)據(jù)進(jìn)行分布式存儲(chǔ)處理之前，所述方法還包括：從所述存儲(chǔ)模塊讀取所述冷備數(shù)據(jù)，建立用于存儲(chǔ)所述冷備數(shù)據(jù)的文件，并將所述文件存儲(chǔ)到預(yù)先設(shè)置的用于存放冷備數(shù)據(jù)文件的目錄下；

所述對(duì)所述冷備數(shù)據(jù)進(jìn)行分布式存儲(chǔ)處理，包括：對(duì)用于存儲(chǔ)所述冷備數(shù)據(jù)的文件進(jìn)行分布式存儲(chǔ)處理，分配到至少一個(gè)節(jié)點(diǎn)服務(wù)器上進(jìn)行存儲(chǔ)。

5.根據(jù)權(quán)利要求3所述的數(shù)據(jù)冷備方法，其特征在于，所述向所述冷備模塊返回包含存儲(chǔ)結(jié)果的響應(yīng)之后，包括：

在向所述冷備模塊返回包含存儲(chǔ)失敗的響應(yīng)后，冷備模塊重新發(fā)送用于指示對(duì)所述冷備數(shù)據(jù)進(jìn)行分布式存儲(chǔ)的冷備指令；之后，重新對(duì)所述冷備數(shù)據(jù)進(jìn)行分布式存儲(chǔ)處理。

6.一種數(shù)據(jù)冷備裝置，其特征在于，所述裝置包括：分布式存儲(chǔ)模塊、拆分模塊和冷備模塊，其中，

分布式存儲(chǔ)模塊，用于生成包含有預(yù)先配置的冷備數(shù)據(jù)參數(shù)的冷備任務(wù)，并調(diào)用所述拆分模塊；以及，對(duì)從冷備數(shù)據(jù)源獲取相應(yīng)的冷備數(shù)據(jù)進(jìn)行分布式存儲(chǔ)；

拆分模塊，用于將所述冷備任務(wù)拆分成至少一個(gè)子任務(wù)，并分別執(zhí)行所述至少一個(gè)子任務(wù)，調(diào)用所述冷備模塊從冷備數(shù)據(jù)源獲取相應(yīng)的冷備數(shù)據(jù)。

7.根據(jù)權(quán)利要求6所述的數(shù)據(jù)冷備裝置，其特征在于，

所述拆分模塊具體為MapReduce模塊，用于對(duì)所述冷備任務(wù)進(jìn)行MapReduce處理，將所述冷備任務(wù)拆分成至少一個(gè)Map任務(wù)，所述一個(gè)Map任務(wù)包含有所述冷備任務(wù)中部分或全部的冷備數(shù)據(jù)參數(shù)。

8.根據(jù)權(quán)利要求7所述的數(shù)據(jù)冷備裝置，其特征在于，

所述MapReduce模塊，還用于執(zhí)行當(dāng)前Map任務(wù)，調(diào)用冷備模塊，并將當(dāng)前Map任務(wù)中的冷備數(shù)據(jù)參數(shù)傳遞給所述冷備模塊；

所述冷備模塊，用于根據(jù)所述MapReduce模塊傳遞的冷備數(shù)據(jù)參數(shù)，從冷備數(shù)據(jù)源獲取相應(yīng)的冷備數(shù)據(jù)，并發(fā)送用于指示對(duì)所述冷備數(shù)據(jù)進(jìn)行分布式存儲(chǔ)的冷備指令給所述分布式存儲(chǔ)模塊；

所述分布式存儲(chǔ)模塊，用于在接收到所述冷備指令后，對(duì)所述冷備模塊獲取的冷備數(shù)據(jù)進(jìn)行分布式存儲(chǔ)處理，并向所述冷備模塊返回包含存儲(chǔ)結(jié)果的響應(yīng)。

9.根據(jù)權(quán)利要求8所述的數(shù)據(jù)冷備裝置，其特征在于，所述裝置還包括存儲(chǔ)模塊，用于暫時(shí)保存冷備數(shù)據(jù)；

所述冷備模塊，還用于在從冷備數(shù)據(jù)源獲取相應(yīng)的冷備數(shù)據(jù)之后，將所述冷備數(shù)據(jù)暫時(shí)保存到所述存儲(chǔ)模塊；

所述分布式存儲(chǔ)模塊，用于在接收到所述冷備指令后，從所述存儲(chǔ)模塊讀取所述冷備數(shù)據(jù)，建立用于存儲(chǔ)所述冷備數(shù)據(jù)的文件，將所述文件存儲(chǔ)到預(yù)先設(shè)置的用于存放冷備數(shù)據(jù)文件的目錄下；并對(duì)用于存儲(chǔ)所述冷備數(shù)據(jù)的文件進(jìn)行分布式存儲(chǔ)處理，分配到至少一個(gè)節(jié)點(diǎn)服務(wù)器上進(jìn)行存儲(chǔ)。

10.根據(jù)權(quán)利要求8所述的數(shù)據(jù)冷備裝置，其特征在于，

所述分布式存儲(chǔ)模塊，用于在對(duì)所述冷備數(shù)據(jù)存儲(chǔ)失敗時(shí)，向所述冷備模塊返回包含存儲(chǔ)失敗的響應(yīng)；

所述冷備模塊，還用于在所述分布式存儲(chǔ)模塊返回包含存儲(chǔ)失敗的響應(yīng)后，重新發(fā)送用于指示對(duì)所述冷備數(shù)據(jù)進(jìn)行分布式存儲(chǔ)的冷備指令給所述分布式存儲(chǔ)模塊。