[發(fā)明專利]一種數(shù)據(jù)業(yè)務(wù)處理方法及裝置

有效

• 申請?zhí)枺?/td>: 201310522861.1
• 申請日: 2013-10-29
• 公開（公告）號: CN103559247B
• 公開（公告）日: 2018-06-05
• 發(fā)明（設(shè)計）人: 鄭馳;劉文學(xué);李成金
• 申請（專利權(quán)）人: 北京華勝天成科技股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 胡彬

1.一種數(shù)據(jù)業(yè)務(wù)處理方法，其特征在于，所述方法包括：

根據(jù)接收到的數(shù)據(jù)業(yè)務(wù)處理請求，從第一存儲系統(tǒng)中存儲的原數(shù)據(jù)中讀取待處理數(shù)據(jù)；

根據(jù)所述待處理數(shù)據(jù)和數(shù)據(jù)業(yè)務(wù)處理請求的屬性，選擇第二存儲系統(tǒng)，其中，選擇用來存儲待處理數(shù)據(jù)的存儲系統(tǒng)作為所述第二存儲系統(tǒng)；

將所述待處理數(shù)據(jù)存儲到第二存儲系統(tǒng)中，并根據(jù)數(shù)據(jù)業(yè)務(wù)處理請求對待處理數(shù)據(jù)進(jìn)行計算處理，且將產(chǎn)生的處理結(jié)果存儲到第三存儲系統(tǒng)中；

從第三存儲系統(tǒng)中獲取處理結(jié)果，作為所述數(shù)據(jù)業(yè)務(wù)處理請求的響應(yīng)結(jié)果；

從所述第二存儲系統(tǒng)中刪除所述待處理數(shù)據(jù)，所述第三存儲系統(tǒng)中的所述處理結(jié)果根據(jù)需要決定是否刪除。

2.根據(jù)權(quán)利要求1所述的數(shù)據(jù)業(yè)務(wù)處理方法，其特征在于：

所述第一存儲系統(tǒng)、第二存儲系統(tǒng)及第三存儲系統(tǒng)的類型相同或不同，為下述存儲系統(tǒng)中的任意一個：分布式對象存儲系統(tǒng)、分布式塊存儲系統(tǒng)和分布式文件系統(tǒng)。

3.根據(jù)權(quán)利要求1或2所述的數(shù)據(jù)業(yè)務(wù)處理方法，其特征在于，根據(jù)接收到的數(shù)據(jù)業(yè)務(wù)處理請求，從第一存儲系統(tǒng)中存儲的原數(shù)據(jù)中讀取待處理數(shù)據(jù)包括：

根據(jù)接收到的數(shù)據(jù)業(yè)務(wù)處理請求中的目標(biāo)數(shù)據(jù)地址，基于類Map/Reduce計算框架計算目標(biāo)數(shù)據(jù)第一存儲系統(tǒng)和第二存儲系統(tǒng)的映射關(guān)系，根據(jù)所述映射關(guān)系從原數(shù)據(jù)中讀取待處理數(shù)據(jù)到第二存儲系統(tǒng)。

4.根據(jù)權(quán)利要求1所述的數(shù)據(jù)業(yè)務(wù)處理方法，其特征在于，還包括：

通過統(tǒng)一應(yīng)用程序編程接口接收用戶的統(tǒng)一數(shù)據(jù)存儲請求；

根據(jù)所述統(tǒng)一數(shù)據(jù)存儲請求獲取待存儲數(shù)據(jù)所對應(yīng)的至少一個存儲系統(tǒng)；

根據(jù)獲取的至少一個存儲系統(tǒng)，基于設(shè)定轉(zhuǎn)換規(guī)則，將所述統(tǒng)一數(shù)據(jù)存儲請求轉(zhuǎn)換為各所述存儲系統(tǒng)對應(yīng)的至少一個系統(tǒng)數(shù)據(jù)存儲請求；

根據(jù)所述系統(tǒng)數(shù)據(jù)存儲請求將待存儲數(shù)據(jù)存儲到對應(yīng)的各存儲系統(tǒng)中。

5.根據(jù)權(quán)利要求4所述的數(shù)據(jù)業(yè)務(wù)處理方法，其特征在于，根據(jù)所述統(tǒng)一數(shù)據(jù)存儲請求獲取待存儲數(shù)據(jù)所對應(yīng)的至少一個存儲系統(tǒng)包括：

從所述統(tǒng)一數(shù)據(jù)存儲請求中解析獲取系統(tǒng)標(biāo)識，根據(jù)系統(tǒng)標(biāo)識獲取待存儲數(shù)據(jù)所對應(yīng)的至少一個存儲系統(tǒng)；或

從所述統(tǒng)一數(shù)據(jù)存儲請求中識別待存儲數(shù)據(jù)的屬性，根據(jù)所述待存儲數(shù)據(jù)的屬性選擇對應(yīng)的至少一個存儲系統(tǒng)。

6.一種數(shù)據(jù)業(yè)務(wù)處理裝置，其特征在于，所述裝置包括：

數(shù)據(jù)讀取模塊，用于根據(jù)接收到的數(shù)據(jù)業(yè)務(wù)處理請求，從第一存儲系統(tǒng)中存儲的原數(shù)據(jù)中讀取待處理數(shù)據(jù)；

第一選擇模塊，用于根據(jù)所述待處理數(shù)據(jù)和數(shù)據(jù)業(yè)務(wù)處理請求的屬性，選擇第二存儲系統(tǒng)，其中，選擇用來存儲待處理數(shù)據(jù)的存儲系統(tǒng)作為所述第二存儲系統(tǒng)；

數(shù)據(jù)處理模塊，用于將所述待處理數(shù)據(jù)存儲到第二存儲系統(tǒng)中，并根據(jù)數(shù)據(jù)業(yè)務(wù)處理請求對待處理數(shù)據(jù)進(jìn)行計算處理，且將產(chǎn)生的處理結(jié)果存儲到第三存儲系統(tǒng)中；

響應(yīng)結(jié)果獲取模塊，用于從第三存儲系統(tǒng)中獲取處理結(jié)果，作為所述數(shù)據(jù)業(yè)務(wù)處理請求的響應(yīng)結(jié)果；

數(shù)據(jù)刪除模塊，用于從所述第二存儲系統(tǒng)中刪除所述待處理數(shù)據(jù)，所述第三存儲系統(tǒng)中的所述處理結(jié)果根據(jù)需要決定是否刪除。

7.根據(jù)權(quán)利要求6所述的數(shù)據(jù)業(yè)務(wù)處理裝置，其特征在于：

所述第一存儲系統(tǒng)、第二存儲系統(tǒng)及第三存儲系統(tǒng)的類型相同或不同，為下述存儲系統(tǒng)中的任意一個：分布式對象存儲系統(tǒng)、分布式塊存儲系統(tǒng)和分布式文件系統(tǒng)。

8.根據(jù)權(quán)利要求6或7所述的數(shù)據(jù)業(yè)務(wù)處理裝置，其特征在于，數(shù)據(jù)讀取模塊包括：

目標(biāo)數(shù)據(jù)地址獲取單元，用于獲取接收到的數(shù)據(jù)業(yè)務(wù)處理請求中的目標(biāo)數(shù)據(jù)地址；

映射關(guān)系獲取單元，用于獲取類Map/Reduce計算框架計算目標(biāo)數(shù)據(jù)在第一存儲系統(tǒng)和第二存儲系統(tǒng)之間的映射關(guān)系；

數(shù)據(jù)讀取單元，用于根據(jù)所述目標(biāo)數(shù)據(jù)地址，基于所述映射關(guān)系從原數(shù)據(jù)中讀取待處理數(shù)據(jù)到第二存儲系統(tǒng)。