[發(fā)明專利]一種數(shù)據(jù)業(yè)務(wù)處理方法及裝置

有效

• 申請?zhí)枺?/td>: 201310522861.1
• 申請日: 2013-10-29
• 公開（公告）號: CN103559247B
• 公開（公告）日: 2018-06-05
• 發(fā)明（設(shè)計）人: 鄭馳;劉文學(xué);李成金
• 申請（專利權(quán)）人: 北京華勝天成科技股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 胡彬

本發(fā)明公開了一種數(shù)據(jù)業(yè)務(wù)處理方法及裝置，所述方法包括：根據(jù)接收到的數(shù)據(jù)業(yè)務(wù)處理請求，從存儲原數(shù)據(jù)的第一存儲系統(tǒng)中讀取待處理數(shù)據(jù)；根據(jù)所述待處理數(shù)據(jù)和數(shù)據(jù)業(yè)務(wù)處理請求的屬性，選擇第二存儲系統(tǒng)；將所述待處理數(shù)據(jù)存儲到第二存儲系統(tǒng)中，并根據(jù)數(shù)據(jù)業(yè)務(wù)處理請求對待處理數(shù)據(jù)進行計算處理，且將產(chǎn)生的處理結(jié)果存儲到第三存儲系統(tǒng)中；從第三存儲系統(tǒng)中獲取處理結(jié)果，作為所述數(shù)據(jù)業(yè)務(wù)處理請求的響應(yīng)結(jié)果；從所述第二存儲系統(tǒng)中刪除所述待處理數(shù)據(jù)，根據(jù)需要決定是否刪除所述第三存儲系統(tǒng)中的處理結(jié)果。本發(fā)明對各個存儲系統(tǒng)的操作抽象化，封裝成統(tǒng)一的接口，實現(xiàn)用戶對系統(tǒng)的控制更加簡單、方便，不同業(yè)務(wù)采用統(tǒng)一的架構(gòu)不同的存儲系統(tǒng)，靈活應(yīng)用、可靠性高。

技術(shù)領(lǐng)域

本發(fā)明涉及云計算領(lǐng)域，具體涉及數(shù)據(jù)業(yè)務(wù)處理領(lǐng)域，尤其涉及一種數(shù)據(jù)業(yè)務(wù)處理方法及裝置。

背景技術(shù)

隨著互聯(lián)網(wǎng)技術(shù)的突飛猛進及網(wǎng)絡(luò)信息技術(shù)的快速發(fā)展，數(shù)據(jù)的傳播速度日益加快，數(shù)據(jù)的飛漲也增加了數(shù)據(jù)信息處理的難度。從企業(yè)角度來看，日益增長的信息已經(jīng)很難存儲在標(biāo)準(zhǔn)關(guān)系數(shù)據(jù)庫甚至數(shù)據(jù)倉庫中，例如，如何查詢一個十億行的表，怎樣跨越數(shù)據(jù)中心所有服務(wù)器上的日志進行一個數(shù)據(jù)查詢，如果有的數(shù)據(jù)是非結(jié)構(gòu)化或者半結(jié)構(gòu)化的數(shù)據(jù)，就更難進行數(shù)據(jù)查詢了。

Hadoop實現(xiàn)了一個分布式文件系統(tǒng)(Hadoop Distributed File System)，簡稱HDFS。HDFS可以分布式地操作大量數(shù)據(jù)，在海量數(shù)據(jù)上處有很大的優(yōu)勢。它主要有以下幾個優(yōu)勢：

1、高可靠性。Hadoop按位存儲和處理數(shù)據(jù)的能力值得人們信賴。

2、高擴展性。Hadoop是在可用的計算機集簇間分配數(shù)據(jù)并完成計算任務(wù)的，這些集簇可以方便地擴展到數(shù)以千計的節(jié)點中。

3、高效性。Hadoop能夠在節(jié)點之間動態(tài)地移動數(shù)據(jù)，并保證各個節(jié)點的動態(tài)平衡，因此處理速度非常快。

4、高容錯性。Hadoop能夠自動保存數(shù)據(jù)的多個副本，并且能夠自動將失敗的任務(wù)重新分配。

然而，HDFS是由中央文件系統(tǒng)維護元數(shù)據(jù)，無法避免單點故障。此外對小文件的處理存在先天不足和只支持WORM(一次寫多次讀)，對于希望在大數(shù)據(jù)環(huán)境中實現(xiàn)更可靠，更高程度的靈活性、更好可擴展性的企業(yè)，僅僅依靠HDFS的性能無法滿足企業(yè)的需求。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明實施例提供一種數(shù)據(jù)業(yè)務(wù)處理方法及裝置，以提高存儲系統(tǒng)的靈活性和可靠性。

第一方面，本發(fā)明實施例提供了一種數(shù)據(jù)業(yè)務(wù)處理方法，所述方法包括：

根據(jù)接收到的數(shù)據(jù)業(yè)務(wù)處理請求，從第一存儲系統(tǒng)中存儲的原數(shù)據(jù)中讀取待處理數(shù)據(jù)；

根據(jù)所述待處理數(shù)據(jù)和數(shù)據(jù)業(yè)務(wù)處理請求的屬性，選擇第二存儲系統(tǒng)；

將所述待處理數(shù)據(jù)存儲到第二存儲系統(tǒng)中，并根據(jù)數(shù)據(jù)業(yè)務(wù)處理請求對待處理數(shù)據(jù)進行計算處理，且將產(chǎn)生的處理結(jié)果存儲到第三存儲系統(tǒng)中；

從第三存儲系統(tǒng)中獲取處理結(jié)果，作為所述數(shù)據(jù)業(yè)務(wù)處理請求的響應(yīng)結(jié)果；

從所述第二存儲系統(tǒng)中刪除所述待處理數(shù)據(jù)，所述第三存儲系統(tǒng)中的所述處理結(jié)果根據(jù)需要決定是否刪除。

進一步地，所述第一存儲系統(tǒng)、第二存儲系統(tǒng)及第三存儲系統(tǒng)的類型相同或不同，為下述存儲系統(tǒng)中的任意一個：分布式對象存儲系統(tǒng)、分布式塊存儲系統(tǒng)和分布式文件系統(tǒng)。

進一步地，根據(jù)接收到的數(shù)據(jù)業(yè)務(wù)處理請求，從第一存儲系統(tǒng)中存儲的原數(shù)據(jù)中讀取待處理數(shù)據(jù)包括：根據(jù)接收到的數(shù)據(jù)業(yè)務(wù)處理請求中的目標(biāo)數(shù)據(jù)地址，基于類Map/Reduce計算框架計算目標(biāo)數(shù)據(jù)在第一存儲系統(tǒng)和第二存儲系統(tǒng)的映射關(guān)系，根據(jù)所述映射關(guān)系從原數(shù)據(jù)中讀取待處理數(shù)據(jù)。