[發(fā)明專利]多集群協(xié)同數(shù)據(jù)處理方法、系統(tǒng)、存儲介質(zhì)及設(shè)備

有效

• 申請?zhí)枺?/td>: 201710930420.3
• 申請日: 2017-10-09
• 公開（公告）號: CN107679192B
• 公開（公告）日: 2020-09-22
• 發(fā)明（設(shè)計）人: 楊晨旭;王備;蔡良良;陽維迅
• 申請（專利權(quán)）人: 中國工商銀行股份有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/25;G06F16/24
• 代理公司: 北京三友知識產(chǎn)權(quán)代理有限公司 11127
• 代理人: 王濤

本發(fā)明提供了一種多集群協(xié)同數(shù)據(jù)處理方法、系統(tǒng)、存儲介質(zhì)及設(shè)備，該方法包括：接收采集數(shù)據(jù)，并將采集數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)；在Hadoop集群上構(gòu)建基礎(chǔ)數(shù)據(jù)共享區(qū)，并將結(jié)構(gòu)化數(shù)據(jù)加載至基礎(chǔ)數(shù)據(jù)共享區(qū)；根據(jù)數(shù)據(jù)使用場景，利用Hadoop集群、Hadoop聯(lián)機處理集群及多個分布式數(shù)據(jù)庫集群協(xié)同處理基礎(chǔ)數(shù)據(jù)共享區(qū)的數(shù)據(jù)，以提供相應(yīng)的數(shù)據(jù)服務(wù)，并完成數(shù)據(jù)處理流程。本發(fā)明通過構(gòu)建基礎(chǔ)數(shù)據(jù)共享區(qū)能夠減少數(shù)據(jù)冗余。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別是涉及一種多集群協(xié)同數(shù)據(jù)處理方法、系統(tǒng)、存儲介質(zhì)及設(shè)備。

背景技術(shù)

近年來，隨著大數(shù)據(jù)時代的來臨，越來越多企業(yè)認識到數(shù)據(jù)的價值，并希望通過數(shù)據(jù)分析與數(shù)據(jù)挖掘指導(dǎo)其企業(yè)的經(jīng)營決策。在這些需求的促使之下，出現(xiàn)了適用于各個場景的大數(shù)據(jù)處理技術(shù)，其中，以Hadoop技術(shù)為代表的技術(shù)生態(tài)圈和采用大規(guī)模并行處理(Massively Parallel Process，簡稱為MPP)架構(gòu)的分布式數(shù)據(jù)庫技術(shù)最具代表性。采用share nothing架構(gòu)，每個節(jié)點使用獨立本地資源，數(shù)據(jù)一般按照分布鍵Hash分布，通過網(wǎng)絡(luò)實現(xiàn)節(jié)點間的數(shù)據(jù)交換，以達到系統(tǒng)線性擴展，高效處理PB級數(shù)據(jù)。

雖然豐富的技術(shù)組件以及蓬勃發(fā)展的技術(shù)為我們提供了更加多樣的選擇，但是這些多樣性和差異性卻對如何構(gòu)建企業(yè)級的大數(shù)據(jù)處理架構(gòu)等方面的技術(shù)提出了新的挑戰(zhàn)。

當前主要面臨的問題有：

1.單一技術(shù)構(gòu)建的集群往往存在局限性，表現(xiàn)為一類技術(shù)通常無法滿足所有業(yè)務(wù)場景，例如，采用Hadoop技術(shù)集群能夠?qū)崿F(xiàn)批量數(shù)據(jù)處理，但難以滿足復(fù)雜模型計算和交互式數(shù)據(jù)查詢的需求。

2.多種技術(shù)構(gòu)建的集群間系統(tǒng)雖然能夠滿足不同場景的應(yīng)用，但存在基礎(chǔ)數(shù)據(jù)冗余存儲、數(shù)據(jù)不一致等問題。并且，異構(gòu)集群間的數(shù)據(jù)傳輸，通常需要通過將數(shù)據(jù)導(dǎo)出成文件以后，再傳輸?shù)狡渌褐袛?shù)據(jù)庫，形成兩次落地，數(shù)據(jù)交換效率低下。

發(fā)明內(nèi)容

本發(fā)明實施例提供了一種多集群協(xié)同數(shù)據(jù)處理方法，以克服單一技術(shù)構(gòu)建的集群應(yīng)對業(yè)務(wù)場景服務(wù)的局限性，以及多種異構(gòu)系統(tǒng)間數(shù)據(jù)冗余及數(shù)據(jù)交換效率不高的問題。該多集群協(xié)同數(shù)據(jù)處理方法，包括：接收采集數(shù)據(jù)，并將采集數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)；在Hadoop集群上構(gòu)建基礎(chǔ)數(shù)據(jù)共享區(qū)，并將結(jié)構(gòu)化數(shù)據(jù)加載至基礎(chǔ)數(shù)據(jù)共享區(qū)；根據(jù)數(shù)據(jù)使用場景，利用Hadoop集群、Hadoop聯(lián)機處理集群及多個分布式數(shù)據(jù)庫集群協(xié)同處理基礎(chǔ)數(shù)據(jù)共享區(qū)的數(shù)據(jù)，以提供相應(yīng)的數(shù)據(jù)服務(wù)，并完成數(shù)據(jù)處理流程。

本發(fā)明實施例還提供了一種多集群協(xié)同數(shù)據(jù)處理系統(tǒng)，以克服單一技術(shù)構(gòu)建的集群應(yīng)對業(yè)務(wù)場景服務(wù)的局限性，以及多種異構(gòu)系統(tǒng)間數(shù)據(jù)冗余及數(shù)據(jù)交換效率不高的問題。該多集群協(xié)同數(shù)據(jù)處理系統(tǒng)，包括：數(shù)據(jù)接收單元，用于：接收采集數(shù)據(jù)，并將采集數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)；數(shù)據(jù)加載合并單元，用于：在Hadoop集群上構(gòu)建基礎(chǔ)數(shù)據(jù)共享區(qū)，并將結(jié)構(gòu)化數(shù)據(jù)加載至基礎(chǔ)數(shù)據(jù)共享區(qū)；批量數(shù)據(jù)處理單元，用于：根據(jù)數(shù)據(jù)使用場景，利用Hadoop集群、Hadoop聯(lián)機處理集群及多個分布式數(shù)據(jù)庫集群協(xié)同處理基礎(chǔ)數(shù)據(jù)共享區(qū)的數(shù)據(jù)，以提供相應(yīng)的數(shù)據(jù)服務(wù)，并完成數(shù)據(jù)處理流程。

本發(fā)明實施例還提供了一種計算機可讀存儲介質(zhì)，以克服單一技術(shù)構(gòu)建的集群應(yīng)對業(yè)務(wù)場景服務(wù)的局限性，以及多種異構(gòu)系統(tǒng)間數(shù)據(jù)冗余及數(shù)據(jù)交換效率不高的問題。該計算機可讀存儲介質(zhì)上存儲有計算機程序，該程序被處理器執(zhí)行時實現(xiàn)上述各實施例所述方法的步驟。

本發(fā)明實施例還提供了一種計算機設(shè)備，該計算機設(shè)備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執(zhí)行所述程序時實現(xiàn)上述各實施例所述方法的步驟。