[發(fā)明專利]基于分布式數(shù)據(jù)的并發(fā)處理方法和系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201210349311.X
• 申請(qǐng)日: 2012-09-19
• 公開（公告）號(hào): CN103677752B
• 公開（公告）日: 2017-02-08
• 發(fā)明（設(shè)計(jì)）人: 薛扣英;鄧大付
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06F9/38
• 分類號(hào): G06F9/38;G06F17/30
• 代理公司: 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司44224
• 代理人: 何平,曾旻輝

【技術(shù)領(lǐng)域】

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，特別涉及一種基于分布式數(shù)據(jù)的并發(fā)處理方法和系統(tǒng)。

【背景技術(shù)】

隨著信息與通訊技術(shù)的發(fā)展，海量數(shù)據(jù)時(shí)代已經(jīng)到來。各個(gè)行業(yè)需要存儲(chǔ)的數(shù)據(jù)量與日俱增，尤其是需要存儲(chǔ)大量用戶數(shù)據(jù)的行業(yè)，例如金融、電信、網(wǎng)絡(luò)通信服務(wù)（電子郵件、即時(shí)通信）、網(wǎng)絡(luò)社交服務(wù)（微博、論壇）等等。

海量數(shù)據(jù)一般被分布式存儲(chǔ)于多臺(tái)服務(wù)器中，存儲(chǔ)海量數(shù)據(jù)的服務(wù)器可達(dá)幾千臺(tái)甚至上萬臺(tái)。這些服務(wù)器可位于一個(gè)或多個(gè)服務(wù)器集群，亦或者位于一個(gè)或多個(gè)數(shù)據(jù)處理中心。一些數(shù)據(jù)庫的數(shù)據(jù)存儲(chǔ)方式也為分布式存儲(chǔ)方式，例如，xcube數(shù)據(jù)庫。xcube為分布式的NoSQL數(shù)據(jù)庫，它將大數(shù)據(jù)量的數(shù)據(jù)表劃分為多個(gè)子表，分別將子表存儲(chǔ)到多臺(tái)服務(wù)器上，并將子表信息記錄在路由表中。子表信息包括子表的開始行鍵值、結(jié)束行鍵值、子表的數(shù)據(jù)量和子表所在的服務(wù)器。子表的開始行鍵值、結(jié)束行鍵值分別表示子表的開始行和結(jié)束行的主鍵的鍵值。。子表中包含開始行鍵值在父數(shù)據(jù)表中對(duì)應(yīng)的位置到結(jié)束行鍵值在父數(shù)據(jù)表中對(duì)應(yīng)的位置的所有記錄。

海量數(shù)據(jù)的快速處理是人們需要面對(duì)的問題。多線程、多任務(wù)分解的處理方式可對(duì)單機(jī)存儲(chǔ)的數(shù)據(jù)進(jìn)行并發(fā)處理，而如何協(xié)調(diào)服務(wù)器集群中的服務(wù)器對(duì)分布式海量數(shù)據(jù)進(jìn)行并發(fā)處理，提高海量數(shù)據(jù)的處理速度是亟需解決的問題。

【發(fā)明內(nèi)容】

基于此，有必要提供一種能快速并發(fā)處理分布式數(shù)據(jù)的基于分布式數(shù)據(jù)的并發(fā)處理方法。

一種基于分布式數(shù)據(jù)的并發(fā)處理方法，包括以下步驟：

控制端獲取提交的作業(yè)對(duì)應(yīng)的數(shù)據(jù)塊信息；

任務(wù)處理端向所述控制端發(fā)送任務(wù)處理請(qǐng)求；

所述控制端查找與所述任務(wù)處理端分布于同一服務(wù)器且還未分配的數(shù)據(jù)塊，將查找到的數(shù)據(jù)塊分配給所述任務(wù)處理端；

若未查找到與所述任務(wù)處理端分布于同一服務(wù)器且還未分配的數(shù)據(jù)塊，則所述控制端統(tǒng)計(jì)正在被任務(wù)處理端處理的數(shù)據(jù)塊最少的服務(wù)器，將該服務(wù)器上未分配的數(shù)據(jù)塊分配給所述任務(wù)處理端；

所述任務(wù)處理端按照預(yù)設(shè)流程處理所述控制端分配的數(shù)據(jù)塊。

基于此，還有必要提供一種能并發(fā)處理分布式數(shù)據(jù)的基于分布式數(shù)據(jù)的并發(fā)處理系統(tǒng)。

一種基于分布式數(shù)據(jù)的并發(fā)處理系統(tǒng)，包括控制端和多個(gè)任務(wù)處理端，所述控制端包括初始化模塊、任務(wù)分配模塊，其中：

所述初始化模塊用于獲取提交的作業(yè)對(duì)應(yīng)的數(shù)據(jù)塊信息；

所述任務(wù)處理端用于向所述控制端發(fā)送任務(wù)處理請(qǐng)求；

所述任務(wù)分配模塊用于查找與所述任務(wù)處理端分布于同一服務(wù)器且還未分配的數(shù)據(jù)塊，將查找到的數(shù)據(jù)塊分配給所述任務(wù)處理端；

所述任務(wù)分配模塊還用于若未查找到與所述任務(wù)處理端分布于同一服務(wù)器且還未分配的數(shù)據(jù)塊，則統(tǒng)計(jì)正在被任務(wù)處理端處理的數(shù)據(jù)塊最少的服務(wù)器，將該服務(wù)器上未分配的數(shù)據(jù)塊分配給所述任務(wù)處理端；

所述任務(wù)處理端還用于按照預(yù)設(shè)流程處理所述控制端分配的數(shù)據(jù)塊。

上述基于分布式數(shù)據(jù)的并發(fā)處理方法和系統(tǒng)，控制端可將分布式存儲(chǔ)的數(shù)據(jù)塊分別分配給不同的任務(wù)處理端進(jìn)行處理，達(dá)到并發(fā)處理分布式數(shù)據(jù)的目的。而且，上述方法和系統(tǒng)中，控制端將數(shù)據(jù)塊優(yōu)先分配給與數(shù)據(jù)塊分布于同一服務(wù)器的任務(wù)處理端進(jìn)行處理，任務(wù)處理端優(yōu)先處理本機(jī)存儲(chǔ)的數(shù)據(jù)塊，可提高數(shù)據(jù)塊的處理速度，從而提高并發(fā)處理的整體速度。另外，當(dāng)不存在還未分配的與任務(wù)處理端分布于同一服務(wù)器的數(shù)據(jù)塊時(shí)，將正在被處理的數(shù)據(jù)塊最少的服務(wù)器上的未分配的數(shù)據(jù)塊分配給任務(wù)處理端，可提高任務(wù)處理端處理數(shù)據(jù)塊的速度。因?yàn)榇鎯?chǔ)數(shù)據(jù)塊的服務(wù)器上被任務(wù)處理端處理的數(shù)據(jù)塊數(shù)量少，說明與服務(wù)器交互的任務(wù)處理端數(shù)量少，服務(wù)器較為空閑，處理較為空閑的服務(wù)器上的數(shù)據(jù)塊，服務(wù)器的響應(yīng)速度也快，處理數(shù)據(jù)塊的速度就快，從而可提高并發(fā)處理的整體速度。

【附圖說明】

圖1為一個(gè)實(shí)施例中的基于分布式數(shù)據(jù)的并發(fā)處理方法的流程示意圖；

圖2為一個(gè)實(shí)施例中控制端和任務(wù)處理端的部署示意圖；

圖3為另一實(shí)施例中的基于分布式數(shù)據(jù)的并發(fā)處理方法的流程示意圖；

圖4為一個(gè)實(shí)施例中數(shù)據(jù)塊處理中斷恢復(fù)的流程示意圖；

圖5為一個(gè)應(yīng)用場景中的基于分布式數(shù)據(jù)的并發(fā)處理方法的原理圖；

圖6為一個(gè)實(shí)施例中控制端與任務(wù)處理端建立通信的原理圖；

圖7為一個(gè)實(shí)施例中控制端分配任務(wù)的分配算法的流程圖；

圖8為一個(gè)實(shí)施例中基于分布式數(shù)據(jù)的并發(fā)處理方法包括的初始化步驟。