[發(fā)明專利]基于文件的海量數(shù)據(jù)處理方法

有效

• 申請?zhí)枺?/td>: 201010265079.2
• 申請日: 2010-08-29
• 公開（公告）號: CN101916296A
• 公開（公告）日: 2010-12-15
• 發(fā)明（設(shè)計）人: 袁潔
• 申請（專利權(quán)）人: 武漢天喻信息產(chǎn)業(yè)股份有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 華中科技大學(xué)專利中心 42201
• 代理人: 朱仁玲

1.一種基于文件的海量數(shù)據(jù)的處理方法，將數(shù)據(jù)處理系統(tǒng)接收到的海量數(shù)據(jù)進行文件分組，再分配給多線程并發(fā)處理，之后存入數(shù)據(jù)庫中，其中，所述數(shù)據(jù)處理系統(tǒng)包括多臺數(shù)據(jù)處理服務(wù)器和一個共享磁盤柜，所述共享磁盤柜用于存放待處理的數(shù)據(jù)文件，并提供給所述多臺數(shù)據(jù)處理服務(wù)器共享，所述具體處理過程包括：

(1)對多臺數(shù)據(jù)處理服務(wù)器間進行互斥控制，保持所述數(shù)據(jù)處理系統(tǒng)只有一臺在處理數(shù)據(jù)，其他數(shù)據(jù)處理服務(wù)器作為備份；

(2)對海量數(shù)據(jù)文件進行分組

將海量數(shù)據(jù)文件根據(jù)并發(fā)線程的總數(shù)量進行分組，再將分組后的文件對應(yīng)到不同的線程進行處理。

2.根據(jù)權(quán)利要求1所述的一種基于文件的海量數(shù)據(jù)的處理方法，其特征在于，所述的互斥控制具體為：

由數(shù)據(jù)處理服務(wù)器的主控進程查詢并鎖定數(shù)據(jù)庫中的時間控制表，當(dāng)?shù)竭_文件處理時間時，主控進程啟動處理線程進行文件處理，同時根據(jù)處理周期更新下一次的處理時間；

同時，主控進程根據(jù)文件處理的進度，在達到下一個處理時間之前，如果文件沒有處理完成，主控進程根據(jù)運算量的需要，將下一個處理時間往后延長一定的時間。

3.根據(jù)權(quán)利要求1或2所述的一種基于文件的海量數(shù)據(jù)的處理方法，其特征在于，所述的海量數(shù)據(jù)文件的分組具體為：

首先，將文件進行有序的排列并從1開始順序編號，再將各文件編號對線程的總數(shù)量取模，取模后的余數(shù)與線程的編號進行對比，如果余數(shù)等于其中線程的編號，則將對應(yīng)的文件交由該線程處理，實現(xiàn)多個線程同時處理分組后的各文件，且各線程處理的文件各不相同。

4.根據(jù)權(quán)利要求1-3之一所述的一種基于文件的海量數(shù)據(jù)的處理方法，其特征在于，其特征在于，所述的多臺數(shù)據(jù)處理服務(wù)器均與數(shù)據(jù)庫服務(wù)器相連接，用于將處理后的數(shù)據(jù)存入數(shù)據(jù)庫。