[發(fā)明專利]一種數(shù)據(jù)合并方法、裝置、存儲器及存儲控制器

在審

• 申請?zhí)枺?/td>: 201710333085.9
• 申請日: 2017-05-12
• 公開（公告）號: CN107168796A
• 公開（公告）日: 2017-09-15
• 發(fā)明（設(shè)計）人: 楊振庚
• 申請（專利權(quán)）人: 鄭州云海信息技術(shù)有限公司
• 主分類號: G06F9/50
• 分類號: G06F9/50
• 代理公司: 濟南信達專利事務(wù)所有限公司37100
• 代理人: 李世喆

1.一種基于多處理器的數(shù)據(jù)合并方法，其特征在于，包括：

根據(jù)預(yù)設(shè)分組規(guī)則，在至少兩個處理器上分別創(chuàng)建至少一個數(shù)據(jù)合并進程；

根據(jù)預(yù)設(shè)分組規(guī)則將至少4個待合并數(shù)據(jù)劃分為至少兩個待合并數(shù)據(jù)組，并確定每一個所述待合并數(shù)據(jù)組分別對應(yīng)的所述數(shù)據(jù)合并進程；

利用各個所述數(shù)據(jù)合并進程將當前所述數(shù)據(jù)合并進程所對應(yīng)的待合并數(shù)據(jù)組中的各個待合并數(shù)據(jù)合并為一個預(yù)合并數(shù)據(jù)；

將各個所述數(shù)據(jù)合并進程分別合并的各個所述預(yù)合并數(shù)據(jù)，合并成目標數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，

在所述利用各個所述數(shù)據(jù)合并進程將當前所述數(shù)據(jù)合并進程所對應(yīng)的待合并數(shù)據(jù)組中的各個待合并數(shù)據(jù)合并為一個預(yù)合并數(shù)據(jù)之前，還包括：

預(yù)先構(gòu)建消息中間件；

所述確定每一個所述待合并數(shù)據(jù)組分別對應(yīng)的所述數(shù)據(jù)合并進程，進一步包括：將各個所述待合并數(shù)據(jù)發(fā)送至所述消息中間件；

在所述利用各個所述數(shù)據(jù)合并進程將當前所述數(shù)據(jù)合并進程所對應(yīng)的待合并數(shù)據(jù)組中的各個待合并數(shù)據(jù)合并為一個預(yù)合并數(shù)據(jù)之前，進一步包括：利用各個所述數(shù)據(jù)合并進程，從所述消息中間件中讀取對應(yīng)當前所述數(shù)據(jù)合并進程的待合并數(shù)據(jù)組。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，

所述在至少兩個處理器上分別創(chuàng)建至少一個數(shù)據(jù)合并進程，進一步包括：在存儲介質(zhì)中構(gòu)建每一個所述數(shù)據(jù)合并進程分別對應(yīng)的存儲區(qū)域，并設(shè)置各個所述存儲區(qū)域之間的組織順序；

則，在所述利用各個所述數(shù)據(jù)合并進程將當前所述數(shù)據(jù)合并進程所對應(yīng)的待合并數(shù)據(jù)組中的各個待合并數(shù)據(jù)合并為一個預(yù)合并數(shù)據(jù)之后，進一步包括：利用各個所述數(shù)據(jù)合并進程將當前所述數(shù)據(jù)合并進程合并的所述預(yù)合并數(shù)據(jù)寫入對應(yīng)當前所述數(shù)據(jù)合并進程的存儲區(qū)域；

所述將各個所述數(shù)據(jù)合并進程分別合并的各個所述預(yù)合并數(shù)據(jù)，合并成目標數(shù)據(jù)，包括：根據(jù)各個所述存儲區(qū)域之間的組織順序，讀取各個所述存儲區(qū)域中存儲的所述預(yù)合并數(shù)據(jù)，并利用讀取的各個所述預(yù)合并數(shù)據(jù)組合成目標數(shù)據(jù)。

4.根據(jù)權(quán)利要求1至3中任一所述的方法，其特征在于，

在所述根據(jù)預(yù)設(shè)分組規(guī)則將至少4個待合并數(shù)據(jù)劃分為至少兩個待合并數(shù)據(jù)組之前，還包括：采集至少四個數(shù)據(jù)采集節(jié)點分別提供的至少一個待合并數(shù)據(jù)。

5.一種基于多處理器的數(shù)據(jù)合并裝置，其特征在于，包括：

進程創(chuàng)建模塊，用于根據(jù)預(yù)設(shè)分組規(guī)則，在至少兩個處理器上分別創(chuàng)建至少一個數(shù)據(jù)合并進程；

分組處理模塊，用于根據(jù)預(yù)設(shè)分組規(guī)則將至少4個待合并數(shù)據(jù)劃分為至少兩個待合并數(shù)據(jù)組，并確定每一個所述待合并數(shù)據(jù)組分別對應(yīng)的所述數(shù)據(jù)合并進程；

至少一個數(shù)據(jù)合并進程，用于將當前所述數(shù)據(jù)合并進程所對應(yīng)的待合并數(shù)據(jù)組中的各個待合并數(shù)據(jù)合并為一個預(yù)合并數(shù)據(jù)；

合并處理模塊，用于將各個所述數(shù)據(jù)合并進程分別合并的各個所述預(yù)合并數(shù)據(jù)，合并成目標數(shù)據(jù)。

6.根據(jù)權(quán)利要求5所述的裝置，其特征在于，

還包括：消息中間件；其中，

所述分組處理模塊，進一步用于將各個所述待合并數(shù)據(jù)發(fā)送至所述消息中間件；

每一個所述數(shù)據(jù)合并進程，進一步用于從所述消息中間件中讀取對應(yīng)當前所述數(shù)據(jù)合并進程的待合并數(shù)據(jù)組。

7.根據(jù)權(quán)利要求5所述的裝置，其特征在于，

還包括：存儲設(shè)置模塊；其中，

所述存儲設(shè)置模塊，用于在存儲介質(zhì)中構(gòu)建每一個所述數(shù)據(jù)合并進程分別對應(yīng)的存儲區(qū)域，并設(shè)置各個所述存儲區(qū)域之間的組織順序；

每一個所述數(shù)據(jù)合并進程，進一步用于將當前所述數(shù)據(jù)合并進程合并的所述預(yù)合并數(shù)據(jù)寫入對應(yīng)當前所述數(shù)據(jù)合并進程的存儲區(qū)域；

所述合并處理模塊，用于根據(jù)各個所述存儲區(qū)域之間的組織順序，讀取各個所述存儲區(qū)域中存儲的所述預(yù)合并數(shù)據(jù)，并利用讀取的各個所述預(yù)合并數(shù)據(jù)組合成目標數(shù)據(jù)。

8.根據(jù)權(quán)利要求5至7中任一所述的裝置，其特征在于，還包括：

數(shù)據(jù)采集模塊，用于采集至少四個數(shù)據(jù)采集節(jié)點分別提供的至少一個待合并數(shù)據(jù)。