[發(fā)明專(zhuān)利]用于高速緩存優(yōu)化和高效處理的數(shù)據(jù)聚合方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201880032232.1
• 申請(qǐng)日: 2018-05-14
• 公開(kāi)（公告）號(hào): CN110914812A
• 公開(kāi)（公告）日: 2020-03-24
• 發(fā)明（設(shè)計(jì)）人: E·P·哈丁;A·D·賴(lài)?yán)?/a>;C·H·金斯利;S·威斯納
• 申請(qǐng)（專(zhuān)利權(quán)）人: 奧特瑞克斯股份有限公司
• 主分類(lèi)號(hào): G06F13/38
• 分類(lèi)號(hào): G06F13/38;G06F12/0862;G06F12/0875;G06F3/06;G06F12/02;G11B20/10;H04L1/18;H04L12/28;H04L29/06
• 代理公司: 永新專(zhuān)利商標(biāo)代理有限公司 72002
• 代理人: 劉瑜

1.一種由數(shù)據(jù)處理裝置執(zhí)行的方法，所述方法包括：

檢索包括多個(gè)數(shù)據(jù)記錄的數(shù)據(jù)流；

聚合所述數(shù)據(jù)流的所述多個(gè)數(shù)據(jù)記錄以形成預(yù)定大小容量的多個(gè)記錄分組，所述預(yù)定大小容量是響應(yīng)于與所述數(shù)據(jù)處理裝置相關(guān)聯(lián)的高速緩存存儲(chǔ)器的存儲(chǔ)器大小而確定的；以及

將所述多個(gè)記錄分組中的相應(yīng)記錄分組傳輸?shù)脚c所述數(shù)據(jù)處理裝置的一個(gè)或多個(gè)處理操作相關(guān)聯(lián)的多個(gè)線程中的相應(yīng)線程。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述一個(gè)或多個(gè)處理操作與在所述數(shù)據(jù)處理裝置上執(zhí)行的數(shù)據(jù)分析工作流相關(guān)聯(lián)。

3.根據(jù)權(quán)利要求2所述的方法，還包括：執(zhí)行所述一個(gè)或多個(gè)處理操作中的每一個(gè)處理操作來(lái)以線性順序執(zhí)行所述多個(gè)記錄分組上的相對(duì)應(yīng)的數(shù)據(jù)分析功能，其中，所述線性順序根據(jù)在所述數(shù)據(jù)分析工作流中設(shè)置的操作序列。

4.根據(jù)權(quán)利要求3所述的方法，其中，執(zhí)行所述一個(gè)或多個(gè)處理操作中的每一個(gè)處理操作包括通過(guò)在來(lái)自與所述數(shù)據(jù)處理裝置相關(guān)聯(lián)的多個(gè)處理器當(dāng)中的相應(yīng)處理器上執(zhí)行每個(gè)相應(yīng)線程，而執(zhí)行的并行處理。

5.根據(jù)權(quán)利要求1所述的方法，其中，與所述數(shù)據(jù)處理裝置相關(guān)聯(lián)的所述高速緩存存儲(chǔ)器的存儲(chǔ)器大小是從所述處理裝置的操作系統(tǒng)或中央處理單元(CPU)動(dòng)態(tài)地確定的。

6.根據(jù)權(quán)利要求1所述的方法，其中，所述預(yù)定大小容量是所述高速緩存存儲(chǔ)器的存儲(chǔ)器大小的數(shù)量級(jí)。

7.根據(jù)權(quán)利要求1所述的方法，其中，聚合到記錄分組中的數(shù)據(jù)記錄的數(shù)量是針對(duì)所述多個(gè)記錄分組中的每個(gè)記錄分組確定的變量，并且不超過(guò)所述預(yù)定大小容量。

8.根據(jù)權(quán)利要求1所述的方法，其中，在檢索到所述數(shù)據(jù)流的整體時(shí)執(zhí)行所述聚合。

9.根據(jù)權(quán)利要求1所述的方法，其中，所述聚合與檢索所述數(shù)據(jù)流并行地執(zhí)行。

10.根據(jù)權(quán)利要求1所述的方法，還包括：

在確定所述多個(gè)記錄分組中的兩個(gè)或更多個(gè)記錄分組具有小于預(yù)定最小容量的多個(gè)數(shù)據(jù)記錄之后，將與所述兩個(gè)或更多個(gè)記錄分組相關(guān)聯(lián)的數(shù)據(jù)記錄重新聚合為另外的記錄分組。

11.一種數(shù)據(jù)處理裝置，包括：

非暫時(shí)性存儲(chǔ)器，其存儲(chǔ)可執(zhí)行的計(jì)算機(jī)程序代碼；以及

多個(gè)計(jì)算機(jī)處理器，其具有高速緩存存儲(chǔ)器并且通信地耦合到所述存儲(chǔ)器，所述計(jì)算機(jī)處理器執(zhí)行所述計(jì)算機(jī)程序代碼以執(zhí)行操作，所述操作包括：

檢索包括多個(gè)數(shù)據(jù)記錄的數(shù)據(jù)流；

聚合所述數(shù)據(jù)流的多個(gè)數(shù)據(jù)記錄以形成預(yù)定大小容量的多個(gè)記錄分組，所述預(yù)定大小容量是響應(yīng)于所述高速緩存存儲(chǔ)器的存儲(chǔ)器大小而確定的；以及

將所述多個(gè)記錄分組中的相應(yīng)記錄分組傳輸?shù)脚c所述多個(gè)處理器的一個(gè)或多個(gè)處理操作相關(guān)聯(lián)的多個(gè)線程中的相應(yīng)線程。

12.根據(jù)權(quán)利要求11所述的數(shù)據(jù)處理裝置，其中，所述一個(gè)或多個(gè)處理操作與在所述數(shù)據(jù)處理裝置上執(zhí)行的數(shù)據(jù)分析工作流相關(guān)聯(lián)。

13.根據(jù)權(quán)利要求12所述的數(shù)據(jù)處理裝置，其中，所述操作還包括：

執(zhí)行所述一個(gè)或多個(gè)處理操作中的每一個(gè)處理操作來(lái)以線性順序執(zhí)行所述多個(gè)記錄分組上的相對(duì)應(yīng)的數(shù)據(jù)分析功能，其中，所述線性順序根據(jù)在所述數(shù)據(jù)分析工作流中設(shè)置的操作順序。

14.根據(jù)權(quán)利要求13所述的數(shù)據(jù)處理裝置，其中，執(zhí)行所述一個(gè)或多個(gè)處理操作中的每一個(gè)處理操作包括通過(guò)在來(lái)自所述多個(gè)處理器當(dāng)中的相應(yīng)處理器上執(zhí)行每個(gè)相應(yīng)線程，而執(zhí)行的并行處理。

15.根據(jù)權(quán)利要求11所述的數(shù)據(jù)處理裝置，其中，所述預(yù)定大小容量是所述高速緩存存儲(chǔ)器的存儲(chǔ)器大小的數(shù)量級(jí)。