[發(fā)明專利]用于高速緩存優(yōu)化和高效處理的數(shù)據(jù)聚合方法

在審

• 申請?zhí)枺?/td>: 201880032232.1
• 申請日: 2018-05-14
• 公開（公告）號: CN110914812A
• 公開（公告）日: 2020-03-24
• 發(fā)明（設(shè)計(jì)）人: E·P·哈丁;A·D·賴?yán)?/a>;C·H·金斯利;S·威斯納
• 申請（專利權(quán)）人: 奧特瑞克斯股份有限公司
• 主分類號: G06F13/38
• 分類號: G06F13/38;G06F12/0862;G06F12/0875;G06F3/06;G06F12/02;G11B20/10;H04L1/18;H04L12/28;H04L29/06
• 代理公司: 永新專利商標(biāo)代理有限公司 72002
• 代理人: 劉瑜

檢索包括多個(gè)數(shù)據(jù)記錄的數(shù)據(jù)流。數(shù)據(jù)流的各部分被聚合以形成預(yù)定大小容量的多個(gè)記錄分組。多個(gè)記錄分組中的每個(gè)包括來自多個(gè)數(shù)據(jù)記錄的一些數(shù)據(jù)記錄。此外，預(yù)定大小容量是與數(shù)據(jù)處理裝置相關(guān)聯(lián)的高速緩存存儲器的存儲器大小的數(shù)量級。多個(gè)記錄分組中的每一個(gè)被傳輸?shù)脚c一個(gè)或多個(gè)處理操作相關(guān)聯(lián)的多個(gè)線程中的相應(yīng)線程。多個(gè)線程中的每個(gè)線程在與數(shù)據(jù)處理裝置相關(guān)聯(lián)的多個(gè)處理器之中的相應(yīng)處理器上獨(dú)立運(yùn)行。

背景技術(shù)

本說明書通常涉及用于聚合數(shù)據(jù)以在各種并行處理計(jì)算機(jī)系統(tǒng)(例如，多核處理器)中優(yōu)化高速緩存和高效處理的方法和系統(tǒng)。所描述的數(shù)據(jù)聚合技術(shù)可用于數(shù)據(jù)處理環(huán)境(例如，數(shù)據(jù)分析平臺)中。

數(shù)據(jù)分析平臺(諸如大數(shù)據(jù)分析)的發(fā)展已經(jīng)將數(shù)據(jù)處理擴(kuò)展為一種工具，該工具用于利用對大量數(shù)據(jù)的處理，從而有機(jī)會提取可以貨幣化或包含其他商業(yè)價(jià)值的信息。因此，可能需要這樣的高效數(shù)據(jù)處理技術(shù)：該技術(shù)可用于訪問、處理和分析來自不同數(shù)據(jù)源的大的數(shù)據(jù)組中。例如，小型企業(yè)可以利用第三方數(shù)據(jù)分析環(huán)境，該第三方數(shù)據(jù)分析環(huán)境采用專用的計(jì)算和人力資源，所述專用的計(jì)算和人力資源在收集、處理和分析來自各種資源(例如外部數(shù)據(jù)提供商、內(nèi)部數(shù)據(jù)源(例如，本地計(jì)算機(jī)上的文件)、大數(shù)據(jù)存儲和基于云的數(shù)據(jù)(例如社交媒體應(yīng)用)的大量數(shù)據(jù)中得以需要。為了以如下方式處理如數(shù)據(jù)分析中使用的如此大的數(shù)據(jù)集，所述方式是提取有用的定量(例如統(tǒng)計(jì)、預(yù)測)和定性信息，這些定量和定性信息可以進(jìn)一步應(yīng)用于商業(yè)領(lǐng)域，例如，它可能需要在功能強(qiáng)大的計(jì)算機(jī)設(shè)備上實(shí)現(xiàn)的復(fù)雜的軟件工具，以支持?jǐn)?shù)據(jù)分析的每個(gè)階段(例如，訪問、準(zhǔn)備和處理)。

發(fā)明內(nèi)容

通過使用數(shù)據(jù)聚合以用于高速緩存優(yōu)化和高效處理的方法、數(shù)據(jù)處理裝置和非暫時(shí)性計(jì)算機(jī)可讀存儲器來解決以上和其他問題。該方法的實(shí)施例由數(shù)據(jù)處理裝置執(zhí)行，并且所述方法包括：檢索包括多個(gè)數(shù)據(jù)記錄的數(shù)據(jù)流；聚合數(shù)據(jù)流的多個(gè)數(shù)據(jù)記錄以形成具有預(yù)定大小容量的多個(gè)記錄分組，所述預(yù)定大小容量是響應(yīng)于與數(shù)據(jù)處理裝置相關(guān)聯(lián)的高速緩存存儲器的存儲器大小而確定的；以及將多個(gè)記錄分組中的相應(yīng)記錄分組傳輸?shù)脚c數(shù)據(jù)處理裝置的一個(gè)或多個(gè)處理操作相關(guān)聯(lián)的多個(gè)線程中的相應(yīng)線程。

數(shù)據(jù)處理裝置的實(shí)施例包括：非暫時(shí)性存儲器，其存儲可執(zhí)行的計(jì)算機(jī)程序代碼；以及具有高速緩存存儲器并且通信地耦合到所述存儲器的多個(gè)計(jì)算機(jī)處理器，所述計(jì)算機(jī)處理器執(zhí)行計(jì)算機(jī)程序代碼以執(zhí)行操作。操作包括：檢索包括多個(gè)數(shù)據(jù)記錄的數(shù)據(jù)流，聚合數(shù)據(jù)流的多個(gè)數(shù)據(jù)記錄以形成具有預(yù)定大小容量的多個(gè)記錄分組，所述預(yù)定大小容量是響應(yīng)于高速緩存存儲器的存儲器大小而確定的，以及將多個(gè)記錄分組中的相應(yīng)記錄分組傳輸?shù)脚c多個(gè)處理器的一個(gè)或多個(gè)處理操作相關(guān)聯(lián)的多個(gè)線程中的相應(yīng)線程。

非暫時(shí)性計(jì)算機(jī)可讀存儲器的實(shí)施例存儲計(jì)算機(jī)程序代碼，該計(jì)算機(jī)程序代碼可執(zhí)行用于使用具有高速緩存存儲器的多個(gè)計(jì)算機(jī)處理器來執(zhí)行操作。所述操作包括：檢索包括多個(gè)數(shù)據(jù)記錄的數(shù)據(jù)流；聚合數(shù)據(jù)流的多個(gè)數(shù)據(jù)記錄以形成具有預(yù)定大小容量的多個(gè)記錄分組，所述預(yù)定大小容量是響應(yīng)于高速緩存存儲器的存儲器大小而確定的；以及將多個(gè)記錄分組中的相應(yīng)記錄分組傳輸?shù)脚c多個(gè)處理器的一個(gè)或多個(gè)處理操作相關(guān)聯(lián)的多個(gè)線程中的相應(yīng)線程。

本說明書中描述的主題的一種或多種實(shí)施方式的細(xì)節(jié)在附圖和以下描述中闡述。根據(jù)說明書、附圖和權(quán)利要求書，本主題的其他特征、方面和潛在優(yōu)點(diǎn)將變得顯而易見。

附圖說明

圖1是用于實(shí)現(xiàn)數(shù)據(jù)聚合以用于優(yōu)化的高速緩存和高效處理的示例性環(huán)境的圖。

圖2A-圖2B是采用數(shù)據(jù)聚合以用于優(yōu)化的高速緩存和高效處理的數(shù)據(jù)分析工作流的示例的圖。

圖3是實(shí)現(xiàn)數(shù)據(jù)聚合以用于優(yōu)化的高速緩存和高效處理的示例過程的流程圖。

圖4是可用于實(shí)現(xiàn)本文描述的系統(tǒng)和方法的計(jì)算設(shè)備的示例的圖。

圖5是包括可用于實(shí)現(xiàn)本文描述的系統(tǒng)和方法的軟件架構(gòu)的數(shù)據(jù)處理裝置的示例的圖。

在相應(yīng)附圖中，相同的附圖標(biāo)記和設(shè)計(jì)指示相同的元件。