[發(fā)明專利]一種數(shù)據(jù)計算的方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201710867828.0
• 申請日: 2017-09-22
• 公開（公告）號: CN107562943B
• 公開（公告）日: 2020-04-10
• 發(fā)明（設(shè)計）人: 鹿凌華;廖家緒;田亞
• 申請（專利權(quán)）人: 馬上消費金融股份有限公司
• 主分類號: G06F16/25
• 分類號: G06F16/25
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 羅滿

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)分析領(lǐng)域，特別涉及一種數(shù)據(jù)計算的方法及系統(tǒng)。

背景技術(shù)

隨著科學(xué)技術(shù)的迅速發(fā)展，大數(shù)據(jù)技術(shù)已經(jīng)成為一種應(yīng)用極其廣泛的技術(shù)，即通過掌握龐大的數(shù)據(jù)信息進行專業(yè)化處理提高對數(shù)據(jù)的“加工能力”，通過“加工”實現(xiàn)數(shù)據(jù)的“增值”。

大數(shù)據(jù)需要特殊的技術(shù)，以有效地處理大量的容忍經(jīng)過時間內(nèi)的數(shù)據(jù)，包括大規(guī)模并行處理數(shù)據(jù)庫、數(shù)據(jù)挖掘、分布式文件系統(tǒng)、分布式數(shù)據(jù)庫、云計算平臺、互聯(lián)網(wǎng)和可擴展的存儲系統(tǒng)。現(xiàn)有技術(shù)中，實時計算大部分都基于JStorm/storm或Spark，JStorm本身做聚合計算是對一定的時間窗內(nèi)的數(shù)據(jù)可以進行聚合計算。但是，在進行單次密集型數(shù)據(jù)計算請求時，現(xiàn)有技術(shù)無法提供毫秒級密集型聚合計算提供支持。

因此，如何實現(xiàn)對數(shù)據(jù)的毫秒級密集計算是本領(lǐng)域技術(shù)人員目前需要解決的技術(shù)問題。

發(fā)明內(nèi)容

本申請的目的是提供一種數(shù)據(jù)計算的方法及系統(tǒng)，能夠?qū)崿F(xiàn)對數(shù)據(jù)的毫秒級密集計算。

為解決上述技術(shù)問題，本申請?zhí)峁┮环N數(shù)據(jù)計算的方法，該方法包括：

對外部數(shù)據(jù)進行預(yù)處理，得到待計算數(shù)據(jù)；

將所述待計算數(shù)據(jù)并行發(fā)送至預(yù)設(shè)數(shù)量個計算單元；

將所述待計算數(shù)據(jù)存儲至所述計算單元的內(nèi)存中，并通過分布式SQL計算引擎進行計算得到計算結(jié)果；其中，所述分布式SQL計算引擎由通過對開源SQL引擎與分布式計算中間件基層進行改造得到。

可選的，還包括：

將所述計算結(jié)果存儲至結(jié)果數(shù)據(jù)庫。

可選的，將所述待計算數(shù)據(jù)存儲至所述計算單元的內(nèi)存中包括：

將所述待計算數(shù)據(jù)整理為二維表的形式并存儲至所述計算單元的所述內(nèi)存中。

可選的，所述對外部數(shù)據(jù)進行預(yù)處理，得到待計算數(shù)據(jù)包括：

對所述外部數(shù)據(jù)進行格式化轉(zhuǎn)化成標準格式，并進行預(yù)編譯操作得到所述待計算數(shù)據(jù)。

本申請還提供了一種數(shù)據(jù)計算的系統(tǒng)，該系統(tǒng)包括：

數(shù)據(jù)接入模塊，用于對外部數(shù)據(jù)進行預(yù)處理，得到待計算數(shù)據(jù)；

配置模塊，用于將所述待計算數(shù)據(jù)并行發(fā)送至預(yù)設(shè)數(shù)量個計算單元；

計算執(zhí)行模塊，用于將所述待計算數(shù)據(jù)存儲至所述計算單元的內(nèi)存中，并通過分布式SQL計算引擎進行計算得到計算結(jié)果；其中，所述分布式SQL計算引擎由通過對開源SQL引擎與分布式計算中間件基層進行改造得到。

可選的，還包括：

計算結(jié)果存儲模塊，用于將所述計算結(jié)果存儲至結(jié)果數(shù)據(jù)庫。

可選的，所述計算執(zhí)行模塊包括：

數(shù)據(jù)存儲單元，用于將所述待計算數(shù)據(jù)整理為二維表的形式并存儲至所述計算單元的所述內(nèi)存中。

可選的，所述數(shù)據(jù)接入模塊具體為對所述外部數(shù)據(jù)進行格式化轉(zhuǎn)化成標準格式，并進行預(yù)編譯操作得到所述待計算數(shù)據(jù)的模塊。

本發(fā)明提供了一種數(shù)據(jù)計算的方法，對外部數(shù)據(jù)進行預(yù)處理，得到待計算數(shù)據(jù)；將所述待計算數(shù)據(jù)并行發(fā)送至預(yù)設(shè)數(shù)量個計算單元；將所述待計算數(shù)據(jù)存儲至所述計算單元的內(nèi)存中，并通過分布式SQL計算引擎進行計算得到計算結(jié)果；其中，所述分布式SQL計算引擎由通過對開源SQL引擎與分布式計算中間件基層進行改造得到。

本方法中通過將待計算數(shù)據(jù)并行發(fā)送到預(yù)設(shè)數(shù)量個計算單元，實現(xiàn)了多個計算單元一起執(zhí)行同一數(shù)據(jù)不同類型的計算任務(wù)，在進行計算之前將待計算數(shù)據(jù)存儲至內(nèi)存中能夠加快執(zhí)行計算任務(wù)的速度，通過SQL計算引擎進行計算是通過相對簡單的語言實現(xiàn)了復(fù)雜數(shù)據(jù)的計算。該方法能夠?qū)崿F(xiàn)對數(shù)據(jù)的毫秒級密集計算，有利于降低維護成本，簡化測試方式。本申請同時還提供了一種數(shù)據(jù)計算的系統(tǒng)，具有上述有益效果，在此不再贅述。

附圖說明

為了更清楚地說明本申請實施例，下面將對實施例中所需要使用的附圖做簡單的介紹，顯而易見地，下面描述中的附圖僅僅是本申請的一些實施例，對于本領(lǐng)域普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。

圖1為本申請實施例所提供的一種數(shù)據(jù)計算的方法的流程圖；

圖2為本申請實施例所提供的另一種數(shù)據(jù)計算的方法的流程圖；

圖3為本申請實施例所提供的一種數(shù)據(jù)計算的系統(tǒng)的結(jié)構(gòu)示意圖。

具體實施方式