[發(fā)明專(zhuān)利]一種數(shù)據(jù)計(jì)算的方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710867828.0
• 申請(qǐng)日: 2017-09-22
• 公開(kāi)（公告）號(hào): CN107562943B
• 公開(kāi)（公告）日: 2020-04-10
• 發(fā)明（設(shè)計(jì)）人: 鹿凌華;廖家緒;田亞
• 申請(qǐng)（專(zhuān)利權(quán)）人: 馬上消費(fèi)金融股份有限公司
• 主分類(lèi)號(hào): G06F16/25
• 分類(lèi)號(hào): G06F16/25
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 羅滿

1.一種數(shù)據(jù)計(jì)算的方法，其特征在于，包括：

對(duì)外部數(shù)據(jù)進(jìn)行預(yù)處理，得到待計(jì)算數(shù)據(jù)；

將所述待計(jì)算數(shù)據(jù)并行發(fā)送至預(yù)設(shè)數(shù)量個(gè)計(jì)算單元；

將所述待計(jì)算數(shù)據(jù)存儲(chǔ)至所述計(jì)算單元的內(nèi)存中，并通過(guò)分布式SQL計(jì)算引擎進(jìn)行計(jì)算得到計(jì)算結(jié)果；其中，所述分布式SQL計(jì)算引擎由通過(guò)對(duì)開(kāi)源SQL引擎與分布式計(jì)算中間件基層進(jìn)行改造得到。

2.根據(jù)權(quán)利要求1所述方法，其特征在于，在通過(guò)分布式SQL計(jì)算引擎進(jìn)行計(jì)算得到計(jì)算結(jié)果后，還包括：

將所述計(jì)算結(jié)果存儲(chǔ)至結(jié)果數(shù)據(jù)庫(kù)。

3.根據(jù)權(quán)利要求1所述方法，其特征在于，將所述待計(jì)算數(shù)據(jù)存儲(chǔ)至所述計(jì)算單元的內(nèi)存中包括：

將所述待計(jì)算數(shù)據(jù)整理為二維表的形式并存儲(chǔ)至所述計(jì)算單元的所述內(nèi)存中。

4.根據(jù)權(quán)利要求1至3任一項(xiàng)所述方法，其特征在于，所述對(duì)外部數(shù)據(jù)進(jìn)行預(yù)處理，得到待計(jì)算數(shù)據(jù)包括：

對(duì)所述外部數(shù)據(jù)進(jìn)行格式化轉(zhuǎn)化成標(biāo)準(zhǔn)格式，并進(jìn)行預(yù)編譯操作得到所述待計(jì)算數(shù)據(jù)。

5.一種數(shù)據(jù)計(jì)算的系統(tǒng)，其特征在于，包括：

數(shù)據(jù)接入模塊，用于對(duì)外部數(shù)據(jù)進(jìn)行預(yù)處理，得到待計(jì)算數(shù)據(jù)；

配置模塊，用于將所述待計(jì)算數(shù)據(jù)并行發(fā)送至預(yù)設(shè)數(shù)量個(gè)計(jì)算單元；

計(jì)算執(zhí)行模塊，用于將所述待計(jì)算數(shù)據(jù)存儲(chǔ)至所述計(jì)算單元的內(nèi)存中，并通過(guò)分布式SQL計(jì)算引擎進(jìn)行計(jì)算得到計(jì)算結(jié)果；其中，所述分布式SQL計(jì)算引擎由通過(guò)對(duì)開(kāi)源SQL引擎與分布式計(jì)算中間件基層進(jìn)行改造得到。

6.根據(jù)權(quán)利要求5所述系統(tǒng)，其特征在于，還包括：

計(jì)算結(jié)果存儲(chǔ)模塊，用于將所述計(jì)算結(jié)果存儲(chǔ)至結(jié)果數(shù)據(jù)庫(kù)。

7.根據(jù)權(quán)利要求5所述系統(tǒng)，其特征在于，所述計(jì)算執(zhí)行模塊包括：

數(shù)據(jù)存儲(chǔ)單元，用于將所述待計(jì)算數(shù)據(jù)整理為二維表的形式并存儲(chǔ)至所述計(jì)算單元的所述內(nèi)存中。

8.根據(jù)權(quán)利要求5至7任一項(xiàng)所述系統(tǒng)，其特征在于，所述數(shù)據(jù)接入模塊具體為對(duì)所述外部數(shù)據(jù)進(jìn)行格式化轉(zhuǎn)化成標(biāo)準(zhǔn)格式，并進(jìn)行預(yù)編譯操作得到所述待計(jì)算數(shù)據(jù)的模塊。