[發(fā)明專(zhuān)利]一種大數(shù)據(jù)處理平臺(tái)、平臺(tái)構(gòu)建方法和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201911241175.0
• 申請(qǐng)日: 2019-12-06
• 公開(kāi)（公告）號(hào): CN111026432A
• 公開(kāi)（公告）日: 2020-04-17
• 發(fā)明（設(shè)計(jì)）人: 趙世輝;陳銘新;李曉敦;唐景峰;翁世清;張峰
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)建設(shè)銀行股份有限公司;建信金融科技有限責(zé)任公司
• 主分類(lèi)號(hào): G06F8/70
• 分類(lèi)號(hào): G06F8/70;G06F8/65
• 代理公司: 北京品源專(zhuān)利代理有限公司 11332
• 代理人: 孟金喆

1.一種大數(shù)據(jù)處理平臺(tái)，其特征在于，包括：數(shù)據(jù)采集模塊、數(shù)據(jù)處理模塊、數(shù)據(jù)存儲(chǔ)模塊和數(shù)據(jù)輸出模塊；

通過(guò)所述數(shù)據(jù)采集模塊接收外部數(shù)據(jù)，并通過(guò)所述數(shù)據(jù)處理模塊對(duì)所述外部數(shù)據(jù)中的元數(shù)據(jù)信息進(jìn)行數(shù)據(jù)處理，得到數(shù)據(jù)處理結(jié)果，以及通過(guò)所述數(shù)據(jù)處理模塊將所述外部數(shù)據(jù)中的實(shí)際數(shù)據(jù)存儲(chǔ)至所述數(shù)據(jù)存儲(chǔ)模塊；

所述數(shù)據(jù)輸出模塊通過(guò)統(tǒng)一數(shù)據(jù)訪(fǎng)問(wèn)接口輸出所述數(shù)據(jù)處理結(jié)果，以對(duì)外提供服務(wù)。

2.根據(jù)權(quán)利要求1所述的大數(shù)據(jù)平臺(tái)，其特征在于，所述數(shù)據(jù)采集模塊包括：數(shù)據(jù)采集組件；所述數(shù)據(jù)存儲(chǔ)模塊包括：存儲(chǔ)與計(jì)算組件；所述數(shù)據(jù)輸出模塊包括：分析與可視化組件，以及數(shù)據(jù)服務(wù)總線(xiàn)組件；

所述數(shù)據(jù)處理模塊包括：數(shù)據(jù)集成組件、智能調(diào)度組件、數(shù)據(jù)管理組件、數(shù)據(jù)開(kāi)發(fā)組件、和數(shù)據(jù)服務(wù)組件；

通過(guò)所述智能調(diào)度組件的控制將所述外部數(shù)據(jù)中的元數(shù)據(jù)信息登記至所述數(shù)據(jù)管理組件，以及將所述外部數(shù)據(jù)中的實(shí)際數(shù)據(jù)寫(xiě)入所述存儲(chǔ)與計(jì)算組件；

通過(guò)所述數(shù)據(jù)管理組件收集各個(gè)組件中的元數(shù)據(jù)信息，以及對(duì)外提供元數(shù)據(jù)信息；

通過(guò)所述數(shù)據(jù)開(kāi)發(fā)組件進(jìn)行作業(yè)開(kāi)發(fā)，并在作業(yè)開(kāi)發(fā)過(guò)程中從所述數(shù)據(jù)管理組件中獲取元數(shù)據(jù)信息，以及將形成的作業(yè)代碼路徑和相關(guān)調(diào)度配置信息寫(xiě)入所述數(shù)據(jù)管理組件，形成數(shù)據(jù)血緣信息；

通過(guò)所述數(shù)據(jù)集成組件提供的數(shù)據(jù)加工算子，對(duì)所述元數(shù)據(jù)信息進(jìn)行過(guò)濾、變形和整合，并在智能調(diào)度組件的控制下得到數(shù)據(jù)處理結(jié)果；由所述數(shù)據(jù)服務(wù)組件通過(guò)統(tǒng)一數(shù)據(jù)訪(fǎng)問(wèn)接口輸出所述數(shù)據(jù)處理結(jié)果，以對(duì)外提供服務(wù)。

3.根據(jù)權(quán)利要求2所述的大數(shù)據(jù)平臺(tái)，其特征在于，所述大數(shù)據(jù)平臺(tái)還包括：

通過(guò)所述存儲(chǔ)與計(jì)算組件讀取元數(shù)據(jù)信息，并利用所述存儲(chǔ)與計(jì)算組件中的存儲(chǔ)資源和計(jì)算資源對(duì)所述外部數(shù)據(jù)中的實(shí)際數(shù)據(jù)進(jìn)行計(jì)算。

4.根據(jù)權(quán)利要求2所述的大數(shù)據(jù)平臺(tái)，其特征在于，所述分析與可視化組件，用于對(duì)所述數(shù)據(jù)處理結(jié)果進(jìn)行分析挖掘和數(shù)據(jù)可視化展示；

所述數(shù)據(jù)服務(wù)總線(xiàn)組件，用于對(duì)外提供數(shù)據(jù)訪(fǎng)問(wèn)。

5.根據(jù)權(quán)利要求4所述的大數(shù)據(jù)平臺(tái)，其特征在于，所述分析與可視化組件以及所述數(shù)據(jù)服務(wù)組件用于從所述數(shù)據(jù)管理組件獲取元數(shù)據(jù)信息。

6.根據(jù)權(quán)利要求1-5任一所述的大數(shù)據(jù)平臺(tái)，其特征在于，所述元數(shù)據(jù)信息包括下述至少一項(xiàng)：數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)權(quán)限、存儲(chǔ)路徑、訪(fǎng)問(wèn)方式、運(yùn)行信息和數(shù)據(jù)狀態(tài)。

7.一種大數(shù)據(jù)處理平臺(tái)的構(gòu)建方法，其特征在于，包括：

根據(jù)預(yù)先配置的業(yè)務(wù)需求確定大數(shù)據(jù)處理平臺(tái)具備的多個(gè)通用能力；

基于預(yù)設(shè)的統(tǒng)一架構(gòu)規(guī)范和原則，配置每個(gè)所述通用能力對(duì)應(yīng)的技術(shù)組件；

以元數(shù)據(jù)信息為驅(qū)動(dòng)，對(duì)每個(gè)所述技術(shù)組件進(jìn)行串聯(lián)，構(gòu)建對(duì)應(yīng)的大數(shù)據(jù)處理平臺(tái)。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述預(yù)設(shè)的統(tǒng)一架構(gòu)規(guī)范和原則包括至少下述一項(xiàng)：云計(jì)算、易用性、可靠性和易維護(hù)性。

9.根據(jù)權(quán)利要求7所述的方法，其特征在于，所述通用能力至少包括下述一項(xiàng)：數(shù)據(jù)采集能力、數(shù)據(jù)存儲(chǔ)能力、數(shù)據(jù)交換能力、數(shù)據(jù)計(jì)算能力、數(shù)據(jù)調(diào)度能力、數(shù)據(jù)管理能力、數(shù)據(jù)集成能力、數(shù)據(jù)開(kāi)發(fā)能力、數(shù)據(jù)分析能力、數(shù)據(jù)可視化能力、數(shù)據(jù)服務(wù)能力；

所述技術(shù)組件至少包括下述一項(xiàng)：數(shù)據(jù)采集組件、數(shù)據(jù)集成組件、智能調(diào)度組件、數(shù)據(jù)管理組件、存儲(chǔ)與計(jì)算組件、數(shù)據(jù)開(kāi)發(fā)組件、分析與可視化組件、數(shù)據(jù)服務(wù)組件和數(shù)據(jù)服務(wù)總線(xiàn)組件。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求7-9中任一所述的大數(shù)據(jù)處理平臺(tái)的構(gòu)建方法。