[發(fā)明專利]一種大數(shù)據(jù)處理平臺、平臺構(gòu)建方法和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201911241175.0
• 申請日: 2019-12-06
• 公開（公告）號: CN111026432A
• 公開（公告）日: 2020-04-17
• 發(fā)明（設(shè)計）人: 趙世輝;陳銘新;李曉敦;唐景峰;翁世清;張峰
• 申請（專利權(quán)）人: 中國建設(shè)銀行股份有限公司;建信金融科技有限責(zé)任公司
• 主分類號: G06F8/70
• 分類號: G06F8/70;G06F8/65
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發(fā)明公開了一種大數(shù)據(jù)處理平臺、平臺構(gòu)建方法和存儲介質(zhì)。該平臺包括：數(shù)據(jù)采集模塊、數(shù)據(jù)處理模塊、數(shù)據(jù)存儲模塊和數(shù)據(jù)輸出模塊；通過數(shù)據(jù)采集模塊接收外部數(shù)據(jù)，并通過數(shù)據(jù)處理模塊對外部數(shù)據(jù)中的元數(shù)據(jù)信息進(jìn)行數(shù)據(jù)處理，得到數(shù)據(jù)處理結(jié)果，以及通過數(shù)據(jù)處理模塊將外部數(shù)據(jù)中的實際數(shù)據(jù)存儲至數(shù)據(jù)存儲模塊；數(shù)據(jù)輸出模塊通過統(tǒng)一數(shù)據(jù)訪問接口輸出數(shù)據(jù)處理結(jié)果，以對外提供服務(wù)。本發(fā)明實施例通過以元數(shù)據(jù)為驅(qū)動，將各個模塊的功能進(jìn)行有效串聯(lián)，形成高效融合的大數(shù)據(jù)平臺，提升了應(yīng)用構(gòu)建和運行的效率。

技術(shù)領(lǐng)域

本發(fā)明實施例涉及大數(shù)據(jù)技術(shù)，尤其涉及一種大數(shù)據(jù)處理平臺、平臺構(gòu)建方法和存儲介質(zhì)。

背景技術(shù)

在大數(shù)據(jù)處理過程中，需要用到多種技術(shù)和數(shù)據(jù)處理方式。對用戶來說，要把所需要的大數(shù)據(jù)技術(shù)整合在一個環(huán)境里，需要耗費較多的時間和精力。并且，大數(shù)據(jù)技術(shù)更新升級速度快，用戶建立的大數(shù)據(jù)應(yīng)用經(jīng)常會因為底層技術(shù)的更迭，不斷適配和調(diào)整，增加維護(hù)的復(fù)雜度和成本。因此，如何建立一種集基礎(chǔ)資源提供、技術(shù)工具提供、數(shù)據(jù)提供等功能于一體的大數(shù)據(jù)處理平臺，是一個亟待解決的問題。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明提供一種大數(shù)據(jù)處理平臺、平臺構(gòu)建方法和存儲介質(zhì)，提升了應(yīng)用構(gòu)建和運行的效率。

第一方面，本發(fā)明實施例提供了一種大數(shù)據(jù)處理平臺，包括：數(shù)據(jù)采集模塊、數(shù)據(jù)處理模塊、數(shù)據(jù)存儲模塊和數(shù)據(jù)輸出模塊；

通過所述數(shù)據(jù)采集模塊接收外部數(shù)據(jù)，并通過所述數(shù)據(jù)處理模塊對所述外部數(shù)據(jù)中的元數(shù)據(jù)信息進(jìn)行數(shù)據(jù)處理，得到數(shù)據(jù)處理結(jié)果，以及通過所述數(shù)據(jù)處理模塊將所述外部數(shù)據(jù)中的實際數(shù)據(jù)存儲至所述數(shù)據(jù)存儲模塊；

所述數(shù)據(jù)輸出模塊通過統(tǒng)一數(shù)據(jù)訪問接口輸出所述數(shù)據(jù)處理結(jié)果，以對外提供服務(wù)。

第二方面，本發(fā)明實施例還提供了一種大數(shù)據(jù)處理平臺的構(gòu)建方法，包括：

根據(jù)預(yù)先配置的業(yè)務(wù)需求確定大數(shù)據(jù)處理平臺具備的多個通用能力；

基于預(yù)設(shè)的統(tǒng)一架構(gòu)規(guī)范和原則，配置每個所述通用能力對應(yīng)的技術(shù)組件；

以元數(shù)據(jù)信息為驅(qū)動，對每個所述技術(shù)組件進(jìn)行串聯(lián)，構(gòu)建對應(yīng)的大數(shù)據(jù)處理平臺。

第三方面，一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，該程序被處理器執(zhí)行時實現(xiàn)如第一方面所述的大數(shù)據(jù)處理平臺的構(gòu)建方法。

本發(fā)明通過數(shù)據(jù)采集模塊接收到外部數(shù)據(jù)之后，直接通過數(shù)據(jù)處理模塊對外部數(shù)據(jù)中的元數(shù)據(jù)信息進(jìn)行數(shù)據(jù)處理，得到數(shù)據(jù)處理結(jié)果，并通過數(shù)據(jù)輸出模塊輸出數(shù)據(jù)處理結(jié)果，以對外提供服務(wù)，實現(xiàn)了以元數(shù)據(jù)為驅(qū)動，將各個模塊的功能進(jìn)行有效串聯(lián)，形成高效融合的大數(shù)據(jù)平臺，提升了應(yīng)用構(gòu)建和運行的效率。

附圖說明

圖1是現(xiàn)有技術(shù)中提供的一種大數(shù)據(jù)處理功能框架對應(yīng)的產(chǎn)品架構(gòu)圖；

圖2是現(xiàn)有技術(shù)中提供的一種建設(shè)體系的結(jié)構(gòu)框圖；

圖3是現(xiàn)有技術(shù)中提供的一種技術(shù)產(chǎn)品的結(jié)構(gòu)框圖；

圖4是本發(fā)明實施例提供的一種大數(shù)據(jù)處理平臺的結(jié)構(gòu)框圖；

圖5是本發(fā)明實施例提供的一種大數(shù)據(jù)處理平臺中各組件間的關(guān)系示意圖；

圖6是本發(fā)明實施例提供的一種大數(shù)據(jù)處理平臺的構(gòu)建方法的流程圖；

圖7是本發(fā)明實施例提供的一種平臺通用能力框架示意圖；

圖8是本發(fā)明實施例提供的另一種大數(shù)據(jù)處理平臺中各組件間的關(guān)系示意圖；

圖9是本發(fā)明實施例提供的一種平臺能力組合示意圖；

圖10是本發(fā)明實施例提供的一種云化大數(shù)據(jù)平臺的物理部署示意圖；