[發(fā)明專利]基于多引擎數(shù)據(jù)建模計(jì)算分析的平臺(tái)架構(gòu)及其處理方法

有效

• 申請?zhí)枺?/td>: 202011132539.4
• 申請日: 2020-10-21
• 公開（公告）號(hào): CN112307396B
• 公開（公告）日: 2022-06-28
• 發(fā)明（設(shè)計(jì)）人: 鄧鵬程;鄧盛名;李華喜;丁旭;馬騰飛;譚曜堃;羅紅祥
• 申請（專利權(quán)）人: 五凌電力有限公司
• 主分類號(hào): G06F16/958
• 分類號(hào): G06F16/958;G06F16/25;G06F9/48
• 代理公司: 北京風(fēng)雅頌專利代理有限公司 11403
• 代理人: 曾志鵬

1.一種基于多引擎數(shù)據(jù)建模計(jì)算分析的平臺(tái)架構(gòu)的處理方法，所述基于多引擎數(shù)據(jù)建模計(jì)算分析的平臺(tái)架構(gòu)包括，

計(jì)算任務(wù)配置前端模塊(1)，提供WEB頁面和圖形化界面供用戶配置數(shù)據(jù)處理模型和計(jì)算處理任務(wù)；

統(tǒng)一標(biāo)準(zhǔn)數(shù)據(jù)訪問服務(wù)模塊(2)，接收外部數(shù)據(jù)訪問請求，向外提供數(shù)據(jù)服務(wù)；

多源數(shù)據(jù)輸入輸出服務(wù)模塊(3)，與統(tǒng)一標(biāo)準(zhǔn)數(shù)據(jù)訪問服務(wù)模塊(2)通訊連接，實(shí)現(xiàn)平臺(tái)內(nèi)部各模塊間的數(shù)據(jù)交互,以及平臺(tái)與外部數(shù)據(jù)源間的數(shù)據(jù)交互邏輯功能；

計(jì)算任務(wù)配置服務(wù)模塊(4)，與計(jì)算任務(wù)配置前端模塊(1)通訊連接，為計(jì)算任務(wù)配置前端提供數(shù)據(jù)處理模型配置、數(shù)據(jù)處理任務(wù)配置服務(wù)功能，并將這些配置信息存儲(chǔ)到平臺(tái)元數(shù)據(jù)庫中；

平臺(tái)元數(shù)據(jù)庫模塊(5)，與計(jì)算任務(wù)配置服務(wù)模塊(4)通訊連接，保存平臺(tái)數(shù)據(jù)處理模型配置信息和數(shù)據(jù)處理任務(wù)配置信息；

計(jì)算任務(wù)調(diào)度服務(wù)模塊(6)，與計(jì)算任務(wù)配置服務(wù)模塊(4)通訊連接，將平臺(tái)配置好的數(shù)據(jù)處理任務(wù)提交到多計(jì)算引擎計(jì)算框架上投入執(zhí)行；

多計(jì)算引擎計(jì)算框架模塊(7)，分別與計(jì)算任務(wù)調(diào)度服務(wù)模塊(6)和多源數(shù)據(jù)輸入輸出服務(wù)模塊(3)通訊連接，執(zhí)行平臺(tái)數(shù)據(jù)處理任務(wù)；

多引擎數(shù)據(jù)存儲(chǔ)層(8)，與多源數(shù)據(jù)輸入輸出服務(wù)模塊(3)通訊連接，由關(guān)系數(shù)據(jù)引擎、時(shí)序數(shù)據(jù)庫引擎、文件型數(shù)據(jù)庫引擎、數(shù)據(jù)倉庫引擎和分布式文件系統(tǒng)數(shù)據(jù)引擎組成，用于為平臺(tái)提供數(shù)據(jù)存儲(chǔ)功能；

其特征在于包括以下步驟：

第一步，設(shè)計(jì)配置數(shù)據(jù)處理模型，進(jìn)入數(shù)據(jù)處理配置前端的數(shù)據(jù)處理模型配置頁面，選擇數(shù)據(jù)輸入算子，配置要輸入的數(shù)據(jù)源信息；接下來，選擇數(shù)據(jù)處理算子，配置數(shù)據(jù)處理算子所需的參數(shù)信息；最后，選擇數(shù)據(jù)輸出算子，配置處理結(jié)果數(shù)據(jù)要輸出的位置信息；再將數(shù)據(jù)輸入算子、數(shù)據(jù)輸出算子、數(shù)據(jù)輸出算子用數(shù)據(jù)處理時(shí)序線連接起來；對于數(shù)據(jù)輸入算子、數(shù)據(jù)處理算子和數(shù)據(jù)輸出算子的封裝打包包括以下步驟，先通過編程實(shí)現(xiàn)待處理數(shù)據(jù)輸入接口、配置參數(shù)輸入接口、數(shù)據(jù)計(jì)算邏輯和計(jì)算結(jié)果輸出接口；然后，將開發(fā)好的分析算子模型注冊到大數(shù)據(jù)平臺(tái)；最后，在計(jì)算任務(wù)配置前端模塊(1)設(shè)計(jì)Web頁面為分析算子模型的配置參數(shù)設(shè)計(jì)開發(fā)配置參數(shù)輸入接口；第二步，選擇配置好了的數(shù)據(jù)處理模型將其配置成數(shù)據(jù)處理任務(wù)，此步驟用于配置任務(wù)執(zhí)行條件和任務(wù)在何種計(jì)算框架下執(zhí)行；第三步，計(jì)算任務(wù)調(diào)度服務(wù)模塊(6)將任務(wù)提交到多計(jì)算引擎計(jì)算框架模塊(7)中去執(zhí)行。

2.如權(quán)利要求1所述的基于多引擎數(shù)據(jù)建模計(jì)算分析的平臺(tái)架構(gòu)的處理方法，其特征在于：所述計(jì)算任務(wù)配置前端模塊(1)用于調(diào)用計(jì)算任務(wù)配置服務(wù)，使用戶能在web頁面上配置相關(guān)的大數(shù)據(jù)處理任務(wù)。

3.如權(quán)利要求1所述的基于多引擎數(shù)據(jù)建模計(jì)算分析的平臺(tái)架構(gòu)的處理方法，其特征在于：所述統(tǒng)一標(biāo)準(zhǔn)數(shù)據(jù)訪問服務(wù)模塊(2)，用于接收到外部調(diào)用數(shù)據(jù)請求后，從多源數(shù)據(jù)輸入輸出服務(wù)模塊(3)獲取數(shù)據(jù)，將數(shù)據(jù)封裝成標(biāo)準(zhǔn)格式返回給外部調(diào)用。

4.如權(quán)利要求1所述的基于多引擎數(shù)據(jù)建模計(jì)算分析的平臺(tái)架構(gòu)的處理方法，其特征在于：所述多源數(shù)據(jù)輸入輸出服務(wù)模塊(3)，用于向外部數(shù)據(jù)源提供平臺(tái)輸入數(shù)據(jù)接口，提供數(shù)據(jù)處理任務(wù)和平臺(tái)內(nèi)部各功能模塊間數(shù)據(jù)交互接口。

5.如權(quán)利要求1所述的基于多引擎數(shù)據(jù)建模計(jì)算分析的平臺(tái)架構(gòu)的處理方法，其特征在于：所述計(jì)算任務(wù)配置服務(wù)模塊(4)由計(jì)算模型配置功能模塊和計(jì)算任務(wù)配置功能模塊組成。

6.如權(quán)利要求1所述的基于多引擎數(shù)據(jù)建模計(jì)算分析的平臺(tái)架構(gòu)的處理方法，其特征在于：所述計(jì)算任務(wù)調(diào)度服務(wù)模塊(6)，用于從計(jì)算任務(wù)配置服務(wù)模塊(4)獲取計(jì)算任務(wù)配置信息，將計(jì)算任務(wù)提交到多計(jì)算引擎計(jì)算框架模塊(7)。

7.如權(quán)利要求1所述的基于多引擎數(shù)據(jù)建模計(jì)算分析的平臺(tái)架構(gòu)的處理方法，其特征在于：所述多計(jì)算引擎計(jì)算框架模塊(7)，集成了開源大數(shù)據(jù)計(jì)算框架，并接收執(zhí)行計(jì)算任務(wù)調(diào)度服務(wù)模塊(6)提交的數(shù)據(jù)處理任務(wù)。