[發明專利]基于多引擎數據建模計算分析的平臺架構及其處理方法

有效

• 申請號: 202011132539.4
• 申請日: 2020-10-21
• 公開（公告）號: CN112307396B
• 公開（公告）日: 2022-06-28
• 發明（設計）人: 鄧鵬程;鄧盛名;李華喜;丁旭;馬騰飛;譚曜堃;羅紅祥
• 申請（專利權）人: 五凌電力有限公司
• 主分類號: G06F16/958
• 分類號: G06F16/958;G06F16/25;G06F9/48
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 曾志鵬

本發明公開了一種基于多引擎數據建模計算分析的平臺架構，包括計算任務配置前端模塊，提供WEB頁面和圖形化界面供用戶配置數據處理模型和計算處理任務；統一標準數據訪問服務模塊，接收外部數據訪問請求，向外提供數據服務；多源數據輸入輸出服務模塊，實現平臺內部各模塊間的數據交互,以及平臺與外部數據源間的數據交互邏輯功能；計算任務配置服務模塊，為計算任務配置前端提供數據處理模型配置、數據處理任務配置服務功能，并將這些配置信息存儲到平臺元數據庫中；平臺元數據庫模塊，保存平臺數據處理模型配置信息和數據處理任務配置信息。本發明能夠解決現有技術的不足，提高了數據處理邏輯的復用性。

技術領域

本發明屬于工業大數據技術領域，具體是一種基于多引擎數據建模計算分析的平臺架構及其處理方法。

背景技術

隨著現代化工業生產在信息、電子和數學技術的發展的推動下，在傳感器、物聯網等技術的高速發展下，一批智能化、高精度、長續航、高性價比、微型傳感器面世，以物聯網為代表移動數據通信的支持下，能做到任何時間、任何地點采集、傳送數據。這些技術大幅降低工業數據的采集、處理的技術門檻和支出成本，這些因素使得工業生產數據爆炸式的增長。

工業大數據平臺已經成為了現代化工業生產不可缺少的信息化管理工具，同時在信息化管理領域中，各種大數據管理工具也是百花齊放、百家爭鳴。然而，這些設計精巧，功能強大的管理平臺也仍然存在一些不足：

1、在數據處理層面，單一數據計算引擎計算框架往往總存在對某種數據處理場景下的數據處理的不適應。

2、在數據存儲層面，企業的生產數據類型多種多樣，一種存儲平臺很難滿足企業所有類型的數據的高并發、高吞吐、低時延讀寫訪問的需求。

3、在平臺易用性層面，用戶掌握某種數據處理工具有著較高的技術門檻，往往需要專業人士經過長時間的學習才能掌控一種大數據平臺的使用。且通過大數據平臺構建一種數據處理任務往往需要復雜的過程，耗時、耗力。

發明內容

本發明要解決的技術問題是提供一種基于多引擎數據建模計算分析的平臺架構及其處理方法，能夠解決現有技術的不足，提高了數據處理邏輯的復用性。

本發明的內容包括以下步驟，

一種基于多引擎數據建模計算分析的平臺架構包括，

計算任務配置前端模塊，提供WEB頁面和圖形化界面供用戶配置數據處理模型和計算處理任務；

統一標準數據訪問服務模塊，接收外部數據訪問請求，向外提供數據服務；

多源數據輸入輸出服務模塊，與統一標準數據訪問服務模塊通訊連接，實現平臺內部各模塊間的數據交互,以及平臺與外部數據源間的數據交互邏輯功能；

計算任務配置服務模塊，與計算任務配置前端模塊通訊連接，為計算任務配置前端提供數據處理模型配置、數據處理任務配置服務功能，并將這些配置信息存儲到平臺元數據庫中；

平臺元數據庫模塊，與計算任務配置服務模塊通訊連接，保存平臺數據處理模型配置信息和數據處理任務配置信息；

計算任務調度服務模塊，與計算任務配置服務模塊通訊連接，將平臺配置好的數據處理任務提交到多計算引擎計算框架上投入執行；

多計算引擎計算框架模塊，分別與計算任務調度服務模塊和多源數據輸入輸出服務模塊通訊連接，執行平臺數據處理任務；

多引擎數據存儲層，與多源數據輸入輸出服務模塊通訊連接，由關系數據引擎、時序數據庫引擎、文件型數據庫引擎、數據倉庫引擎和分布式文件系統數據引擎組成。

作為優選，所述計算任務配置前端模塊用于調用計算任務配置服務，使用戶能在web頁面上配置相關的大數據處理任務。