[發明專利]基于流計算引擎的可定制化模塊開發系統及方法

有效

• 申請號: 201511017694.0
• 申請日: 2015-12-29
• 公開（公告）號: CN106933549B
• 公開（公告）日: 2020-04-21
• 發明（設計）人: 顧剛
• 申請（專利權）人: 中移(蘇州)軟件技術有限公司;中國移動通信集團公司
• 主分類號: G06F8/10
• 分類號: G06F8/10;G06F8/20
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 姚開麗;張振偉

本發明實施例提供一種基于流計算引擎的可定制化模塊開發系統，該系統包括：組件設計模板、組件模板解析引擎、組件池、拓撲工廠以及拓撲提交解析引擎；其中，所述組件設計模板用于使用戶根據所述組件設計模板創建組件集；所述組件模板解析引擎用于對所述組件集進行解析；所述組件池用于存放和記錄所述組件集；所述拓撲工廠用于向用戶提供構建拓撲結構的界面；所述拓撲提交解析引擎用于將用戶構建的所述拓撲結構提交至流計算引擎。本發明實施例同時還提供一種基于流計算引擎的可定制化模板開發方法。

技術領域

本發明涉及流計算技術，尤其涉及一種基于流計算引擎的可定制化模塊開發系統及方法。

背景技術

現如今，有很多數據的價值會隨著時間的流逝而降低，所以在事件出現后，必須盡快對它們進行處理，最好能夠在事件出現時便立即對與事件對應的數據進行處理，發生一個事件進行一次數據處理，而不是緩存起來成一批處理。

現有技術中，流計算已經在大數據處理過程中得到充分應用，現有的流計算框架主要有storm、speak-streaming、S4、Samza等。在使用現有的流計算框架開發流計算系統的過程中，需要研發工程師了解業務需求，并結合自身對某個流計算框架的熟悉情況進行流計算系統的開發。

現有的流計算系統的開發過程具有如下缺點：開發過程需要有流計算開發經驗的研發工程師，而工程師的經驗是決定項目交付時間的重要因素，其不確定性較強；由于流計算系統是針對某種業務需求開發的，其各個組件的耦合性較高，因此復用性不高。

發明內容

有鑒于此，本發明實施例期望提供一種基于流計算引擎的可定制化模塊開發系統及方法，以提高流計算系統的開發速度。且適用于各種流計算框架，通用性高。

本發明實施例的技術方案是這樣實現的：

一種基于流計算引擎的可定制化模塊開發系統，所述系統包括：組件設計模板、組件模板解析引擎、組件池、拓撲工廠以及拓撲提交解析引擎；

其中，所述組件設計模板用于使用戶根據所述組件設計模板創建組件集；

所述組件模板解析引擎用于對所述組件集進行解析；

所述組件池用于存放和記錄所述組件集；

所述拓撲工廠用于向用戶提供構建拓撲結構的界面；

所述拓撲提交解析引擎用于將用戶構建的所述拓撲結構提交至流計算引擎。

如上所述的系統，其中，所述組件設計模板包括：功能組件集合和配置文件；

其中，所述功能組件集合包括多個功能組件；所述配置文件中包含所述功能組件集合的名稱以及每個所述功能組件的配置信息；

所述功能組件的配置信息包括：功能組件名稱、功能組件介紹、功能組件類型、功能組件類路徑、功能組件參數、功能組件輸入以及功能組件輸出。

如上所述的系統，其中，所述組件模板解析引擎具體用于：解析所述配置文件，根據所述配置文件，記錄所述功能組件的內容并將所述功能組件存放至所述組件池中。

如上所述的系統，其中，所述組件池包括數據存儲器和功能組件存儲池；

所述數據存儲器用于存放所述功能組件的配置信息；所述功能組件存儲池用于存儲并管理用戶創建的所述組件集。

如上所述的系統，其中，所述拓撲工廠包括拓撲工廠界面和拓撲關系生成器；

其中，所述拓撲工廠界面用于向用戶提供構建拓撲結構的界面，并根據所述功能組件集合搭建拓撲結構；所述拓撲關系生成器用于根據所述拓撲結構生成拓撲結構序列。

如上所述的系統，其中，所述拓撲提交解析引擎包括拓撲解析器和拓撲提交器；