[發明專利]一種基于事件的并行計算方法和開發框架

在審

• 申請號: 202010556871.7
• 申請日: 2020-06-18
• 公開（公告）號: CN111651145A
• 公開（公告）日: 2020-09-11
• 發明（設計）人: 韓曉明
• 申請（專利權）人: 石家莊開發區天遠科技有限公司
• 主分類號: G06F8/20
• 分類號: G06F8/20;G06F8/33;G06F8/38
• 代理公司: 石家莊眾志華清知識產權事務所(特殊普通合伙) 13123
• 代理人: 聶旭中

1.一種基于事件的并行計算開發框架，其特征在于，所述開發框架包括消息事件處理模塊、數據元數據管理模塊、數據處理解析模塊、用戶算子模塊、并行分組策略模塊；

所述消息事件處理模塊用于處理事件內容、根據約定啟動任務中對應的用戶算子模塊、監視和更新任務的狀態、任務編排涉及后續任務的觸發事件、任務異常報警通知；

所述數據元數據管理模塊用于管理數據元數據，所述數據元數據包括輸入源元數據、用戶算子模塊、輸出元數據、項目信息元數據、設備元數據、任務和任務實例元數據信息；

所述數據處理解析模塊用于按照用戶算子模塊對數據的輸入輸出要求，獲取元數據，重構數據并提供給用戶算子模塊；接收用戶算子模塊的計算結果，輸出到目標庫；

所述用戶算子模塊用于需求計算處理邏輯；

所述并行分組策略模塊用于根據任務的不同需求，基于不同的維度設置并行分組策略；

所述任務是一個數據計算過程，其中包括用戶算子模塊、計算條件。

2.根據權利要求1所述的開發框架，其特征在于：所述用戶算子模塊通過繼承通用上層父類，以具備對應約定的輸入數據結構；在數據元數據管理模塊中配置算子模塊的輸入、輸出元數據信息，獲取計算基礎數據及輸出目標。

3.根據權利要求1所述的開發框架，其特征在于：所述數據處理解析模塊按照用戶算子模塊對數據的輸入要求，針對數據源的數據庫結構類型，生成檢索式，獲取檢索結果，將檢索結果按照用戶算子模塊的輸入要求進行重構后，提供個用戶算子模塊；根據用戶算子模塊的輸出要求及寫入的目標庫結構類型，生成寫入指令，將輸出數據寫入目標庫。

4.根據權利要求1所述的開發框架，其特征在于：所述的分組策略包括按實體分組、按實體與固定時間分組、按實體與動態時間分組。

5.根據權利要求1所述的開發框架，其特征在于：所述數據元數據管理模塊還起到數據管理與數據之間血緣關聯關系的管理。

6.根據權利要求1所述的開發框架，其特征在于：用戶算子模塊配置在不同的任務處理實體上，任務處理實體通過網絡連接；所述任務處理實體為具有計算能力的終端設備。

7.基于事件的并行計算方法，在權利要求1-6任一項所述的基于事件的并行計算開發框架上實現，其特征在于，包括：

編制用戶算子模塊，定義算法邏輯以及數據的輸入輸出；

在任務處理實體上配置用戶算子模塊；

通過框架中的數據元數據管理模塊選擇與用戶算子模塊相關的元數據，包括輸入源元數據、用戶算法元數據、輸出元數據、項目信息元數據、設備元數據、任務和任務實例元數據信息；

通過框架中的消息事件處理模塊設定用戶算子模塊的觸發事件；

通過框架中的并行分組策略模塊設置并行分組策略；

當觸發事件發生時，數據處理解析模塊按照用戶算子模塊對數據的輸入輸出要求和并行分組策略，獲取元數據，重構數據并提供給用戶算子模塊；接收用戶算子模塊的計算結果，輸出到目標庫；

消息事件處理模塊接收用戶算子模塊推送的運行信息，實時更新運行狀態變化，編排后續任務的事件觸發。

8.根據權利要求7所述的并行計算方法，其特征在于：用戶算子模塊的觸發事件包括定時器。