[發明專利]一種基于實時流計算的在線組件編排計算方法及系統

有效

• 申請號: 202011517604.5
• 申請日: 2020-12-21
• 公開（公告）號: CN112685004B
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 鄭康秋;林俊德;陳立峰;李霖;閆二樂;李立泓
• 申請（專利權）人: 福建新大陸軟件工程有限公司
• 主分類號: G06F8/10
• 分類號: G06F8/10;G06F8/20;G06F8/34;G06F9/445;G06F16/25;G06F16/955
• 代理公司: 福州市鼓樓區京華專利事務所(普通合伙) 35212
• 代理人: 林云嬌

1.一種基于實時流計算的在線組件編排計算方法，其特征在于：包括如下步驟：

步驟S10、通過可視化編輯器對組件庫的組件進行編排，生成編排模板；

步驟S20、調度器將所述編排模板發送給編排引擎，編排引擎對所述編排模板中的各組件進行計算流程的設定，生成計算模板；

步驟S30、調度器對所述計算模板進行驗證后，發布到編排引擎；

步驟S40、計算引擎基于接收的計算指令，獲取發布的所述計算模板執行計算指令，輸出計算結果；

所述步驟S30具體包括：

步驟S31、調度器通過解析器調用并解析編排引擎生成的所述計算模板；

步驟S32、調度器基于解析的所述計算模板生成第一計算任務，并將所述第一計算任務發送給計算引擎進行計算，生成第一計算結果；

步驟S33、調度器接收計算引擎發送的所述第一計算結果，人工核查所述第一計算結果是否正確，若是，則所述計算模板驗證通過，將所述計算模板發布到編排引擎；若否，則所述計算模板驗證不通過，并進入步驟S10。

2.如權利要求1所述的一種基于實時流計算的在線組件編排計算方法，其特征在于：所述步驟S10中，所述組件庫至少包括數據接入組件、數據預處理組件以及數據輸出組件；

所述數據接入組件至少包括Kafka接入子組件、數據庫接入子組件、URL接入子組件以及文件接入子組件；所述數據預處理組件至少包括數據過濾子組件、數據轉換子組件、數據篩選子組件、數據關聯子組件以及算法選擇子組件；所述數據輸出組件至少包括文件輸出子組件、數據庫輸出子組件以及Kafka輸出子組件。

3.如權利要求1所述的一種基于實時流計算的在線組件編排計算方法，其特征在于：所述步驟S40具體包括：

步驟S41、計算引擎將接收的計算指令轉發給調度器；

步驟S42、調度器接收到所述計算指令后，通過解析器調用并解析編排引擎發布的所述計算模板；

步驟S43、調度器基于解析的所述計算模板以及計算指令生成第二計算任務，并將所述第二計算任務發送給計算引擎進行計算，生成并輸出第二計算結果。

4.一種基于實時流計算的在線組件編排計算系統，其特征在于：包括如下模塊：

組件編排模塊，用于通過可視化編輯器對組件庫的組件進行編排，生成編排模板；

計算模板生成模塊，用于調度器將所述編排模板發送給編排引擎，編排引擎對所述編排模板中的各組件進行計算流程的設定，生成計算模板；

計算模板驗證發布模塊，用于調度器對所述計算模板進行驗證后，發布到編排引擎；

計算模塊，用于計算引擎基于接收的計算指令，獲取發布的所述計算模板執行計算指令，輸出計算結果；

所述計算模板驗證發布模塊具體包括：

計算模板生成單元，用于調度器通過解析器調用并解析編排引擎生成的所述計算模板；

計算模板解析單元，用于調度器基于解析的所述計算模板生成第一計算任務，并將所述第一計算任務發送給計算引擎進行計算，生成第一計算結果；

計算模板驗證單元，用于調度器接收計算引擎發送的所述第一計算結果，人工核查所述第一計算結果是否正確，若是，則所述計算模板驗證通過，將所述計算模板發布到編排引擎；若否，則所述計算模板驗證不通過，并進入組件編排模塊。

5.如權利要求4所述的一種基于實時流計算的在線組件編排計算系統，其特征在于：所述組件編排模塊中，所述組件庫至少包括數據接入組件、數據預處理組件以及數據輸出組件；

所述數據接入組件至少包括Kafka接入子組件、數據庫接入子組件、URL接入子組件以及文件接入子組件；所述數據預處理組件至少包括數據過濾子組件、數據轉換子組件、數據篩選子組件、數據關聯子組件以及算法選擇子組件；所述數據輸出組件至少包括文件輸出子組件、數據庫輸出子組件以及Kafka輸出子組件。

6.如權利要求4所述的一種基于實時流計算的在線組件編排計算系統，其特征在于：所述計算模塊具體包括：

計算指令發送單元，用于計算引擎將接收的計算指令轉發給調度器；

計算模板解析單元，用于調度器接收到所述計算指令后，通過解析器調用并解析編排引擎發布的所述計算模板；

計算指令執行單元，用于調度器基于解析的所述計算模板以及計算指令生成第二計算任務，并將所述第二計算任務發送給計算引擎進行計算，生成并輸出第二計算結果。