[發明專利]基于驅動節點的數據處理方法、系統、終端設備和存儲介質

在審

• 申請號: 201911128869.3
• 申請日: 2019-11-18
• 公開（公告）號: CN111061518A
• 公開（公告）日: 2020-04-24
• 發明（設計）人: 王海波;杜凱凱
• 申請（專利權）人: 智器云南京信息科技有限公司
• 主分類號: G06F9/445
• 分類號: G06F9/445;G06F9/448;G06F9/54
• 代理公司: 上海碩力知識產權代理事務所(普通合伙) 31251
• 代理人: 楊用玲

1.一種基于驅動節點的數據處理方法，其特征在于，包括步驟：

根據數據分析需求在目標物理服務器上配置適配的驅動節點隊列；

按照預設的驅動節點執行順序依次執行所述驅動節點隊列中的驅動節點；

監聽驅動節點執行過程，根據數據分析任務獲取并儲存驅動節點執行任務完成后的執行結果。

2.根據權利要求1所述的基于驅動節點的數據處理方法，其特征在于，所述根據數據分析需求在目標物理服務器上配置適配的驅動節點隊列包括步驟：

在所述目標物理服務器上部署mongo數據庫；

根據預設驅動節點配置規則，在部署好所述mongo數據庫的目標物理服務器上配置適配于所述數據分析需求的驅動節點隊列；所述驅動節點隊列包括開始驅動節點、業務驅動節點和結束驅動節點。

3.根據權利要求2所述的基于驅動節點的數據處理方法，其特征在于，所述按照預設的驅動節點執行順序依次執行所述驅動節點隊列中的驅動節點包括步驟：

按照所述開始驅動節點、業務驅動節點和結束驅動節點排列所對應的先后順序依次執行所述驅動節點隊列中對應的驅動節點，且多個驅動節點隊列并行執行。

4.根據權利要求1-3任一項所述的基于驅動節點的數據處理方法，其特征在于，所述監聽驅動節點執行過程，根據數據分析任務獲取并儲存驅動節點執行任務完成后的執行結果包括步驟：

獲取輸入的數據分析任務；

根據所述數據分析任務的任務類型，將所述數據分析任務調度對應的驅動節點執行監聽器監聽對應驅動節點的執行過程；

當所述數據分析任務是臨時任務時，從所述業務驅動節點處獲取其執行過程中產生的第一執行結果，并將所述第一執行結果儲存至緩存；所述第一執行結果包括圖表數據；

當所述數據分析任務是定時任務時，從所述業務驅動節點處獲取其執行過程中產生的第二執行結果，將所述第二執行結果儲存至內存；所述第二執行結果包括日志和圖表數據。

5.一種基于驅動節點的數據處理系統，其特征在于，包括：

策略執行引擎，用于根據數據分析需求在目標物理服務器上配置適配的驅動節點隊列；

驅動節點執行器，用于按照預設的驅動節點執行順序依次執行所述驅動節點隊列中的驅動節點；

驅動節點執行監聽器，用于監聽驅動節點執行過程，根據數據分析任務獲取并儲存驅動節點執行任務完成后的執行結果。

6.根據權利要求5所述的基于驅動節點的數據處理系統，其特征在于，所述策略執行引擎包括：

部署模塊，用于在所述目標物理服務器上部署mongo數據庫；

配置模塊，用于根據預設驅動節點配置規則，在部署好所述mongo數據庫的目標物理服務器上配置適配于所述數據分析需求的驅動節點隊列；所述驅動節點隊列包括開始驅動節點、業務驅動節點和結束驅動節點。

7.根據權利要求6所述的基于驅動節點的數據處理系統，其特征在于，所述驅動節點執行器包括：

執行模塊，用于按照所述開始驅動節點、業務驅動節點和結束驅動節點排列所對應的先后順序依次執行所述驅動節點隊列中對應的驅動節點，且多個驅動節點隊列并行執行。

8.根據權利要求5-7任一項所述的基于驅動節點的數據處理系統，其特征在于，還包括：

輸入裝置，用于獲取輸入的數據分析任務；

任務調度裝置，用于根據所述數據分析任務的任務類型，將所述數據分析任務調度對應的驅動節點執行監聽器監聽對應驅動節點的執行過程；

所述驅動節點執行監聽器包括：

臨時監聽模塊，用于當所述數據分析任務是臨時任務時，從所述業務驅動節點處獲取其執行過程中產生的第一執行結果，并將所述第一執行結果儲存至緩存；所述第一執行結果包括圖表數據；

定時監聽模塊，用于當所述數據分析任務是定時任務時，從所述業務驅動節點處獲取其執行過程中產生的第二執行結果，將所述第二執行結果儲存至內存；所述第二執行結果包括日志和圖表數據。