[發明專利]數據處理方法及系統

在審

• 申請號: 201911418966.6
• 申請日: 2019-12-31
• 公開（公告）號: CN113127061A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 劉曉輝;李振博;李欣杰
• 申請（專利權）人: 奇安信科技集團股份有限公司;網神信息技術（北京）股份有限公司
• 主分類號: G06F9/30
• 分類號: G06F9/30;G06F9/48
• 代理公司: 北京英特普羅知識產權代理有限公司 11015
• 代理人: 鄧應山

本發明實施例提供一種數據處理方法，包括：獲取數據處理指令對應的處理工作流，所述處理工作流包括多個工作任務節點任務，所述工作任務節點至少一個數據輸入節點、至少一個數據中間節點和至少一個數據輸出節點；根據所述處理工作流的工作任務節點生成拓撲圖；獲取待處理數據，基于所述拓撲圖執行所述工作任務節點任務對應的工作任務，以對所述待處理數據進行處理。本發明解決了數據處理過程中由于數據處理需要的程序較多，數據處理難以追蹤的問題；同時根據數據處理邏輯對工作任務節點進行組裝即可得到數據處理的處理工作流，降低了運維人員的工作難度。

技術領域

本發明實施例涉及信息安全及互聯網技術領域，尤其涉及一種數據處理方法及系統。

背景技術

現有的技術中，數據的處理，例如樣本的流式處理等數據處理是由消息隊列串聯的多個程序組成，在業務復雜的場景下，串聯程序較多，業務鏈條冗長，很難知道進行到哪個流程，是由哪個程序在進行處理，運維人員要理解業務流程、追蹤數據處理任務的狀態成本非常高，這樣就會產生數據處理進度難以把控的問題，且維護數據處理業務流程困難。因此，需要一種業務鏈條清晰，流程管理清楚，業務流程易于維護的數據處理方法。

發明內容

有鑒于此，本發明實施例提供了一種數據處理方法、系統、計算機設備及計算機可讀存儲介質，用于解決數據處理過程中數據處理進度難以把控，且維護數據處理業務流程困難的問題。

本發明實施例是通過下述技術方案來解決上述技術問題：

一種數據處理方法，包括：

獲取數據處理指令對應的處理工作流，所述處理工作流包括多個工作任務節點，所述工作任務節點至少一個數據輸入節點、至少一個數據中間節點和至少一個數據輸出節點；

根據所述處理工作流的所述工作任務節點生成拓撲圖；

獲取待處理數據，基于所述拓撲圖執行所述工作任務節點對應的工作任務，以對所述待處理數據進行處理。

進一步地，所述方法還包括：

預設數據處理指令的觸發時間；

在滿足所述觸發時間時觸發所述數據處理指令。

進一步地，配置所述數據處理指令與所述處理工作流的映射關系；

對應的，所述獲取數據處理指令對應的處理工作流具體包括：

根據所述映射關系獲取所述數據處理指令對應的處理工作流。

進一步地，所述數據處理方法還包括：

接收新的數據處理指令；

獲取所述新的數據處理指令的新處理工作流；

對比新處理工作流的工作任務節點與所述處理工作流的所述工作任務節點，以對所述拓撲圖進行第一更新，生成新的拓撲圖。

進一步地，所述對比新處理工作流的工作任務節點與所述處理工作流的所述工作任務節點，以對所述拓撲圖進行第一更新，生成新的拓撲圖包括：

根據所述新處理工作流的工作任務節點與所述處理工作流的所述工作任務節點，確定所述拓撲圖中待處理的目標工作任務節點；

通過所述新處理工作流對所述目標工作任務節點進行修改操作，確定所述目標工作任務節點之間的連接關系，以生成新的拓撲圖。

進一步地，所述獲取待處理數據，基于所述拓撲圖執行所述工作任務節點對應的工作任務，以對所述待處理數據進行處理包括：

接收所述工作任務節點在執行對應的工作任務過程中產生的業務數據；

根據所述業務數據，獲取所述工作任務節點的執行狀態；