[發明專利]一種基于本地的流式計算方法及流式計算系統

在審

• 申請號: 201410317237.2
• 申請日: 2014-07-03
• 公開（公告）號: CN105335218A
• 公開（公告）日: 2016-02-17
• 發明（設計）人: 潘洪安;張楠
• 申請（專利權）人: 北京金山安全軟件有限公司
• 主分類號: G06F9/46
• 分類號: G06F9/46;G06F9/50
• 代理公司: 廣州三環專利代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

技術領域

本發明涉及計算機技術領域，尤其涉及一種基于本地的流式計算方法及流式計算系統。

背景技術

本地在處理多個任務數據時，通常為單機的多線程處理，每個線程同一時間均只能運行一個任務數據，并且直到當前的任務數據運行完畢才能處理下一個任務數據，故，當任務數據的計算量較大時，會長期占用該線程，以致該線程的輸入隊列中的其他任務數據不能被及時處理；當任務數據包含多項行為的計算時，維護人員需要為該任務數據編寫包含多項行為的預定義行為程序，然而，編寫的預定義行為程序中的各項行為只能適用于當前的任務數據，進行其他任務數據時，維護人員需要再編寫另一個預定義行為程序，非常的耗費精力，也造成了預定義行為程序的資源浪費。

發明內容

本發明實施例提供一種基于本地的流式計算方法及流式計算系統，可將處理任務數據的多項行為分布到本地的各個計算節點，通過使各計算節點調用各節點的預定義行為程序并行、協同地處理任務數據，能夠提高計算效率，避免程序資源浪費。

本發明實施例提供了一種基于本地的流式計算方法，其可包括：

通過本地的上游計算節點接收任務數據；

調用所述上游計算節點的預定義行為程序對所述任務數據進行計算，生成上游計算節點計算結果；

發送所述上游計算節點計算結果至位于所述上游計算節點數據流向所在的下游計算節點；

調用所述下游計算節點的預定義行為程序對所述上游計算節點計算結果進行計算，生成下游計算節點計算結果；

繼續發送所述下游計算節點計算結果至位于所述下游計算節點數據流向所在的下一下游計算節點，并調用所述下一下游節點的預定義行為程序對所述下游計算節點計算結果進行計算，直至通過未定義數據流向的計算節點輸出所述任務數據的最終計算結果。

其中，所述方法，還包括：

為所述本地中的各計算節點設置所述預定義行為程序。

其中，為所述本地中的節點設置預定義行為程序之前，通過本地的上游計算節點接收任務數據之后，還包括：

定義所述各計算節點之間的數據流向關系。

其中，所述上游計算節點接收到的為多個任務數據，調用所述上游計算節點的預定義行為程序對所述任務數據進行計算，生成上游計算節點計算結果包括：

將多個所述任務數據插入節點輸入隊列；

按照所述節點輸入隊列中所述任務數據的排列順序分配多個所述任務數據至所述上游計算節點的計算單元；

使所述計算單元計算所述任務數據，所述上游計算節點包含至少一個所述計算單元；

將所述至少一個計算單元計算出的計算結果插入節點輸出隊列，形成所述上游計算節點計算結果。

其中，所述計算單元分配到的為多個任務數據，所述計算單元為多線程式計算單元，使所述計算單元計算所述任務數據包括：

為分配到所述計算單元的多個任務數據分配計算線程；

使所述計算線程對分配到的所述任務數據進行計算。

其中，所述計算線程分配到的為多個任務數據，使所述計算線程對分配到的所述任務數據進行計算包括：

將分配到所述計算線程的多個所述任務數據插入線程輸入隊列；

按照所述線程輸入隊列中所述任務數據的排列順序對所述任務數據進行計算，生成所述計算結果。

其中，所述上游計算節點包含指定數目的所述計算單元。

其中，所述計算單元包含指定數目的所述計算線程。

其中，所述各計算節點的所述預定義行為程序是從應用程序編程接口API輸入的。

其中，所述各計算節點之間的數據流向關系是根據配置文件定義的。

本發明實施例還提供了一種流式計算系統，其可包括：

上游計算節點，位于本地，用于接收任務數據；

所述上游計算節點，還用于調用所述上游計算節點的預定義行為程序對所述任務數據進行計算，生成上游計算節點計算結果；

所述上游計算節點，還用于發送所述上游計算節點計算結果至位于所述上游計算節點數據流向所在的下游計算節點；

下游計算節點，為所述上游計算節點的數據流向所在，用于接收所述上游計算節點發送的所述上游計算節點計算結果；

所述下游計算節點，還用于調用所述下游計算節點的預定義行為程序對所述上游計算節點計算結果進行計算，生成下游計算節點計算結果；