[發明專利]一種數據處理的方法及裝置

在審

• 申請號: 201610101343.6
• 申請日: 2016-02-24
• 公開（公告）號: CN105721211A
• 公開（公告）日: 2016-06-29
• 發明（設計）人: 苑維然
• 申請（專利權）人: 北京格靈深瞳信息技術有限公司
• 主分類號: H04L12/24
• 分類號: H04L12/24;G06F9/50
• 代理公司: 北京新知遠方知識產權代理事務所(普通合伙) 11397
• 代理人: 申楠

1.一種數據處理的方法，其特征在于，包括如下步驟：

接收到源數據流時，確定所述源數據流對應的多個應用程序；

確定所述應用程序對應的節點類型及有向無環節點網絡；所述節點為處理所述源數據流得到所述應用程序對應的數據的節點；所述有向無環節點網絡是根據所述源數據流處理的順序將各所述節點有向連接形成的；

根據所述節點類型及有向無環節點網絡，對所述有向無環節點網絡進行去重處理；

基于去重后的有向無環節點網絡進行所述多個應用程序對應的數據處理。

2.如權利要求1所述的方法，其特征在于，根據節點類型及有向無環節點網絡，對所述有向無環節點網絡進行去重處理，具體包括：

根據所述節點類型的標識及有向無環節點網絡，確定所述節點輸出的數據標識；

將所述節點輸出的數據標識進行比較；

若多個應用程序的所述有向無環節點網絡中具有標識相同的數據，合并輸出所述數據的多個有向無環節點子網絡為一個有向無環節點子網絡。

3.如權利要求2所述的方法，其特征在于，根據所述節點類型的標識及有向無環節點網絡，確定所述節點輸出的數據標識，具體包括：

計算所述節點類型的標識與輸入所述節點的數據標識組合的摘要值；

將所述摘要值作為所述節點輸出的數據標識。

4.如權利要求3所述的方法，其特征在于，計算所述節點類型的標識與輸入所述節點的數據標識組合的摘要值，具體包括：

采用消息摘要算法第五版MD5算法計算所述節點類型的標識與輸入所述節點的數據標識組合的摘要值。

5.如權利要求1所述的方法，其特征在于，多個同構的所述節點組成節點組，所述節點組根據負載情況動態調整各節點任務。

6.如權利要求1所述的方法，其特征在于，基于去重后的有向無環節點網絡進行所述多個應用程序對應的數據處理之后，還包括：

將所述多個應用程序對應的數據轉換為所述多個應用程序兼容的數據格式推送至所述多個應用程序。

7.如權利要求6所述的方法，其特征在于，將所述多個應用程序對應的數據轉換為所述多個應用程序兼容的數據格式推送至所述多個應用程序之后，還包括：

將生成所述多個應用程序對應的數據的數據流量發送至所述多個應用程序，所述數據流量包括：所述源數據流的數據大小及根據所述有向無環節點網絡處理所述源數據流的各節點的計算量之和。

8.一種數據處理的裝置，其特征在于，包括：

確定單元，用于接收到源數據流時，確定所述源數據流對應的多個應用程序；

所述確定單元進一步用于確定所述應用程序對應的節點類型及有向無環節點網絡；所述節點為處理所述源數據流得到所述應用程序對應的數據的節點；所述有向無環節點網絡是根據所述源數據流處理的順序將各所述節點有向連接形成的；

去重單元，用于根據所述節點類型及有向無環節點網絡，對所述有向無環節點網絡進行去重處理；

處理單元，用于基于去重后的有向無環節點網絡進行所述多個應用程序對應的數據處理。

9.如權利要求8所述的裝置，其特征在于，所述去重單元具體用于根據所述節點類型的標識及有向無環節點網絡，確定所述節點輸出的數據標識；將所述節點輸出的數據標識進行比較；若多個應用程序的所述有向無環節點網絡中具有標識相同的數據，合并輸出所述數據的多個有向無環節點子網絡為一個有向無環節點子網絡。

10.如權利要求9所述的裝置，其特征在于，所述去重單元具體用于計算所述節點類型的標識與輸入所述節點的數據標識組合的摘要值；將所述摘要值作為所述節點輸出的數據標識。

11.如權利要求10所述的裝置，其特征在于，所述去重單元具體用于采用消息摘要算法第五版MD5算法計算所述節點類型的標識與輸入所述節點的數據標識組合的摘要值。

12.如權利要求8所述的裝置，其特征在于，多個同構的所述節點組成節點組，所述節點組根據負載情況動態調整各節點任務。

13.如權利要求8所述的裝置，其特征在于，還包括：

轉換單元，用于基于去重后的有向無環節點網絡進行所述多個應用程序對應的數據處理之后，將所述多個應用程序對應的數據轉換為所述多個應用程序兼容的數據格式推送至所述多個應用程序。

14.如權利要求13所述的裝置，其特征在于，還包括：

發送單元，用于將所述多個應用程序對應的數據轉換為所述多個應用程序兼容的數據格式推送至所述多個應用程序之后，將生成所述多個應用程序對應的數據的數據流量發送至所述多個應用程序，所述數據流量包括：所述源數據流的數據大小及根據所述有向無環節點網絡處理所述源數據流的各節點的計算量之和。