[發明專利]數據流并行處理的方法、設備及系統

有效

• 申請號: 201310344091.6
• 申請日: 2013-08-08
• 公開（公告）號: CN104346135B
• 公開（公告）日: 2018-06-15
• 發明（設計）人: 王翔
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F9/38
• 分類號: G06F9/38;G06F13/42;G06F17/30
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 滕一斌

1.一種數據流并行處理的方法，其特征在于，所述方法包括：

獲取至少一個數據流，并對于任一數據流，確定所述任一數據流的標識，并向存儲有傳輸規則的數據流向控制設備發送傳輸規則查詢請求，所述傳輸規則查詢請求中攜帶所述任一數據流的標識，所述傳輸規則中包括數據流對應的處理設備的網際協議IP地址和端口號；

接收所述數據流向控制設備根據所述任一數據流的標識返回的傳輸規則，并將接收到的傳輸規則作為獲取到的所述任一數據流的傳輸規則；

根據每個數據流的傳輸規則確定每個數據流對應的處理設備的信息；

根據每個數據流對應的處理設備的信息將每個數據流發送至對應的處理設備，由每個數據流對應的處理設備對每個數據流進行處理。

2.根據權利要求1所述的方法，其特征在于，所述根據每個數據流的傳輸規則確定每個數據流對應的處理設備的信息，包括：

對于任一數據流，如果獲取到的所述任一數據流的傳輸規則中包括多個處理設備的IP地址和端口號，則在所述多個處理設備的IP地址和端口號中選擇一個處理設備的IP地址和端口號作為確定的所述任一數據流對應的處理設備的信息。

3.一種數據流并行處理的方法，其特征在于，所述方法包括：

接收上一級設備發送的至少一個數據流，并獲取每個數據流的處理配置文件，所述處理配置文件中包括數據流的處理方式信息及處理配置信息；所述至少一個數據流是所述上一級設備根據所述至少一個數據流的對應的傳輸規則確定得到的本地的IP地址和端口號，而發送到本地的；所述至少一個數據流的對應的傳輸規則是所述上一級設備從數據流向控制設備獲取的；所述數據流向控制設備是根據所述上一級設備發送的所述至少一個數據流的標識確定所述至少一個數據流的對應的傳輸規則的；

根據每個數據流的處理配置文件對每個數據流進行并行處理，得到每個數據流的處理結果。

4.根據權利要求3所述的方法，其特征在于，所述接收上一級設備發送的至少一個數據流，包括：

接收上一級設備根據每個數據流的傳輸規則發送的數據流，所述上一級設備為上一級處理設備或數據流傳輸設備。

5.根據權利要求3所述的方法，其特征在于，所述獲取每個數據流的處理配置文件，包括：

對于任一數據流，確定所述任一數據流的標識，并向存儲有處理配置文件的數據處理邏輯控制設備發送處理配置文件查詢請求，所述處理配置文件查詢請求中攜帶所述任一數據流的標識；

接收所述數據處理邏輯控制設備根據所述任一數據流的標識返回的處理配置文件，并將接收到的處理配置文件作為獲取到的所述任一數據流的處理配置文件。

6.根據權利要求3所述的方法，其特征在于，所述根據每個數據流的處理配置文件對每個數據流進行并行處理之前，還包括：

確定每個數據流對應的處理器；

所述根據每個數據流的處理配置文件對每個數據流進行并行處理，包括：

對于任一數據流，調度所述任一數據流對應的處理器按照所述任一數據流的處理配置文件對所述任一數據流進行處理，得到所述任一數據流的處理結果。

7.根據權利要求6所述的方法，其特征在于，所述得到所述任一數據流的處理結果之后，還包括：

輸出每個數據流的處理結果。

8.根據權利要求7所述的方法，其特征在于，輸出每個數據流的處理結果之前，還包括：

將每個數據流的處理結果存儲到對應的處理器的共享內存中；

所述輸出每個數據流的處理結果，包括：

每隔預設時間從對應的共享內存中導出每個數據流的處理結果，并將導出的處理結果進行輸出。