[發明專利]多進程處理方法、裝置和系統

有效

• 申請號: 201310656507.8
• 申請日: 2013-12-06
• 公開（公告）號: CN104700255B
• 公開（公告）日: 2020-04-10
• 發明（設計）人: 邢玉東
• 申請（專利權）人: 騰訊科技（北京）有限公司
• 主分類號: G06Q10/10
• 分類號: G06Q10/10
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 張曉峰;宋志強

1.一種多進程處理方法，其特征在于，包括：

為本地的數據文件編號；

輸入每個進程需處理的數據文件個數M；

獲取本地的數據文件總數N；

根據所述N與所述M的取模結果確定需要啟動的進程數k；

啟動k個進程，為每個進程分配至多M個數據文件編號；

所述進程根據所分配的數據文件編號加載對應的數據文件進行處理。

2.根據權利要求1所述的方法，其特征在于，所述根據所述N與所述M的取模結果確定需要啟動的進程數k，具體包括：

進行取模運算：N%M；

如果N%M等于0，則所述k為：N除以M得到的商的整數部分;

如果N%M不等于0，則所述k為：N除以M得到的商的整數部分，再加上1。

3.根據權利要求1所述的方法，其特征在于，所述為每個進程分配至多M個數據文件編號，具體為：按照所述本地的數據文件的編號，從第一個進程開始，每個進程依次分配至多M個數據文件編號，直到分配完本地所有的數據文件編號為止。

4.根據權利要求3所述的方法，其特征在于，

所述為本地的數據文件編號，具體為：對本地的數據文件從0開始編號；

所述從第一個進程開始，每個進程依次分配至多M個數據文件編號，直到分配完本地所有的數據文件編號為止，具體包括：

設置所啟動的進程編號，設p表示所啟動的進程的編號，p=0,1，…,k-1，則：

若（p+1）×M–1小于最后一個數據文件編號，則編號為p的進程對應分配的數據文件編號為：從第p×M到第（p+1）×M–1；

若（p+1）×M–1大于等于最后一個數據文件編號，則編號為p的進程對應分配的數據文件編號為：從第p×M到最后一個數據文件編號。

5.根據權利要求1至4任一項所述的方法，其特征在于，

所述進程根據所分配的數據文件編號加載對應的數據文件進行處理，具體包括：

所述進程根據所分配的數據文件編號讀取該數據文件對應的路徑地址；

所述進程從所述路徑地址讀取對應數據文件的數據，進行加載處理。

6.根據權利要求1所述的方法，其特征在于，在具有二臺以上計算設備的處理系統中，針對每臺計算設備分別執行本多進程處理方法。

7.一種多進程處理裝置，其特征在于，包括：

配置模塊，用于為本地的數據文件編號；

輸入模塊，用于輸入每個進程需處理的數據文件個數M；

文件數模塊，用于獲取本地的數據文件總數N；

進程數模塊，用于根據所述N與所述M的取模結果確定需要啟動的進程數k；

分配模塊，用于啟動k個進程，為每個進程分配至多M個數據文件編號；

進程模塊，用于運行進程，所述進程根據所分配的數據文件編號加載對應的數據文件進行處理。

8.根據權利要求7所述的裝置，其特征在于，所述進程數模塊具體用于：

進行取模運算：N%M；

如果N%M等于0，則確定所述k為：N除以M得到的商的整數部分;

如果N%M不等于0，則確定所述k為：N除以M得到的商的整數部分，再加上1。

9.根據權利要求7所述的裝置，其特征在于，所述分配模塊具體用于：

啟動k個進程，按照所述本地的數據文件的編號，從第一個進程開始，為每個進程依次分配至多M個數據文件編號，直到分配完本地所有的數據文件編號為止；控制所述進程根據所分配的數據文件編號加載對應的數據文件進行處理。

10.根據權利要求9所述的裝置，其特征在于，

所述配置模塊具體用于：對本地的數據文件從0開始編號；

所述分配模塊具體用于：設置所啟動的進程編號，設p表示所啟動的進程的編號，p=0,1，…,k-1，則：

若（p+1）×M–1小于最后一個數據文件編號，則為編號為p的進程對應分配從第p×M到第（p+1）×M–1的數據文件編號；

若（p+1）×M–1大于等于最后一個數據文件編號，則為編號為p的進程對應分配從第p×M到最后一個編號的數據文件編號。