[發(fā)明專利]多進(jìn)程處理方法、裝置和系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201310656507.8
• 申請日: 2013-12-06
• 公開（公告）號: CN104700255B
• 公開（公告）日: 2020-04-10
• 發(fā)明（設(shè)計）人: 邢玉東
• 申請（專利權(quán)）人: 騰訊科技（北京）有限公司
• 主分類號: G06Q10/10
• 分類號: G06Q10/10
• 代理公司: 北京德琦知識產(chǎn)權(quán)代理有限公司 11018
• 代理人: 張曉峰;宋志強(qiáng)

技術(shù)領(lǐng)域

本申請涉及數(shù)據(jù)處理設(shè)備的數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種多進(jìn)程處理方法、裝置和系統(tǒng)。

背景技術(shù)

隨著互聯(lián)網(wǎng)業(yè)務(wù)的普及，用戶數(shù)據(jù)的增長，網(wǎng)絡(luò)中的設(shè)備處理幾百G或T的數(shù)據(jù)是比較常見的。為了能夠適應(yīng)巨量數(shù)據(jù)的處理任務(wù)，目前業(yè)界通常采用分布式多進(jìn)程處理巨量數(shù)據(jù)。

如圖1為現(xiàn)有的分布式多進(jìn)程處理技術(shù)的一種處理示意圖；參見圖1，其中，用豎虛線來劃分不同的機(jī)器，所述豎虛線劃分出的每一個區(qū)域就是一臺機(jī)器上的部署情況，如區(qū)域101為第一臺機(jī)器上的部署情況，區(qū)域102為第二臺機(jī)器上的部署情況。每一臺機(jī)器可以啟動多個進(jìn)程，如圖1每一臺機(jī)器對應(yīng)的區(qū)域中，所述矩形框內(nèi)每個小塊分別對應(yīng)一個進(jìn)程，每臺機(jī)器還配置有配置文件，配置文件內(nèi)包括啟動的進(jìn)程個數(shù)，每個進(jìn)程處理的數(shù)據(jù)文件的配置信息等，所述配置信息需要包括每個進(jìn)程對應(yīng)的文件名和路徑信息。在數(shù)據(jù)處理過程中，啟動的進(jìn)程需要從所述配置文件中讀取該進(jìn)程對應(yīng)的文件名和路徑，并到該路徑下讀取該數(shù)據(jù)文件的數(shù)據(jù)并對數(shù)據(jù)進(jìn)行相應(yīng)業(yè)務(wù)的處理，然后導(dǎo)入到本地或遠(yuǎn)程機(jī)器的內(nèi)存提供給對外服務(wù)的互聯(lián)網(wǎng)應(yīng)用程序。

但是，現(xiàn)有技術(shù)在導(dǎo)入少數(shù)文件的情況下是適用的，而在導(dǎo)入大量文件的情況下，會存在以下缺點：

（1）由于數(shù)據(jù)文件不一樣，配置文件不一樣，需要編輯每行配置文件。如果同時有100臺機(jī)器處理，每臺機(jī)器啟動10個進(jìn)程，需要有1000行數(shù)據(jù)進(jìn)行編輯，編輯量過大，人工成本高。

（2）在實際的運營過程中，常常需要根據(jù)運營需要調(diào)整每臺機(jī)器上導(dǎo)入數(shù)據(jù)的速度，這就需要對進(jìn)程的個數(shù)和進(jìn)程對應(yīng)處理的數(shù)據(jù)文件名稱路徑等進(jìn)行修改，因此如果需要調(diào)整，則所有配置都要跟著重新調(diào)整，工作量巨大，且極易出錯。因此，現(xiàn)有的這種技術(shù)方案的導(dǎo)入數(shù)據(jù)的速度不方便隨意更改，操作不靈活。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的主要目的是提供一種多進(jìn)程處理方法，可以較低的工作量實現(xiàn)靈活的速度調(diào)整，以降低人工編輯量。

本發(fā)明的另一目的是提供一種多進(jìn)程處理裝置，可以較低的工作量實現(xiàn)靈活的速度調(diào)整，以降低人工編輯量。

本發(fā)明的另一目的是提供一種多進(jìn)程處理系統(tǒng)，可以較低的工作量實現(xiàn)靈活的速度調(diào)整，以降低人工編輯量。

本發(fā)明的技術(shù)方案是這樣實現(xiàn)的：

一種多進(jìn)程處理方法，包括：

為本地的數(shù)據(jù)文件編號；

輸入每個進(jìn)程需處理的數(shù)據(jù)文件個數(shù)M；

獲取本地的數(shù)據(jù)文件總數(shù)N；

根據(jù)所述N與所述M的取模結(jié)果確定需要啟動的進(jìn)程數(shù)k；

啟動k個進(jìn)程，為每個進(jìn)程分配至多M個數(shù)據(jù)文件編號；

所述進(jìn)程根據(jù)所分配的數(shù)據(jù)文件編號加載對應(yīng)的數(shù)據(jù)文件進(jìn)行處理。

一種多進(jìn)程處理裝置，包括：

配置模塊，用于為本地的數(shù)據(jù)文件編號；

輸入模塊，用于輸入每個進(jìn)程需處理的數(shù)據(jù)文件個數(shù)M；

文件數(shù)模塊，用于獲取本地的數(shù)據(jù)文件總數(shù)N；

進(jìn)程數(shù)模塊，用于根據(jù)所述N與所述M的取模結(jié)果確定需要啟動的進(jìn)程數(shù)k；

分配模塊，用于啟動k個進(jìn)程，為每個進(jìn)程分配至多M個數(shù)據(jù)文件編號；

進(jìn)程模塊，用于運行進(jìn)程，所述進(jìn)程根據(jù)所分配的數(shù)據(jù)文件編號加載對應(yīng)的數(shù)據(jù)文件進(jìn)行處理。

一種多進(jìn)程處理系統(tǒng)，包括二臺以上計算設(shè)備，其中每臺計算設(shè)備中包括所述的多進(jìn)程處理裝置。

與現(xiàn)有技術(shù)相比，本發(fā)明不必配置進(jìn)程與數(shù)據(jù)文件的固定對應(yīng)關(guān)系，而是可以實現(xiàn)進(jìn)程與所加載的數(shù)據(jù)文件之間自適應(yīng)的、動態(tài)映射的關(guān)系，在希望對的導(dǎo)入數(shù)據(jù)的速度進(jìn)行調(diào)整時，用戶只需要重新輸入每個進(jìn)程需處理的數(shù)據(jù)文件個數(shù)M即可，之后本發(fā)明的方法可以自動確定需要啟動的進(jìn)程個數(shù)，并且根據(jù)上述分配方法將本地的數(shù)據(jù)文件分配給所啟動的進(jìn)程，由所述進(jìn)程加載對應(yīng)的數(shù)據(jù)文件進(jìn)行處理，所調(diào)整的工作量極其微小，只需要修改一下輸入的M值即可，因此本發(fā)明可以實現(xiàn)可以較低的工作量實現(xiàn)靈活的速度調(diào)整，以降低人工編輯量。

附圖說明

圖1為現(xiàn)有的分布式多進(jìn)程處理技術(shù)的一種處理示意圖；

圖2為本發(fā)明所述多進(jìn)程處理方法的一種流程圖；

圖3為本發(fā)明所述方法的一種處理示意圖；

圖4為本發(fā)明所述多進(jìn)程處理裝置的一種組成示意圖；

圖5為本發(fā)明所述多進(jìn)程處理系統(tǒng)的一種組成示意圖。

具體實施方式

下面結(jié)合附圖及具體實施例對本發(fā)明再作進(jìn)一步詳細(xì)的說明。