[發(fā)明專利]一種數(shù)據(jù)的并行處理方法、裝置、電子設(shè)備及可讀介質(zhì)

在審

• 申請?zhí)枺?/td>: 201811313713.8
• 申請日: 2018-11-06
• 公開（公告）號: CN109408214A
• 公開（公告）日: 2019-03-01
• 發(fā)明（設(shè)計）人: 李博洋
• 申請（專利權(quán)）人: 北京字節(jié)跳動網(wǎng)絡(luò)技術(shù)有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本公開實(shí)施例公開了一種數(shù)據(jù)的并行處理方法、裝置、電子設(shè)備及可讀介質(zhì)。該方法包括：當(dāng)主線程接收到數(shù)據(jù)處理任務(wù)時，創(chuàng)建至少兩個子線程；將所述數(shù)據(jù)處理任務(wù)切分，并分發(fā)至所述至少兩個子線程進(jìn)行數(shù)據(jù)處理；待所有子線程數(shù)據(jù)處理完成，接收所有子線程提交的數(shù)據(jù)處理結(jié)果；提交主線程接收到的數(shù)據(jù)處理任務(wù)結(jié)果。通過采用本公開所提供的技術(shù)方案，可以在提高數(shù)據(jù)處理效率的同時保證數(shù)據(jù)處理一致性的效果。

技術(shù)領(lǐng)域

本公開實(shí)施例涉及計算機(jī)技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)的并行處理方法、裝置、電子設(shè)備及可讀介質(zhì)。

背景技術(shù)

近些年來，伴隨著社交網(wǎng)站，在線視頻，網(wǎng)絡(luò)相冊共享等為典型應(yīng)用的互聯(lián)網(wǎng)應(yīng)用的涌現(xiàn)，數(shù)據(jù)量與日俱增。面對信息爆炸的互聯(lián)網(wǎng)，如何來處理大規(guī)模的數(shù)據(jù)給業(yè)界和學(xué)術(shù)界帶來了極大的挑戰(zhàn)。

現(xiàn)有技術(shù)的做法是采用單線程來對數(shù)據(jù)進(jìn)行處理，這樣的好處是可以保證數(shù)據(jù)處理過程中不會出現(xiàn)一致性問題，但是存在的問題是用一個線程來處理會造成線程處理負(fù)擔(dān)過重。不利于處理任務(wù)的性能和影響數(shù)據(jù)處理的效率。

發(fā)明內(nèi)容

本公開實(shí)施例提供一種數(shù)據(jù)的并行處理方法、裝置、電子設(shè)備及可讀介質(zhì)，可以在提高數(shù)據(jù)處理效率的同時保證數(shù)據(jù)處理一致性的效果。

第一方面，本公開實(shí)施例提供了一種數(shù)據(jù)的并行處理方法，該方法包括：

當(dāng)主線程接收到數(shù)據(jù)處理任務(wù)時，創(chuàng)建至少兩個子線程；

將所述數(shù)據(jù)處理任務(wù)切分，并分發(fā)至所述至少兩個子線程進(jìn)行數(shù)據(jù)處理；

待所有子線程數(shù)據(jù)處理完成，接收所有子線程提交的數(shù)據(jù)處理結(jié)果；

提交主線程接收到的數(shù)據(jù)處理任務(wù)結(jié)果。

進(jìn)一步的，待所有子線程數(shù)據(jù)處理完成，接收所有子線程提交的數(shù)據(jù)處理結(jié)果，包括：

待所有子線程數(shù)據(jù)處理完成，判斷是否存在子線程數(shù)據(jù)處理結(jié)果為失敗；

若不存在，則接收所有子線程提交的數(shù)據(jù)處理結(jié)果。

進(jìn)一步的，在判斷是否存在子線程數(shù)據(jù)處理結(jié)果為失敗之后，所述方法還包括：

若存在，則向所有子線程發(fā)送數(shù)據(jù)處理回滾指令，用于指示所有子線程重新進(jìn)行數(shù)據(jù)處理。

進(jìn)一步的，待所有子線程數(shù)據(jù)處理完成，判斷是否存在子線程數(shù)據(jù)處理結(jié)果為失敗，包括：

待所有子線程數(shù)據(jù)處理完成，判斷全局變量中是否被改寫為有子線程的數(shù)據(jù)處理失敗結(jié)果；其中，所述全局變量用于若子線程數(shù)據(jù)處理結(jié)果為失敗，記錄子線程的數(shù)據(jù)處理失敗結(jié)果；

根據(jù)判斷結(jié)果，確定是否存在子線程數(shù)據(jù)處理結(jié)果為失敗。

進(jìn)一步的，在將所述數(shù)據(jù)處理任務(wù)切分，并分發(fā)至所述至少兩個子線程進(jìn)行數(shù)據(jù)處理之后，所述方法還包括：

將主線程的工作狀態(tài)切換為等待狀態(tài)。

進(jìn)一步的，在所有子線程數(shù)據(jù)處理完成之前，所述方法還包括：

若子線程數(shù)據(jù)處理完成，則將子線程的工作狀態(tài)切換為等待狀態(tài)。

進(jìn)一步的，在若子線程數(shù)據(jù)處理完成，則將子線程的工作狀態(tài)切換為等待狀態(tài)之后，所述方法還包括：

若子線程的工作狀態(tài)切換為等待狀態(tài)，并調(diào)整計數(shù)器的計數(shù)結(jié)果；

根據(jù)所述計數(shù)器的計數(shù)結(jié)果，確定所有子線程數(shù)據(jù)處理是否均完成。

第二方面，本公開實(shí)施例還提供了一種數(shù)據(jù)的并行處理裝置，該裝置包括：

子線程創(chuàng)建模塊，用于當(dāng)主線程接收到數(shù)據(jù)處理任務(wù)時，創(chuàng)建至少兩個子線程；