[發(fā)明專利]基于任務(wù)并行處理數(shù)據(jù)流的方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010584436.5
• 申請(qǐng)日: 2017-12-20
• 公開（公告）號(hào): CN111752971A
• 公開（公告）日: 2020-10-09
• 發(fā)明（設(shè)計(jì)）人: 楊強(qiáng);陳雨強(qiáng);戴文淵;焦英翔;石光川
• 申請(qǐng)（專利權(quán)）人: 第四范式（北京）技術(shù)有限公司
• 主分類號(hào): G06F16/2453
• 分類號(hào): G06F16/2453;G06F16/2455;G06F9/50
• 代理公司: 北京銘碩知識(shí)產(chǎn)權(quán)代理有限公司 11286
• 代理人: 蘇銀虹;王兆賡

1.一種基于任務(wù)對(duì)數(shù)據(jù)流并行處理的方法，包括：

確定多個(gè)工作線程；

通過(guò)所述多個(gè)工作線程之中的每一個(gè)工作線程，分別從任務(wù)隊(duì)列中取出待處理任務(wù)，以針對(duì)取出的待處理任務(wù)進(jìn)行處理，

其中，待處理任務(wù)由數(shù)據(jù)流之中的待操作分批數(shù)據(jù)與數(shù)據(jù)流處理之中的相應(yīng)操作步驟打包而成。

2.根據(jù)權(quán)利要求1所述的方法，還包括：

所述每一個(gè)工作線程將處理后得到的操作結(jié)果數(shù)據(jù)作為新的待操作分批數(shù)據(jù)與所述相應(yīng)操作步驟的后續(xù)操作步驟打包成新的待處理任務(wù)，以放入任務(wù)隊(duì)列。

3.根據(jù)權(quán)利要求1所述的方法，還包括：

確定單獨(dú)的源線程；

通過(guò)源線程來(lái)專門循環(huán)地將數(shù)據(jù)流之中的待操作分批數(shù)據(jù)與數(shù)據(jù)流處理之中的起始操作步驟打包成待處理任務(wù)，以放入所述任務(wù)隊(duì)列。

4.根據(jù)權(quán)利要求2所述的方法，其中，所述任務(wù)隊(duì)列分為計(jì)算任務(wù)隊(duì)列和IO任務(wù)隊(duì)列，并且，所述工作線程分為計(jì)算工作線程和IO工作線程，所述計(jì)算工作線程僅從所述計(jì)算任務(wù)隊(duì)列中取出待處理任務(wù)，所述IO工作線程僅從所述IO任務(wù)隊(duì)列中取出待處理任務(wù)，

所述工作線程根據(jù)所述后續(xù)操作步驟是計(jì)算操作步驟還是IO操作步驟，將所述新的待處理任務(wù)放入計(jì)算任務(wù)隊(duì)列或IO任務(wù)隊(duì)列。

5.根據(jù)權(quán)利要求4所述的方法，其中，在數(shù)據(jù)流處理之中的起始操作步驟為數(shù)據(jù)輸入步驟的情況下，所述起始操作的后續(xù)操作步驟包括用于對(duì)讀取的待操作分批數(shù)據(jù)進(jìn)行接續(xù)處理的操作步驟和所述數(shù)據(jù)輸入步驟本身，

其中，數(shù)據(jù)輸入步驟單獨(dú)構(gòu)成用于讀取待操作分批數(shù)據(jù)的待處理任務(wù)。

6.根據(jù)權(quán)利要求1所述的方法，其中，根據(jù)對(duì)數(shù)據(jù)流并行處理的機(jī)器的物理參數(shù)，確定所述多個(gè)工作線程。

7.根據(jù)權(quán)利要求1至6中任何一項(xiàng)所述的方法，其中，所述數(shù)據(jù)流處理能夠用計(jì)算圖表征，所述計(jì)算圖是由至少兩個(gè)操作步驟和至少一個(gè)數(shù)據(jù)邊構(gòu)成的有向圖，所述操作步驟表示對(duì)數(shù)據(jù)執(zhí)行的某種操作，所述數(shù)據(jù)邊表示數(shù)據(jù)的流向。

8.一種基于任務(wù)對(duì)數(shù)據(jù)流并行處理的裝置，包括：

工作線程確定模塊，用于確定多個(gè)工作線程；

任務(wù)處理模塊，用于通過(guò)所述多個(gè)工作線程之中的每一個(gè)工作線程，分別從任務(wù)隊(duì)列中取出待處理任務(wù)，以針對(duì)取出的待處理任務(wù)進(jìn)行處理，

其中，待處理任務(wù)由數(shù)據(jù)流之中的待操作分批數(shù)據(jù)與數(shù)據(jù)流處理之中的相應(yīng)操作步驟打包而成。

9.一種計(jì)算設(shè)備，包括：

處理器；以及

存儲(chǔ)器，其上存儲(chǔ)有可執(zhí)行代碼，當(dāng)所述可執(zhí)行代碼被所述處理器執(zhí)行時(shí)，使所述處理器執(zhí)行如權(quán)利要求1-7中任何一項(xiàng)所述的方法。

10.一種非暫時(shí)性機(jī)器可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有可執(zhí)行代碼，當(dāng)所述可執(zhí)行代碼被電子設(shè)備的處理器執(zhí)行時(shí)，使所述處理器執(zhí)行如權(quán)利要求1至7中任一項(xiàng)所述的方法。