[發(fā)明專利]一種用于對(duì)大數(shù)據(jù)任務(wù)進(jìn)行分布式處理的方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710568167.1
• 申請(qǐng)日: 2017-07-13
• 公開（公告）號(hào): CN107370808B
• 公開（公告）日: 2020-06-12
• 發(fā)明（設(shè)計(jì)）人: 袁敏
• 申請(qǐng)（專利權(quán)）人: 鹽城工學(xué)院
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08;G06F9/48
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種用于對(duì)大數(shù)據(jù)任務(wù)進(jìn)行分布式處理的方法，其特征在于，所述方法包括：

確定針對(duì)大數(shù)據(jù)任務(wù)的任務(wù)處理次序，所述任務(wù)處理次序包括組間次序和組內(nèi)次序；所述組間次序用于指示網(wǎng)絡(luò)節(jié)點(diǎn)所在的組的次序，所述組內(nèi)次序用于指示網(wǎng)絡(luò)節(jié)點(diǎn)在其所屬的組中的次序；其中，所述組間次序低的組中包含的網(wǎng)絡(luò)節(jié)點(diǎn)的全部或部分任務(wù)依賴于至少一個(gè)組間次序高的組中包含的網(wǎng)絡(luò)節(jié)點(diǎn)；在同一組內(nèi)，組內(nèi)次序低的網(wǎng)絡(luò)節(jié)點(diǎn)的全部或部分任務(wù)依賴于至少一個(gè)組內(nèi)次序高的網(wǎng)絡(luò)節(jié)點(diǎn)；

根據(jù)至少兩個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)各自對(duì)應(yīng)的任務(wù)處理次序，確定所述至少兩個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)中的要進(jìn)行任務(wù)處理的網(wǎng)絡(luò)節(jié)點(diǎn)，所述至少兩個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)中任務(wù)處理次序低的網(wǎng)絡(luò)節(jié)點(diǎn)的全部或部分任務(wù)依賴于至少一個(gè)任務(wù)處理次序高的網(wǎng)絡(luò)節(jié)點(diǎn)；以及

向所述要進(jìn)行任務(wù)處理的網(wǎng)絡(luò)節(jié)點(diǎn)發(fā)送任務(wù)處理指示，所述任務(wù)處理指示用于指示所述要進(jìn)行任務(wù)處理的網(wǎng)絡(luò)節(jié)點(diǎn)開始處理任務(wù)；

還包括，在根據(jù)至少兩個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)各自對(duì)應(yīng)的任務(wù)處理次序，確定所述至少兩個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)中的要進(jìn)行任務(wù)處理的網(wǎng)絡(luò)節(jié)點(diǎn)之前，獲取所述至少兩個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)之間的依賴關(guān)系；根據(jù)所述至少兩個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)之間的依賴關(guān)系確定所述至少兩個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)各自對(duì)應(yīng)的任務(wù)處理次序；

其中獲取至少兩個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)之間的依賴關(guān)系時(shí)，接收各個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)上報(bào)的依賴信息，所述依賴信息用于指示對(duì)應(yīng)的網(wǎng)絡(luò)節(jié)點(diǎn)所依賴的網(wǎng)絡(luò)節(jié)點(diǎn)。

2.根據(jù)權(quán)利要求1所述的一種用于對(duì)大數(shù)據(jù)任務(wù)進(jìn)行分布式處理的方法，其特征在于，所述根據(jù)至少兩個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)各自對(duì)應(yīng)的任務(wù)處理次序，確定所述至少兩個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)中的要進(jìn)行任務(wù)處理的網(wǎng)絡(luò)節(jié)點(diǎn)，包括：當(dāng)接收到所述至少兩個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)中的請(qǐng)求網(wǎng)絡(luò)節(jié)點(diǎn)發(fā)送的任務(wù)處理請(qǐng)求時(shí)，查詢至少一個(gè)目標(biāo)組，所述至少一個(gè)目標(biāo)組是尚未完成任務(wù)處理的各個(gè)組中組間次序最高的組；獲取任務(wù)處理列表，所述任務(wù)處理列表中包含每一個(gè)所述目標(biāo)組中尚未完成任務(wù)處理的各個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)中、組內(nèi)次序最高的至少一個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)；檢測所述請(qǐng)求網(wǎng)絡(luò)節(jié)點(diǎn)是否存在于所述任務(wù)處理列表中；若所述請(qǐng)求網(wǎng)絡(luò)節(jié)點(diǎn)存在于所述任務(wù)處理列表中，則確定所述請(qǐng)求網(wǎng)絡(luò)節(jié)點(diǎn)為所述要進(jìn)行任務(wù)處理的網(wǎng)絡(luò)節(jié)點(diǎn)。

3.根據(jù)權(quán)利要求1所述的一種用于對(duì)大數(shù)據(jù)任務(wù)進(jìn)行分布式處理的方法，其特征在于，所述根據(jù)至少兩個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)各自對(duì)應(yīng)的任務(wù)處理次序，確定所述至少兩個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)中的要進(jìn)行任務(wù)處理的網(wǎng)絡(luò)節(jié)點(diǎn)，包括：當(dāng)接收到所述至少兩個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)中的請(qǐng)求網(wǎng)絡(luò)節(jié)點(diǎn)發(fā)送的任務(wù)處理請(qǐng)求時(shí)，查詢所述請(qǐng)求網(wǎng)絡(luò)節(jié)點(diǎn)的組間次序和組內(nèi)次序；檢測所述請(qǐng)求網(wǎng)絡(luò)節(jié)點(diǎn)的組間次序是否為所述至少兩個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)中尚未完成任務(wù)處理的各個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)的組間次序中的最高次序；若所述請(qǐng)求網(wǎng)絡(luò)節(jié)點(diǎn)的組間次序是所述至少兩個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)中尚未完成任務(wù)處理的各個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)的組間次序中的最高次序，則檢測所述請(qǐng)求網(wǎng)絡(luò)節(jié)點(diǎn)的組內(nèi)次序是否為所述請(qǐng)求網(wǎng)絡(luò)節(jié)點(diǎn)所在組內(nèi)尚未完成任務(wù)處理的各個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)的組內(nèi)次序中的最高次序；若所述請(qǐng)求網(wǎng)絡(luò)節(jié)點(diǎn)的組內(nèi)次序是所述請(qǐng)求網(wǎng)絡(luò)節(jié)點(diǎn)所在組內(nèi)尚未完成任務(wù)處理的各個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)的組內(nèi)次序中的最高次序，則確定所述請(qǐng)求網(wǎng)絡(luò)節(jié)點(diǎn)為所述要進(jìn)行任務(wù)處理的網(wǎng)絡(luò)節(jié)點(diǎn)。

4.根據(jù)權(quán)利要求1所述的一種用于對(duì)大數(shù)據(jù)任務(wù)進(jìn)行分布式處理的方法，其特征在于，所述根據(jù)至少兩個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)各自對(duì)應(yīng)的任務(wù)處理次序，確定所述至少兩個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)中的要進(jìn)行任務(wù)處理的網(wǎng)絡(luò)節(jié)點(diǎn)，包括：查詢至少一個(gè)目標(biāo)組，所述目標(biāo)組是尚未完成任務(wù)處理的各個(gè)組中、組間次序最高的組；對(duì)于所述至少一個(gè)目標(biāo)組中的每一個(gè)目標(biāo)組，將所述目標(biāo)組中尚未完成任務(wù)處理的各個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)中、組內(nèi)次序最高的至少一個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)確定為所述要進(jìn)行任務(wù)處理的網(wǎng)絡(luò)節(jié)點(diǎn)。