[發(fā)明專利]一種任務(wù)處理方法及裝置

在審

• 申請?zhí)枺?/td>: 201710483201.5
• 申請日: 2017-06-21
• 公開（公告）號: CN107273339A
• 公開（公告）日: 2017-10-20
• 發(fā)明（設(shè)計）人: 劉姝;黃雪
• 申請（專利權(quán)）人: 鄭州云海信息技術(shù)有限公司
• 主分類號: G06F17/16
• 分類號: G06F17/16;G06F9/50;G06F9/54
• 代理公司: 北京安信方達知識產(chǎn)權(quán)代理有限公司11262
• 代理人: 李紅爽,李丹

1.一種任務(wù)處理方法，其特征在于，包括以下步驟：

通過多個數(shù)據(jù)節(jié)點并行讀取對應(yīng)的矩陣子數(shù)據(jù)集并分別將所述矩陣子數(shù)據(jù)集的計算任務(wù)劃分為多個子任務(wù)即多個子矩陣塊；

所述數(shù)據(jù)節(jié)點將所述子矩陣塊分配至對應(yīng)的計算節(jié)點并由所述計算節(jié)點執(zhí)行并行計算。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，通過多個數(shù)據(jù)節(jié)點并行讀取對應(yīng)的矩陣子數(shù)據(jù)集的過程為：

多個數(shù)據(jù)節(jié)點分別通過對應(yīng)的數(shù)據(jù)讀取主進程打開存放矩陣的文件，返回一個文件句柄；

計算每個數(shù)據(jù)讀取主進程對應(yīng)的矩陣文件中的偏移量，獲得每個數(shù)據(jù)讀取主進程所要讀取的矩陣子數(shù)據(jù)集在矩陣文件中的邏輯位置；

所述數(shù)據(jù)讀取主進程根據(jù)所要讀取的矩陣子數(shù)據(jù)集在矩陣文件中的邏輯位置，讀取對應(yīng)的矩陣子數(shù)據(jù)集。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，多個數(shù)據(jù)節(jié)點并行讀取對應(yīng)的矩陣子數(shù)據(jù)集后，存儲于內(nèi)存中。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述數(shù)據(jù)節(jié)點根據(jù)計算節(jié)點數(shù)量，將所述矩陣子數(shù)據(jù)集平均劃分為多個子矩陣塊并發(fā)送至對應(yīng)的計算節(jié)點。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述子矩陣塊包含大于1的行數(shù)且行數(shù)為連續(xù)。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，若所述數(shù)據(jù)節(jié)點讀取的矩陣子數(shù)據(jù)集的行數(shù)為M，計算節(jié)點個數(shù)為child_process，則分配每個計算節(jié)點per_rank＝M/child_process行，

對于余下的extra＝M％child_process行，將extra行平均分配到1至extra號計算節(jié)點，1至extra號計算節(jié)點每個進程增加一行。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述計算節(jié)點完成所述子矩陣塊的計算后，將計算結(jié)果發(fā)送至對應(yīng)的數(shù)據(jù)節(jié)點。

8.根據(jù)權(quán)利要求7所述的方法，其特征在于，從所述數(shù)據(jù)節(jié)點中選擇一個數(shù)據(jù)節(jié)點，作為用于統(tǒng)計的數(shù)據(jù)節(jié)點；

所述用于統(tǒng)計的數(shù)據(jù)節(jié)點對從其他數(shù)據(jù)節(jié)點中獲取的計算結(jié)果進行匯總并存儲。

9.一種任務(wù)處理裝置，其特征在于，包括讀取模塊、劃分模塊、分配計算模塊；其中，所述讀取模塊通過所述劃分模塊與所述分配計算模塊相連；

所述讀取模塊，用于通過多個數(shù)據(jù)節(jié)點并行讀取對應(yīng)的矩陣子數(shù)據(jù)集；

所述劃分模塊，用于分別將所述矩陣子數(shù)據(jù)集的計算任務(wù)劃分為多個子任務(wù)即多個子矩陣塊；

所述分配計算模塊，用于將所述子矩陣塊分配至對應(yīng)的計算節(jié)點并由所述計算節(jié)點執(zhí)行并行計算。

10.根據(jù)權(quán)利要求9所述的裝置，其特征在于，所述子矩陣塊包含大于1的行數(shù)且行數(shù)為連續(xù)。