[發(fā)明專利]基于MapReduce框架的編碼分布式計(jì)算方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110756959.8
• 申請(qǐng)日: 2021-07-05
• 公開(kāi)（公告）號(hào): CN113434299A
• 公開(kāi)（公告）日: 2021-09-24
• 發(fā)明（設(shè)計(jì)）人: 周玲玲;蔣靜
• 申請(qǐng)（專利權(quán)）人: 廣西師范大學(xué)
• 主分類號(hào): G06F9/50
• 分類號(hào): G06F9/50
• 代理公司: 桂林市持衡專利商標(biāo)事務(wù)所有限公司 45107
• 代理人: 陳躍琳

1.基于MapReduce框架的編碼分布式計(jì)算方法，其特征是，包括步驟如下：

步驟1、將給定的輸入文件進(jìn)行無(wú)重復(fù)的平均劃分，得到個(gè)輸入文件子集；

步驟2、從0～K'-1個(gè)整數(shù)中隨機(jī)選擇個(gè)整數(shù)作為每個(gè)輸入文件子集的標(biāo)記；

步驟3、將每個(gè)節(jié)點(diǎn)的編號(hào)分別對(duì)節(jié)點(diǎn)因子K'進(jìn)行取模運(yùn)算，得到每個(gè)節(jié)點(diǎn)的標(biāo)記；

步驟4、基于每個(gè)輸入文件子集的標(biāo)記和每個(gè)節(jié)點(diǎn)的標(biāo)記，將帶有與節(jié)點(diǎn)標(biāo)記相同標(biāo)記的輸入文件子集分配到對(duì)應(yīng)的節(jié)點(diǎn)上進(jìn)行存儲(chǔ)；

步驟5、每個(gè)節(jié)點(diǎn)利用Map函數(shù)計(jì)算其所存儲(chǔ)的每個(gè)輸入文件子集的中間值；

步驟6、每個(gè)節(jié)點(diǎn)將自己所存儲(chǔ)的所有輸入文件子集的中間值編碼為信號(hào)傳輸給其他的節(jié)點(diǎn)；

步驟7、給每個(gè)節(jié)點(diǎn)分配要計(jì)算的輸出函數(shù)集；其中編號(hào)為k的節(jié)點(diǎn)所分配的輸出函數(shù)集W_k為：

步驟8、每個(gè)節(jié)點(diǎn)從其他節(jié)點(diǎn)所傳輸?shù)闹虚g值中，隨機(jī)選擇該節(jié)點(diǎn)每個(gè)未存儲(chǔ)輸入文件子集的中間值；并結(jié)合該節(jié)點(diǎn)自己存儲(chǔ)輸入文件子集的中間值，得到所有輸入文件子集的中間值；并利用所有輸入文件子集的中間值計(jì)算該節(jié)點(diǎn)所分配的輸出函數(shù)集，完成分布式計(jì)算；

其中，K為節(jié)點(diǎn)總數(shù)，K'為節(jié)點(diǎn)因子，r為每個(gè)輸入文件被計(jì)算的次數(shù)，t為每個(gè)節(jié)點(diǎn)上所分配的輸出函數(shù)的個(gè)數(shù)，s為每個(gè)輸出函數(shù)被計(jì)算的次數(shù)，[·]表示取整函數(shù)，k∈{0,1,...,K-1}。

2.根據(jù)權(quán)利要求1所述的基于MapReduce框架的編碼分布式計(jì)算方法，其特征是，每個(gè)節(jié)點(diǎn)上所分配的輸出函數(shù)的個(gè)數(shù)t為：

其中，gcd(K,s)表示K和s兩者之間的最大公因數(shù)，K為節(jié)點(diǎn)總數(shù)，s為每個(gè)輸出函數(shù)被計(jì)算的次數(shù)。