[發(fā)明專利]一種分布式并行計(jì)算方法以及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201210392872.8
• 申請日: 2012-10-16
• 公開（公告）號: CN103729257A
• 公開（公告）日: 2014-04-16
• 發(fā)明（設(shè)計(jì)）人: 彭淵
• 申請（專利權(quán)）人: 阿里巴巴集團(tuán)控股有限公司
• 主分類號: G06F9/54
• 分類號: G06F9/54
• 代理公司: 北京同達(dá)信恒知識產(chǎn)權(quán)代理有限公司 11291
• 代理人: 郭潤湘

1.一種分布式并行計(jì)算方法，其特征在于，包括：

總協(xié)調(diào)設(shè)備將獲取的待執(zhí)行任務(wù)拆分為至少一個(gè)子任務(wù)并對拆分的子任務(wù)排序，從預(yù)置的至少兩個(gè)調(diào)度設(shè)備中為每個(gè)子任務(wù)選取一個(gè)調(diào)度設(shè)備，將選取的調(diào)度設(shè)備按照拆分后的子任務(wù)的順序排序后得到選定調(diào)度設(shè)備鏈，將原始數(shù)據(jù)信息傳遞給所述選定調(diào)度設(shè)備鏈中的第一個(gè)調(diào)度設(shè)備；

所述選定調(diào)度設(shè)備鏈中的每個(gè)調(diào)度設(shè)備根據(jù)獲取的子任務(wù)，從已在聯(lián)絡(luò)設(shè)備注冊的計(jì)算設(shè)備中選取可執(zhí)行獲取的子任務(wù)的至少兩個(gè)計(jì)算設(shè)備；以及

接收上一個(gè)調(diào)度設(shè)備傳遞的計(jì)算結(jié)果信息作為待處理數(shù)據(jù)信息，將獲取的子任務(wù)和待處理數(shù)據(jù)信息分配給選取的至少兩個(gè)計(jì)算設(shè)備，接收選取的至少兩個(gè)計(jì)算設(shè)備執(zhí)行完獲取的子任務(wù)得到的計(jì)算結(jié)果信息，并傳遞給下一個(gè)調(diào)度設(shè)備；

其中，所述第一個(gè)調(diào)度設(shè)備將接收到的所述總協(xié)調(diào)設(shè)備傳遞的原始數(shù)據(jù)信息作為待處理數(shù)據(jù)信息，所述選定調(diào)度設(shè)備鏈中的最后一個(gè)調(diào)度設(shè)備將計(jì)算結(jié)果信息傳遞給所述總協(xié)調(diào)設(shè)備。

2.如權(quán)利要求1所述的方法，其特征在于，當(dāng)每個(gè)計(jì)算設(shè)備對應(yīng)一個(gè)存儲設(shè)備時(shí)，每個(gè)計(jì)算設(shè)備在所述聯(lián)絡(luò)設(shè)備中注冊的過程，具體包括：

計(jì)算設(shè)備向所述聯(lián)絡(luò)設(shè)備發(fā)送攜帶自身計(jì)算設(shè)備標(biāo)識信息、可執(zhí)行計(jì)算類型和對應(yīng)的存儲設(shè)備標(biāo)識信息的注冊請求消息；

所述聯(lián)絡(luò)設(shè)備接收到所述注冊請求消息后，對應(yīng)存儲所述注冊請求消息中攜帶的計(jì)算設(shè)備標(biāo)識信息、可執(zhí)行計(jì)算類型和存儲設(shè)備標(biāo)識信息，并向發(fā)送所述注冊請求消息的計(jì)算設(shè)備返回注冊成功消息。

3.如權(quán)利要求2所述的方法，其特征在于，各個(gè)計(jì)算設(shè)備接收到注冊成功消息之后，還包括：

各個(gè)計(jì)算設(shè)備按照第一設(shè)定周期向所述聯(lián)絡(luò)設(shè)備發(fā)送心跳報(bào)文；

所述聯(lián)絡(luò)設(shè)備接收各個(gè)計(jì)算設(shè)備發(fā)送的心跳報(bào)文，并向在第二設(shè)定周期內(nèi)沒有發(fā)送心跳報(bào)文的計(jì)算設(shè)備發(fā)送詢問報(bào)文；以及

若在第三設(shè)定周期內(nèi)未接收到?jīng)]有發(fā)送心跳報(bào)文的計(jì)算設(shè)備反饋的響應(yīng)報(bào)文，則對應(yīng)刪除沒有反饋響應(yīng)報(bào)文的計(jì)算設(shè)備的計(jì)算設(shè)備標(biāo)識信息、可執(zhí)行計(jì)算類型和存儲設(shè)備標(biāo)識信息，沒有反饋響應(yīng)報(bào)文的計(jì)算設(shè)備繼續(xù)執(zhí)行當(dāng)前子任務(wù)。

4.如權(quán)利要求2所述的方法，其特征在于，根據(jù)獲取的子任務(wù)，從已在聯(lián)絡(luò)設(shè)備注冊的計(jì)算設(shè)備中選取可執(zhí)行獲取的子任務(wù)的至少兩個(gè)計(jì)算設(shè)備，具體包括：

確定獲取的子任務(wù)的類型，在所述聯(lián)絡(luò)設(shè)備對應(yīng)存儲的計(jì)算設(shè)備標(biāo)識信息、可執(zhí)行計(jì)算類型和存儲設(shè)備標(biāo)識信息中獲取與獲取的子任務(wù)的類型對應(yīng)的計(jì)算設(shè)備標(biāo)識信息；

在獲取的計(jì)算設(shè)備標(biāo)識信息對應(yīng)的計(jì)算設(shè)備中選取至少兩個(gè)計(jì)算設(shè)備。

5.如權(quán)利要求1所述的方法，其特征在于，當(dāng)每個(gè)計(jì)算設(shè)備對應(yīng)一個(gè)存儲設(shè)備時(shí)，將獲取的子任務(wù)和待處理數(shù)據(jù)信息分配給選取的至少兩個(gè)計(jì)算設(shè)備，接收選取的至少兩個(gè)計(jì)算設(shè)備執(zhí)行完獲取的子任務(wù)得到的計(jì)算結(jié)果信息，并傳遞給下一個(gè)調(diào)度設(shè)備，具體包括：

將待處理數(shù)據(jù)信息分配給選取的至少兩個(gè)計(jì)算設(shè)備，為選取的每個(gè)計(jì)算設(shè)備生成攜帶獲取的子任務(wù)和分配的待處理數(shù)據(jù)信息的數(shù)據(jù)處理消息，并分別存儲在選取的每個(gè)計(jì)算設(shè)備對應(yīng)的存儲設(shè)備中；

選取的至少兩個(gè)計(jì)算設(shè)備在對應(yīng)的存儲設(shè)備中獲取到數(shù)據(jù)處理消息后，獲取分配的待處理數(shù)據(jù)并執(zhí)行獲取的子任務(wù)得到計(jì)算結(jié)果，將得到的計(jì)算結(jié)果信息存儲在對應(yīng)的存儲設(shè)備中；

調(diào)度設(shè)備將從選取的至少兩個(gè)計(jì)算設(shè)備對應(yīng)的存儲設(shè)備中獲取的計(jì)算結(jié)果信息傳遞給下一個(gè)調(diào)度設(shè)備。

6.如權(quán)利要求5所述的方法，其特征在于，若所述數(shù)據(jù)處理消息中攜帶的子任務(wù)為合并任務(wù)，選取的至少兩個(gè)計(jì)算設(shè)備獲取分配的待處理數(shù)據(jù)并執(zhí)行獲取的子任務(wù)得到計(jì)算結(jié)果，具體包括：

選取的每個(gè)計(jì)算設(shè)備保留獲取到的待處理數(shù)據(jù)中屬于自身的數(shù)據(jù)，將屬于其他計(jì)算設(shè)備的數(shù)據(jù)發(fā)送給相應(yīng)的計(jì)算設(shè)備；以及

接收其他計(jì)算設(shè)備發(fā)送的數(shù)據(jù)，與自身保留的數(shù)據(jù)合并后得到計(jì)算結(jié)果。

7.如權(quán)利要求1所述的方法，其特征在于，所述原始數(shù)據(jù)信息為全部原始數(shù)據(jù)或者全部原始數(shù)據(jù)的存儲位置信息；

所述計(jì)算結(jié)果信息為全部計(jì)算結(jié)果數(shù)據(jù)或者全部計(jì)算結(jié)果數(shù)據(jù)的存儲位置信息。