[發(fā)明專利]一種基于DAG的面向多計算框架的數(shù)據(jù)處理方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201710295064.2
• 申請日: 2017-04-28
• 公開（公告）號: CN107273193A
• 公開（公告）日: 2017-10-20
• 發(fā)明（設(shè)計）人: 木偉民;張云;李名揚;金宗澤;王偉平
• 申請（專利權(quán)）人: 中國科學(xué)院信息工程研究所
• 主分類號: G06F9/48
• 分類號: G06F9/48
• 代理公司: 北京君尚知識產(chǎn)權(quán)代理事務(wù)所(普通合伙)11200
• 代理人: 司立彬

1.一種基于DAG的面向多計算框架的數(shù)據(jù)處理方法，其步驟為：

1)用戶根據(jù)目標(biāo)計算場景選取算子，然后對選取的算子的輸入輸出進(jìn)行連接并配置相應(yīng)的參數(shù)，得到該目標(biāo)計算場景；然后向管理器發(fā)送保存場景信息的請求；

2)管理器接收該請求，將場景信息保存到場景表中；管理器收到該目標(biāo)計算場景的執(zhí)行請求后，讀取該場景表生成包含該目標(biāo)計算場景信息的作業(yè)并發(fā)送給調(diào)度器；

3)調(diào)度器根據(jù)收到的作業(yè)生成對應(yīng)的算子DAG并驗證；對于算子DAG驗證通過的算子生成子作業(yè)DAG；然后根據(jù)生成的子作業(yè)DAG確定每一執(zhí)行階段并將其發(fā)送給執(zhí)行器；

4)執(zhí)行器對選定的計算框架進(jìn)行適配，然后將調(diào)度器下發(fā)的每一執(zhí)行階段的子作業(yè)解釋為該計算框架下的計算邏輯并觸發(fā)計算；然后將計算結(jié)果提交給調(diào)度器。

2.如權(quán)利要求1所述的方法，其特征在于，所述調(diào)度器通過判斷算子DAG的數(shù)據(jù)結(jié)構(gòu)正確性和邏輯正確性驗證算子DAG；其中，數(shù)據(jù)結(jié)構(gòu)正確性即驗證算子DAG是否滿足有向無環(huán)圖要求，邏輯正確性即驗證算子前后連接和位置的正確性。

3.如權(quán)利要求1或2所述的方法，其特征在于，所述調(diào)度器將同類算子合并在一起，生成子作業(yè)DAG；所述調(diào)度器對非同類算子進(jìn)行切分，生成子作業(yè)DAG；其中，每一個子作業(yè)DAG中包含一個或多個算子。

4.如權(quán)利要求1或2所述的方法，其特征在于，所述執(zhí)行器根據(jù)生成的子作業(yè)DAG確定每一執(zhí)行階段的方法為：所述執(zhí)行器對子作業(yè)DAG按廣度優(yōu)先的方式進(jìn)行遍歷，將無父節(jié)點的節(jié)點歸并為同一個執(zhí)行階段，然后邏輯上刪除無父結(jié)點且已經(jīng)歸并為同一個執(zhí)行階段的節(jié)點，對新暴露出來的無父結(jié)點且未歸并到任何執(zhí)行階段中的節(jié)點進(jìn)行歸并操作，直至子作業(yè)DAG為空，從而確定每一執(zhí)行階段，每一個執(zhí)行階段中包含一個或多個子作業(yè)。

5.如權(quán)利要求1所述的方法，其特征在于，所述管理器還保存場景執(zhí)行后得到的執(zhí)行實例和針對需按時執(zhí)行的場景的定時執(zhí)行信息；每一所述執(zhí)行實例為一作業(yè)；所述作業(yè)包括場景信息、場景參數(shù)、算子信息、算子參數(shù)。

6.一種基于DAG的面向多計算框架的數(shù)據(jù)處理系統(tǒng)，其特征在于，包括web頁面、管理器、調(diào)度器和執(zhí)行器；其中，

web頁面，用于為用戶提供可視化的圖形用戶界面，根據(jù)目標(biāo)計算場景選取算子，然后對選取的算子的輸入輸出進(jìn)行連接并配置相應(yīng)的參數(shù)，得到該目標(biāo)計算場景；

管理器，用于保存算子信息、目標(biāo)計算場景信息、用戶信息和向調(diào)度器下發(fā)作業(yè)；

調(diào)度器，用于根據(jù)收到的作業(yè)生成對應(yīng)的算子DAG并驗證；對于算子DAG驗證通過的算子生成子作業(yè)DAG；然后根據(jù)生成的子作業(yè)DAG確定每一執(zhí)行階段并將其發(fā)送給執(zhí)行器；

執(zhí)行器，用于對選定的計算框架進(jìn)行適配，以及將調(diào)度器下發(fā)的每一執(zhí)行階段的子作業(yè)解釋為該計算框架下的計算邏輯并觸發(fā)計算；然后將計算結(jié)果提交給調(diào)度器。

7.如權(quán)利要求6所述的系統(tǒng)，其特征在于，所述管理器還保存場景執(zhí)行后得到的執(zhí)行實例和針對需按時執(zhí)行的場景的定時執(zhí)行信息；每一所述執(zhí)行實例為一作業(yè)；所述作業(yè)包括場景信息、場景參數(shù)、算子信息、算子參數(shù)。

8.如權(quán)利要求6所述的系統(tǒng)，其特征在于，所述調(diào)度器通過判斷算子DAG的數(shù)據(jù)結(jié)構(gòu)正確性和邏輯正確性驗證算子DAG；其中，數(shù)據(jù)結(jié)構(gòu)正確性即驗證算子DAG是否滿足有向無環(huán)圖要求，邏輯正確性即驗證算子前后連接和位置的正確性。

9.如權(quán)利要求6或7或8所述的系統(tǒng)，其特征在于，所述調(diào)度器將同類算子合并在一起，生成子作業(yè)DAG；所述調(diào)度器對非同類算子進(jìn)行切分，生成子作業(yè)DAG；其中，每一個子作業(yè)DAG中包含一個或多個算子。

10.如權(quán)利要求6或7或8所述的系統(tǒng)，其特征在于，所述執(zhí)行器對子作業(yè)DAG按廣度優(yōu)先的方式進(jìn)行遍歷，將無父節(jié)點的節(jié)點歸并為同一個執(zhí)行階段，然后邏輯上刪除無父結(jié)點且已經(jīng)歸并為同一個執(zhí)行階段的節(jié)點，對新暴露出來的無父結(jié)點且未歸并到任何執(zhí)行階段中的節(jié)點進(jìn)行歸并操作，直至子作業(yè)DAG為空，從而確定每一執(zhí)行階段，每一個執(zhí)行階段中包含一個或多個子作業(yè)。