[發(fā)明專利]基于DAG交互的流式計算方法與裝置

在審

• 申請?zhí)枺?/td>: 202010622403.5
• 申請日: 2020-06-30
• 公開（公告）號: CN111782371A
• 公開（公告）日: 2020-10-16
• 發(fā)明（設(shè)計）人: 陳偉旭;葉青
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06F9/48
• 分類號: G06F9/48;G06F9/50;G06F9/54
• 代理公司: 北京市漢坤律師事務(wù)所 11602
• 代理人: 姜浩然;吳麗麗

1.一種基于有向無環(huán)圖DAG交互的流式計算方法，包括：

根據(jù)由屬于第一類型集合的DAG節(jié)點組成的第一DAG節(jié)點圖，生成第一DAG作業(yè)流描述信息；

通過將屬于第一類型集合的DAG節(jié)點適配成適于Flink引擎的屬于第二類型集合的DAG節(jié)點，將所述第一DAG作業(yè)流描述信息轉(zhuǎn)換為第二DAG作業(yè)流描述信息；

將所述第二DAG作業(yè)流描述信息封裝為DAG執(zhí)行包，所述DAG執(zhí)行包包括所述第二DAG作業(yè)流描述信息和所述第二DAG作業(yè)流描述信息中的節(jié)點的運算邏輯；以及，

將所述DAG執(zhí)行包發(fā)送到作業(yè)運行集群。

2.根據(jù)權(quán)利要求1所述的方法，其中，所述屬于第一類型集合的DAG節(jié)點至少包括數(shù)據(jù)源端節(jié)點、數(shù)據(jù)轉(zhuǎn)換節(jié)點、數(shù)據(jù)關(guān)聯(lián)節(jié)點、數(shù)據(jù)聚合節(jié)點和目的端節(jié)點，并且，

所述將屬于第一類型集合的DAG節(jié)點適配成適于Flink引擎的屬于第二類型集合的DAG節(jié)點包括將所述屬于第一類型集合的DAG節(jié)點中的不同類型的節(jié)點以相同的數(shù)據(jù)結(jié)構(gòu)分別適配成相應(yīng)的Flink算子。

3.根據(jù)權(quán)利要求2所述的方法，其中，將所述屬于第一類型集合的DAG節(jié)點中的數(shù)據(jù)源端節(jié)點適配成相應(yīng)的Flink算子包括：

加載所述數(shù)據(jù)源端節(jié)點的配置信息和描述信息；

初始化數(shù)據(jù)源端節(jié)點對象；以及，

指配一個Flink流對象。

4.根據(jù)權(quán)利要求2或3所述的方法，其中，將所述屬于第一類型集合的DAG節(jié)點中的數(shù)據(jù)轉(zhuǎn)換節(jié)點適配成相應(yīng)的Flink算子包括：

加載所述數(shù)據(jù)轉(zhuǎn)換節(jié)點的配置信息和描述信息；

初始化數(shù)據(jù)轉(zhuǎn)換節(jié)點對象；

將所述數(shù)據(jù)轉(zhuǎn)換節(jié)點對象中的數(shù)據(jù)轉(zhuǎn)換邏輯封裝到相應(yīng)的Flink算子中；

按照所述數(shù)據(jù)轉(zhuǎn)換節(jié)點的代碼邏輯，對所述相應(yīng)的Flink算子進行數(shù)據(jù)轉(zhuǎn)換；以及

將經(jīng)過數(shù)據(jù)轉(zhuǎn)換的Flink算子傳遞給下游節(jié)點。

5.根據(jù)權(quán)利要求2或3所述的方法，其中，將所述屬于第一類型集合的DAG節(jié)點中的數(shù)據(jù)關(guān)聯(lián)節(jié)點適配成相應(yīng)的Flink算子包括：

加載所述數(shù)據(jù)關(guān)聯(lián)節(jié)點的配置信息和描述信息；

初始化數(shù)據(jù)關(guān)聯(lián)節(jié)點對象；

找出對與所述數(shù)據(jù)關(guān)聯(lián)節(jié)點相關(guān)的數(shù)據(jù)流進行關(guān)聯(lián)操作的關(guān)聯(lián)鍵；以及

根據(jù)所述關(guān)聯(lián)鍵，對數(shù)據(jù)流中的數(shù)據(jù)進行歸并。

6.根據(jù)權(quán)利要求2或3所述的方法，其中，將所述屬于第一類型集合的DAG節(jié)點中的數(shù)據(jù)聚合節(jié)點適配成相應(yīng)的Flink算子包括：

加載所述數(shù)據(jù)聚合節(jié)點的配置信息和描述信息；

初始化數(shù)據(jù)聚合節(jié)點對象；

找出對與所述數(shù)據(jù)聚合節(jié)點相關(guān)的數(shù)據(jù)流進行聚合操作的聚合鍵；以及

根據(jù)所述聚合鍵，對數(shù)據(jù)流中的數(shù)據(jù)進行聚合。

7.根據(jù)權(quán)利要求2或3所述的方法，其中，將所述屬于第一類型集合的DAG節(jié)點中的目的端節(jié)點適配成相應(yīng)的Flink算子包括：

加載所述目的端節(jié)點的配置信息和描述信息；

初始化目的端節(jié)點對象；

將所述目的端節(jié)點對象封裝成可運行對象，放入線程池中；

在DAG節(jié)點遍歷完畢后，觸發(fā)所述線程池中的所述目的端節(jié)點對象；以及

將數(shù)據(jù)寫入所述目的端節(jié)點對象。

8.根據(jù)權(quán)利要求1所述的方法，其中，所述第一DAG作業(yè)流描述信息與所述第二DAG作業(yè)流描述信息采用json格式。

9.根據(jù)權(quán)利要求1所述的方法，其中，所述第一DAG作業(yè)流描述信息與所述第二DAG作業(yè)流描述信息采用相同的數(shù)據(jù)封裝。

10.根據(jù)權(quán)利要求1所述的方法，還包括從作業(yè)運行集群接收DAG作業(yè)流運行的指標信息，通過counter和gauge進行指標計算，并且存儲計算后的指標信息。

11.根據(jù)權(quán)利要求1所述的方法，還包括從作業(yè)運行集群接收并存儲DAG作業(yè)流運行的流通數(shù)據(jù)元信息。