[發(fā)明專利]數(shù)據(jù)流圖處理結(jié)果確定方法、裝置、設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010033750.4
• 申請日: 2020-01-13
• 公開（公告）號: CN111209309B
• 公開（公告）日: 2023-03-10
• 發(fā)明（設(shè)計）人: 王成林;高小宏;姜曉萌
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/242;G06F16/27;G06F16/28
• 代理公司: 深圳市深佳知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44285
• 代理人: 王兆林

1.一種數(shù)據(jù)流圖處理結(jié)果確定方法，其特征在于，所述方法包括：

根據(jù)已配置的算子確定待運(yùn)行的目標(biāo)數(shù)據(jù)流圖；所述目標(biāo)數(shù)據(jù)流圖表征對于目標(biāo)數(shù)據(jù)源的處理邏輯，所述目標(biāo)數(shù)據(jù)源存儲于分布式存儲數(shù)據(jù)庫Hive；

解析所述目標(biāo)數(shù)據(jù)流圖，生成目標(biāo)結(jié)構(gòu)化查詢語言SQL；

通過關(guān)系型數(shù)據(jù)庫管理系統(tǒng)Mysql執(zhí)行所述目標(biāo)SQL，以基于所述Mysql中存儲的參考數(shù)據(jù)源，確定所述目標(biāo)數(shù)據(jù)流圖對應(yīng)的處理結(jié)果；所述參考數(shù)據(jù)源與所述目標(biāo)數(shù)據(jù)源相對應(yīng)，所述參考數(shù)據(jù)源的數(shù)據(jù)量小于所述目標(biāo)數(shù)據(jù)源的數(shù)據(jù)量。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

針對存儲在所述Hive中的第一數(shù)據(jù)源，按照預(yù)設(shè)數(shù)據(jù)量創(chuàng)建與所述第一數(shù)據(jù)源對應(yīng)的數(shù)據(jù)庫及數(shù)據(jù)表結(jié)構(gòu)作為第二數(shù)據(jù)源，將所述第二數(shù)據(jù)源存儲至所述Mysql。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)已配置的算子確定待運(yùn)行的目標(biāo)數(shù)據(jù)流圖，包括：

獲取響應(yīng)于拖拽操作添加顯示在數(shù)據(jù)流圖配置畫布上的算子節(jié)點，以及響應(yīng)于連接關(guān)系添加操作添加顯示在所述數(shù)據(jù)流圖配置畫布上的算子連接關(guān)系；

根據(jù)所述數(shù)據(jù)流圖配置畫布上顯示的所述算子節(jié)點和所述算子連接關(guān)系，確定所述目標(biāo)數(shù)據(jù)流圖。

4.根據(jù)權(quán)利要求1或3所述的方法，其特征在于，所述目標(biāo)數(shù)據(jù)流圖是以json格式表達(dá)的，所述目標(biāo)數(shù)據(jù)流圖中包括：已配置的各個算子節(jié)點、已配置的各個算子節(jié)點之間的連接關(guān)系、所述目標(biāo)數(shù)據(jù)流圖對應(yīng)的處理邏輯中的起始算子節(jié)點和終止算子節(jié)點；

則所述解析所述目標(biāo)數(shù)據(jù)流圖，生成目標(biāo)結(jié)構(gòu)化查詢語言SQL，包括：

根據(jù)以json格式表達(dá)的所述目標(biāo)數(shù)據(jù)流圖中包括的內(nèi)容，生成所述目標(biāo)SQL。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述確定所述目標(biāo)數(shù)據(jù)流圖對應(yīng)的處理結(jié)果之后，所述方法還包括：

判斷所述處理結(jié)果是否滿足預(yù)設(shè)需求；

若所述處理結(jié)果滿足所述預(yù)設(shè)需求，則響應(yīng)數(shù)據(jù)流圖配置操作基于所述目標(biāo)數(shù)據(jù)流圖繼續(xù)配置算子節(jié)點。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述確定所述目標(biāo)數(shù)據(jù)流圖對應(yīng)的處理結(jié)果之后，所述方法還包括：

判斷所述處理結(jié)果是否滿足預(yù)設(shè)需求；

若所述處理結(jié)果滿足所述預(yù)設(shè)需求，則保存所述目標(biāo)數(shù)據(jù)流圖對應(yīng)的目標(biāo)數(shù)據(jù)流圖模型。

7.根據(jù)權(quán)利要求6所述的方法，其特征在于，在所述保存所述目標(biāo)數(shù)據(jù)流圖對應(yīng)的目標(biāo)數(shù)據(jù)流圖模型之后，所述方法還包括：

基于所述目標(biāo)數(shù)據(jù)流圖生成Spark SQL；

調(diào)用工作流任務(wù)調(diào)度器Azkaban，通過所述Azkaban調(diào)用計算引擎Spark；

通過所述Spark執(zhí)行所述Spark SQL，基于所述Hive中存儲的所述目標(biāo)數(shù)據(jù)源，確定所述目標(biāo)數(shù)據(jù)流圖模型對應(yīng)的處理結(jié)果。

8.一種數(shù)據(jù)流圖處理結(jié)果確定裝置，其特征在于，所述裝置包括：

數(shù)據(jù)流圖確定模塊，用于根據(jù)已配置的算子確定待運(yùn)行的目標(biāo)數(shù)據(jù)流圖；所述目標(biāo)數(shù)據(jù)流圖表征對于目標(biāo)數(shù)據(jù)源的處理邏輯，所述目標(biāo)數(shù)據(jù)源存儲于分布式存儲數(shù)據(jù)庫Hive；

SQL生成模塊，用于解析所述目標(biāo)數(shù)據(jù)流圖，生成目標(biāo)結(jié)構(gòu)化查詢語言SQL；

處理結(jié)果確定模塊，用于通過關(guān)系型數(shù)據(jù)庫管理系統(tǒng)Mysql執(zhí)行所述目標(biāo)SQL，以基于所述Mysql中存儲的參考數(shù)據(jù)源，確定所述目標(biāo)數(shù)據(jù)流圖對應(yīng)的處理結(jié)果；所述參考數(shù)據(jù)源與所述目標(biāo)數(shù)據(jù)源相對應(yīng)，所述參考數(shù)據(jù)源的數(shù)據(jù)量小于所述目標(biāo)數(shù)據(jù)源的數(shù)據(jù)量。

9.一種電子設(shè)備，其特征在于，包括：存儲器和處理器；

所述存儲器用于存儲計算機(jī)程序；

所述處理器用于根據(jù)所述計算機(jī)程序執(zhí)行權(quán)利要求1至7任一項所述的數(shù)據(jù)流圖處理結(jié)果確定方法。

10.一種計算機(jī)可讀存儲介質(zhì)，其特征在于，所述計算機(jī)可讀存儲介質(zhì)用于存儲計算機(jī)程序，所述計算機(jī)程序用于執(zhí)行權(quán)利要求1至7任一項所述的數(shù)據(jù)流圖處理結(jié)果確定方法。