[發明專利]數據流圖處理結果確定方法、裝置、設備及存儲介質

有效

• 申請號: 202010033750.4
• 申請日: 2020-01-13
• 公開（公告）號: CN111209309B
• 公開（公告）日: 2023-03-10
• 發明（設計）人: 王成林;高小宏;姜曉萌
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/242;G06F16/27;G06F16/28
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 王兆林

本申請實施例公開了一種數據流圖處理結果確定方法、裝置、設備及存儲介質，其中該方法包括：根據已配置的算子確定待運行的目標數據流圖，該目標數據流圖表征對于存儲在Hive中的目標數據源的處理邏輯；解析該目標數據流圖生成目標SQL；通過Mysql執行該目標SQL，以基于Mysql中存儲的參考數據源確定目標數據流圖對應的處理結果，該參考數據源與目標數據源相對應，該考數據源的數據量小于目標數據源的數據量。該方法能夠快速地基于配置的數據流圖確定對應的處理結果，提高相關技術人員的使用體驗。

技術領域

本申請涉及數據處理技術領域，具體涉及一種數據流圖處理結果確定方法、裝置、設備及存儲介質。

背景技術

大數據是指無法在一定時間內用常規軟件工具對其內容進行捕捉、管理和處理的數據集合。目前，相關技術人員對大數據進行分析處理時，習慣基于數據流圖表示數據處理邏輯，數據流圖可以從數據傳遞和加工的角度，以圖形方式表達系統的邏輯功能、數據在系統內部的邏輯流向和邏輯變換過程。

相關技術人員目前主要利用特定的軟件平臺，基于數據流圖實現對于大數據的分析處理。具體的，相關技術人員可以根據自身的實際需求，將需要利用的算子組件拖拽至數據流圖編輯畫布，按照預設的處理邏輯將拖拽出的算子組件相應地串聯起來，數據流圖整體編排完成后，相關技術人員可以點擊確認控件，查看所編排的數據流圖對應的處理結果。

上述軟件平臺基于數據流圖生成對應的處理結果時，需要調用計算引擎Spark基于Hive中存儲的大數據確定處理結果，而Hive是一種基于分布式文件系統(HadoopDistributed File System，hdfs)的分布式存儲數據庫，其支持實時性較差，因此導致處理結果生成速率緩慢，相關技術人員通常需要經過長時間的等待才能查看處理結果。

發明內容

本申請實施例提供了一種數據流圖處理結果確定方法、裝置、設備及存儲介質，能夠快速地基于配置的數據流圖確定對應的處理結果，提高相關技術人員的使用體驗。

有鑒于此，本申請第一方面提供了一種數據流圖處理結果確定方法，所述方法包括：

根據已配置的算子確定待運行的目標數據流圖；所述目標數據流圖表征對于目標數據源的處理邏輯，所述目標數據源存儲于分布式存儲數據庫Hive；

解析所述目標數據流圖，生成目標結構化查詢語言SQL；

通過關系型數據庫管理系統Mysql執行所述目標SQL，以基于所述Mysql中存儲的參考數據源，確定所述目標數據流圖對應的處理結果；所述參考數據源與所述目標數據源相對應，所述參考數據源的數據量小于所述目標數據源的數據量。

本申請第二方面提供了一種數據流圖處理結果確定裝置，其特征在于，所述裝置包括：

數據流圖確定模塊，用于根據已配置的算子確定待運行的目標數據流圖；所述目標數據流圖表征對于目標數據源的處理邏輯，所述目標數據源存儲于分布式存儲數據庫Hive；

SQL生成模塊，用于解析所述目標數據流圖，生成目標結構化查詢語言SQL；

處理結果確定模塊，用于通過關系型數據庫管理系統Mysql執行所述目標SQL，以基于所述Mysql中存儲的參考數據源，確定所述目標數據流圖對應的處理結果；所述參考數據源與所述目標數據源相對應，所述參考數據源的數據量小于所述目標數據源的數據量。

本申請第三方面提供了一種電子設備，所述設備包括處理器以及存儲器：

所述存儲器用于存儲計算機程序；

所述處理器用于根據所述計算機程序，執行如上述第一方面所述的數據流圖處理結果確定方法的步驟。