[發明專利]實時計算可視化開發系統及其應用方法

在審

• 申請號: 202010104631.3
• 申請日: 2020-02-20
• 公開（公告）號: CN111352616A
• 公開（公告）日: 2020-06-30
• 發明（設計）人: 張寒;張毅;孫遷;王廣邦;謝之虬
• 申請（專利權）人: 蘇寧云計算有限公司
• 主分類號: G06F8/30
• 分類號: G06F8/30;G06F8/34
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 王瑋;馬魯晉

本發明公開了一種實時計算可視化開發系統及其應用方法。根據業務場景的數據類型選取相應的組件；在流程配置界面上，通過拖拽方式，連接各組件形成完整流程，進行可視化業務流程配置；將配置的流程信息組裝成可被Flink執行的Table SQL API代碼，調用編譯打包命令，生成Flink的任務jar包下發到Flink集群運行。本發明通過可視化開發的方式，簡化了代碼過程，并且支持更多的SQL開發不支持的場景，避免了開發過程中“黑盒子”的調用場景，降低了實時任務開發門檻，運維、業務人員亦可開發實時任務，提高了開發效率。

技術領域

本發明涉及基于flink的實時計算任務開發領域，具體地說，是一種實時計算可視化開發系統及其應用方法。

背景技術

在線計算開發平臺ocdp是一個基于Flink分布式開源數據處理框架開發、面向流（Native Streaming）處理的平臺。除具有低延遲的流處理能力、靈活的操作狀態和流窗口、高效的流與數據的容錯機制外，還提供可視化任務開發和SQL開發兩種開發模式，以及在線調試、上線、和運維管理。

目前基于flink開發的場景：目前flink任務開發基本分類兩種方式，第一種是通過SQL編寫的方式開發，第二種是通過jar包的方式開發。通過SQL開發，如果計算的邏輯比較復雜，開發過程也相對復雜，并且目前sql開發有些場景是不支持的，通常不支持的情況下可以通過jar包的方式解決，但是jar包的調用對于開發過程中來說它是個“黑盒子”每次調用的時候并不清楚jar包的具體內容。

發明內容

本發明的目的在于提供一種實時計算可視化開發系統及其應用方法。

實現本發明目的的技術解決方案為：一種實時計算可視化開發系統，包括：

流程配置界面模塊，用于針對業務場景的數據類型選取相應的組件；

總處理模塊，用于通過拖拽方式，連接各組件形成完整流程，采用系統函數或/和自定義函數實現組件內的參數配置或/和數據處理，完成可視化業務流程配置。

所述總處理模塊包括：

流程配置模塊，通過拖拽方式，連接各組件形成完整流程；

UDFS模塊，利用系統函數或/和自定義函數實現組件內的參數配置或/和數據處理；

進一步的，總處理模塊還包括流程監控模塊，用于監控流程任務并進行報警。

所述連接各組件的順序為：以輸入源組件開始，中間連接數據處理組件，最后以輸出源組件結尾。

進一步的，所述數據處理組件包括過濾filter、轉換conversion、路由router、合并merger、分組groupBy、雙流join、關聯維表、json解析和/或去重。

一種實時計算可視化開發系統的應用方法，所述方法包括：

根據業務場景的數據類型選取相應的組件；

在流程配置界面上，通過拖拽方式，連接各組件形成完整流程，進行可視化業務流程配置；

將配置的流程信息組裝成可被Flink執行的Table SQL API代碼，調用編譯打包命令，生成Flink的任務jar包下發到Flink集群運行。

進一步的，所述連接各組件形成完整流程包括輸入源、數據處理、輸出源三個階段。

進一步的，所述輸入源支持訪問保存在外部存儲系統，指定編碼格式的文件或者消息系統中的數據。

進一步的，所述數據處理用于對數據進行路由、過濾、分組或剔重，獲取目標系統需求的數據。