[發明專利]基于Flink的實時數據處理方法、平臺和設備

在審

• 申請號: 202110204141.5
• 申請日: 2021-02-24
• 公開（公告）號: CN113010512A
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 艾恒;朱寧
• 申請（專利權）人: 上海中通吉網絡技術有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/25
• 代理公司: 北京細軟智谷知識產權代理有限責任公司 11471
• 代理人: 尚文文

本發明涉及大數據技術領域，具體涉及一種基于Flink的實時數據處理方法、平臺和設備。其中，基于Flink的實時數據處理平臺包括web頁面模塊、數據庫模塊、作業處理模塊。web頁面模塊，用于獲取實時計算作業的數據源，并將數據源進行格式轉換，得到數據信息；數據庫模塊，用于存儲數據信息；web頁面模塊，還用于獲取作業指令；作業處理模塊，用于根據作業指令，調用數據庫模塊中存儲的數據信息，以進行作業處理。本發明通過web頁面模塊獲取實時計算作業的數據源，創建作業流程，配置流程的參數，對作業管理可視化管理，不僅使用簡便，而且降低了使用門檻。

技術領域

本發明涉及大數據技術領域，具體涉及一種基于Flink的實時數據處理方法、平臺和設備。

背景技術

快遞公司每天都要接收、轉運、派送大量的快遞，在處理快遞的過程中，伴隨著大量的實時數據產生。需要對實時數據信息及時進行處理，以保證快遞業務能夠正常運轉。

現有的技術方案中，一般為開發人員通過編寫代碼的方式對kafka數據流進行邏輯計算后再進行存儲。但是，這種數據處理的方式非常復雜，而且需要專業的Flink工程師來實現，使用不便。

發明內容

有鑒于此，本發明的目的在于提供一種基于Flink的實時數據處理方法、平臺和設備，以克服目前數據處理的方式非常復雜，而且需要專業的Flink工程師來實現，使用不便的問題。

為實現以上目的，本發明采用如下技術方案：

一種基于Flink的實時數據處理平臺，包括：web頁面模塊、數據庫模塊、作業處理模塊；

所述web頁面模塊，用于獲取實時計算作業的數據源，并將所述數據源進行格式轉換，得到數據信息；

所述數據庫模塊，用于存儲所述數據信息；

所述web頁面模塊，還用于獲取作業指令；

所述作業處理模塊，用于根據所述作業指令，調用flinkClient服務，對所述數據庫模塊中存儲的數據信息進行作業處理。

進一步地，以上所述的基于Flink的實時數據處理平臺，所述數據源包括：source源文件、sink源文件；

所述web頁面模塊，具體用于獲取實時計算作業的source源文件、sink源文件，并將所述source源文件、sink源文件以json格式進行壓縮加密處理，得到所述數據信息。

進一步地，以上所述的基于Flink的實時數據處理平臺，所述作業處理模塊，具體用于根據所述作業指令，獲取所述數據庫模塊中存儲的數據信息并進行解密，以進行作業處理。

進一步地，以上所述的基于Flink的實時數據處理平臺，所述作業指令包括：編輯指令、啟動指令、查看指令、復制指令和刪除指令。

進一步地，以上所述的基于Flink的實時數據處理平臺，所述作業處理模塊，還用于通過動態加載類調用flinkClient服務，以實現udf數據處理。

進一步地，以上所述的基于Flink的實時數據處理平臺，所述數據源還包括基礎jar文件；

所述作業處理模塊，用于基于所述基礎jar文件實現FlinkSQL方式的作業處理。

進一步地，以上所述的基于Flink的實時數據處理平臺，所述數據源還包括作業邏輯代碼封裝的自定義jar文件；其中，所述作業邏輯代碼是用戶基于預設的封裝的自定義框架編寫的；

所述作業處理模塊，用于基于所述自定義jar文件實現自定義式的作業處理。

進一步地，以上所述的基于Flink的實時數據處理平臺，所述數據庫模塊包括：MySQL數據庫。