[發明專利]基于Flink的實時數據處理方法、平臺和設備

在審

• 申請號: 202110204141.5
• 申請日: 2021-02-24
• 公開（公告）號: CN113010512A
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 艾恒;朱寧
• 申請（專利權）人: 上海中通吉網絡技術有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/25
• 代理公司: 北京細軟智谷知識產權代理有限責任公司 11471
• 代理人: 尚文文

1.一種基于Flink的實時數據處理平臺，其特征在于，包括：web頁面模塊、數據庫模塊、作業處理模塊；

所述web頁面模塊，用于獲取實時計算作業的數據源，并將所述數據源進行格式轉換，得到數據信息；

所述數據庫模塊，用于存儲所述數據信息；

所述web頁面模塊，還用于獲取作業指令；

所述作業處理模塊，用于根據所述作業指令，調用flinkClient服務，對所述數據庫模塊中存儲的數據信息進行作業處理。

2.根據權利要求1所述的基于Flink的實時數據處理平臺，其特征在于，所述數據源包括：source源文件、sink源文件；

所述web頁面模塊，具體用于獲取實時計算作業的source源文件、sink源文件，并將所述source源文件、sink源文件以json格式進行壓縮加密處理，得到所述數據信息。

3.根據權利要求2所述的基于Flink的實時數據處理平臺，其特征在于，所述作業處理模塊，具體用于根據所述作業指令，獲取所述數據庫模塊中存儲的數據信息并進行解密，以進行作業處理。

4.根據權利要求1所述的基于Flink的實時數據處理平臺，其特征在于，所述作業指令包括：編輯指令、啟動指令、查看指令、復制指令和刪除指令。

5.根據權利要求1所述的基于Flink的實時數據處理平臺，其特征在于，所述作業處理模塊，還用于通過動態加載類調用flinkClient服務，以實現udf數據處理。

6.根據權利要求1所述的基于Flink的實時數據處理平臺，其特征在于，所述數據源還包括基礎jar文件；

所述作業處理模塊，用于基于所述基礎jar文件實現FlinkSQL方式的作業處理。

7.根據權利要求1所述的基于Flink的實時數據處理平臺，其特征在于，所述數據源還包括作業邏輯代碼封裝的自定義jar文件；其中，所述作業邏輯代碼是用戶基于預設的封裝的自定義框架編寫的；

所述作業處理模塊，用于基于所述自定義jar文件實現自定義式的作業處理。

8.根據權利要求1所述的基于Flink的實時數據處理平臺，其特征在于，所述數據庫模塊包括：MySQL數據庫。

9.一種基于Flink的實時數據處理方法，其特征在于，應用于權利要求1-8任一項所述的基于Flink的實時數據處理平臺；

所述方法包括：

獲取實時計算作業的數據源，并將所述數據源進行格式轉換，得到數據信息；

存儲所述數據信息；

獲取作業指令；

根據所述作業指令，調用所述數據庫模塊中存儲的數據信息，以進行作業處理。

10.一種基于Flink的實時數據處理設備，其特征在于，包括處理器和存儲器，所述處理器與所述存儲器相連：

其中，所述處理器，用于調用并執行所述存儲器中存儲的程序；

所述存儲器，用于存儲所述程序，所述程序至少用于執行權利要求9所述的基于Flink的實時數據處理方法。