[發明專利]基于Flink的任務執行方法、裝置、計算機設備及存儲介質

有效

• 申請號: 202110698927.7
• 申請日: 2021-06-23
• 公開（公告）號: CN113254106B
• 公開（公告）日: 2022-04-19
• 發明（設計）人: 李金陽
• 申請（專利權）人: 中國平安人壽保險股份有限公司
• 主分類號: G06F9/445
• 分類號: G06F9/445
• 代理公司: 深圳市世聯合知識產權代理有限公司 44385
• 代理人: 汪琳琳

本申請實施例屬于計算機技術領域，應用于智慧社區領域中，涉及一種基于Flink的任務執行方法、裝置、計算機設備及存儲介質包括基于版本號將接收到的Flink數據包存儲至預先建立的子目錄文件夾中；基于接收到的用戶任務數據確定目標Flink版本號；基于目標Flink版本號，基于目標Flink版本號確定出目標子目錄文件夾，將目標子目錄文件夾中的Flink數據包作為目標Flink數據包并加載至內存；獲取用戶任務數據中的任務分配方式和待處理數據，在向各服務器分配的待處理數據的數據量不均勻時，調用預設的數據分配方式重新向各服務器分配所述待處理數據；運行內存中的目標Flink數據包。Flink數據包可存儲于區塊鏈中。本申請能夠支持不同版本Flink任務的調用，同時避免Flink版本調用混亂的情況。

技術領域

本申請涉及計算機技術領域，尤其涉及基于Flink的任務執行方法、裝置、計算機設備及存儲介質。

背景技術

隨著計算機技術的高速發展，計算機在改變了人們的生活方式的同時，也已經逐漸應用于各行各業的線上數據處理中。而其中Flink作為實時計算的重要框架，很多公司研發了專門提交Flink任務的服務，但是這樣的服務會受到Flink版本的限制，即對同一個服務來說，每次提交的任務的Flink版本需要一致。目前，隨著Flink社區的不斷更新，Flink出現很多不同的版本。由于每個版本之間有所差異，用戶常常會選擇不同的任務使用不同的Flink版本。如果設計成服務只能提交一個版本的Flink的話，那么無法滿足客戶對Flink版本頻繁變化的需要；如果使用多個服務，每個服務支持一個Flink版本的話，那么開發運維成本太大；在使用一個服務提交多個Flink版本時，經常會出現調用版本混亂的情況，造成整個服務的擴展性差、穩定性差以及難以迭代，增大了開發和維護成本。同時，還存在執行Flink任務的服務器的數據處理速度慢，效率低的情況。

發明內容

本申請實施例的目的在于提出一種基于Flink的任務執行方法、裝置、計算機設備及存儲介質，支持不同版本Flink任務的調用，同時避免Flink版本調用混亂的情況。

為了解決上述技術問題，本申請實施例提供一種基于Flink的任務執行方法，采用了如下所述的技術方案：

一種基于Flink的任務執行方法，包括下述步驟：

在父級目錄中建立多個子目錄文件夾，并接收攜帶有版本號的Flink數據包，基于所述版本號將所述Flink數據包存儲至對應的子目錄文件夾中，其中，所述子目錄文件夾的名稱與所述版本號相同；

接收用戶任務數據，基于所述用戶任務數據確定目標Flink版本號；

基于所述目標Flink版本號，對所述父級目錄中的子目錄文件夾進行查找，獲得目標子目錄文件夾，將所述目標子目錄文件夾中的Flink數據包作為目標Flink數據包，并通過類加載器加載所述目標子目錄文件夾中的目標Flink數據包至內存；

獲取所述用戶任務數據中的任務分配方式和待處理數據，根據所述任務分配方式確定向各服務器分配的待處理數據的數據量是否均勻，在數據量不均勻時，調用預設的多個隨機數列，基于所述隨機數列重新分配所述待處理數據至各服務器；

運行所述內存中的目標Flink數據包，以調用各服務器處理所述待處理數據。

進一步的，所述接收用戶任務數據，基于所述用戶任務數據確定目標Flink版本號的步驟包括：

接收用戶任務數據，其中，所述用戶任務數據攜帶有用戶名稱，根據用戶名稱在數據庫中查找是否存在用戶歷史日志；

在所述數據庫中存在所述用戶歷史日志時，獲取并分析所述用戶歷史日志，獲得初始Flink版本號，并將所述初始Flink版本號發送至用戶客戶端；

當接收到用戶客戶端發送的確認信號時，將所述初始Flink版本號作為目標Flink版本號；