[發明專利]數據處理方法、裝置及計算機可讀存儲介質

在審

• 申請號: 202110013898.6
• 申請日: 2021-01-06
• 公開（公告）號: CN112765166A
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 陳泉
• 申請（專利權）人: 深圳市歡太科技有限公司;OPPO廣東移動通信有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/23;G06F16/25
• 代理公司: 北京恒博知識產權代理有限公司 11528
• 代理人: 范勝祥

1.一種數據處理方法，其特征在于，包括：

獲取業務數據流，并獲取用于處理所述業務數據流的Flink SQL任務；

獲取所述Flink SQL任務中的業務配置參數，并將所述業務配置參數寫入至數據庫中；

將所述數據庫與所述業務數據流進行維表關聯，生成處理數據。

2.根據權利要求1所述的方法，其特征在于，所述數據庫為Redis數據庫；

所述將所述業務配置參數寫入至數據庫中，包括：

將所述業務配置參數寫入至所述Redis數據庫中的Redis維表；

所述將所述數據庫與所述業務數據流進行維表關聯，生成處理數據，包括：

讀取所述Redis數據庫中的所述Redis維表，將所述Redis維表與所述業務數據流進行維表關聯，得到目標數據表。

3.根據權利要求2所述的方法，其特征在于，所述獲取所述Flink SQL任務中的業務配置參數，包括：

啟動客戶端服務，基于所述客戶端服務拉取所述Flink SQL任務中的業務配置參數。

4.根據權利要求2所述的方法，其特征在于，所述將所述業務配置參數保存至所述Redis數據庫中的Redis維表，包括：

采用預設的緩存機制將所述Redis維表中的所述業務配置參數進行緩存。

5.根據權利要求1所述的方法，其特征在于，所述將所述數據庫與所述業務數據流進行維表關聯，生成處理數據之前，還包括：

若所述業務配置參數發生更新，則拉取所述更新的業務配置參數，并將所述更新的業務配置參數寫入至所述數據庫中；

所述將所述數據庫與所述業務數據流進行維表關聯，生成處理數據，包括：

將寫入有所述更新的業務配置參數的所述數據庫與所述業務數據流進行維表關聯，得到目標數據表。

6.根據權利要求1所述的方法，其特征在于，所述獲取業務數據流，包括：從Kafka中獲取所述業務數據流；所述Kafka用于接收并保存所述業務數據流。

7.一種數據處理裝置，其特征在于，包括：

獲取模塊，用于獲取業務數據流，并獲取用于處理所述業務數據流的Flink SQL任務；

第一處理模塊，用于獲取所述Flink SQL任務中的業務配置參數，并將所述業務配置參數寫入至數據庫中；

第二處理模塊，用于將所述數據庫與所述業務數據流進行維表關聯，生成處理數據。

8.根據權利要求7所述的裝置，其特征在于，所述數據庫為Redis數據庫；

所述第一處理模塊將所述業務配置參數寫入至數據庫中，包括：

將所述業務配置參數寫入至所述Redis數據庫中的Redis維表；

所述第二處理模塊將所述數據庫與所述業務數據流進行維表關聯，生成處理數據，包括：

讀取所述Redis數據庫中的所述Redis維表，將所述Redis維表與所述業務數據流進行維表關聯，得到目標數據表。

9.一種數據處理裝置，其特征在于，包括處理器、存儲器以及通信接口；

所述處理器與所述存儲器、所述通信接口相連；

所述存儲器，用于存儲可執行程序代碼；

所述處理器通過讀取所述存儲器中存儲的可執行程序代碼來運行與所述可執行程序代碼對應的程序，以用于如執行權利1-6任一項所述的數據處理方法。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述程序被處理器執行時實現如權利要求1-6中任一項所述的數據處理方法。