[發明專利]數據處理方法及相關裝置

在審

• 申請號: 202111583565.3
• 申請日: 2021-12-22
• 公開（公告）號: CN114328580A
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 戴嘉樂;彭帥果
• 申請（專利權）人: 深圳市歡太數字科技有限公司
• 主分類號: G06F16/242
• 分類號: G06F16/242
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強

1.一種數據處理方法，其特征在于，應用于服務器，所述方法包括：

獲取原始數據，所述原始數據為流數據中的數據，所述原始數據至少包括通過第一數據源中間件獲取的第一數據，所述第一數據源中間件所采集數據不支持結構化查詢語言SQL；

根據所述原始數據確定適配SQL的目標數據；

通過所述SQL處理所述目標數據，得到處理結果。

2.根據權利要求1所述方法，其特征在于，所述第一數據源中間件為Kafka數據源中間件。

3.根據權利要求1所述方法，其特征在于，所述原始數據還包括通過第二數據源中間件采集的第二數據，所述第二數據源中間件包括以下至少一種：Redis數據源中間件、MySQL數據源中間件、ClickHouse數據源中間件、ElasticSearch數據源中間件。

4.根據權利要求1-3任一項所述方法，其特征在于，所述根據所述原始數據確定適配SQL的目標數據，包括：

將原始數據存入到預設的支持所述SQL的數據表中，得到所述適配SQL的目標數據。

5.根據權利要求4所述方法，其特征在于，在所述將原始數據存入到預設的支持所述SQL的數據表中，得到所述適配SQL的目標數據之前，所述方法還包括：

預先創建業務數據庫，所述業務數據庫用于接收所述原始數據；

根據所述業務數據庫的類型注冊所述支持SQL的數據表，所述支持SQL的數據表預先配置有參考字段信息，且所述支持SQL的數據表存儲于所述業務數據庫中。

6.根據權利要求5所述方法，其特征在于，所述將原始數據存入到預設的支持所述SQL的數據表中，得到所述適配SQL的目標數據，包括：

通過Flink程序對所述原始數據進行數據清洗，得到第三數據；

基于預設解析算法對所述第三數據進行解析，得到參考解析數據，所述參考解析數據包括目標字段信息；

所述參考解析數據根據所述目標字段信息和所述參考字段信息與所述支持SQL的數據表進行字段匹配；

根據所述字段匹配的結果將所述第三數據存入所述支持SQL的數據表中，得到所述適配SQL的目標數據。

7.根據權利要求1所述方法，其特征在于，所述方法還包括：

根據所述處理結果確定作業信息，所述作業信息包括所述業務數據庫、所述適配SQL的目標數據以及用于處理所述目標數據得到所述處理結果的SQL；

根據所述作業信息顯示作業狀態頁面，所述作業狀態頁面包括第一控件和第二控件；

若檢測到來自終端設備對所述第一控件的點擊操作，則顯示所述作業信息的運行日志；

若檢測到來自終端設備對所述第二控件的點擊操作，則顯示所述用于處理所述目標數據得到所述處理結果的SQL。

8.一種數據處理裝置，其特征在于，包括：

獲取單元，用于獲取原始數據，所述原始數據為流數據中的數據，所述原始數據至少包括通過第一數據源中間件獲取的第一數據，所述第一數據源中間件所采集數據不支持結構化查詢語言SQL；

確定單元，用于根據所述原始數據確定適配SQL的目標數據；

處理單元，用于通過所述SQL處理所述目標數據，得到處理結果。

9.一種服務器設備，其特征在于，包括處理器、存儲器、通信接口，以及一個或多個程序，所述一個或多個程序被存儲在所述存儲器中，并且被配置由所述處理器執行，所述程序包括用于執行如權利要求1-7任一項所述的方法中的步驟的指令。

10.一種計算機可讀存儲介質，其特征在于，存儲用于電子數據交換的計算機程序，其中，所述計算機程序使得計算機執行如權利要求1-7任一項所述的方法。