[發明專利]數據處理方法、系統及非瞬時性計算機可讀存儲介質

在審

• 申請號: 202110075480.8
• 申請日: 2021-01-20
• 公開（公告）號: CN113760983A
• 公開（公告）日: 2021-12-07
• 發明（設計）人: 馮志恒;李源;尹翔;高偉
• 申請（專利權）人: 北京沃東天駿信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/182
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 姜雍;許蓓

本公開提供了一種數據處理方法、系統及非瞬時性計算機可讀存儲介質，涉及計算機技術領域。其中的數據處理方法包括：將從客戶端接收的流數據寫入消息中間件；通過結構化流處理引擎對流數據進行實時計算，獲得實時計算結果；將實時計算結果以更新或插入Upsert方式分別寫入數據湖和聯機分析處理數據庫；通過數據湖接收并響應離線的數據請求，通過聯機分析處理數據庫接收并響應實時的數據請求。本公開實現了流批一體的數據處理方法，既能夠節省計算資源和存儲資源，又能夠保障離線的數據請求與實時的數據請求在響應結果上的一致性，從而為開發和維護數據處理系統提供了便利。

技術領域

本公開涉及計算機技術領域，特別涉及一種數據處理方法、系統及非瞬時性計算機可讀存儲介質。

背景技術

采用Lambda架構的數據處理系統，通常包括實時子系統和離線子系統。這兩套子系統采用不同的計算邏輯和存儲資源。

通過不同的查詢方式向這兩套子系統分別發起查詢請求，可以分別滿足不同的業務時效需求。

發明內容

本公開解決的一個技術問題是，如何實現流批一體的數據處理方法。

根據本公開的一個方面，提供了一種數據處理方法，包括：將從客戶端接收的流數據寫入消息中間件；通過結構化流處理引擎對流數據進行實時計算，獲得實時計算結果；將實時計算結果以更新或插入Upsert方式分別寫入數據湖和聯機分析處理數據庫；通過數據湖接收并響應離線的數據請求，通過聯機分析處理數據庫接收并響應實時的數據請求。

在一些實施例中，通過結構化流處理引擎對流數據進行實時計算包括：通過Spark結構化流處理引擎，從消息中間件讀取流數據并按照會話標識對流數據進行分組，獲得各個分組會話的流數據；通過Spark結構化流處理引擎的狀態算子flatMapGroupsWithState，緩存各個分組會話的流數據并對各個分組會話的流數據執行業務計算邏輯，獲得各個分組會話的統計字段。

在一些實施例中，對各個分組會話的流數據執行業務計算邏輯獲得各個分組會話的統計字段包括：對任一分組會話中的各個流數據進行排序；獲取任一分組會話中的各個流數據的業務指標參數；根據業務指標參數，確定任一分組會話的統計字段。

在一些實施例中，將實時計算結果以更新或插入Upsert方式分別寫入數據湖和聯機分析處理數據庫包括：在實時計算結果發生變更的情況下，將實時計算結果以更新或插入Upsert方式分別寫入數據湖和聯機分析處理數據庫。

在一些實施例中，通過結構化流處理引擎對流數據進行實時計算的間隔時長大于預設時長。

在一些實施例中，數據處理方法還包括：在數據湖上設置會話已完成分區和會話未完成分區；其中，將實時計算結果以Upsert方式寫入數據湖的會話未完成分區。

在一些實施例中，將從客戶端接收的流數據寫入消息中間件包括：通過HTTP接收機從客戶端接收流數據；通過HTTP接收機將流數據寫入Kafka消息中間件。

根據本公開的另一個方面，提供了一種數據處理系統，包括：HTTP接收機，被配置為將從客戶端接收的流數據寫入消息中間件；消息中間件，被配置為存儲流數據；Spark結構化流處理引擎，被配置為對流數據進行實時計算，獲得實時計算結果，并被配置為將實時計算結果以更新或插入Upsert方式分別寫入數據湖和聯機分析處理數據庫；數據湖，被配置為接收并響應離線的數據請求；聯機分析處理數據庫，被配置為接收并響應實時的數據請求。

在一些實施例中，Spark結構化流處理引擎被配置為：從消息中間件讀取流數據并按照會話標識對流數據進行分組，獲得各個分組會話的流數據；通過狀態算子flatMapGroupsWithState，緩存各個分組會話的流數據并對各個分組會話的流數據執行業務計算邏輯，獲得各個分組會話的統計字段。