[發明專利]數據處理方法、裝置、設備、存儲介質及程序產品

在審

• 申請號: 202310927561.5
• 申請日: 2023-07-27
• 公開（公告）號: CN116662414A
• 公開（公告）日: 2023-08-29
• 發明（設計）人: 張功貫;胡滿超;徐秋峰;楊曉峰;蔣杰;陳鵬;劉煜宏
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/248;G06F16/245;G06F16/28
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 高天華;浦彩華

本申請提供了一種數據處理方法、裝置、電子設備、計算機可讀存儲介質及計算機程序產品；所述方法應用于數據倉庫，所述數據倉庫包括原始數據層以及虛擬數據應用層，所述虛擬數據應用層用于維護至少一個數據計算邏輯，所述原始數據層用于維護原始數據，方法包括：獲取查詢語句的計算邏輯標識；基于所述計算邏輯標識從所述虛擬數據應用層中查詢對應所述查詢語句的目標數據計算邏輯以及數據位置信息；從所述原始數據層獲取對應所述數據位置信息的目標原始數據，并對所述目標原始數據執行對應所述目標數據計算邏輯的數據計算處理，得到用于響應所述查詢語句的查詢結果。通過本申請，能夠提高數據倉庫的計算效率并節約存儲空間。

技術領域

本申請涉及數據庫技術，尤其涉及一種數據處理方法、裝置、電子設備、計算機可讀存儲介質及計算機程序產品。

背景技術

數據倉庫（Data?Warehouse）是來自一個或多個不同源的集成數據的中央存儲庫，通過對數據倉庫中的數據分析，可以幫助企業，改進業務流程，控制成本，提高產品質量等。數據倉庫的兩個主要功能包括存儲分析數據和處理分析數據。

在大數據環境中，數據倉庫的構建通常采用四層分層模型，在實現數據分析的過程中，為了更靈活的支撐上一層的數據復用，每一層都需要有數據邏輯組織、定時計算、落盤存儲的過程，一旦其中一層發生數據錯誤，都要自底向上所有分層數據的重復計算，導致數據庫的資源成本較高且處理效率較低。

發明內容

本申請實施例提供一種數據處理方法、裝置、電子設備、計算機可讀存儲介質及計算機程序產品，能夠提高數據倉庫的計算效率并節約存儲空間。

本申請實施例的技術方案是這樣實現的：

本申請實施例提供一種數據處理方法，所述方法應用于數據倉庫，所述數據倉庫包括原始數據層以及虛擬數據應用層，所述虛擬數據應用層用于維護至少一個數據計算邏輯，所述原始數據層用于維護原始數據，所述方法包括：

獲取查詢語句的計算邏輯標識；

基于所述計算邏輯標識從所述虛擬數據應用層中查詢對應所述查詢語句的目標數據計算邏輯以及數據位置信息；

從所述原始數據層獲取對應所述數據位置信息的目標原始數據，并對所述目標原始數據執行對應所述目標數據計算邏輯的數據計算處理，得到用于響應所述查詢語句的查詢結果。

本申請實施例提供一種數據處理裝置，所述裝置應用于數據倉庫，所述數據倉庫包括原始數據層以及虛擬數據應用層，所述虛擬數據應用層用于維護至少一個數據計算邏輯，所述原始數據層用于維護原始數據，所述裝置包括：

獲取模塊，用于獲取查詢語句的計算邏輯標識；

查詢模塊，用于基于所述計算邏輯標識從所述虛擬數據應用層中查詢對應所述查詢語句的目標數據計算邏輯以及數據位置信息；

計算模塊，用于從所述原始數據層獲取對應所述數據位置信息的目標原始數據，并對所述目標原始數據執行對應所述目標數據計算邏輯的數據計算處理，得到用于響應所述查詢語句的查詢結果。

在上述方案中，所述獲取模塊，還用于：執行以下處理中任意一種：獲取實時數據服務請求，從所述實時數據服務請求中提取實時查詢語句，并獲取與所述實時查詢語句對應的計算邏輯標識；獲取批數據服務請求，從所述批數據服務請求中提取離線查詢語句，并獲取與所述離線查詢語句對應的計算邏輯標識。

在上述方案中，所述查詢模塊，還用于：當所述查詢語句是實時查詢語句時，通過所述虛擬數據應用層從元數據庫中查詢與所述計算邏輯標識匹配的目標數據計算邏輯以及實時數據的數據位置信息；當所述查詢語句是批查詢語句時，通過所述虛擬數據應用層從元數據庫中查詢與所述計算邏輯標識匹配的目標數據計算邏輯以及離線數據的數據位置信息；其中，所述元數據庫以視圖的形式存儲有：與每個所述計算邏輯標識對應的數據計算邏輯以及數據位置信息。