[發(fā)明專利]數(shù)據(jù)處理方法、裝置、設(shè)備、存儲(chǔ)介質(zhì)及程序產(chǎn)品

在審

• 申請?zhí)枺?/td>: 202310927561.5
• 申請日: 2023-07-27
• 公開（公告）號: CN116662414A
• 公開（公告）日: 2023-08-29
• 發(fā)明（設(shè)計(jì)）人: 張功貫;胡滿超;徐秋峰;楊曉峰;蔣杰;陳鵬;劉煜宏
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/248;G06F16/245;G06F16/28
• 代理公司: 北京派特恩知識產(chǎn)權(quán)代理有限公司 11270
• 代理人: 高天華;浦彩華

1.一種數(shù)據(jù)處理方法，其特征在于，所述方法應(yīng)用于數(shù)據(jù)倉庫，所述數(shù)據(jù)倉庫包括原始數(shù)據(jù)層以及虛擬數(shù)據(jù)應(yīng)用層，所述虛擬數(shù)據(jù)應(yīng)用層用于維護(hù)至少一個(gè)數(shù)據(jù)計(jì)算邏輯，所述原始數(shù)據(jù)層用于維護(hù)原始數(shù)據(jù)，所述方法包括：

獲取查詢語句的計(jì)算邏輯標(biāo)識；

基于所述計(jì)算邏輯標(biāo)識從所述虛擬數(shù)據(jù)應(yīng)用層中查詢對應(yīng)所述查詢語句的目標(biāo)數(shù)據(jù)計(jì)算邏輯以及數(shù)據(jù)位置信息；

從所述原始數(shù)據(jù)層獲取對應(yīng)所述數(shù)據(jù)位置信息的目標(biāo)原始數(shù)據(jù)，并對所述目標(biāo)原始數(shù)據(jù)執(zhí)行對應(yīng)所述目標(biāo)數(shù)據(jù)計(jì)算邏輯的數(shù)據(jù)計(jì)算處理，得到用于響應(yīng)所述查詢語句的查詢結(jié)果。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取查詢語句的計(jì)算邏輯標(biāo)識，包括：

執(zhí)行以下處理中任意一種：

獲取實(shí)時(shí)數(shù)據(jù)服務(wù)請求，從所述實(shí)時(shí)數(shù)據(jù)服務(wù)請求中提取實(shí)時(shí)查詢語句，并獲取與所述實(shí)時(shí)查詢語句對應(yīng)的計(jì)算邏輯標(biāo)識；

獲取批數(shù)據(jù)服務(wù)請求，從所述批數(shù)據(jù)服務(wù)請求中提取離線查詢語句，并獲取與所述離線查詢語句對應(yīng)的計(jì)算邏輯標(biāo)識。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述基于所述計(jì)算邏輯標(biāo)識從所述虛擬數(shù)據(jù)應(yīng)用層中查詢對應(yīng)所述查詢語句的目標(biāo)數(shù)據(jù)計(jì)算邏輯以及數(shù)據(jù)位置信息，包括：

當(dāng)所述查詢語句是實(shí)時(shí)查詢語句時(shí)，通過所述虛擬數(shù)據(jù)應(yīng)用層從元數(shù)據(jù)庫中查詢與所述計(jì)算邏輯標(biāo)識匹配的目標(biāo)數(shù)據(jù)計(jì)算邏輯以及實(shí)時(shí)數(shù)據(jù)的數(shù)據(jù)位置信息；

當(dāng)所述查詢語句是批查詢語句時(shí)，通過所述虛擬數(shù)據(jù)應(yīng)用層從元數(shù)據(jù)庫中查詢與所述計(jì)算邏輯標(biāo)識匹配的目標(biāo)數(shù)據(jù)計(jì)算邏輯以及離線數(shù)據(jù)的數(shù)據(jù)位置信息；

其中，所述元數(shù)據(jù)庫以視圖的形式存儲(chǔ)有：與每個(gè)所述計(jì)算邏輯標(biāo)識對應(yīng)的數(shù)據(jù)計(jì)算邏輯以及數(shù)據(jù)位置信息。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述原始數(shù)據(jù)層部署有與每個(gè)應(yīng)用場景匹配的數(shù)據(jù)計(jì)算引擎；

所述從所述原始數(shù)據(jù)層獲取對應(yīng)所述數(shù)據(jù)位置信息的目標(biāo)原始數(shù)據(jù)，并對所述目標(biāo)原始數(shù)據(jù)執(zhí)行對應(yīng)所述目標(biāo)數(shù)據(jù)計(jì)算邏輯的數(shù)據(jù)計(jì)算處理，得到用于響應(yīng)所述查詢語句的查詢結(jié)果，包括：

從所述原始數(shù)據(jù)層獲取與所述查詢語句所屬的應(yīng)用場景匹配的目標(biāo)數(shù)據(jù)計(jì)算引擎；

通過多個(gè)所述數(shù)據(jù)計(jì)算引擎中的目標(biāo)數(shù)據(jù)計(jì)算引擎獲取對應(yīng)所述數(shù)據(jù)位置信息的目標(biāo)原始數(shù)據(jù)，并針對所述目標(biāo)原始數(shù)據(jù)執(zhí)行對應(yīng)所述目標(biāo)數(shù)據(jù)計(jì)算邏輯的數(shù)據(jù)計(jì)算處理，得到用于響應(yīng)所述查詢語句的查詢結(jié)果。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述從所述原始數(shù)據(jù)層獲取對應(yīng)所述數(shù)據(jù)位置信息的目標(biāo)原始數(shù)據(jù)，并對所述目標(biāo)原始數(shù)據(jù)執(zhí)行對應(yīng)所述目標(biāo)數(shù)據(jù)計(jì)算邏輯的數(shù)據(jù)計(jì)算處理，得到用于響應(yīng)所述查詢語句的查詢結(jié)果，包括：

當(dāng)所述查詢語句是批查詢語句時(shí)，將所述數(shù)據(jù)計(jì)算邏輯以及所述數(shù)據(jù)位置信息編譯為離線批處理任務(wù)；

將所述離線批處理任務(wù)提交至所述原始數(shù)據(jù)層，以從所述原始數(shù)據(jù)層獲取對應(yīng)所述數(shù)據(jù)位置信息的目標(biāo)原始數(shù)據(jù)，并對所述目標(biāo)原始數(shù)據(jù)執(zhí)行對應(yīng)所述目標(biāo)數(shù)據(jù)計(jì)算邏輯的數(shù)據(jù)計(jì)算處理，得到用于響應(yīng)所述查詢語句的查詢結(jié)果。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述從所述原始數(shù)據(jù)層獲取對應(yīng)所述數(shù)據(jù)位置信息的目標(biāo)原始數(shù)據(jù)，包括：

獲取與業(yè)務(wù)方提供的異構(gòu)數(shù)據(jù)匹配的數(shù)據(jù)協(xié)議；

基于所述數(shù)據(jù)協(xié)議從所述業(yè)務(wù)方讀取符合所述數(shù)據(jù)位置信息的目標(biāo)異構(gòu)數(shù)據(jù)，并從所述目標(biāo)異構(gòu)數(shù)據(jù)中獲取對應(yīng)所述數(shù)據(jù)位置信息的目標(biāo)原始數(shù)據(jù)。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述從所述原始數(shù)據(jù)層獲取對應(yīng)所述數(shù)據(jù)位置信息的目標(biāo)原始數(shù)據(jù)，包括：

對來源于業(yè)務(wù)方的實(shí)時(shí)數(shù)據(jù)執(zhí)行數(shù)據(jù)寫入任務(wù)，以寫入到所述原始數(shù)據(jù)層；

從所述原始數(shù)據(jù)層讀取符合所述數(shù)據(jù)位置信息的目標(biāo)實(shí)時(shí)數(shù)據(jù)作為所述原始數(shù)據(jù)。