[發(fā)明專利]一種基于維度建模的數(shù)據(jù)處理裝置及方法

有效

• 申請?zhí)枺?/td>: 202110477767.3
• 申請日: 2021-04-29
• 公開（公告）號: CN113254544B
• 公開（公告）日: 2023-01-03
• 發(fā)明（設(shè)計）人: 王浩文;金莉;姜洪超
• 申請（專利權(quán)）人: 西安交通大學(xué)
• 主分類號: G06F16/28
• 分類號: G06F16/28;G06F16/215
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 賀小停

1.一種基于維度建模的數(shù)據(jù)處理方法，其特征在于，包括以下步驟：

步驟1，獲取用戶行為日志數(shù)據(jù)的事實表,所述用戶行為日志數(shù)據(jù)是指用戶在App上的操作行為數(shù)據(jù)；

步驟2，將步驟1中得到的事實表進行清洗過濾，將清洗后的數(shù)據(jù)分別進行歸因處理和公共維度建設(shè)處理，具體地：

將清洗后的數(shù)據(jù)進行歸因建設(shè)，得到歸因處理數(shù)據(jù)；

將清洗后的數(shù)據(jù)分別按照業(yè)務(wù)過程、用戶行為所處靜態(tài)環(huán)境進行映射，得到主題維度和環(huán)境維度，其中，所述主題維度包括廣告、用戶、商品、交易、商家、物流、搜索和信息流；所述環(huán)境維度包括啟動渠道、設(shè)備類型、App名稱、操作系統(tǒng)、地區(qū)信息、時間信息和前后臺類目；

步驟3，將清洗后的數(shù)據(jù)和歸因處理數(shù)據(jù)進行處理，得到面向業(yè)務(wù)過程的事實明細寬表；

步驟4，將面向業(yè)務(wù)過程的事實明細寬表分別進行對象實體識別和對象行為識別，得到對象實體模型和對象行為關(guān)系特征模型，其中，所述對象實體包括商家、用戶、訂單和菜品；所述對象行為指對象實體與對象實體之間連接的方式，包括商家交易、搜索商家、瀏覽廣告、使用購物車、點擊資源位、參加運營活動和使用智能助手；

將對象實體模型和對象行為關(guān)系特征模型分別進行一致性維度建設(shè)，得到一致性對象實體模型和一致性對象行為關(guān)系特征模型；

對一致性對象實體模型和一致性對象行為關(guān)系特征模型分別進行數(shù)據(jù)加工，得到多維明細模型和輕度匯總模型，其中，對一致性對象實體模型進行維度圈定，得到多維明細模型；維度圈定是指將數(shù)據(jù)進行對象實體相關(guān)屬性信息的關(guān)聯(lián)；對一致性對象行為關(guān)系特征模型依次進行維度聚合和原子指標(biāo)計算，得到輕度匯總模型；

步驟5，將多維明細模型和輕度匯總模型進行處理，得到邏輯模型和邏輯寬表，進而根據(jù)業(yè)務(wù)需要以及分析決策需求，完成數(shù)據(jù)挖掘和數(shù)據(jù)分析；

步驟5中，將多維明細模型和輕度匯總模型進行處理，得到邏輯模型，具體方法是：

將獲取到數(shù)據(jù)組件層的多維明細模型和輕度匯總模型中的數(shù)據(jù)，進行數(shù)據(jù)裁剪、維度冗余、上卷下鉆和指標(biāo)計算中的一種或多種邏輯處理，得到多個邏輯模型單元，最終將得到的多個邏輯模型單元拼接成邏輯模型；

將多維明細模型和輕度匯總模型進行處理，得到邏輯寬表，具體方法是：

根據(jù)用戶發(fā)送的即席查詢數(shù)據(jù)請求，提取得到指標(biāo)維度信息，根據(jù)得到的指標(biāo)維度信息匹配到最優(yōu)的數(shù)據(jù)組件層的多維明細模型和輕度匯總模型兩種模型中的一種或全部，進行拼接操作，得到邏輯寬表。

2.根據(jù)權(quán)利要求1所述的一種基于維度建模的數(shù)據(jù)處理方法，其特征在于，步驟2中，將步驟1中得到的事實表進行清洗過濾，具體方法是：

將步驟1中得到的事實表進行去噪、去重、異常值處理，得到清洗后的數(shù)據(jù)。

3.根據(jù)權(quán)利要求1所述的一種基于維度建模的數(shù)據(jù)處理方法，其特征在于，步驟3中，將清洗后的數(shù)據(jù)和歸因處理數(shù)據(jù)進行處理，得到面向業(yè)務(wù)過程的事實明細寬表，具體方法是：

首先，根據(jù)數(shù)據(jù)源層的主題維度對數(shù)據(jù)源層中的清洗后的數(shù)據(jù)、以及歸因處理數(shù)據(jù)進行劃分，得到多組主題數(shù)據(jù)；

其次，將主題數(shù)據(jù)中的業(yè)務(wù)過程對應(yīng)的常用環(huán)境維度進行冗余處理，降低事實表和維度表之間的聯(lián)系，得到面向業(yè)務(wù)過程的事實數(shù)據(jù)；

最后，將面向業(yè)務(wù)過程的事實數(shù)據(jù)中的常用分析維度進行維度退化處理，得到面向業(yè)務(wù)過程的事實明細寬表。