[發明專利]一種基于自適應表維度劃分的大數據處理方法

有效

• 申請號: 201610046015.0
• 申請日: 2016-01-22
• 公開（公告）號: CN105488231B
• 公開（公告）日: 2018-07-20
• 發明（設計）人: 袁友偉;陳魏欣;黃彬彬;俞東進;鄢臘梅;李黎
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京中政聯科專利代理事務所(普通合伙) 11489
• 代理人: 吳建鋒

1.一種基于自適應表維度劃分的大數據處理方法，其特征在于，包括以下步驟：

步驟S1：根據用戶需求配置并接入數據源生成多張所需的數據表并導入數據倉庫，每張數據表具有唯一的tableName；

步驟S2：對所生成的數據表進行數據清洗操作；

步驟S3：對數據表進行數據預處理操作并將預處理后的結果信息預先存儲在列式數據庫中，該步驟進一步包括以下步驟：

步驟S31：對數據表中每一條記錄標記唯一的編號TID，并按列劃分為多個維度，記維度D＝{D₁,D₂,D₃…D_m…D_DN|m≤DN}，需計算的指標M＝{M₁,M₂,M₃…M_MN}，其中數據量為TQ、維度數DN、增量記錄數IN、指標數MN；

步驟S32：將維度D劃分成r個子維度，記作R＝{R₁,R₂,R₃…R_r}，其中R_i代表第i個子維度包含的維度數，其中，r滿足如下約束條件：若沒有這樣的r，則查找最接近DN的合數DNC，使得并且取ΔX＝DNC-DN，產生的新的r個子維度，記作R′＝{R₁′,R₂′,R₃′…R_r′}且滿足

若最終有多個滿足條件的r，則取其中最小值；

步驟S33：設置維度支持度集合SUP，SUP＝{a_ij|i,j∈[1,DN],i>j,a_ij＝1}，其中，二維數組a_ij表示維度D_i與D_j的支持度；所述維度支持度集合根據用戶查詢操作進行數據更新；

步驟S34：根據所述維度支持度集合對已劃分好的r個子維度進行相應調整，將支持度關聯最密切的維度放在同一個子維度中；

步驟S35：對于每個子維度內的維度R_i，對所有指標M，采用完全聚合的方式生成所有結果集RS_i并存儲在子維度劃分表中，其中，每一個結果都是一個二元組AG＝(AR,M)，AR代表R_i的一種排列，M為指標集合，然后將AG中每個元素作為一列，按列存儲在數據庫中；

步驟S36：根據原數據表中的記錄編號TID，生成維度映射表，該維度映射表是以唯一子維度編號DID關聯子維度和TID的關系，同時以AR中所有子維度名稱+DID作為行鍵；

步驟S4：根據預先存儲在數據庫的結果信息進行數據查詢操作，該步驟進一步包括：

步驟S41：接收用戶輸入的查詢參數，所述查詢參數包括維度dim、指標mes、展示方式viewType以及查找的表tableName；

步驟S42：根據維度dim和指標mes生成查詢的組合，記作SC＝{dim,mes}；

步驟S43：根據生成查詢的組合查找維度劃分表，尋找dim維度所涉及到的子維度DS，記DS＝{ds|ds∈dim∩R}，獲取包含dim中維度最多的子維度ds，在該子維度ds的維度劃分表中直接獲取結果信息；

步驟S44：對于不包括在子維度ds的其他維度，通過維度映射表查找原數據表：首先得到子維度ds的維度編號DID，根據DID查找原數據表中關聯的TID，對所有滿足條件的TID，按照dim指定的維度記錄進行聚合，得到計算后的結果；

步驟S45：對查找的維度中每個維度d(d∈dim)，增加其與其他維度的支持度，并寫入維度支持度二維數組中；

步驟S46：將所有結果信息value轉換成圖表數據格式，并進行圖表格式封裝，然后返回前臺展示。

2.根據權利要求1所述的一種基于自適應表維度劃分的大數據處理方法，其特征在于，在所述步驟S33中，所述維度支持度集合中任一個二維數組a_ij的初始值都為1；

對維度支持度集合做倒數，得到新的距離數組DST＝{b_ij|b_ij＝1/a_ij,a_ij∈SUP}，再使用K-Means算法將其聚類為r個子類別。