[發明專利]一種基于封閉外殼片段立方體的水利普查數據挖掘方法

在審

• 申請號: 201811275645.0
• 申請日: 2018-10-30
• 公開（公告）號: CN109408514A
• 公開（公告）日: 2019-03-01
• 發明（設計）人: 萬定生;趙群;朱躍龍;周金玉;阮祥超;石波;唐珊珊
• 申請（專利權）人: 河海大學
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/28;G06F16/2458
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 董建林

本發明公開了一種基于封閉外殼片段立方體的水利普查數據挖掘方法，首先將高維數據分成低維片段，再計算各低維片段的封閉立方體；利用位圖索引、倒排索引相結合，建立存儲結構表，快速判斷聚集單元的封閉性，用封閉查詢位圖來代替封閉單元進行存儲，僅保留不重復的基本單元、封閉查詢位圖以及對應的TID?List集合，在查詢封閉外殼片段立方體時，利用查詢位圖和倒排索引進行查找，查找范圍由原來的完全立方體所有數據單元縮小到所有基本單元，快速定位查詢結果。本發明在保證查詢效率的前提下，使高維數據立方體得到進一步壓縮。

技術領域

本發明屬于數據挖掘技術領域，具體涉及一種基于封閉外殼片段立方體的水利普查數據挖掘方法。

背景技術

近年來，為了提高數據立方體生成和查詢效率、減少數據立方體占用的存儲空間，多種數據立方體計算方法被提出，如Iceberg Cube、Condensed Cube、Quotient Cube和QC-Trees等。但物化高維數據集時，數據立方體中的聚集單元數量將隨著維度數量的增加呈指數級增長，導致十分昂貴的數據立方體物化代價。采用上述物化方法，并不能從根本上解決數據量爆炸的問題。

基于上述情況，必須采用部分物化的策略進行數據立方體的計算存儲，即有選擇地計算整個立方體的一些子集，在存儲空間和查詢時間之間尋求合理的平衡。外殼立方體(Shell Cube)就是應用在一些商業化數據倉庫系統的一種常用的部分物化技術。該方法在計算數據立方體時，僅預計算少量維度的聚集單元及其度量聚集值。在用戶提交查詢條件時，若符合查詢條件的聚集單元被物化，則返回已計算的度量聚集值；若未被物化，則實時計算符合條件的度量聚集值。但是該方法存在兩點不足：(1)計算量仍較大；(2)超過外殼厚度的多維OLAP的響應效率較低。

針對外殼立方體存在的不足，Xiaolei Li等提出了外殼片段立方體方法。該方法的基本思想為：對于一個n維的高維數據集，按照維度屬性不相交的原則劃分為k個獨立的低維數據片段，計算這k個獨立低維數據片段的完全數據立方體，并記錄每個聚集單元的倒排索引；對于度量，創建度量屬性值索引表。該方法將高維數據集劃分為多個低維數據集，將高維數據立方體計算轉換為多個低維數據立方體計算，避免了聚集單元數量的爆炸式增長。

根據水利專家設計的300余項統計指標進行水利普查，得到的水利普查成果數據具有數據量大、維度基數高、部分維度具有概念分層等特點。以水利普查水利工程大類下的水閘工程對象為例，維度個數超過20，記錄數達到10⁵級別。能夠合理高效的分析利用水利普查成果數據，挖掘其中蘊含的水資源信息具有重要的應用價值。但面對水利普查數據，外殼片段立方體方法存在運算速度慢，存儲上冗余的問題。如何在避免高維水利普查數據立方體的爆炸式增長同時進一步壓縮立方體體積，同時保證數據查詢效率，是目前亟待解決的問題。

發明內容

為解決上述問題，本發明提出一種基于封閉外殼片段立方體的水利普查數據挖掘方法，在保證查詢效率的前提下，使高維數據立方體得到進一步壓縮。

本發明采用如下技術方案，一種基于封閉外殼片段立方體的水利普查數據挖掘方法，具體步驟如下：

1)生成封閉外殼片段立方體，具體為：

11)基于外殼片段立方體方法劃分維片段，即將非層次維度屬性的高維數據按照維度屬性互不相交的原則劃分為大小為F的k個低維數據片段；

12)依次對低維數據片段進行編號FID，基于基本事實表創建每個低維數據片段對應的維度屬性值對照表和度量索引對照表，所述維度屬性值對照表包括索引號TID以及對應的維度屬性值，所述度量索引對照表包括索引號TID以及對應的度量屬性值；

13)基于基本事實表構造每個維度屬性值的倒排索引表；