[發明專利]一種基于物化緩存的網絡大數據可視化方法

有效

• 申請號: 201710277228.9
• 申請日: 2017-04-25
• 公開（公告）號: CN107040422B
• 公開（公告）日: 2020-05-05
• 發明（設計）人: 陸佳煒;周煥;高燕煦;馬俊;盧成炳;李杰;陳烘;肖剛;張元鳴;高飛
• 申請（專利權）人: 浙江工業大學
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L12/26;H04L29/08
• 代理公司: 杭州斯可睿專利事務所有限公司 33241
• 代理人: 王利強

1.一種基于物化緩存的網絡大數據可視化方法，其特征在于：所述可視化方法包括以下步驟：

第一步、建立一個動態演化模型，分為大數據用戶層、大數據可視化層及大數據源層；

1.1、大數據用戶層：由網絡上具有不同大數據可視化需求的用戶構成，用戶通過訪問大數據可視化層來獲取感興趣的大數據信息，用戶層不依賴具體的技術架構，并可在可視化層中定制不同的視圖來分析數據的多個維度；

1.2、大數據可視化層：基于云平臺架構，提供一種統一的標準讓用戶來查詢不同的大數據源；可視化層接受大數據用戶的數據視圖查詢請求后，判斷是否存在物化緩存，向大數據源發出服務請求然后將返回的結果集進行可視化效果展示給用戶；或者直接查詢系統的物化緩存，將結果進行可視化分析響應給用戶；可視化層包括精靈線程池模塊、物化緩存模塊和可視化分析模塊；

精靈線程池ETP模塊：用于負責線程的分配，系統在初始化階段根據一定的映射規則解析每個數據視圖的相關信息構建一個資源配置文件CP，并將此文件映射于內存中生成緩存配置表CPT，CPT根據物化緩存選擇算法和物化緩存存儲算法將需要進行物化緩存的數據視圖信息生成物化緩存視圖索引表VIT，VIT基于物化緩存更新算法將數據視圖加入物化緩存執行隊列，由線程分配機制根據ET數據資源遷移算法分配合適的線程向大數據源建立連接發出服務請求；

物化緩存模塊：用于預先緩存大數據源對相應查詢計算的結果，將該數據視圖的數據結果集根據物化緩存存儲算法采取內存存儲或者持久化存儲方式，用戶發出該視圖的請求時，不必向大數據源建立連接發出服務請求，直接用緩存的數據結果集進行可視化分析響應給用戶；

可視化分析模塊：用于負責將用戶訪問數據視圖后返回的數據集進行可視化分析，將大數據以直觀的可視化的圖形形式展示給用戶；

1.3、大數據源層：指的是在網絡上的大數據供應商，采用分布式架構存儲海量數據，有效支持大數據的處理需求，大數據源層一般提供大數據服務，即將數據以服務的方式提供給可視化層；

第二步、基于所述的模型提出的基于物化緩存的網絡大數據可視化方法，過程如下：

步驟2.1：精靈線程階段

在模型初始化階段，大數據可視化層通過Web服務器會激活精靈線程池ETP；

步驟2.2：物化緩存階段

當大數據用戶提交查詢請求，索取數據視圖時，系統會自動判斷能否通過查詢物化緩存來得到結果，如果可以，則避免了向大數據源發出相關計算請求，直接從已經計算好的物化緩存中讀取數據，可視化執行模塊會提取物化緩存數據并將緩存數據注入數據視圖中，來直接響應用戶查詢；否則，系統需要重寫用戶查詢并分發查詢到大數據源層中檢索數據，在數據檢索到后，回傳大數據可視化層并由可視化執行模塊處理，最終反饋用戶。