[發明專利]一種基于物化緩存的網絡大數據可視化方法

有效

• 申請號: 201710277228.9
• 申請日: 2017-04-25
• 公開（公告）號: CN107040422B
• 公開（公告）日: 2020-05-05
• 發明（設計）人: 陸佳煒;周煥;高燕煦;馬俊;盧成炳;李杰;陳烘;肖剛;張元鳴;高飛
• 申請（專利權）人: 浙江工業大學
• 主分類號: H04L12/24
• 分類號: H04L12/24;H04L12/26;H04L29/08
• 代理公司: 杭州斯可睿專利事務所有限公司 33241
• 代理人: 王利強

一種基于物化緩存的網絡大數據可視化方法，包括以下步驟：第一步、建立一個動態演化模型，分為大數據用戶層、大數據可視化層及大數據源層；第二步、基于所述的模型提出的基于物化緩存的網絡大數據可視化方法，過程如下：步驟2.1：精靈線程階段：大數據可視化層通過Web服務器會激活精靈線程池ETP；步驟2.2：物化緩存階段：當大數據用戶提交查詢請求，索取數據視圖時，系統會自動判斷能否通過查詢物化緩存來得到結果，如果可以，直接從已經計算好的物化緩存中讀取數據，可視化執行模塊會提取物化緩存數據并將緩存數據注入數據視圖中，來直接響應用戶查詢。本發明具有高伸縮性，支持高訪問量，能對海量數據進行快速查詢與可視化展示。

技術領域

本發明涉及數據可視化領域，尤其是網絡大數據快速查詢與可視化呈現。

背景技術

隨著互聯網、物聯網、云計算等信息技術的迅猛發展，信息技術與人類世界政治、經濟、軍事、科研、生活等方方面面不斷交叉融合，催生了超越以往任何年代的巨量數據，因而信息社會已經邁入大數據(Big Data)時代。遍布世界各地的各種智能移動設備、傳感器、電子商務網站、社交網絡每時每刻都在生成類型各異的數據。根據國際數據公司(IDC)的《數據宇宙》報告顯示：2008年全球數據量為0.5ZB，2010年為1.2ZB，人類正式進入ZB時代。更為驚人的是，2020年以前全球數據量仍將保持每年40％多的高速增長，大約每兩年就翻一倍，這與IT界人盡皆知的摩爾定律極為相似。大數據具有4V特征，即：體量巨大(volume)、類型繁多(variety)、時效性高(velocity)以及價值高密度低(value)，給人們帶來了新的機遇與挑戰。《Nature》于2008年出版了大數據專刊“big data”，專門討論了巨量數據對于互聯網、經濟、環境以及生物等各方面的影響與挑戰。《Science》也于2011年出版了如何應對數據洪流(data deluge)的專刊“Dealing with Data”，指出如何利用寶貴的數據資產推動人類社會的發展。如今，大數據已成為新興的學術研究熱點，并被認為是繼云計算和物聯網之后又一個具有革命性的信息技術。

其中，網絡大數據是指“人、機、物”三元世界在網絡空間(Cyberspace)中彼此交互與融合所產生并在互聯網上可獲得的大數據。網絡大數據往往呈現出突發涌現等非線性狀態演變現象，因此難以對其變化進行有效評估和預測，另一方面，網絡大數據常常以數據流的形式動態、快速地產生，具有很強的時效性這些特征都對現有的互聯網計算平臺提出了挑戰。

網絡大數據是一種復雜數據，包含結構化數據和非結構化數據(如xml文檔、圖片、docx文件等)等數據類型。可視化技術為處理復雜數據而生，它將數據映射為視覺符號，允許用戶與數據進行快速互動，幫助人們獲取大數據中蘊含的信息,以便更好地驗證假設和發現內在聯系。可視化技術為人們提供了理解高維度、多層次、時空、動態、關系等復雜數據的手段，研究人員已經提出很多有效的可視化研究方法，如采用樹結構、樹圖、彈性層次圖、網絡結構圖等來直觀顯示龐大的數據結構，使用ThemeRiver、TIARA等對文本數據的可視化進行研究，運用平行坐標法(Parallel Coordinates)、放射坐標法(Radviz)和星形坐標法(star coordinates)等對高維數據進行處理。這些可視化方法雖然在一定程度上解決了部分復雜數據的可視化問題，但還無法很好通過交互式界面來輔助用戶對大規模復雜數據集進行分析推理的科學與技術，這也為互聯網環境下的網絡大數據的有效分析、理解和管理造成了難度。

大數據可視化是指在大數據自動分析挖掘方法的同時，利用支持信息可視化的用戶界面以及支持分析過程的人機交互方式與技術，來有效融合計算機的計算能力和人的認知能力，以獲得對于大規模復雜數據集的洞察力。不同于傳統的信息可視化行業，大數據可視分析面臨最大的一個挑戰就是規模，即如何提出新的可視化方法能夠幫助人們分析大規模、高維度、多來源、動態演化的信息，并輔助作出實時的決策，成為了這個領域最大的挑戰。