[發明專利]一種學習型大數據可視化方法及系統

有效

• 申請號: 202011254681.6
• 申請日: 2020-11-11
• 公開（公告）號: CN112364093B
• 公開（公告）日: 2023-04-04
• 發明（設計）人: 李杰;孫永健;宋巖
• 申請（專利權）人: 天津大學
• 主分類號: G06F16/26
• 分類號: G06F16/26;G06F16/22;G06F16/28
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 潘俊達

本發明屬于數據可視化的技術領域，具體涉及一種學習型大數據可視化方法及系統，包括前端和后端，前端包括可視化組件，后端包括智能檢索模塊、統計模塊及智能分析模塊；智能檢索模塊，用于在每個數據維度上均創建一個排序索引數組，且在單個維度上的排序索引數組上進行范圍查詢，并將若干維度的查詢結果求交集后得出最終查詢結果；統計模塊，用于在得到符合查詢條件的數據記錄后，調用計算機硬件資源進行并行計算，獲得可用于前端可視化的統計結果；智能分析模塊，基于無監督學習的異常模式發現算法和自動表征算法，用于提示異常模式，優化聚類結果表現形式。本發明能夠平衡響應速度和內存開銷，以提供更好的可用性。

技術領域

本發明屬于數據可視化的技術領域，具體涉及一種學習型大數據可視化方法及系統。

背景技術

視覺輸入是人腦接收外界信息的主要信號源，且當人類直接面對枯燥的數據時，發現其中存在的模式是耗時且費力的，而將數據轉化為可視化圖形后，能夠提高人腦的信息處理速度。交互式探索工具作為數據和人類專家之間的橋梁，能夠幫助專家從紛繁復雜的數據中快速獲取隱藏的模式，因此數據專家通常使用交互探索工具進行大數據的挖掘工作。

現有的可視化框架能夠為開發者提供豐富的可視化開發組件，但是少有框架融入后端數據檢索與分析模型，這就導致現有框架無法進行超大規模數據查詢與統計分析任務，且其渲染大數據的效果和速度均存在瓶頸。在這種背景下，開發者為實現數據交互探索任務，只能將可視界面與特定的獨立后端數據系統相結合，而這種開發任務往往會帶來較大的前后端開發成本。

隨著交互探索數據規模的不斷增加，盡管現有的數據庫系統在不斷地提升處理查詢請求的能力，但是面對較大的數據集合時仍無法在交互時間內處理請求。為了保證交互的實時性，一種可行的方案是使用數據立方體，這種基于數據結構的預存儲策略可以大幅降低交互延遲，將查詢時間復雜度限制在常量級。但是數據立方體存儲了所有可能的查詢結果，當數據量增大，數據維度升高的情況下往往會導致數據立方體的存儲開銷過大，使得一些服務器無法在內存中維持此類數據結構。

發明內容

本發明的目的之一在于：針對現有技術的不足，提供一種學習型大數據可視化方法，能夠平衡響應速度和內存開銷，以提供更好的可用性。

為了實現上述目的，本發明采用如下技術方案：

一種學習型大數據可視化方法，包括：

在每個數據維度上均創建一個排序索引數組，且在單個維度上的排序索引數組上進行范圍查詢，并將若干維度的查詢結果求交集后得出最終查詢結果；

在計算若干維度的查詢結果交集時調用硬件資源加速集合運算；

結合機器學習模型和傳統索引結構，并通過訓練學習型模型預測數據的位置；

將單個預測模型按照輸入范圍分為若干個小模型；

在得到預測位置后，將在數據記錄上進行局部范圍的搜索；

在得到符合查詢條件的數據記錄后，調用計算機硬件資源進行并行計算，獲得可用于前端可視化的統計結果；

在預設數據維度上以用戶自定義的統計粒度進行統計計算；

基于無監督學習的異常模式發現算法和自動表征算法，提示異常模式，優化聚類結果表現形式。

本發明的目的之二在于提供一種學習型大數據可視化系統，包括前端和后端，所述前端包括可視化組件，所述后端包括智能檢索模塊、統計模塊及智能分析模塊；

所述智能檢索模塊，用于在每個數據維度上均創建一個排序索引數組，且在單個維度上的排序索引數組上進行范圍查詢，并將若干維度的查詢結果求交集后得出最終查詢結果；

所述統計模塊，用于在得到符合查詢條件的數據記錄后，調用計算機硬件資源進行并行計算，獲得可用于前端可視化的統計結果；