[發明專利]基于大數據的數據分析、挖掘、渲染及可視化方法

在審

• 申請號: 201810017816.3
• 申請日: 2018-01-09
• 公開（公告）號: CN108268621A
• 公開（公告）日: 2018-07-10
• 發明（設計）人: 武星;張南
• 申請（專利權）人: 上海大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 上海上大專利事務所(普通合伙) 31205
• 代理人: 陸聰明

本發明提出基于大數據的數據分析、挖掘、渲染及可視化方法，本方法的操作步驟是：（1），采集數據；（2），進行數據處理；（3），進行數據分析；（4），進行數據挖掘；（5），數據渲染和拼接；（6），數據可視化；（7），人機交互。該方法能夠通過爬蟲及線下的數據收集進行數據采集，然后通過文本抽取、正則表達式、字符串截取等方法進行數據的清洗和處理，數據經過處理后，對數據集進行分析與數據挖掘，最后對數據進行渲染即可視化，并提供人機交互功能。

技術領域

本發明屬于大數據和數據挖掘領域，涉及一種基于大數據的分析、挖掘、渲染及可視化方法，是一種將豐富的海量數據通過分析、建模，并將評估的結果進行渲染、校正及無縫拼接，供數據進行可視化并進行人際交互。

背景技術

當前信息時代，數據規模增長速度遠超我們的預期，存在大量的交易數據、社交信息、文本信息、圖片文件、視頻文件、郵件信息、音頻信息和互聯網交互信息等。在這種情況下，人眼往往不能從大量的數據信息中直接讀取其中隱含的信息，也不容易從大量的信息中看出某個事物的發展趨勢。然而，傳統的數據處理方法是人工數據處理。雖然這種方法很容易實現，但是人工數據處理難以充分實現共享，冗余度也極大。此外，人工處理是費時又費力，而可視化出的屏幕展示也是只能觀看，而無人機交互的功能。數據種類很豐富，同樣就有許多不同數據展示的方法，如可視化、可聽化等等方面。大數據的獲取、處理及數據的展示和人機交互是一個新興研究領域，同時也存在很多沒有解決的問題。因此，它是值得深入研究的。另外，還有一種數據處理系統與數據的挖掘相關。這個系統設計意圖是讓用戶來輕松通過對原始數據的輸入，自動處理數據，挖掘其中有價值的信息，并可以展示及交互的功能。

發明內容

本發明的目的是針對已有技術存在的不足，提供一種基于大數據的數據分析、挖掘、渲染及可可視化方法，最終達到可展示及人機交互。

為達到發明的目的，本發明的構思是：

首先，本系統采用網絡蜘蛛（爬蟲）抓取數據的方式進行數據的收集整理；其次，采用數據的全量抽取和增量抽取的方式進行數據的提取、轉換、加載并存入數據倉庫供數據分析和數據挖掘做鋪墊；第三，本文采用數據的分析的方式，對數據進行建模和推斷分析為了有效，并將分析結果入庫；第四，本文采用數據挖掘的相關技術，進行分析數據的挖掘工作；第五，對有效的數據進行數據的渲染及可視化展示；第六，利用相關技術對可視化展示大屏進行人機互動操作。

根據上述發明構思，本發明采用下述技術方案：

基于大數據的數據分析、挖掘、渲染及一種可視化方法，其特征在于操作步驟如下：

a)收集各種數據：從各種渠道收集各種形式的源數據。

b)進行數據處理：用ETL（數據倉庫）技術處理數據。

c)進行數據分析：運用專業的數據分析方法分析數據。

d)在數據集上進行數據挖掘：通過建立模型和評估數據進行數據挖掘。

e)對挖掘到的數據模型進行渲染：應用專業的數據渲染技術進行數據的渲染和拼接。

f)將渲染的數據可視化展示：通過環形大屏輕松搭建專業的可視化應用。

g)人機交互：通過手勢、肢體、鼠標等與可視化大屏進行人機交互。

本發明與已有技術相比較，具有如下顯而易見的突出實質性特點和顯著的技術進步：提出全面的數據收集、分析、處理、渲染、可視化、人機交互為一體的系統方法，在單獨的數據處理和數據可視化方面參考價值上都有顯著的提升，對于實際的工業生產有很大的現實意義。

附圖說明

附圖1是本發明的整個發明的模塊流程的框圖。

附圖2是本發明的技術架構框圖。