[發明專利]一款Web端基于大數據技術的可視化數據處理方法

在審

• 申請號: 201910704850.2
• 申請日: 2019-08-01
• 公開（公告）號: CN110413681A
• 公開（公告）日: 2019-11-05
• 發明（設計）人: 張偉;劉宇;洪佳琪;段萌
• 申請（專利權）人: 上海勝泰信息技術有限公司
• 主分類號: G06F16/26
• 分類號: G06F16/26;G06F16/953;G06F16/2455
• 代理公司: 北京八月瓜知識產權代理有限公司 11543
• 代理人: 馬東瑞

本發明公開了一款Web端基于大數據技術的可視化數據處理方法，包括以下步驟：S1：數據搜索：利用elasticsearch實現的基于lucene的分布式多用戶能力的全文搜索引擎；S2：數據可視化，利用echarts實現的千萬級數據可視化渲染能力；S3：數據挖掘及數據存儲：數據由第三方接口并發實時接入；S4：高并發處理及nosql數據庫：nosql數據庫redis，以內存存儲的數據結構服務器；S5：自動預警，通過第三平臺提供短信預警，javamail實現郵件預警；S6：Nginx及文件服務器為nginx高性能的HTTP和反向代理web服務器。本發明主要針對一款Web端基于大數據技術的可視化數據處理方法，本發明能夠全網抓取資訊數據，實現自動預警與數據可視化，可對數據進行較好的分析與統計，提供工作效率。

技術領域

本發明涉及數據處理技術領域，具體為一款Web端基于大數據技術的可視化數據處理方法。

背景技術

輿情是指在一定的社會空間內，圍繞中介性社會事件的發生、發展和變化，作為主體的民眾對作為客體的社會管理者、企業、個人及其他各類組織及其政治、社會、道德等方面的取向產生和持有的社會態度，社會輿情映射到互聯網環境中產生了網絡輿情，隨著因特網在全球范圍內的蓬勃發展與應用，互聯網環境中的的信息數據也呈幾何級數的速度迅速膨脹，而在當今這個大數據時代，不僅給網絡輿情的相關工作帶來了挑戰，同時也帶來了機遇，大數據成為了輿情研究的利器，與此同時，數據之間存在著封閉性與關系斷裂性會使得我們在整理數據時不好進行統計，也無法對敏感新聞預警進行實時預警，傳統的數據跟蹤搜集分析手段已經對此力不從心，這就對數據分析的技術手段提出了更高的要求。

發明內容

本發明的目的在于提供一款Web端基于大數據技術的可視化數據處理方法，以解決上述背景技術中提出的問題。

為實現上述目的，本發明提供如下技術方案：一款Web端基于大數據技術的可視化數據處理方法，包括以下步驟：

S1：數據搜索：利用elasticsearch實現的基于lucene的分布式多用戶能力的全文搜索引擎；

S2：數據可視化，利用echarts實現的千萬級數據可視化渲染能力，支持常規的折線圖、柱狀圖、散點圖、餅圖、K線圖，并且支持圖與圖之間的混搭；jfreechart使用JAVA語言來實現可視化；

S3：數據挖掘及數據存儲：數據由第三方接口并發實時接入，利用關系型數據庫mysql來存儲數據，并利用分區，讀寫分離等技術對應大數據量處理需求；

S4：高并發處理及nosql數據庫：nosql數據庫redis，以內存存儲的數據結構服務器，來做關系數據庫的補充，高速緩存數據，為數據查詢統計并數據可視化提供性能保障；

S5：自動預警：通過詞庫中關鍵詞，及一系列規則匹配符合的新聞資訊，通過第三平臺提供短信預警，javamail實現郵件預警；

S6：Nginx及文件服務器為nginx高性能的HTTP和反向代理web服務器。

優選的，在S1中，數據搜索可實現資訊數據的檢索，添加，更新和刪除，以及文本分析，標記和過濾，各類復雜的搜索查詢和聚類查詢分析功能。

優選的，在S2中，數據可視化支持圖例、視覺映射、數據區域縮放、tooltip、數據刷選等交互式數據技術，可以自由選擇數據，挖掘數據，對多個圖表數據聯動查看，進行多維有效分析，可以在折線圖柱狀圖等上面直接交互點擊跳轉到對應數據列表或者跳轉另外的統計圖表。

優選的，在S3中，通過圖表之間的關聯可實現數據篩選及數據清洗，并向搜索引擎中做數據索引。